大数据内容营销解决方案优质PPT.pptx

1、统一接入省公司所有触点，支撑营销案的线上流转，构建咪咕公司与省公司运营人员可协同合作的线上平台，缩短投放时间与内容更新周期。,省公司运营人员,咪咕运营人员,新建投放任务,上传投放物料,圈选目标用户,体验与合规性审核,营销投放,选择投放触点,营销案投放过程,省公司用户标签系统,咪咕内容标签系统,用户上网行为,内容标签,统一用户ID,标签扩充,用户内容标签,咪咕内容标签,用户-咪咕内容匹配推荐模型,模型,用户-咪咕内容匹配模型,触点,用户行为数据,标签计算系统,更新用户标签,效果分析,用户行为数据,方案优化,手厅首页应用推荐广告位,手厅发现娱乐咪咕阅读广告位,杭研为省内提供咪咕内容营销解决方案,1

2、.积累内容库基于互联网数据，通过爬虫和统一标签技术，积累内容库（音乐/视频/阅读/阅读/游戏）通过解析全网DPI数据，对用户浏览的咪咕内容进行分类，生成内容分类体系，定期更新2.沉淀用户内容偏好标签基于全网DPI数据和内容库，通过DPI二次解析技术，形成用户行为宽表基于用户行为宽表，定期沉淀用户内容偏好标签3.关联内容与目标用户，助力精准营销基于模型算法将咪咕内容找到目标用户群为特定用户群匹配感兴趣内容,为省内构建完善的内容库,杭研,爬虫工程,内容库（定期更新）,文件导出工程（加密）,文件解析工程（解密）,省公司,内容数据传送,杭研1、爬虫工程：负责爬取网络音乐、阅读等数据，持续更新。2、内容

3、库：将互联网内容分类映射到杭研内容分类体系，形成杭研数字内容库。3、文件导出工程：对内容库数据进行处理，形成加密文件，上传至FTP服务器。省公司1、文件解析工程：定期检查FTP服务器更新，拉取内容库数据并解密。2、省公司内容库：定时运行，同步杭研最新内容库到省公司。3、离线计算工程：对接省公司大数据平台，通过使用杭研定制的算法组件，解析DPI日志数据，形成用户行为宽表。,杭研内容分类体系构建,省公司内容库,省内内容库的构建,爬虫内容库远程部署方案,注：1.一期优先部署动漫库、阅读库和视频库 后期部署其余类别2.一期爬虫覆盖绿色部分，后期爬虫覆盖剩余部分，可动态调整,内容库更新频率：暂定每天早上

4、8点之前传输成功,爬虫范围,内容库分类样例：,百度书城爬虫内容详情样例：,爬虫内容库内容示例,自定义分类体系标准示例：注：杭研对咪咕内容五大类的分级体系重新梳理,构建标签体系，沉淀用户标签,标签沉淀工程是通过解析用户DPI行为数据关联内容库信息、获取用户浏览偏好，沉淀为用户标签。,标签体系的构建1、内容ID匹配：解析用户DPI数据中每条URL，将其中的“ID字符”与湖北内容库中的“ID字符”进行匹配2、沉淀内容标签：根据爬取的网页信息，找到该内容对应的细分类别，沉淀为内容标签，例如“轻音乐-邓丽君甜蜜蜜”。3、沉淀用户标签：定期统计用户访问所有内容的频次，将频次较高的内容对应的标签沉淀为用户标

5、签。4、定期更新：将所有用户标签入库、用户标签定期更新（如每周、每月等）。,打通内容标签与用户标签，提供基于个性化推荐的内容目录,打通内容标签与用户标签，提供基于个性化推荐的内容目录,基于内容的推荐模型：1，根据内容标签计算内容-内容相似度2，提取目标内容A相关性较高top N的内容3，将近期浏览过相关性较高的top N内容且未浏览过目标内容A的用户加入目标内容A的推荐列表,基于用户的推荐模型：1，根据用户标签计算用户-用户相似度2，提取目标用户A相似度较高top N的用户3，将相似度较高top N用户近期浏览频率较高且目标用户A未浏览过的内容加入目标用户A的推荐列表,LFM推荐模型：1，根据

6、已有用户、内容的标签，构造用户-内容相关度矩阵，进行LMF矩阵分解，且迭代更新矩阵2，根据用户-内容相关度矩阵，提取用户未看过且相关度较高的内容列表,内容热度rank模型：1，根据内容类型，人工选择内容热点top N网站作为目标网站。2，DPI解析目标网站的用户浏览行为，统计热度排序top K 内容,用户兴趣协同过滤结合模型：1，用户的搜索和点击行为，构建贝叶斯框架，预测用户对内容的兴趣2，对用户聚类，根据兴趣相似用户浏览行为为用户推荐内容,基于标签的推荐模型,视频库,阅读库,动漫库,省公司标签体系,手机号imei 用户标签推荐内容列表,内容名称内容地址内容ID目标用户（手机号码）,内容名称内

7、容地址内容ID目标用户（手机号码）,业务系统层,数据层,基础能力层,咪咕内容营销产品视图,咪咕+内容,业务系统接口,推荐系统,用户画像,MIGU内容库索引系统,内容标签分类建模,省公司大数据,爬虫库（内容/APP）,DPI二次解析器,基础数据处理引擎,用户偏好挖掘模型/算法,MIGU内容标签库,杭研爬虫,基础数据统一存储层,可视化子系统,MIGU内容列表,业务层,画像层,数据层,模型层,咪咕内容营销系统架构,解决方案应用场景,3,省内营销人员,热门内容,特定用户群,选择要投放的咪咕内容，可输出目标用户群用户数及明细,提供上传内容列表的入口,1.2 内容列表上传,2,使用方式,使用方式,营销平台

8、投放,对接,投放,投放,省内营销人员使用场景说明,注：以上使用方式仅供参考，具体实现方式待定,场景1：月初向全网用户推荐热门内容,全网用户,对内容进行热度排序，按照内容类别分别提取热门top N内容，如top 10热门视频、top 20热门音乐、top 5热门小说，面向全网用户进行个性化推荐,省内营销人员,全网用户,通过营销 平台推送,场景2：月末特定用户群体内容推荐,热门内容,感兴趣内容,内容列表,月末流量剩余较多用户,月末流量不足用户,促进流量消耗,目标,特定人群1,为该人群推荐感兴趣内容或热门内容,解决方案,省内营销人员,促活+流量包订购,目标,为该人群推荐感兴趣内容及定向优惠流量包,解

9、决方案,特定人群2,通过营销平台推送,杭研现有能力积累,4,大数据用户行为分析原理,能力1：大数据用户行为分析,通过解析DPI数据，解析用户的行为信息，最终对用户的行为和互联网访问内容做关联，达到对用户做精确定位的效果。,爬虫数据积累,爬虫模块,统一规则库,动作深度识别：针对互联网主流重点应用业务，具有识别具体动作深度识别DPI核心规则库；流量业务识别：识别对现网数据流量实现业务名称与流量属性；建立DPI二次解析管理系统：扩展识别规则字段，使其能满足深度识别互联网主流重点应用业务；通用性语言描述：对业务识别规则，制定通用性描述语言，使其具备快速推广能力。,内容识别率=,识别内容,匹配为内容,=

10、15%,匹配率=,=85%以上,匹配（内容+新闻）,有效DPI,标签&用户画像,解析率 HTTP协议：90%+解析率 全量DPI：80%+,能力2：DPI二次解析及应用,在深入了解行业的基础上，建立行业特色的模型，优化应用平台架构，提升性能和稳定性，建立核心竞争优势。,能力3：模型能力、技术能力和数据沉淀,能力4：营销平台模型架构,标签管理,增值业务偏好标签,应用功能,数字内容偏好标签,关系管理,数据汇总,数据采集,主动推送,实时推广,用户筛选,基于人物的物品关联,基于标签的物品关联,用户用户关联,物品物品关联,人物关联,标签关联,用户物品关联,使用习惯标签管理,内容偏好标签管理,静态属性标签

11、管理,描述性标签管理,统计性标签管理,用户基础画像,业务行为日志采集,用户业务画像,互联网数据采集,用户数据月汇总模型,数字内容信息采集,数字内容产品画像,用户通信属性数据,热门推荐,离线计算数据源,实时计算数据源,用户基本信息,话单数据,月账单数据,位置数据,上网数据（实时）,上网数据（历史）,互联网数据源,音乐,阅读,新闻,动漫,APP,大数据平台,MapReduce,数据过滤,Kafka,JStorm,Hbase数据库,HDFS,FTP,离线计算数据源包括用户基本信息、话单数据、月账单数据等。省公司提供数据相应HDFS文件路径。杭研进行定时读取相应HDFS文件路径并对自身HBase数据库进行更新。实时计算数据源1、包括位置数据、上网数据。2、在数据接口服务器和杭研数据采集平台之间采用FTP协议作为数据对接实现方式。3、以指定名称的数据文件存储的数据，这些数据文件在接口服务器上的指定目录下生成，由杭研数据采集平台作为客户端自行读取。互联网数据源包括音乐、阅读、新闻、动漫、APP等互联网垂直领域数据。使用爬虫工程对互联网数据进行垂直领域爬取。对爬取结果进行清洗和处理，生成有应用价值的规则库。规则库使用F