大数据应用案例分析PPT推荐.pptx

大数据应用案例分析PPT推荐.pptx

《大数据应用案例分析PPT推荐.pptx》由会员分享，可在线阅读，更多相关《大数据应用案例分析PPT推荐.pptx（22页珍藏版）》请在冰豆网上搜索。

,TB,PB,EBZB,01,大数据的构成,大数据=海量数据（交易数据、交互数据）+针对海量数据处理的解决方案,海量交易数据：

企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。

通过这些数据，我们能了解过去发生了什么。

海量交互数据：

源于Facebook、Twitter、微博、及其他来源的社交媒体数据构成。

它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。

可以告诉我们未来会发生什么。

海量数据处理：

大数据的涌现已经催生出了设计用于数据密集型处理的架构。

例如具有开放源码、在商品硬件群中运行的ApacheHadoop。

注：

大数据不仅仅指的是数据量庞大，更为重要的是数据类型复杂,想驾驭这庞大的数据，我们必须了解大数据的特征。

02,大数据4V特征,03,结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，网络日志、音频、视频、图片、地理位置信息等，对数据的处理能力提出了更高要求,实时获取需要的信息比如：

在客户每次浏览页面，每次下订单过程中都会对用户进行实时的推荐，决策已经变得实时,数据量巨大全球在2010年正式进入ZB时代，IDC预计到2020年，全球将总共拥有35ZB的数据量,沙里淘金，价值密度低虽然数据量很大，但是价值密度较低，如何通过强大的机器算法更迅速地完成数据价值“提纯”，是目前大数据亟待解决的难题,大数据,产品,市场价值,解决方案,转化,1.海量（Volume）,3.速度（Velocity）,4.价值（value）,2.多样（Variety）,2,大数据处理办法,用户画像体系,01,每个企业都不可以避免的要对用户进行画像，用户画像的提出，根本上是源于企业对用户认知的需求。

产品经理，需要了解用户的特征，对产品进行功能的完善。

内容运营人员，需要筛选目标用户，对内容进行精准投放。

活跃程度如何？

年龄分布、区域分布是什么样的？

消费习惯和特征是什么？

公司在哪？

对什么感兴趣？

常去的商圈是哪儿？

赢利点在哪？

职业是什么？

常住地在哪儿？

购买能力如何？

基本特征？

用户画像体系,02,驾驶行为数据将构建精准的车险用户画像,性别,年龄,国籍,地理位置,开车地点,职业,驾照类别,开车频率,开车原因,健庩状况,医疗条件,感知力,学习周期,消费习惯,民族特征,教育水平,婚姻状态,共用车辆情况,生活方式,使用药物情况,酒驾经历,疲劳驾驶,收入情况,碰撞事故,车辆维修,犯罪记录,违章驾驶记录驾驶时间,通过对用户不同维度的大数据分析，最终得出可执行的业务决策。

基本属性,行为习惯,购买能力,心理特征,社交网络,兴趌爱好,基于机器学习的数据挖掘及分类基本识别流程,03,训练样本数据源,分词,特征选择,特征权重计算,模型训练,是,模型评估是否通过,待预测类别文本库,文本打上类别标签,否,训练及测试过程,预测过程,训练生成的模型,训练生成的模型,待预测类别文本原始库,数据预处理,训练样本库,数据预处理a.去除营销博文干扰b.去除提及人的干扰（）c.去除如门户的作者的干扰,大数据的处理,04,数据去重,空值处理,数据去噪,格式统一,对齐融合,融合信息数据库,融合信息数据库,里程数据工况数据,充电数据,行驶轨迹,车辆信息,将空值更改为对应的默认值,使用UGC算法去除无用数据使用基于密度的聚类去除异常数据,将多源异构数据转换为统一数据表达形式,去除异常的数据项,汇聚多源异构数据中的一致部分,数据挖掘分类的过程,3,大数据应用案例,大数据是做好音乐平台的一把利器,01,爽歪的麻雀，在电线杆上裸睡,削个椰子皮，你却TM给个梨,撒米拉带带，哇嘎哇嘎哎哟,想听的歌记不起名字？

呀马大叔与小舅舅,四斤大豆，三根皮带,艾薇，莎啦啦，艾瑞噢喔噢喔，手刹,多情咱切抱刘继芬,钢铁锅，含眼泪喊修瓢锅,啊瑞宁瑞宁瑞宁瑞宁瑞宁,产品竞争,04,*听歌进入社交化时代，听歌单、听歌看评论成为流行听歌行为；

*个性化推荐已覆盖多数听歌用户，越来越多用户通过个性化推荐发现好音乐；

*听歌进入多元化时代，民谣、电音、二次元音乐崛起；

*独立音乐人迅速崛起，社交互动助推音乐人涨粉；

*90后已成为音乐消费主力人群；

*用户付费意识明显提高，付费会员数和数字专辑售卖增长迅猛；

*综艺影视对音乐的影响依旧强大，热门歌曲中7成来源于综艺或影视；

*偶像流行乐保持高热度，欧美歌曲受众提升；

*音乐市场正在构建一种新的评价体系，评论数成为歌曲热度重要评价指标；

*男歌手受喜爱度高于女歌手，女性歌迷消费群体经济崛起；

截至2016年7月呈现2亿音乐用户听歌行为以及2万音乐人活跃行为,用户分析,05,主要需求（音乐消费者）1、播放音乐2、发现音乐（喜欢的、特别的、潮流的）3、展示自我，有基于音乐的互动。

目标用户：

热爱音乐，对音乐有较高需求的高素质年轻人群。

用户分析,05,目标用户：

通过数据可以发现网易云音乐用户群中19-30岁年龄段用户最多，占比达到48%，整体用户群偏年轻化。

职业分布：

学生和IT从业者占据绝大用户群，企业中高层管理人员所占比例最少，另外的专业工作人员所占比例区别不大，用户群体整体受教育程度普遍较高。

05,主要需求（音乐内容产生者）1、宣传音乐（新歌、特别的口味）2、宣传个人品牌（演播厅、采访直播、互动等）3、盈利（版权收费、会员收费等）,用户分析,目标用户：

（内容产生者是活跃音乐社区的关键）,用户分析,05,用户分析,05,02,推荐歌单,3种推荐维度和2种推荐算法,通过微信微博等社区软件进行传播分享,网易音乐编辑人员人工推荐的歌单和电台。

朋友推荐,人工推荐,通过大数据分析计算后的智能推荐歌单,智能推荐,以人为本算法,以歌为本算法,“喜欢这首歌的人，也喜欢XX”喜欢：

点击“喜欢”、评论、下载、收藏到歌单的人,所听歌曲的标签在其它歌曲也包含则推荐该歌曲,02,计算公式,潜在因子（LatentFactor）算法：

这种算法是在NetFlix（没错，就是用大数据捧火纸牌屋的那家公司）的推荐算法竞赛中获奖的算法，最早被应用于电影推荐中。

这种算法在实际应用中比现在排名第一的邰原朗所介绍的算法误差（RMSE）会小不少，效率更高。

我下面仅利用基础的矩阵知识来介绍下这种算法。

这种算法的思想是这样：

每个用户（user）都有自己的偏好，比如A喜欢带有小清新的、吉他伴奏的、王菲等元素（latentfactor），如果一首歌（item）带有这些元素，那么就将这首歌推荐给该用户，也就是用元素去连接用户和音乐。

每个人对不同的元素偏好不同，而每首歌包含的元素也不一样。

矩阵计算得分的方式,TNANKYOU！