大数据技术应用方向和推动发展的探讨.pptx

1、大数据技术应用方向和推动发展的探讨,Light Your Business,目录,大数据产业链洞察及商业价值 大数据应用领域及平台建设案例介绍 华为大数据解决方案介绍 浙江移动大数据能力构建研讨与建议,大数据成为实现企业智慧运营转型的核心引擎,智慧运营转型,数字经济驱动运营商彻底进行数字化重构，企业运营以“网络资源为中心”必将转变为“以客户体验及生态圈为中心”；大数据作为发动机引擎驱动客户价值创新、企业运营优化、合作伙伴商业创新，实现企业智慧运营转型,大数据业界通用的分层架构模型,碎片化的大数据生态系统,与其他领域不同，电信行业大数据生态系统碎片化严重，缺少E2E集成解决方案,存储计算层,计算

2、层硬件,2012：流数据处理StreamSmart,数据仓库,HBASE,HIVE,Hadoop,内存库,软件：AMStore,CEP引擎,流处理,BDI,ETL,2012：GaussDB,CEP,2012：Gauss内存库,Storm,Esper,Kafka/Flume,IT产品线：FusionInsight,应用,精准实时营销,体验提升,数据开放,数据仓库,MPP,内存库,dell,SAS分析模型,IBM,oracle分析模型,unica,Pontis,openX,服务,Accenture,TATA,外包运营服务,网络优化,SmartPCC,GFK,IBMSQM,Oracle BI App

3、s,E，NSN,业务能力层,HP,技术能力层,Splunk,Smartcare,Ericsson,华为能力短板,Guavus,Guavus,Guavus,E，NSN,Guavus,Guavus,Guavus,分析引擎,业务分析,华为的优势在于：1）拥有自研的大数据处理核心组件和引擎（超越IT厂商）；2）电信数据和业务的深度运营能力（OCS/SDP/核心网/CRM等）的长期积累；3）全球客户项目接触界面，知识和经验的沉淀,电信领域企业级大数据中心分层建设的方案趋势非常明显,三类大数据技术/服务提供者,解决方案供应商,技术供应商,分析服务供应商,目录,大数据产业链洞察及商业价值 大数据应用领域及平

4、台建设案例介绍 华为大数据解决方案介绍 浙江移动大数据能力构建研讨与建议,概述：全球1、2线运营商向客户资产经营转型，数据成为资产，大数据成为其提升运营、洞察客户的重要手段，同时积极尝试对外变现,市场&客户洞察,运营洞察,运营商大数据价值应用全景图,当前聚焦的应用场景,大数据在电信运营商行业的价值金字塔模型,金字塔模型展现的是冰山上的显性需求；随着管道资产驱动增长遇到瓶颈，经营客户资产变成战略焦点，企业级大数据中心成为其支撑其战略转型重要使能。,解决内部的风险监控,解决外部的风险监控,既有业务的更好运营,解决业务扩展问题,解决业务方向问题,需求,FusionInsight/Universe,S

5、QM(SmartCare）,CVM/Universe,ISA(Universe)Campaign(Universe)Data Miner(Universe),聚合与运营AEP(SDP),Universe,战略规划,企业经营管理,数据开放和交易,精细化运营和营销,用户体验管理,运营/运维风险管理,大数据分析平台,大数据基础设施,战略规划,竞争分析收入分析专题分析,数据货币化数据可视化,自助数据分析活动收益提升用户个性化推荐和生命周期管理,用户行为分析产品体验分析&监测,异常智能监控&分析,大数据分析平台,Strategic Performance Management,大数据基础架构,自下而上，

6、对于人的依赖性越来越强,自上而下，自动化程度越来越高,主题,大数据应用,如何构建运营商实施大数据的能力成熟度评估模型,Now,2010,2017,LTE明显提升客户体验，XXXX需要稳固存量市场，避免用户流失，尤其对高ARPU值的用户维挽非常关键。,上海XX案例：业务困境&突围思路,运营商间激烈的同质竞争,增量经营向精细化存量经营转变,精准：基于大数据用户洞察，微营销敏捷：基于场景和事件触发的自动营销开放：渠道合作/能力开放，数据价值变现,来自互联网替代竞争越来越激烈,预计到2016年，在发达市场，OTT玩家将捕获差不多15的用户移动语音分钟数，电信运营商话音收入开始下降，运营商需要进行运营模

7、式变革。运营商增值业务缺乏竞争力不断被OTT替换。,产品互联网化：用户需求洞察，个性化产品开渠道互联网化：用户渠道洞察，个性化精准营运营互联网化：敏捷实时运营监控，主动维系,全渠道、全覆盖、精细化触点运作,单手机用户维系成本14元，维系成本/用户贡献的关系为1:30线上/线下渠道发展成本比1：7，后付费维系成本比为1：3,2012年运营商在信息产业的价值占比为21%，预计2020年下降至16%,2014年存量和增量的收入比已经达到2:1，新增用户ARPU水平持续下降，新老用户的单用户贡献比为1:1.4后付费用户价值保有率提升1个点，全年收入可提升XXXX万预付费用户生命周期延长1个月，全年可提

8、升收入1XXX万,上海XX案例：大数据应用场景建设端到端分解视图,上海XX案例：大数据应用效果,营销成功率大幅上升,全生命周期体验精准洞察和深度干预,每月发布23款大数据标准化能力,各类微营销场景50个以上微营销平均用户规模从9万下降至3万/单活动，减少无效用户打扰1100万人次,华为4个月完成23个用户洞察模型开发和验证，并应用于190多次营销活动六维用户标签体系（1228个）实现对用户的全覆盖”用户离网预测模型”准确率达90%，远高于业界平均的70%户均流量提升50M；300M用户提升7%占比达到35.1%,上海XX案例：新商业模式探索,人流轨迹数据产品开放合作伙伴：XXXX 客户：上海烟

9、草、GFK,行业：户外广告位估价、店面选址评估价值：100m*100m栅格扫，开放单位时间内栅格的人流统计信息定价：按单栅格*时间进行基础定价,用户兴趣标签产品合作伙伴：晶赞科技,行业：RTB(互联网实时广告)价值：向互联网广告代理提供基于用户兴趣标签的产品推荐定价：按流量人次定价,基于用户行为洞察的联合营销合作伙伴：中青旅,行业：零售，帮助中青旅高端旅游产品寻找潜在用户，精准营销价值：用户偏好与用户行为的实时洞察、用户相似性比较分析定价：佣金分成,行业指数用户位置、行为、偏好等聚类分析，提升企业品牌,案例：TelcomSel（现状、架构、近期应用重点）,2013年6月，集团IT规划提出了Da

10、ta Analytics和CEM的发展方向应用Case：规划了大数据分析平台建设路径，分析能力演进，数据分析use cases等系统架构：利用现有系统（Netezza,SPSS）、采用cloudera hadoop平台、补助实时数据处理部件，为集团构建了大数据基础平台和大数据分析平台分析服务：Telkom集团与本地三家IT公司合作，将规划的use cases在大数据平台上落地,1、规划了一系列的分析Case，偏重营销、社交媒体分析、地理位置分析等2、当前的痛点（1）Local厂商分析（尤其是对网络侧数据）能力弱，分析Case进展慢（2）没有统一的数据视图和管理框架，看似完备的基础设施效果有待验

11、证。,TLF集团：构建数据整合DataHub，聚焦数据变现,关键价值业务场景,数据变现三部曲数据采集Collect raw data数据采集是为数据洞察做准备，其包括:File-basedRealtime stream-based实时分析和营销需求对实时流数据分析能力提出要求。数据洞察Generate insight数据洞察是一个迭代的基于一定假设和前提的数据分析活动，目的是探索数据隐藏的内在联系和价值。海量的数据分析和洞察需要Hadoop基础设施和服务能力的支撑。价值呈现Exploit insight外部价值呈现需要通过洞察后的数据资产的对外销售，而内部价值呈现则是通过数据洞察提升营销效率（

12、包括传统的营销场景和实施营销场景）实时营销提升需要实时决策能力的支撑,广东XX深刻洞察用户的互联网行为,爱游戏,利用RSS、爬虫等解析互联网站及各级频道，按照客户访问行为进行分类，建立集团统一的客户访问互联网行为分类规范URL:当前平台累计完成超过10万个URL地址一级域名、二级域名、三级域名的归类整理，能够识别出80%以上的URL访问，一级分类有47个，二级分类有273个。关键词：系统每天能检索出2000万条的用户搜索词，并匹配到121中关键词分类中。标签：平台通过基础属性和标签组合的方式，目前可呈现出超过1000多种的业务特征。轨迹：平台能够当前沉淀出广、深、东、佛四地市的客户轨迹信息。,

13、经过半年的辅助运营，XXXX流量KPI在集团排名全面提升,2013-10,2013-02,Source:2013年10月联通集团流量经营省份排名情况,50M以上用户占比,873.4%,300M以上用户占比,户均流量,5272.68M,手机上网收入占收比,139.21%,9203.30M,667.84%,1623.96%,834.9%,1623.4%,流量单价,80.145￥,200.122￥,流量经营团队高效率响应和全方位的支撑下，XXXX流量KPI综合排名得到大幅度的提升。,13 3,集团综合排名,总结：大数据技术已成熟、但大多数运营商尚未形成如何从大数据中获益的能力、人才、流程和组织,目录

14、,大数据产业链洞察及商业价值 大数据应用领域及平台建设案例介绍 华为大数据解决方案介绍 浙江移动大数据能力构建研讨与建议,中国(南京)BDISmartMinerRTDVisualization,中国(深圳/香港)HadoopArtificial IntelligenceBig Data MiningIn-memory DBGauss DBStreamingOverall Architecture,印研HadoopStreamingVisualization,美研MPP DBData MiningMOLAP,欧研SmartSwitchRTDSecurity,中国(杭州)SmartStream,大

15、数据是华为公司级别TOP战略,2013年华为确立大数据是公司级TOP战略,截止到2014年6月份，全球拓展104个大数据市场项目,商业智能,流量经营,网络运维,客户关怀,大数据基础设施,精准营销,大数据分析和数据开放,华为在大数据领域深耕细作,5%,技术积累,实战经验,全球业界领军人物,华为的积累,组织支撑,平台团队+业务团队+解决方案咨询人员 全部大数据达到两千多人,在不同领域针对大数据应用积累了不同的经验：江苏移动、联通集团的详单查询；和记电信的hadoop应用；山东移动、河北移动不同MPP DB的使用；安徽移动的大数据量流式处理；广西移动、福建移动、河南移动等地的互联网分析应用。,大数据

16、相关技术专利49项（42项已有专利号，7项正在申请中）,IRDr.Li Hang,DM and MLDr.Fan Wei,HCIDai Wenyuan,DM and ML Prof.Yang Qiang,华为Hadoop社区贡献与成就,电信行业唯一 一家Apache基金银牌赞助商；向社区贡献HDFS 的HA方案，Hbase 二级索引方案和代码，正在准备贡献MR的HA方案，以在电信领域高可靠、高性能的长期积累为社区版本的高可靠和高性能做出巨大贡献。2009年开始，积极参与Hadoop社区建设，年平均提交补丁600多个；在Hadoop社区，拥有PMC 1名，Committer 4名,2011年Hu

17、awei向社区提交的补丁数和代码行排名第七，超过了Facebook。2013年根据华为统计，华为贡献排名上升到第4名。,Devaraj KHadoop YARN CommitterSource：http:/hadoop.apache.org/who.html#Hadoop+Committers,RajeshbabuHBase CommitterSource：http:/hbase.apache.org/team-list.html,2013年排名,华为Universe运营商行业大数据解决方案的定位,SET I3=Service IntegratorEcosystem IntegratorTec

18、hnology Integrator,凭借对运营商的业务和网络的深度理解，华为构建了以一套参考架构BDRA、三个套件、三种领域能力为核心的运营商行业大数据解决方案。,Universe解决方案参考架构BDRA（Big Data Reference Architecture）,创新商业模式云图,合作伙伴生态系统,数据云图,商业云图,柔性大数据供应链,数据安全与隐私,架构概述,产品组件,交付模型,标准规范,架构跪安,业务流,用例,非功能需求,+,+,BDRA提供如何使用华为大数据技术创建大数据平台及应用的规范性指导BDRA包括部署大数据应用的流程，参考模块及其规范性指导文档BDRA中的参考模块作为该

19、技术专题的权威参考通过BDRA，可以帮助运营商减少部署大数据应用的投资和上市时间利用完善的架构及原则，可以快速开发数据应用，减少失误，提升效率，并满足安全、性能、可扩展性等需求,确定需求，并使用向导工具开始使用数据供应链系统和服务,创建大数据应用和数据供应链系统所需的架构概述,1,2,确定大数据应用和数据供应链系统的产品组合,3,根据参考架构确定创建大数据应用的过程和详细的技术方案,对各相关技术指标或方案的要求,3a,3b,商业需求调研,客户化定制,+,Universe解决方案3个套件,预置电信领域全域数据地图面向业务概念的数据资产管理,面向商业问题预置56个领域分析知识提供面向业务人员的使用

20、体验分析模型TTM从数月降低到天,安全的、可自定义/自编排的API框架多种开发模式，构建数据生态圈分析结果的开放分析能力的开放第三方数据的引入,Universe解决方案3种领域能力（商业云图、数据云图、技术云图）,商业云图：快速检索商业运营问题根源并给出解决建议Use Case,数据云图：参照eTom模型定义可扩展的运营商数据资产目录标准,技术云图：深度参与和跟踪大数据业界技术堆栈各种技术的发展,统一Workbench降低大数据应用门槛，实现商业敏捷,管理人员,业务人员,数据分析师,IT工程师,统一WORKBENCH,统一Workbench,数据运营,合作伙伴,统一数据编排,三大套件,满足运营

21、商不同角色对大数据解决方案关键诉求（诚邀补充）,数据/知识供应者,数据/知识消费者,采购决策者,系统管理者,IT架构设计者,战略决策者,CEO：“柔性”，商业敏捷，组织敏捷，商业价值CMO：商业问题驱动业务增长（收入、利润、用户）CIO：“弹性”系统架构适应未来变化,业务人员：自助、协作、实时，面向商业问题的易用性数据运营人员：多层次数据开放能力（数据开放、APIs开放、分析能力开放）,数据工程师：整合数据供应，全域数据视图，自动化数据供应机制，最大化数据整合效率数据分析师：预置的分析能力，敏捷，智能，知识构建和管理能力，最短的TTM,CPO：定价模型符合业界通用模型，软件可获得性（开放）,系

22、统架构师：IT技能可获得性（通用货架而非专用货架），系统可扩展性与弹性伸缩，与周边系统的可集成性（SOA），快速交付能力,系统管理者：IT技能可获得性，全流程监控，故障自动定位能力，系统可恢复性,目录,大数据产业链洞察及商业价值 大数据应用领域及平台建设案例介绍 华为大数据解决方案介绍 浙江移动大数据能力构建研讨与建议,研讨问题1：大数据共享中心的构建步骤？,数据资产盘点数据资产盘点元/主数据管理制定信息架构标准数据生命周期定义,运营知识库构建客户/渠道/网络/.洞察模型用户场景发现模型运营指标体系定义,研讨问题2：大数据共享中心与BI定位上的差异？,范围数据范围业务支撑范围功能实时性智能性驱动运营模式转型驱动商业模式转型,研讨问题3：如何B、O域数据融合，以哪些对象为中心？,1、有多少人？2、多少人路过，多少人停留？3、学生/商务人士/普通白领分别是多少人？4、.,B/O数据融合发现新的商业价值,数据/信息资产管理架构设计思路,用户业务使用事件,用户业务办理事件,用户位置轨迹事件,用户账务情况事件,营销活动情况事件,渠道酬金支付事件,用户交往情况事件,产品使用情况事件,终端销售情况事件,用户上网行为事件,用户客服接触事件,样例：用户信息架构1级模型事件到实体的映射推导实体的扩展属性,