电信大数据调研报告.docx

1、电信大数据调研报告 电信大数据调研报告目录1 电信大数据应用现状 12 电信运营商的网络管理和优化 33 电信运营商的精准营销 54 电信运营商的数据变现 65 电信大数据发展趋势 151 电信大数据应用现状电信行业已经有上百年的历史，当前正面临着大数据带来的新机遇和新挑战。以中国移动举例，每日从事务性系统中产生的结构化数据就达到8TB，汇聚的经过压缩后的上网日志数据达到400TB，而最原始的信令量更是达到数PB到数十PB。如果将这些数据视为成本的话，那么电信运营商将面临巨大的投资压力。但从另外一个角度上考虑，如果这些数据能被当作资产一样产生收益、增值保值，那不异于拓展了一个全新的领域。电信运

2、营商为了提供更好的网络通信质量和更灵活的计费方式而建设了一系列的IT系统，比如网络管理系统、深度包分析(DPI)、信令分析系统、计费系统、客户关系管理系统、企业信息管理系统（MIS）。这些系统原本设计的目的是用于内部的管理，但是其不经意累计下来的海量数据被发现可以用于其他领域，用于增强电信运营商本身的商业模式，或者让其他行业或企业的商业模式更加具有竞争力。这就是大数据典型的“数据外部化”特性，即数据的价值可能发挥在IT系统设计者所意想不到的地方，因此任何企业和IT系统都应当竭尽可能地留存数据。此外电信运营商在提供固化、移动通信、宽带等基础电信服务的基础上，也提供一系列增值业务，例如音乐、图书、

3、下载、动漫、支付等。这些互联网和移动互联网的应用在为用户提供服务的同时也积累了大量的信息。由于电信运营商本质上是提供信息沟通渠道和桥梁的，因此从一开始就非常重视数据在生产和经营环节中的指导作用，大数据的兴起更是为电信运营商拓展了一个全新的领域。电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示，全球120家运营商中约有48%的运营商正在实施大数据，其他没有实施大数据的运营商有60%准备在两年内实施，如下图2-6所示：图2-6 调查结果此外，该调查还显示：大数据成本平均占到运营商总IT预算的10%，并且在未来五年内将升至23%左右，移动运营商更加积极

4、布局大数据，但也不会比全业务运营商投资更快。如下图2-7所示：图2-7 调查结果大数据在电信运营商的应用可以分为对内和对外两个部分。对内利用大数据来增强自身的商业模式，具体包括利用大数据进行网络管理和优化、细分市场产品研发、精确营销、客户挽留、企业精细化管理等。对外方面，国内外电信运营商正在尝试将数据货币化，利用大数据发现新的商业模式，发挥数据的外部社会和经济价值。以下按照电信运营商在大数据领域的应用分类以此展开。2 电信运营商的网络管理和优化电信运营商所拥有的电信运营网络是其核心能力，如何利用大数据技术进行网络管理和优化成为研究热点。在网络管理和优化方面，主要包括以下两大方面：（1）基础设施

5、建设的优化：如利用大数据实现基站和热点的选址以及资源的分配，运营商可以通过分析话单和信令中用户的流量在时间周期和位置特征方面的分布，对2G、3G的高流量区域设计4G基站和WLAN热点；同时，运营商还可以对建立评估模型对已有基站的效率和成本进行评估，发现基站建设的资源浪费问题，如某些地区为了完成基站建设指标将基站建设在人际罕至的地方等。（2）网络运营管理及优化：在网络运营层面，运营商可以通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率。在这种场景里，主要利用大数据技术实时采集处理网络信令数据，监控网络状况，进而基于监控

6、到的大数据，实现相关应用。国内国外运营商在此方向均有较多的应用，如： 德国电信建立预测城市里面的各区域无线资源占用模型，根据预测结果，灵活的提前配置无线资源，如在白天给CBD地区多分配无线资源，在晚上，则给酒吧地区多分配无线资源，使得无线网络的运行效率和利用率更高。 法国电信通过分析发现某段网络上的掉话率持续过高，借助大数据手段诊断出通话中断产生的原因是网络负荷过重造成，并根据分析结果优化网络布局，为客户提供了更好的体验，获得了更多的客户以及业务增长。 中国移动辽宁公司基于大数据挖掘技术的感知掉话分析掉话率是通信保持类的重要性能指标之一，也是公司重点考核的KPI指标之一，它反映了MS（终端）用

7、户在正常接入信道后由于各种原因没能正常结束通话的概率，掉话率过高会直接影响用户感受。早期掉话的判定主要基于话务统计数据，然而一部分用户的真实体验并不能完全在该数字上体现出来，这导致往往掉话指标很好，用户的感知却很差。通过对网络信令的数据分析，实施采集数据合并、字段筛选、数学建模等过程，通过通过随机森林的挖掘算法找出网络中存在的用户感知掉话，以解决网络中的存在隐性问题，提高用户满意度。以沈阳地市掉话率分析为例，通过大数据分析技术得到的掉话率在话统掉话率的左右。以下为感知掉话热力图与用户投诉情况对比情况，通过对比可以看出， 感知掉话率与用户投诉情况较为一致。图2-8 感知掉话热力图图2-9 掉话投

8、诉用户地理分布3 电信运营商的精准营销电信运营商在精准营销方面应该是应用大数据最为广泛的领域，此方向包括客户画像、关系链研究、精准营销等。（1）客户画像：运营商可以基于客户终端信息、位置信息、通话行为、手机上网行为轨迹等丰富的数据，为每个客户打上人口统计学特征、消费行为、上网行为和兴趣爱好标签，并借助数据挖掘技术（如分类、聚类、RFM等）进行客户分群，完善客户的360度画像，帮助运营商深入了解客户行为偏好和需求特征。（2）社交圈研究：运营商可以通过分析客户通讯录、通话行为、网络社交行以及客户资料等数据，开展交往圈分析。尤其是利用各种联系记录形成社交网络来丰富对用户的洞察，并进一步利用图挖掘的方

9、法来发现各种圈子，发现圈子中的关键人员，以及识别家庭和政企客户；或者分析社交圈子寻找营销机会。（3）精准营销和实时营销：运营商在客户画像的基础上对客户特征的深入理解，建立客户与业务、资费套餐、终端类型、在用网络的精准匹配，并在在推送渠道、推送时机、推送方式上满足客户的需求，实现精准营销。 中国移动江苏公司流量套餐营销移动语音通信市场逐渐趋于饱和，基于语音通信的短信、彩铃、彩信等增值业务已经有了明显的下降趋势，移动互联网的发展、智能终端的普及、APP智能应用的层出不穷、终端性能的不断强化，将数据业务流量提升到新的档次，流量成为最有价值的增长点。实时把握用户的流量需求，进行相应套餐匹配推荐，将会带

10、来互赢的效益。首先梳理当前流量套餐产品线，将融合套餐和纯流量套餐进行全量组合，去除冗余后，得到当前备选套餐组合；基于用户的流量使用量以及变化趋势，依据回归算法进行趋势分析以及波动分析，对其流量生命周期进行划分；而后对于处于不同生命周期的用户，依据其ARPU、本地通话、长途通话、漫游通话、流量使用情况，对于各备选套餐组合进行欧氏距离测算，选择最佳适配套餐组合。随之根据不同的周期用户，建设不同的营销策略。以全球通用户为例，对获取期的用户进行如下策略。4 电信运营商的数据变现数据变现指通过企业自身拥有的大数据资产进行对外商业化，获取收益。目前主要包括精准广告投放以及基于大数据的监控决策等。目前国内外

11、运营商的数据变现都处于探索阶段，但相对来说，国外运营商在这方面发展的更快一些。比如：西班牙电信成立了名为“动态洞察”的大数据业务部门，推出的首款产品名为“智慧足迹”，基于完全匿名和聚合的移动网络数据，可对某个时段、某个地点人流量的关键影响因素进行分析，并将洞察结果面向政企客户提供。德国电信和Vodafone在利用大数据为自身业务服务之余，已向商业模式跨出了一步，主要尝试是通过开放API，向数据挖掘公司等合作方提供部分用户匿名地理位置数据，以掌握人群出行规律，有效地与一些LBS应用服务对接。美国Verizon则成立了精准营销部门Precision Marketing Division。提供三方面

12、的服务，首先是精准营销洞察(Precision Market Insights)，提供商业数据分析服务；其次是精准营销(Precision Marketing)，提供广告投放支撑；最后是移动商务(Mobile Commerce)，主要面向Isis(Verizon、AT&T和T-Mobile发起的移动支付系统)。 中国移动江苏公司“智慧洞察”对外数据服务平台中国移动江苏公司建设了“智慧洞察”（Smart Insights）对外数据服务平台。平台依托企业数据中心强大的处理能力与海量数据，基于完全匿名和聚合的移动数据，利用统计分析、数据挖掘等技术，向客户提供标准化数据产品、大数据分析报告、高效Ope

13、n API服务。为社会、政府、企业以及家庭、个人客户提供经过分析挖掘而形成的价值产品与服务，实现数据价值提升与共享。江苏公司大数据对外服务平台支持多元化服务支撑方式，包括标准化产品、大数据分析报告和数据开放API，而所有服务模式都基于企业数据中心的统一数据服务工具。 图2-10 平台架构（1）标准化产品 根据特定客户群或者具体行业的业务特征，进行数据分析，并封装成独立产品，给客户提供方便快捷产品应用，助力客户提升核心竞争力。 （2）大数据分析报告 对数据中心相关数据进行综合分析，挖掘市场的各类热点，形成高价值分析报告，为广大消费者提供消费向导，为客户的产品分析提供全新研究思路，为企业提供决策辅

14、助依据。 （3）数据开放API面向第三方开发者、合作伙伴等提供数据开放服务，对数据中心海量数据进行统计分析，将分析结果信息进行数据封装，满足第三方的大数据共享需求，助力行业客户实现大数据应用的快速开发。 API可用于支撑ICT为客户提供定制化方案，也可直接面向第三方提供服务。“智慧洞察”依托大数据对外服务平台提供服务，而其背后则是企业级大数据平台强大的数据采集、处理、分析的支撑。例如用户的位置信息可通过语音话单、GPRS话单、A/Mc口信令、Gb口信令等方式获得，但每种方式都有缺失，只有整合所有数据来源并进行分析和加工，才能对用户时-空序列特征的全面、统一的描述。“智慧洞察”具体的应用案例：

15、客源分析标准产品目前已应用于常州中华恐龙园、苏州金鸡湖、南京夫子庙、玄武湖、太湖等数十家景区。主要功能点： 客源构成分析：分析人群构成，区分出真正游客人员； 景区景点人员密度：通过基站分析各景点实时客流情况，便于疏导与管理； 流量监控与预警：提高景区管理职能、服务能力及安全保障能力。 央视在大数据类栏目引用此平台界面与数据报道假日期间景区的游客情况，如下：图2-11 假日期间景区游客情况 数据开放API对外数据服务平台研究通过数据开放方式实现数据价值的输出，同时考虑用户信息安全、数据传输实时性要求等，形成以终端数据、位置数据、流量数据为重点业务的对外数据开放API服务。目前位置类API已应用在

16、在南京旅委“南京智慧旅游数据运行监测中心”项目中，在2014年度江苏省智慧旅游推进会上，此项目被江苏省旅游局评为“江苏省智慧旅游优秀项目”。其中通过API提供大数据服务作为基础服务为旅委管理提供如下服务：（1）实时分析当日客源数据和瞬时客流量，为节假日景区舒适度指数提供数据；（2）对重点景区、特色景点客流情况进行实时监测，提高应急响应水平；（3）支撑数据监控中心，实现客源分布、景区舒适度指数等监控数据实时呈现；此外，与无锡旅游委也已达成合作协议，将通过API聚合类数据提供深度服务。案例1：中国电信广告精准投放平台根据艾瑞咨询对中国网络广告市场的分析：2013年，市场规模达到1100.0亿元，同

17、比增长46.1%，在目前市场预期下，2015年市场规模或达两千亿元，未来三年互联网广告产业会进入到一个30%年增长的水平，并在更长的一段时期里进入保持成熟发展。从国际国内的情况来看，在网络广告中的程序化投放广告，特别是RTB实时竞价的广告投放呈上升趋势。图2-12 中国网络广告市场分析程序化投放类广告中最为具有潜力的就是根据媒体、受众、广告内容三者实时最优匹配的RTB（实时竞价）广告。它的原理大致如下：图2-13 最优匹配原理当有消费者广告位所在应用/页面时，Ad Exchange就会同时实时通知DSP，DSP需要60-300ms内，决定要不要出价竞这个广告。一旦竞价成功，广告就会展示出来。D

18、SP后端连接DMP，为了让DSP在要求的时间内完成响应，以便参与竞价，DMP的响应效率也需要相应的匹配。当DSP竞价时，实时返回竞拍价格、广告链接，以支持广告展示，同时也可以同步返回监播地址，实时监控消费受众在广告位的行为，以进一步调整优化广告策略。因此，在RTB广告中，最关键的就是如何竭尽可能地识别受众和分析受众，并能打破时间、空间和终端的分割形成对受众全方位的洞察。原有互联网模式下基于Cookie的链接和判断方式在移动互联网模式下存在难以跨屏、Cookie生命周期短、受众行为信息缺失等种种问题。而电信运营商对“管道”中的数据进行DPI解析，可以深度分析用户行为，可以识别用户的Cookie、

19、IMEI、计费代码等信息，可以有效帮助DSP更加精确地投放广告。根据数据显示，基于运营商DMP进行精确投放的CPC类广告，点击率相比未区分受众的模式提高了一个数量级。中国电信2009年试点精准广告业务 ，主要是通过分光系统DPI，与外部的媒体进行合作，形成精准广告推送业务，共有11个省开展了试点业务，并取得了比较好的经济效益。2013年启动大数据RTB广告业务。图2-14以上海电信举例，其在电信机房搭建了一个上百节点的Hadoop集群，将来自城域网（其中涵盖固网宽带、企业宽带和手机宽带的流量数据）的DPI结果以及AAA认证服务器的认证记录进行关联、预处理、去隐私和压缩。然后将这些数据和数据处理

20、的基础能力（MapReduce和Hbase）以多租户的模式提供给每家DSP供其生成自身出价所需的客户标签信息。然后这些DSP接入来自ADX的广告媒体流量，进行出价。目前上海电信的DSP有四家合作伙伴：集奥聚合、亚信、晶赞科技、MediaV。数据和技术服务费当年收入约为1500万，预计2015年翻倍。基于受众的RTB广告模式适宜某些品牌和效果类广告的投放。以游戏类广告举例。某游戏类广告投放，无精准定向的CPA为80元，业内平均精准效果为30元，利用运营商大数据优化后，CPA降低到19.6元。案例2：wi2免费Wi-Fi运营去过日本旅游的人可能会记得，在火车站、公交站、咖啡馆、购物场所等地方可以搜

21、索到一个免费的Wi-Fi热点，就是wi2。它不仅给日本本国的国民，更是给到日本旅游，又希望省钱的外国国民带来了极大的方便。Wi2由日本运营商KDDI控股，在大东京都市圈部署了2万个左右的热点。这些热点可以免费提供使用，但wi2何以盈利呢？图2-15Wi2盈利模式与国内电信运营商的模式不一样，是电信的互联网前向免费、后向收费的模式。通过为客户免费提供Wi-Fi访问的方式，积累了大量的客户数据，包括位置、终端和访问内容，然后将这些信息打包为数据产品提供给商家，同时也基于这些信息部署展示类或效果类精确广告，实现盈利。值得注意的是，wi2在用户免费使用Wi-Fi的协议中，明确了对数据的所有权和使用权，

22、这是免费使用Wi-Fi的一个交换条件。Wi2提供了两款大数据产品：Ideal-insight和wifig。图2-16Ideal-insight是提供给wi2的热点附近的商家的一项数据产品。它将从2万个wi2热点中获取用户时间序列、使用的终端、网络访问的内容；wi2客户端（wi2 connet）中收集的个人信息、GPS信息；政府公开数据中的天气数据；商家自己上传的POS收银数据进行联合分析。告诉商家顾客的来源、国别，顾客曾经光顾和停留过的地点，附近人流的趋势和特征，帮助商家更好地进行市场营销。同时，通过wi2的客户端，商家也可以根据顾客特征为顾客推送优惠券信息。图2-17Wifig是另一款数据产

23、品。它主要针对外国来日本旅游的用户。由于wi2分析了用户的访问记录，因此可以从网页的URL或编码信息中知道用户来自哪个国家。因此可以分析不同国家的人的旅游、住宿和娱乐偏好，因此可以帮助旅游公司、巴士公司和纪念品商家进行更好的规划。更加直接的是，根据分析到的用户特征。Wi2可以在客户端中推送，或者在Wi-Fi登录的首页面放置交通、旅游、娱乐的推荐信息，这种效果类广告定向投放非常精准，为wi2公司带来的收益也颇为可观。值得一题的是，wi2是整合了原有国内3-4家Wi-Fi提供商来提供无线上网服务，后端的分析和推荐功能完全部署在AWS的云计算之上，采用EMR进行日志的加工和汇总，采用Mahout来进

24、行推荐和预测。wi2无需建设大数据基础设施，便可快速灵活开展业务，其核心是大数据算法和大数据的商业思维。国内三大电信运营商为了弥补原有网络容量的不足，也建立了大量的wifi进行补充。但是其前向收费的商业模式阻碍了用户的使用，没有用户使用也就没有数据的沉淀，使得后向变现也变得不可能。因此三大电信运营商都在反思耗资巨大的Wi-Fi网络到底应该如何发展。Wi2成功进行的免费wifi商业运营是一个很好的方向。一些省的电信、移动和联通纷纷开展了类似的探索。也许有一天，走进星巴克或万达商场，在享受免费Wi-Fi的同时，你并没有意识到，这些Wi-Fi全部是电信运营商提供的，所有数据在后端汇集到了云中，进行某

25、些有趣的分析和加工。5 电信大数据发展趋势总的来看，电信行业的大数据依然处于探索阶段，未来几年，无论是内部大数据应用还是外部大数据商业化都有很大的成长空间。但电信行业大数据最大的障碍是数据孤岛效应严重，由于国内运营商的区域化运营，电信企业的数据分别存储在各地区分公司，甚至分公司不同业务的数据都有可能没打通。而互联网和大数据则是没有边界。对于三大运营商来讲，各家对于大数据的发展思路也各不相同，但总体来说均在加速推进。中国移动从“移动通信专家”到“移动信息专家”的策略转变，就是为顺应移动互联网时代潮流而做出的改变。这一战略的发展基础就是中国移动针对大数据和云计算研究所获得的应用发展方向。中国移动在

26、大云2.5平台上部署了分析型PaaS产品，利用BC-Hadoop构建大数据处理平台以及海量结构化数据存储系统（BC-Hugetable），同时建设了并行数据挖掘系统（BC-PDM&ETL）以及商务智能平台（BI-PAAS）等大数据应用平台，为将来在大数据应用和服务市场做了充分准备。中国联通对大数据的探索源自于2010年中国联通数据大集中策略的提出。2009年，中国联通3G业务正式商用，提出“统一品牌、统一业务、统一包装、统一资费、统一终端政策、统一服务标准”的“六个统一”策略。这意味着中国联通要走一条数据大集中的路线。2012年底，中国联通就已经成功将大数据和Hadoop技术引入到移动通信用户

27、上网记录集中查询与分析支撑系统。当前，中国联通已经新增100亿投资重庆大数据计划，显现了其发展大数据，转型自身业务的决心。中国电信很早就已经意识到移动互联网时代的到来，并于2005年提出了战略转型的构想，主要目的就是为了应对移动互联网时代的挑战。而当前，中国电信已经提出了“智慧城市”发展战略，其中很重要的技术结合点就是物联网和大数据。基于以上战略，中国电信定位成为智能管道的主导者、综合平台的提供者、内容应用的参与者。而在“流量经营”方面，中国电信从“话务经营”向“流量经营”转型。结合大数据技术，中国电信也将深入IDC服务以及智慧城市建设，并发掘移动互联与之结合的商机，重塑转型之路。总之，运营商利用大数据来推动业务转型将是未来电信市场的一个重要方向。电信运营商如果能够通过技术的进步，不断释放其管道中庞大数据的潜在力量，将会成为未来移动互联时代中最大的赢家。所以，电信业也势必将大部分的投资转向大数据应用市场。根据赛迪顾问分析预测，未来三年，中国电信业大数据应用市场将保持快速增长势头，增长水平高于大数据整体市场增速，到2015年，电信业大数据应用市场规模预计将达到25.3亿元。