电信运营商大数据分析报告完美版Word下载.docx

1、经营分析 24522、第三方分析 25523、精准营销 26524、第三方合作 2753 运营商大数据市场规模 28531、运营商DSP 29532、消费金融 32533、信息安全监测 34534、运营商大数据加大投入 356、电信运营商大数据投资建议 3661、运营商大数据进入实质性商业阶段 3762、由互联网服务及行业信息化带来的大量数据所造就的大数据机遇 3863、大数据挖掘技术快速发展 397、主要公司分析 4071、东方国信 4172、烽火通信 4233、荣之联 4374、风险提示 441 移动互联推动运营商跨入大数据时代互联网时代正面临着从IT（Information Techno

2、logy）时代向DT（Data Technology）时代的演进，大数据已经成为主旋律，而作为最为庞大的大数据资源行业电信运营商行业即将面临时代赋予的机遇，带来诸多的投资机会。受益于移动终端数量的快速普及和移动网民数量的大幅增长，运营商已形成 有效的用户大数据，其自2012 年左右启动大数据搜集，并于2013 年起开始陆续收集大数据，开始累积比较完整的用户信息；进入2014 年后，运营商基本已进入到全用户数据采集阶段并已开始积极寻求合作，目前已有部分产品雏形。根据调研的情况，某省分运营商目前采集的数据量已经达到PB（1PB=1024TB）的级别。三大运营商在大数据的进展上略有差异。电信进展最快

3、、联通次之、移动进 展相对较慢。中电信大数据布局迅速主要是依靠之前固网宽带和IPTV 业务，使得其在移动互联时代之前已有大量数据并已开始进行采集和分析，无论是在数据的广度还是范围上均有优势，其应用进展相对较快。图表 1:电信运营商数据采集的层次与阶段图表 2：中国电信大数据发展路线图此外，运营商大数据现在主要分为三部分：采集、分析与应用（如图表1）。 由于运营商现有商业智能合作方对于运营商情况较为了解，可能优先获得业 务拓展的机会。此外，运营商倾向于一站式解决问题的供应商以提高项目效率与效果。因此，提供一体化商业解决方案的现有合作公司更有望获得运营商的优先合作机会，并且在运营商大数据资本开支投

4、资不断增长的情况下获益。2 通信大数据价值对比互联网、金融大数据特点显著21、大数据技术助力运营商数据获取能力拓展目前运营商在用户数据的获取上不断扩大范围，从最初的用户信息、通话信 息、账单信息等快速延伸，目前已包含：1）传统数据：如用户通信信息、账单信息、用户个人信息、客服信息等；2）个人附加信息：如位臵轨迹等；3）APP 使用数据：主要包括APP 下载、用户对APP 的使用时长、点击等数据。在上述数据的基础上，目前运营商已经构建了多个大数据平台，全方位、多角度地收集用户信息。图表 3：电信运营商大数据平台运营商天然具有用户的信息，并且在这几年国家力推用户实名制后，运营商 基本具备用户真实信

5、息和完整信息。此外，考虑到，手机信息非常重要，主要有以下几大原因：图表 4：手机数据具有重要作用利用这些数据进行对内及对外的大数据运营将是运营商扩大自身价值的不二选择，而在此之前对于数据收集、管理、应用的投入也将不断增加，利好产 业链。22、互联网企业大数据人群广度上仍有所不足反观互联网企业，虽然在各自垂直领域拥有较为深入的数据，在深度上较有 优势，但是其数据覆盖面较窄，可能难以勾勒出用户全景。可以以BAT 三家大数据情况为例：1）阿里巴巴：阿里最为突出的是电商数据，尤其是用户在淘宝和天猫上的商 品浏览、搜索、点击、收藏和购买等数据，其数据最大特点是从浏览到支付形成的用户漏斗式转化数据。借此，

6、阿里拥有用户的交易数据和信用数据，并通过支付宝获得用户实名认证。此外，阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据，如微博和高德等。但典型如芝麻信用，其能够定位信用度较高的人，但是由于其数据对人群覆盖广度的不足，无法定位信用度不够的人，这一点在其实际应用中已有体现。2）XX：XX的数据以用户搜索的关键词、以及被抓取的网页、图片和视频数据为主，XX的数据特点是通过搜索关键词直接反映用户兴趣和需求，百 度的数据以非结构化数据更多，但是其无法得知用户个人信息和最终消费行为等。3）腾讯：腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为，从里面挖掘出政治、社会、文化、

7、商业、健康等领域 的信息，但是其社交信息也存在非实名制问题，同时，腾讯也无法得知用户的具体行为，只能做出一定的推断。图表 5：BAT 大数据来源23、金融企业大数据在对人群属性定位在过于狭窄金融大数据重点如银联大数据、银行大数据等，其主要特点是对用户的消费 交易流水、资金流水等能够进行获取利用，主要能够对该用户的支付能力判 断提供较好的数据支撑，但对比于电商大数据，其对用户具体消费属性的定 位可能有所欠缺，对特定O2O 需求更是缺乏定位。24、运营商大数据在定位用户O2O需求方面优势显著以BAT 为首的互联网企业在各自领域已积极布局大数据，并已对大数据挖掘等进行深入探索。但是，互联网厂商数据在

8、O2O 时代仍存缺陷。如果把全国社会消费零售总额区分为“提袋消费”和“非提袋消费”两类，则提袋消费占据大概1/3，也就是可以通过物流等方式实现的商品购买行为，这部分是受电商冲击比较直接的部分，BAT 和携程等的数据能够较好的搜集用户关于提袋消费方面的数据；然而在占据2/3 的非提袋消费中，主要特征为无法线上消费，但是可以线上预订必须线下消费，也就是大家所说的O2O，比如旅游、娱乐、健康、教育等，而在这个领域，电信运营商可以通过用户的电话指向、搜索关键词、位臵信息、APP 使用特征等较为全面的描绘，而在互联网领域由于O2O 业务本身并未成熟，相关数据欠缺。在O2O 用户需求数据搜集方面，运营商大

9、数据明显更胜一筹。图表 6：互联网企业信息具有局限性3 DT 时代通信大数据将迎来货币化大机会流量经营时代将驱动运营商强化大数据应用能力带来行业性机会近两年运营商对于大数据的经营发生了较大变化，从过去主要采集用户信息、ARPU 值等用于经分、客户维护等，逐渐转向信令数据、用户数据、APP 数据的采集和分析等。这其中主要由于发生了几大变化，使得运营商更注重大数据：1）移动互联网时代的到来：进入到移动互联网时代，手机变成用于上网最多的终端。在移动端上，运营商可以监测到每个用户使用的流量、用户的常用 APP、每个APP 打开次数、停留时间、搜索和浏览的网页等；2）由增量用户抢夺变为存量用户维系：目前

10、移动用户已达13 亿户，新增空间已十分有限。运营商的策略讲从争夺新增用户转向存量市场的挖掘和用户维 系，并且提高单用户的ARPU 值。因此，运营商更加关注大数据，希冀从中能够获得更多用户习惯和偏好进而通过针对性的措施提升ARPU。从运营商进行大数据挖掘的出发点进行考量，运营商目前最为关心的将主要 聚焦于如何用大数据提升用户的流量使用量，以及如何通过新的商业模式获 取更多收益。重点把握DT 时代大数据三种关键机遇31、通信大数据可细分为五个产业环节对于大数据的关注不应当仅仅局限于其应用领域。大数据的成功必然是整个流程的运作成功。在获取大数据后，其应用流程应当包含：采集、大数据库、分析与应用。目前

11、，在数据中，非结构化数据的占比已快速增长，而且非结构化数据与结 构化数据相比增长速度快10 到50 倍。根据IDC 的报告显示，目前大数据中非 结构化数据占到了80%90%之间。非结构化数据主要包含邮件、视频、微博、手机呼叫、网页点击、搜索等数据来源。可以说，非结构化数据随着互联网、特别是移动互联网的发展而快速兴起。如果说结构化数据用详实的方式记录了企业的生产交易活动，那么非结构化数据则是掌握企业命脉的关键内容，所反映的信息蕴含着诸多企业效益提高的机会。因此，只有解决非结构化数据的分析困难，才能有效挖掘这些数据背后的价值，驱动企业价值提升。未来，非结构化数据将占到更加主导的地位。随着非结构化数

12、据的爆炸式增长，传统体系已难以支撑。主要原因为：（1）传统体系无法支撑短时间内大量数据的采集；（2）传统体系要求必须将数据进行归档和分析后进行储存；（3）传统体系的大数据调取和分析需要耗费大量时间。（4）庞大的规模、指数级的增长和多变的特征使得大数据迫切需要一种可伸缩性更强、更灵活的数据管理和分析框架。而传统体系难以实现。因此，大数据产业链将主要分为如下几个环节：基于采集设备和存储设备的部署、大数据库开发运维、分析以及应用。图表 7：运营商大数据产业链环节在目前数据快速增加、大数据需要先存储再之后再按需及时进行大规模数据分析的现状，传统体系将遇到重大挑战，而这也是将数据采集、存储作为重要环节的

13、原因。其中，随着目前基础架构的革新，采集和存储、乃至分析的相关性都愈发增强。随着大数据的发展，Hadoop 日益成为该领域的主流架构，其在各项领域中均较原有的架构和体系拥有较大进步。此外，在分析层面，未来的分析工具将是集合从采集、分析到应用的一体化 大数据分析平台。以美国公司Splunk 为例 ，其为客户提供的是从数据采集、索引、核心功能到最终应用的一整套大数据分析平台，而非仅仅是最后一套设定的分析工具。在该平台上，用户可以随时按需定制化或更改应用。在数据分析后，Splunk 能够给出可直接使用或查看的结果。对于用户而言，在Splunk上可以实现数据分析的全过程。Splunk 目前市值已达80

14、 亿美元。而在应用层面，运营商大数据的应用范围将远不止于目前已经较为成熟的精准营销范畴，未来运营商将与第三方合作，将大数据的应用扩展到更多层面的应用，包含金融、流量经营等。目前，联通已与招商银行成立“招联消费金融有限公司”，双方将在大数据方面进行深入合作。未来，类似的合作将更多。32、采集环节价值并不显著运营商在大数据的采集上主要使用DPI 等进行。DPI 能够感知网络应用，给运营商提供网络控制和管理的手段。通过部署DPI 系统，运营商在流量及大数据方面可以做到：1）了解运营商网络的实际运营情况：DPI 系统能将网络上的流量情况从不同角度采集数据并且呈现给运营商；2）优化网络：在了解网络运营情

15、况的基础上，运营商可以利用自身网络资源，重新整合网络价值，从而达到降低投资成本的目的。由于运营商在大数据上的持续布局，运营商对于DPI 等采集设备的需求也在持续扩张。以中移动为例，可以从其“中国移动采购与招标网”上注意到，DPI 设备在不断进行采购，从总部到各省分均有较大需求，DPI 设备在运营商部署 初期存在快速上量的机会。但是从目前来看，DPI 虽然采集数据，但是采集的数据较为常规化，并且采集数据的种类和范围通常由运营商提出需求，DPI 设备和运维商根据需求进行相 应调整即可。图表 8：中移动DPI 采集设备集采招标33、非结构化数据特点推动大数据库卡位的价值大数据时代，对于数据有了新的需

16、求，首先数据库要能够存储大量数据并且 数据库易延展性较好，能够随时扩容；其次，非结构化数据也要能够做到易 于存储并随时按需调用；第三，大数据分析能力需要高效。而传统关系型数 据库在上述三者均遇到较大挑战。相比而言，Hadoop 体系能够较好地满足上 述需求，因此日益成为该领域的主流架构。331、创新公司高估值表明大数据底层架构体系受到欢迎Hadoop 商用企业Cloudera 估值超40 亿美元在Hadoop 生态系统中，Cloudera 规模最大且最为知名。Cloudera 成立于2008 年，是最早将 Hadoop 商用的公司。Cloudera 于2014 年4 月宣布完成一轮9 亿美元的

17、融资，其中包括英特尔投资的74 亿美元。当时，Cloudera 的估值约为41 亿美元。Cloudera 的客户包括AOL、哥伦比亚广播公司、eBay、Expedia、摩根大通、 Monsanto、诺基亚、RIM 和迪士尼等。Cloudera 提供了Cloudera Enterprise、ClouderaManager 以及Cloudera Navigator 等管理软件，实现数据的安全性、可扩展性和易管理性。Hortnoworks 估值超10 亿美元Hortonworks 成立于2011 年，是雅虎与Benchmark Capital 合资组建的公司，也是一家完全支持开源的Hadoop 公司

18、。截至2013 年4 月财年，其年度营业收入仅仅1100 万美元，但该公司的合作伙伴已超过140 个，其中包括微软、Teradata和Rackspace 等行业巨头。2014 年，公司收入中的60%来自于“productionsubscriptions”，另外40%的份额是来自培训和咨询业务。Hortnoworks 已经上市，目前市值为10 亿美元。332、 Hadoop 体系将是大数据时代最有可能的发展方向Hadoop 原本来自于谷歌一款名为MapReduce 的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架

19、的一个典型例子就是在网络数据上运行的搜索算法。Hadoop 最初只与网页索引有关，但由于体系适宜大数据特征，其优 越性使得其迅速发展成为分析大数据的领先平台。图表 9：Hadoop 体系优越性此外，考虑到运营商的非结构化数据来源过于广泛，可能出现需要的数据占比过低的问题。因此，在获取和采集数据后，需要进行“数据清洗”，将不必要的信息进行清洗，以达到减少数据存储量以及存储有用信息的目的。“数据清洗”的步骤在数据采集以及进入大数据库之间，随着数据量的迅速上升，该环节将得到更多重视。333、适应DT时代运营商积极转变BOSS（电信业务运营支持系统）融合了业务支撑系统（BSS，B 域）与运营支撑系统（

20、OSS，O 域），是一个综合的业务运营和管理平台，同时成为融合传统IP 数据业务与移动增值业务的综合管理平台。该系统基本功能包括用户资料管理、计费、结算等。其中BSS 域更偏重于传统电信经营领域，包括计费等；而OSS 域更偏重于网络域，即用户网络访问行为等。过去，BSS 和OSS 相对分离，并且BSS 在传统的通信中更受重视。然而，在移动互联网时代，OSS 所获取的偏互联网相关数据逐渐受到重视，并且将在运营商大数据时代起到更为重要的作用。从长远来看，OSS 将获得更快发展。同时，由于BSS 和OSS 获得的信息互补，因此两者融合的趋势较为明显。考虑到BSS 业务布臵多年、运营已达精细化程度，而

21、OSS 相对起步较晚，运营商对于原有BSS 布臵和运维的企业的依赖要高于OSS 的，而且OSS领域原有企业领先程度并不如BSS 领域的明显。因此在原有BSS 领域布臵和运营的企业更可能进行这种融合。图表 10：B 域与O 域融合且O 域不断受到重视此外，注意到，由于运营商开始注重O 域数据，而这类偏互联网的数据 量将原有数据将明显增加。在传统B 域，运营商只需要记录用户通话数据、发短信数据、计费信息等，并且对于通话数据的记录也较为简单，基本仅包含：通话起始时间、挂断时间、通话时间、呼叫人、被呼叫人、地域等简单且结构化信息。而在O 域的数据将复杂地多，将包含：打开网页、打开APP次数、搜索关键词

22、等多项非结构化数据。在移动互联网时代，该类信息量已远超过去，因此，传统的关系型数据库开始受到挑战。这种挑战主要体现在几方面：1）关系型数据库无法大规模扩展，尽管网络解决方案和优化在一定程度上改善了这个问题，但网络中仍然无法动态地创建新的集群，因此使用关系型数据库构建大数据解决方案就会变得异常昂贵和低效；2）关系型数据库不善于处理互联网时代下爆发的非结构化数据；3）SQL 和关系型数据库的组合对一些简单查询难以快速实现。 而Hadoop 体系对于大量的非结构化数据有其独到之处，获得各方青睐。未来， 运营商将主要依靠Hadoop 体系作为大数据库的底层架构。以中移动为例，在“中国移动采购与招标网”

23、上注意到，中移动对于Hadoop 的招标非常频繁且持续不断，表明运营商目前对于Hadoop 体系的大量建设需求，同时也间接反映出运营商在大数据上的快速前进。从调研情况来看，某运营商仅一省分公司每年对于Hadoop 体系的投资将达到数千万规模，集团公司层面将更多。图表 11：中移动Hadoop 集采招标4 大数据分析将占据未来产业链技术能力核心大数据从最初的原始数据必须转化为有效信息，再提炼出有效内容和规律后，才能最终应用。而其中转化和提炼的步骤需要由专门的大数据分析体系或软件来完成。由于目前数据过于繁杂，快速、高效地提炼出信息和规律并非易事，而考虑到这对于最终的转化与应用至关重要，因此大数据分

24、析的重要性毋庸臵疑。41、分析工具类公司高估值表明大数据分析体系有较高价值分析工具Palantir 估值150 亿美元Palantir 的数据挖掘软件来源于在线支付平台Paypal 的技术，当时被用于挖掘欺诈信息。Palantir 开发的软件可对各类数据进行分析，这些数据包括结构化内容、非结构化内容以及时间、地理空间内容。Palantir 的优势在于具有功能强大的数据库并允许用户对此类信息进行细致分析。2014 年11 月新一轮融资中，Palantir 的估值已经达到150 亿美元。Palantir 的客户包括美国中情局（CIA）、联邦调查局（FBI）、联邦检察官、私人调查机构及其他客户所使用

25、。此外，Palantir 越来越多的业务已来自于银行、保险、零售、医疗、石油和天然气等领域。大数据专家Splunk 估值75 亿美元Splunk 是机器数据的引擎，使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备（物理、虚拟和云中）生成的快速移动型计算机数据 。从一个位臵搜索并分析所有实时和历史数据。 使用 Splunking 处理计算机数据，可在几分钟内解决问题。Splunk 为客户提供的是从数据采集、索引、核心功能到最终应用的一整套大数据分析平台，而非仅仅是最后一套设定的分析工具。在该平台上，用户可以 随时按需定制化或更改应用。在数据分析后，Splunk 能够给出可直接使用

26、或查 看的结果。对于用户而言，在Splunk 上可以实现数据分析的全过程。图表 12：Splunk 的整体架构Splunk 于2012 年推出基于Hadoop 的产品，该产品提供双向整合，能够快速且可靠地将数据在Splunk 与Hadoop 之间移动，且已针对Cloudera 与Hortonworks分布进行测试并得到认证。专注于大数据分析的Splunk 将自身与更擅长Hadoop定制化的Cloudera 及Hortnoworks 兼容，能够最大程度地将双方的用户、产品价值发挥到最大，产生良好的协同效应。42、大数据分析将是有别于传统数据分析的新市场在大数据使用的流程中，大数据挖掘和分析环节位

27、于中部，在大数据采集、存储以及大数据应用之间。大数据分析环节既是由所拥有的数据决定，又由应用需求所决定。传统的大数据分析软件主要基于传统的数据仓库和体系，并且在分析端通常 从通用模块出发。同时，考虑到传统的数据分析基于结构化数据进行，与大数据时代的大数据分析并非天然匹配。大数据分析对于需求要能快速响应、设计迅速并且易于更改；此外，应用开发的技术门槛需要大幅下降以应对该趋势。这就需要有别于传统分析软件的新产品，这将是新的蓝海。大数据分析软件的主要发展方向将有两类：1）行业普适性分析软件：这类软件能够为客户提供较多且普遍能使用的分析模块及工具，客户可在其中自行选择并使用；2）行业定制化软件：这类软

28、件对于行业有较为深刻的理解，同时能够为客户度身打造分析软件。这类软件对于专攻行业能够构筑起一定行业壁垒，更适 用于专业化和定制化要求更高的行业，诸如：国家安全等。图表 13：大数据分析软件发展战略此外，由于大数据时代数据非结构化以及数据量增长迅速的特征，同时考虑 到其对应用需求的快速响应与灵活设计，这要求大数据分析软件与底层架构有着良好的匹配，并且可能呈现出融合的态势。Splunk 构建与Hadoop 高度兼容的软件即是该趋势的有力体现。需要指出的是，Splunk、Palantir 等更偏重于是一款分析软件，虽然本身对于数据拥有较快的采集、索引和计算能力，但由于其软件特性，仍无法与Hadoop

29、对于超大量数据的计算能力相比较。而由于Hadoop 更偏重于底层架构，在编程、定制等方面难度较大，需要耗费较大精力，而这恰好是Splunk、Palantir 等的优势。Splunk、Palantir 与Hadoop 更像是相辅相成的关系。以Splunk 为例，在Splunk 与Hadoop 构成的产品体系下，当需要进行超大规模的基础数据计算时，可以通过Splunk 将具体的运算需求提交给Hadoop，由Hadoop 进行大量计算后，将初步结果返回给Splunk；然后，Hadoop 可以将初步分析的结果进行存储和索引，以供后续更细致和定制化的分析需求。在该体系下，用户相当于 同时使用了Hadoo

30、p 与Splunk，同时享受到了两者的优势。此外，由于政府需求的保密性与高要求，对于进入企业的要求较高，能够切 入政府市场的企业数量将非常少，而这类企业一旦进入，将根据政府部门的需求进行持续改进，从而不断优化自身产品，这将从客观上使得自身产品更具有优势。因此，进入政府部门的企业将在该领域获得持续的优势。对于其他商业行业也存在类似的先入优势，因为大数据分析企业在对行业有更多理解后，其定制化产品将更符合需要，但其优势并不如政府部门那么明显。大数据分析企业的优势在于自身产品的易用性（包括快速响应、灵活设计、输出结果的直观性）、数据处理能力和处理速度、切入行业、与Hadoop 等的结合程度。43、大数据应用将是最大的蛋糕所在大数据应用是将大数据进行变现的最终手段，目前比较成熟且广泛应用的变 现方式为精准营销。除此之外，未来大数据的应用和变现方式将获得更多探 索与尝试。431、大数据营销公司获得市场青睐大数据营销公司Marketo 估值14 亿美元Marketo 公司定位于SaaS（软件即服务），Marke