电信行业大数据应用实践和思考.docx
《电信行业大数据应用实践和思考.docx》由会员分享，可在线阅读，更多相关《电信行业大数据应用实践和思考.docx（10页珍藏版）》请在冰豆网上搜索。
电信行业大数据应用实践和思考
电信行业大数据应用实践和思考
LT
电信行业大数据应用实践和思考
一、中国移动的数据情况
可以说，除了CRM和计费系统产生的用户资料和话单数据之外，中国移动还有很多其他的数据源，比如应用市场、手机阅读、手机游戏等平台产生的数据，还有更多的是网络设备上产生的海量数据。
我们现在大数据平台还在演进的过程中。
目前形成的是集团一级和各省公司的1+31套系统。
总的数据容量大约在10+PB。
但是其实这还很不够，一是数据不全面，光Gn接口的网络访问数据粗加工以后就有400多个TB/每日，4G全面铺开以后更大；二是数据存储周期过段，一般的数据为6个月，日志信令等更短，基本不存；三是分析挖掘不够，很多有价值的信息没有转换为智慧。
所以我们现在正在做更优化的技术架构演进和组织架构演进。
贴一张简要的图说明一下中国移动的数据构成和增长情况。
这张图展示了两个信息，那就是挑战和机遇并存。
超过摩尔定律的增长要求技术架构必须做出革新，必须高效低成本。
另一方面能，数据是资产，我们的资产在快速的增值，当然前提是能将其转为会盈利。
二、中国移动大数据的指导原则
由此，我们最近几年在大数据方面的指导原则就是：
1、利用大数据技术，竭尽可能收集整理数据，竭尽可能关联数据，竭尽可能保存数据，将数据视作企业核心资产
2、充分发挥大数据价值，竭尽可能使得现有商业模式更加具有竞争力；竭尽可能发掘新的商务模式，直接将数据变成价值
我认为应用大数据的关键是一个思维模式的改变，一定要ThinkinginBigData，否则还是传统BI和报表。
要将循数管理的思想贯穿到企业上下，要有无数据毋宁死的想法才可以。
《大数据时代》中那句话我觉得特别好：
除了上帝，任何人都必须用数据说话。
三、中国移动大数据应用情况
其余的就包括安全和反恐，当然这个不是我们做，我们只是提供数据，某些部门基于这些数据来分析人群驻留等，这个不多说。
我想举几个国外运营商大数据商业化的案例，比如AT&T的Adworks，用大数据来实现精确的广告推送，覆盖电视、邮件、手机和电脑，当然是在AT&T自己的渠道上。
还有Verizon辅助第三方做精确营销，比如帮助NBA球队找到球迷所在等。
Sprint利用大数据为行业客户提供消费者和市场洞察（人口、行为等分析）、季节性分析等。
四、中国移动大数据技术实施情况
应用方面介绍完毕，接下来介绍中国移动在大数据技术方面的实践。
目前我们的大数据参考架构是MPP和Hadoop混搭，加上原有利旧的数据仓库系统，如下图。
传统DW做高价值数据的加工，MPP做长期结构化数据的存储和自助分析，Hadoop做数据处理、挖掘和历史存储。
先说MPP。
MPP是将传统分布式数据库的理论运行在X86上的实践，用列存、内存和副本等进行了优化。
MPP基本可以替代传统DW，但在大数据时代，还是有挑战。
那就是由于它精确地进行数据分布的原因，可扩展性和高可用比较难以达到。
大家都知道CAP理论，一种系统不可能什么都追求。
我们现在看到国内较大的MPP集群也就几十个节点，国际上可以看到100、200的。
但是这离我们的目标还有差距，我们经过估算，最起码也需要300到400个节点，而且还要满足未来的扩展性。
之前也讲了，大数据主要是要应用，而现在很多的应用都不是由IT开发的，是自助的，这就需要MPP中要提供沙盒，让业务部门或第三方能自助地分析和开发。
我们当然不希望每个沙盒都是物理的MPP集群，这样不仅安装维护复杂，而且会造成数据重复。
所以我们希望的是让MPP的能力像云计算那样对外提供按需服务，实现虚拟化，其实DBaaS或者DWaaS的概念已经有人提，AWS的RedShift就是类似的产品。
因此我们的MPP要求很大，这就对他的可扩展性和高可用带来了挑战，当然同样的挑战还有负载管理、计费、监控和安全等等。
Hadoop的扩展性会很好，而MPP就很难，这主要是由于两者存储机制上的差异造成的，我之前有一篇文章中有详细分析。
详细的可以参考这个。
关于MPP的高可用的挑战和应对，可以见这个。
我觉得MPP未来的方向，是：
多Master设计、虚拟化、软定义分布。
接着说说Hadoop，可以说Hbase和Hdfs都是很好的东西，但是MapReduce真心很差劲。
社区也看到这一点，在2.0中MapReduce已经不再是唯一的执行框架，而缩减为Yarn框架下的一个应用了。
当然再差也比我们原来在数据仓库内进行数据处理廉价，不过效率也比不上的（同等计算能力下）。
这主要不是计算，而是刚刚说的数据分布的策略造成的，这也是我们要选择MPP作为混搭的原因。
简单的说一个策略，一次写一次读的，应该用MapReduce；一次写多次读的结构化数据，那就应该用MPP，非结构化用Hbase。
刚刚说的Hadoop的技术难点主要是在MapReduce的作业中间和各个作业之间都需要落地到HDFS上，这个效率会很差，而且没有全局优化。
我们很高兴地看到Spark解决了所有的问题，包括用内存做缓存、流水线和全局优化，所以我们现在正在试点将MapReduce替换为Spark作为处理引擎。
对于Hadoop还有一点，那就是现在在“计算”方面，Hadoop和MPP已经很像了，各种SQLOverHadoop的方案借鉴了数据库的理论和方法，MPP数据库上也可以执行MapReduce，这是因为代码的迁移总是很容易的。
但是数据不一样。
Hadoop和MPP数据分布的不一样决定了两者的适用范围。
因此，我们下一步准备将长期的数据放到Hadoop上做自助查询，这样既能缩小MPP的规模，也能降低成本，当然这样的查询效率就不如在MPP上了。
为了实现大数据的第三个V，速度。
我们正在试点流处理来实现实时数据加工和服务，这个目前还没有太多的经验可以分享。
总结一下，在大数据技术方面，我觉得发展路径是这样的。
计算资源已经发展得很完善了，但是由于存储资源还不能软件定义，还不能统一管理，所以我们还需要混搭，也许过几年，这个问题也解决了，比如内存的革命。
五、这几年探索大数据的感受
大数据很重要，但不能停留在商业炒作的层面，其实现在谈的大数据的应用，与以往DW/BI并无本质不同，我们当然可以借由此来申请资源，重新设计架构，但是自己要保持清醒的头脑，让大数据为我所用。
我理解大数据中数据是基础，如果双方互相沟通交流大数据，必定要先问有什么数据，怎么来的，数据质量，数据所有权是如何的，这个数据是否是有竞争力的。
这里就衍生一个概念，数据是企业的核心资产，要将这个思路观测到企业的商业过程中，竭尽可能收集数据，竭尽可能保存数据，我觉得这是大数据给我们带来的一个改变。
因为数据的应用很多是设想不到的，是外部性的，传统DW/BI采用的需求驱动的数据采集和获取方法就不合适了。
第二点感受就是大数据中，应用是关键。
说得好不如做得好，所以最近看到一个说法真正的大数据公司从来不说自己是大数据公司。
这里又衍生一个概念，就是数据驱动，一切管理循数而行，一切运营依数决策。
这是大数据带给我们的第二个改变。
必须把这个思想观察到一切生产经营活动中，这才能充分发挥数据的价值。
eBay有一个提法是MeasureEverything，所有的决策必须给出对比数据。
我觉得这点很关键，这才能证明数据的价值。
我看过很多说大数据应用的，都没有给出A/B测试来说明价值到底有多大，无法量化的结果可能淹没在多种因素之中。
长期来看伤害了企业对大数据的信心和作用。
最后一点，谈谈在大数据方面的难点。
毫无疑问，这肯定不是指技术，而是指隐私和数据所有权。
这也是国内运营商长期停留在大数据应用对内产生价值阶段的原因，有数据不敢用，因为不能证明这个数据可以用。
这也不是运营商的独有问题，几乎所有运用大数据的公司都有这问题。
腾讯也在分析用户的交谈、分享，但是腾讯有权用它们来做内部营销嘛？
可以做广告吗？
可以做信用征信？
这是一个通常的问题。
我觉得这个问题要政府、企业、社会多方合作才能得出，当然，现在国际运营商和其他行业可以提供给我们很好的参考。
从企业的角度，我觉得至少要做到下面几件事情：
首先要解决数据所有权，这个或许要通过不同的商业模式，比如免费或让利（Kindel的广告版那样）和用户签订契约，一些国际运营商已经开始这样做了。
第二要明确告知数据收集的内容和用途，特别主要有一些用途，比如征信，是需要用户授权才可以做的。
第三要通过技术手段保证数据的隐私（至少不能像携程这回这样明文存储），我们在数据去隐私方面做了很多努力，也申请了一些专利技术和算法。
大数据运用的四个类型
运营商运用大数据主要有四个类型。
首先，在市场层面，运营商可以利用大数据对自身的产品进行服务，通过大数据分析用户行为，改进产品设计，并通过用户偏好分析，及时、准确进行业务推荐，强化客户关怀，这样就可以不断改善用户体验，增加用户的信息消费以及对运营商的粘稠度；其次，在网络层面，可以通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率；第三，在企业经营层面，可以通过业务、资源、财务等各类数据的综合分析，快速准确地确定公司经营管理和市场竞争策略；第四，在业务创新层面，可以在确保用户隐私不被侵犯的前提下，对数据进行深度加工，对外提供信息服务，为企业创造新的价值。
这样，大数据将助力运营商实现从网络服务提供商，向信息服务提供商的转变。
由于大数据产业具有强烈互联网特征，现有的运营模式很难帮助运营商实现大数据产业的迅速发展，这是因为，对于大数据产业，运营商传统的金字塔式的组织结构已经过时，传统架构的信息系统及组织架构已无法应对海量数据和创新型应用，那种由上而下的运营模式无法更接近用户的需求，显然已经阻碍运营商自身大数据产业的纵深发展。
根据市场需求，运营商必须全面转向以客户和消费者为中心的运营体系，重新梳理企业的经营模式和组织架构，这就是模式的创新，大数据产业发展要求运营商实现管理经营和市场信息系统完美对接，新型大数据应用必将助力运营商向信息服务模式转型。
面向大数据时代，运营商的及时转型成为必然，否则将有被互联网企业超越的可能性。
理论上讲，运营商拥有颇具优势的大数据资源并不是完全不可替代，例如，用户的位置信息就可以通过多种APP应用获得，用户的网络使用信息也可以通过多家互联网企业合作获取，互联网企业通过泛互联网化收集更多的大数据信息。
另一方面，多行业的垂直整合将成为趋势，在数据应用层面，行业企业通过多种手段搜集大量的用户数据，将更贴近用户，更理解用户，为其提供更适当的服务，大数据将成为资产更具有战略意义，各个行业及单位都在关注大数据。
根据大数据数量大、时效性要求高、数据种类及来源多样化等特征，运营商首先获取更多有用的大数据资源，例如，很多的网络运行信息，包含大量有价值的用户行为和位置信息，这样的信息可以加以利用。
有了资源应该加以利用，避免大数据资源的浪费。
事实上，一些运营商拥有大数据这样的金山，却似乎无奈坐看并逐渐沦为管道，在不断强化传统市场的效益考核，却好像在忽视大数据价值的流失。
直面数据分析挑战
当然，海量数据的出现、数据结构的改变，也给运营商的大数据管理及分析带来了挑战，一是由于多种业务的发展、市场需求的变化和网络规模的扩大使得运营商大数据迅速的增加，这增加了运营商大数据存储和处理的难度，使得现有数据仓库无法线性扩容，这表明传统的数据仓库无法有效存储日益增长的业务数据；二是由于新型大数据服务不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行多用户、多应用、实时有效的分析，传统的架构和数据仓库处理已不能满足新的信息服务需求。
因此，运营商需要建立新型大数据中心，来存储、分析和处理海量数据，必要的投入是必不可少的。
大数据产业出现和发展是现代信息技术与互联网时代海量信息的发展到一定阶段的必然结果，大数据应用将是海量数据、现代信息技术与各种社会应用的一次化学反应，必将对当今社会的信息技术、商业模式和相关的法律法规产生深刻的变革。
大数据运营商的新机遇
责任编辑：
sjia |企业网D1Net 2012-11-2020:
50:
31
导语：
近几个月来，几个大的运营商都不约而同地瞄向了大数据，西班牙电信和Verizon成立了大数据部门，法国电信也推出了针对大数据的解决方案，显然，运营商是看到了大数据的潜力，那么将如何应对大数据的冲击，又如何利用大数据，让其产生价值呢？
法国电信企业通信解决方案部门OrangeBusinessServices的首席执行官VivekBadrinath非常赞同大数据的潜在价值，认为大数据对于运营商的意义非常重大。
大数据到来之后，企业将面临海量信息存储的需求，其迫切需要解决的问题就是提升数据存储能力，因为只有将数据妥善存储，才有可能进一步挖掘其潜在价值，而提升数据存储能力则给了OrangeBusinessServices这样的运营商难得的机会。
“随着信息化方式的普及，很多企业都需要提升数据存储能力和改善IT支撑系统。
”VivekBadrinath表示，“OrangeBusinessServices的策略是用云计算的方式为客户提供存储资源，使得企业客户能够以经济有效的方式妥善保存私有数据，并且充分发挥数据智能的作用。
”
据悉，OrangeBusinessServices目前已经能够提供涵盖IaaS、WaaS（工作台站即服务）、SaaS三个层面的端到端的云计算解决方案。
其中，大数据所需要的方案集中在IaaS层，OrangeBusinessServices在这一层面推出了以“灵活计算”命名的系列方案，突出使用灵活、计费灵活的特点，从而灵活满足用户对数据存储的需求。
VivekBadrinath特别强调，OrangeBusinessServices虽然为客户提供数据存储系统，但是会严格遵守相关的隐私保护规定，不会去读取或者使用客户的这些数据。
麦肯锡认为，大数据将会是带动未来生产力发展和创新以及消费需求增长的指向标。
其最新的调查研究显示，企业所能获取的具体信息正在不断增长，多媒体、社交媒体、物联网都将极大地增加企业未来所能获取的信息量，而任何一个行业的领军者都已经看到了大数据所带来的前所未有的潜力和重大意义。
电信运营商拥有极其丰富的数据资源的天然优势，因此基于用户行为分析、行为理解、行为预测的客户深度洞察，将数据封装为服务，形成可对外开放、可商业化的核心能力，从而实现商业模式的创新，一直是运营商所期望的美好蓝图。
不过可惜的是，很长一段时间内，运营商在对外提供数据服务时，往往停留于提供原始数据层面，甚至违法违规事件屡有发生；而对于提供高附加值的数据分析服务，则是“雷声大、雨点小”，或者“说得漂亮、做的少”。
可喜的是，十月初，西班牙电信和Verizon都成立了大数据部门，在运营商数据能力商业化方面迈出了可喜的一步。
西班牙电信强调数据可靠性
10月9日，西班牙电信成立了名为“动态洞察”的大数据业务部门TelefonicaDynamicInsights，希望借此把握大数据时代商机、创造新的商业价值。
该部门隶属于负责全球创新业务的数字业务部门，面向全球运营，将为客户提供数据分析打包服务，帮助客户把握重大变化趋势。
西班牙数字业务部门首席商务官StephenShurrock称：
“大数据是数字经济的重要基石，通过智能和可靠的手段，大数据有改变商业和社会方方面面的潜力。
”同时，在网络隐私频遭泄露的当下，西班牙电信还特别强调可靠性的重要意义。
DynamicInsights推出的首款产品名为智慧足迹（SmartSteps）。
该产品基于完全匿名和聚合的移动网络数据，可对某个时段、某个地点人流量的关键影响因素进行分析，并将洞察结果面向政企客户提供。
例如，洞察结果可为零售商新店设计和选址、设计促销方式、与客户反馈等提供决策支撑，从而帮助零售商更好地理解和满足客户需求、降低成本；也可帮助市政委员会统计、预测各种场景下的人流量。
DynamicInsights计划面向不同行业推出系列产品，例如包含交通流量管理功能的“SmartCity”。
事实上，西班牙电信在数据能力商业化领域已经进行了不少探索。
早在2011年1月，西班牙电信旗下英国O2就在英国推出了免费Wi-Fi服务，尝试将收集来的用户数据用在媒体广告和营销服务方面。
免费的Wi-Fi服务意味着更多的人会使用这个服务，进而O2就会收集到更多的用户数据，而广告商就能够利用这些数据进行更精准的广告投递。
西班牙电信将和市场研究机构GfK进行合作，进行数据分析和打包工作，让这些数据变得更加易用。
西班牙电信表示，和GfK的合作将首先在德国、英国以及巴西进行推广。
该合作的具体商务条款还在商谈之中。
为帮助大数据部门开展业务，西班牙电信已经同GfK建立了合作，目前的合作主要在德国、英国和巴西等市场展开。
Verizon兼顾隐私和保障
10月初，美国Verizon成立了精准营销部门PrecisionMarketingDivision。
根据部门副总裁ColsonHillier的介绍，该部门提供三方面的服务，首先是精准营销洞察（PrecisionMarketInsights），提供商业数据分析服务；其次是精准营销（PrecisionMarketing），提供广告投放支撑；最后是移动商务（MobileCommerce），主要面向Isis（Verizon、at&t和T-Mobile发起的移动支付系统）。
法国电信尝试移动业务和公共服务领域
法国电信在发掘大数据能带来的价值，目前已在移动业务部门和公共服务领域进行了探索和尝试。
在移动业务部门，OrangeBusinessServices已在借助大数据改善服务水平，提升用户体验。
VivekBadrinath介绍，法国电信目前开展了针对用户消费数据的分析评估，以帮助法国电信改善服务质量。
比如，通话中断产生的原因除了技术故障外还有网络负荷过重，如果某段网络上的掉话率持续过高，则意味着该网络需要扩容。
法国电信通过分析掉话率数据，找出了那些超负荷运转的网络，并及时进行了扩容，从而有效完善了网络布局，给客户提供了更好的服务体验，获得了更多的客户以及业务增长。
作为法国最大的运营商，OrangeBusinessServices还承担了法国很多公共服务项目的IT系统建设，在这些系统中，OrangeBusinessServices也开始尝试挖掘大数据的潜在价值。
比如，OrangeBusinessServices承建了一个法国高速公路数据监测项目，每天都会产生500万条记录，对这些记录进行分析就能为行驶于高速公路上的车辆提供准确及时的信息，有效提高道路通畅率。
升级会员 