中国大数据研究与应用概况1.docx

1、中国大数据研究与应用概况1中国大数据研究与应用概况（1）胡经国本文根据有关文献和资料编写而成，供读者参考。本文在篇章结构、内容和文字上对原文献作了一些修改和补充，并且添加了一些小标题，特此说明。一、中国大数据落地的三道坎从全球来看，对大数据认识、研究和应用尚处于初期阶段。特别是对中国来说，大数据要真正落地，还需要迈过以下三道坎。1、数据是否足够丰富和开放丰富的数据源是大数据产业发展的前提。在中国，数字化数据资源总量远远低于美欧；每年新增数据量仅为美国的7%，欧洲的12%。其中，政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性和完整性低，因而利用价值不高的

2、情况。同时，政府、企业和行业信息化系统建设往往缺少统一规划和科学论证；系统之间缺乏统一的标准，形成了众多“信息孤岛”；而且受行政垄断和商业利益所限，数据开放程度较低。这给大数据应用造成极大障碍。制约中国数据资源开放和共享的一个重要因素是政策法规不完善。一方面缺乏推动政府和公共数据公开的政策；另一方面数据保护和隐私保护的制度不完善，抑制了数据开放的积极性。因此，建立一个良性发展的数据共享生态系统是中国大数据落地需要迈过的第一道砍。2、是否掌握强大的数据分析工具若要以低成本和可扩展的方式处理大数据，则需要对现有的整个IT架构进行重构，开发先进的软件平台和算法。这方面，国外一些国家又一次走在我们的前

3、面。特别是近年来，以开源模式发展起来的Hadoop等大数据分布式处理软件平台及其相关产业，已经在美国初步形成。中国数据处理技术基础薄弱，总体上以跟随为主，难以满足数据分析与大数据大规模应用的需求。如果把大数据比作石油，那么数据分析工具就是勘探、钻井、提炼、加工的技术。中国必须掌握大数据关键技术才能将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了很好的基础。3、管理理念和运作方式能否适配数据化决策大数据开发的根本目的，是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是一场管理革命。大数据时代的决策不能仅凭经验，而真正要拿数据说话。因此，大

4、数据能够真正发挥作用，从深层次看，还要改善我们的管理模式，需要管理方式和架构与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。二、中国的大数据交易1、2016年大数据交易白皮书2016年5月26日，中国贵阳大数据交易所发布2016年大数据交易白皮书（以下简称白皮书）。白皮书由相关大数据团队用4个月时间研发。全书聚焦大数据产业宏观环境及产业结构，从15大行业入手，解读了行业大数据应用及交易的现状，并且多维度展望了大数据产业发展趋势。2、三种类型的大数据交易平台白皮书显示，中国国内现有的大数据交易平台主要有以下三种类型：一是以贵阳大数据交易所为代表的大数据交易所平台，包括湖北长江大数据交易所

5、、陕西西咸新区大数据交易所等；二是产业联盟性质的大数据交易平台，以北京中关村数海大数据交易平台为主；三是专注于互联网综合大数据交易和服务的平台，比如数据堂等。3、 大数据交易主要形式现在，大数据交易以电子交易为主要形式。通过线上大数据交易系统，撮合客户进行大数据交易；并且定期对大数据供需双方进行资格评估认定。4、交易大数据所有权与使用权经过开发利用的数据，伴随着数据使用权的转移，其所有权几乎不变。根据数据产生的来源以及收集和占有的情况，数据的所有权可分为：政府数据、企业数据和个人数据这三个方面。5、大数据交易市场规模近年来，大数据交易相关的技术标准不断完善。中国大数据交易市场得到了快速发展。贵

6、阳大数据交易所曾经预测，2016年中国大数据交易市场规模为62.12 亿元。6、政府大数据产业规模政府大数据产业规模将成倍增长。政府大数据产业是指以政府为主体的大数据应用产业。通过对数据采集整理，描绘出数字化的社会全景图；并且通过数据分析，研究社会运转模式和规律，洞悉社会问题和国际安全问题，帮助政府工作高效化、科学化开展，维护国家安全。随着部委以及地方各级政府的政务公开以及数据共享的持续推进，政府大数据产业将逐渐成熟。2014年，政府大数据应用市场规模为9.06亿元；2015年，政府大数据应用市场规模达到16亿元。2016年之后的23年内，政府大数据应用市场规模会成倍增长。预计2020年，政府

7、大数据应用市场规模将达1907.5 亿元。三、中国大数据总量现状与预测这是一个注定要被拍砖的问题。但是，这样拍着改着可能也就明确了。所以，无论如何，还是先抛出块砖头吧。我们都在说大数据时代来临，信息和数据大爆炸。从2013年初开始，大数据爆发的焦虑感、紧迫感，驱动众多行业、企业和团体去关注、接触和了解大数据；自觉或不自觉地、主动或被动地去融入这波大数据洪流。但是，真的说到大数据，我们身边到底有多少数据量？它们都分布在哪些行业？哪些数据是目前可用的？哪些行业已经在使用数据，进入产业互联网和数据引导的变革了？我们尝试对于国内各个领域、行业和机构的数据拥有情况，以及使用情况和未来路径，做一个粗犷地调

8、研、梳理和判断；对于大数据时代中国各个领域数据资产的拥有和使用情况，也就是我们数据资产的家底做一个盘点；并且对于各个行业、系统进军大数据，以及拥抱产业互联网的进度和未来，做一个简单判断。1、2013年现状、存储市场出货容量从我们手头掌握的数据来看，2013年度，中国存储市场出货容量超过1EB。、存储总容量IDC曾经发布的预测表明，在未来的3-4年，中国存储总容量可能达到18EB。从数据存储市场的需求来看，互联网、医疗健康、通信、公共安全以及军工等行业的需求是主要的，并且上升态势明显。、服务器总量鉴于存储和服务器的紧密相关，从已经获得的资料可知，目前全球运行的服务器总量超过5000万台。其中，美

9、国国内运行的服务器总量接近1000万台。从各种市场公开数据来看，2013年中国内地服务器销售总量接近为100万台。大体估算，截止到2013年底，中国内地整体在运行的服务器总数量在300万台以上。、可存储数据容量从现有存储容量看，中国目前可存储数据容量大约在8EB10EB左右。、可保存数据容量及其分布现有的可以保存下来的数据容量大约在5EB左右，并且每两年左右会翻一倍。这些被存储数据的大体分布为：媒体/互联网占据现有数据容量的1/3，政府部门/电信企业占据数据容量1/3。其他的金融、教育、制造、服务业各部分占据剩余的1/3数据容量。、企业与行业数据量公开数据显示，2013年，互联网搜索巨头XX拥

10、有数据量接近EB级别。阿里、腾讯声明，自己存储的数据总量都达到了100PB以上。此外，电信、医疗、金融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。2、2020年预测、全球数字宇宙数据量IDC和EMC联合发布的“2020年的数字宇宙”报告预测，到2020年，全球数字宇宙将会膨胀到40000EB；均摊每个人是5200GB以上。这个庞大的数据量将如何被有效存储和应用，眼下还很难想象。然而，该报告指出，从现在起到2020年，全球数字宇宙的膨胀率大约为每两年翻一番。、全球产生的数据量及其分析事实上，根据上述调查结论和服务器容量调查，可以做出一个相对合理的推断：目前，全球产生

11、的数据量中，仅有1%左右的数据能够被保存下来。这也就是说，全球能够被保存下来的数据，也只不过50EB左右；而其中被标记并且被用于分析的数据则不到10%。、2014年中国年产数据量及其分析作为全球人口和计算设备保有量的大国，中国每年所能产生的数据量也极为庞大。据估计，在2014年，中国年产数据量甚至可能达到ZB级别。但是，真正被有效存储下来的数据，只有其中极微小的一部分。中国保存下来数据占全球数据的比例，大约在10%左右，也就是上面所说的5EB。在这些数据中，目前已被标记并且用于分析的数据，仅在500PB左右，也是接近10%的这个比例。、中国数据总量预测随着云计算迅速普及，随着各个行业、企业和部

12、门对于数据资产保存和利用的意识的增强以及通过互联网、大数据对产业进行变革的意愿，2014年曾经预测：未来23年一定会有越来越多的行业、大企业步入PB、百PB甚至EB级别数据俱乐部；未来33年，中国数据总量也将呈现成倍增长态势。2014年曾经预测，2015年，中国就可能突破10EB数据保有量；被标签和分析利用的数据量也将上升到EB级别。在这些数据增长中，互联网、政务、医疗、教育、安全等行业和领域所做贡献最大；而在相对传统的物流、生产制造、甚至农业等领域，其数据拥有量的增长将更加明显。四、中国数据总量与大数据行业分布1、物理世界的信息化人类步入信息时代，有个事情是非常重要的，那就是物理世界的信息化

13、。它包括：信息基础设施建设和数字化；紧接着就是如何将数字化的东西（数据）进行储存、传输、交换以及应用。这一脉络伴随着移动互联网、云计算、大数据以及各种各样智能终端的出现，显得越来越清晰。2、 数据成为产业互联网重要的生产要素我们可能已经来到一个在工业革命之后、比我们想象的更加重要的变革时代。我们把它命名为产业互联网时代。毕竟这一切都是互联网出现之后才发生的。无论是云计算、大数据还是智能终端，都要依托互联网。同时，这些工具又帮助互联网从消费性互联网进化到改变各个行业的生产性互联网。其中，数据成为产业互联网重要的生产要素。当然，数据成为生产要素还有个前提，那就是获取数据并且有效地梳理和标签。3、2

14、013 年中国数据总量及其预测2013 年，中国产生的数据总量超过0.8ZB（相当于8亿TB），2倍于2012年，相当于2009 年全球的数据总量。预计，到2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。4、中国大数据行业分布我们曾经通过服务器和数据中心数量，以及各行业数据梳理，大致判断了中国国内目前一年产生、存储的数据总量及其大致分布。下面，我们尝试把所收集到的资料汇总起来，进一步分析各个行业、领域的数据总量及其分布情况，以供参考。、BAT（XX、阿里、腾讯）代表的互联网公司、XX据介绍，2014年，XX数据总量接近1000PB左右，网页数量约为几千亿网页。从大量的网

15、页里面拿出了几百亿来建索引。对于这些大量的网页，每年更新几十亿左右；每天享受用户的查询也在几十亿左右；查询的数据量达几百PB。根据公开的信息，作为全球最大的中文搜索引擎，XX每天响应来自138个国家和地区的数十亿次搜索请求。XX每日新增数据10TB，要处理超过100PB的数据。从浩如烟海的信息中，精确抓取约10亿网页。同时，索引库还拥有千亿级的在线索引能力，以帮助用户完成搜索过程。面对海量的大数据，XX正在通过自建数据中心，开发自己的大数据存储系统，并且使用了多项新技术。其计划投资47.08亿元的XX云计算（阳泉）中心，已于2012年8月奠基。该项目预计于2015年完工。建成后的XX云计算（阳

16、泉）中心的数据存储量将超过4000PB，可存储的信息量相当于20多万个中国国家图书馆的藏书总量。据介绍，2012年，XX的数据量大，大家可能不会怀疑；甚至说，它是中国拥有最大数据量的公司，大家可能也不会怀疑。因为，XX是提供搜索服务的，要把全中国的中文网页全部搜索起来，放到数据中心。全部的网页有多大呢？目前，估计是3000亿左右。这3000亿个中文网页，要把它们全部抓过来，放到数据中心。这个数据大概是1050PB。这个数量变化范围很大。因为，这个情况每隔1小时就会发生很大变化。再一个想不到的是日志。在XX的系统里面，每天有大量的日志。这些日志是作为分析处理用户行为习惯的很重要的基础，也是数据恢

17、复和灾难备份的很重要的基础。这个数据量是最大的，能达到100PB以上。数据仓库是经过清洗以后的日志信息，这个是结构化的。再一个大家知道，XX上有“XX推广”，俗话叫广告。它和传统广告一样，除了有客户的信息之外，还有广告本身。这部分数据比较小，为1TB。但是，对这部分数据进行处理的要求非常高。首先，需要有高度的一致性。最后一个是UGC，用户产生的内容。大家都知道XX有“贴吧”，有“XX知道”，“XX文库”。这些内容是广大互联网网民自己产生、自己上传、大家一起分享的数据。这部分数据达到1PB；而且其中的数据大量是用户上传的视频、图片等多媒体数据。、阿里巴巴拥有近5亿注册用户。2013年有报道指出，

18、阿里巴巴掌握的总体数据量为30PB。业内人士预计，阿里集团大约有30万台服务器。保存的数据量将近100PB（对新浪微博的投资，对高德等的收购等行为，将会进一步提高阿里巴巴可接触的数据量）。2012年7月10日，阿里集团宣布设立首席数据官（CDO）岗位，负责推进“数据分享平台”战略。阿里巴巴也一直在尝试对数据进行加工。从早期的“淘宝指数”，到为店铺经营提供运营管理数据分析的“数据魔方”，到将“云”理念与大数据结合的“聚石塔”，再到以数据分析为基石的“阿里金融”。阿里在大数据开发方面一直走在业界前沿。从淘宝创立之时，阿里巴巴就开始搜集平台上的数据，直至支付宝、聚划算、一淘等平台。随着业务的爆发式增

19、长，阿里诸平台上的数据成倍增加，汇集成海。这些数据包括：交易数据、用户浏览和点击网页数据、购物数据等。阿里集团预测，“未来，阿里在本质上会是一家数据运营公司。”前者，是如何将大数据用好，而后者则意味着如何让大数据更好用。、腾讯2013年，腾讯表示，在国内互联网体系中，腾讯拥有的数据已覆盖多个领域，其总存储数据量经压缩处理以后在100PB左右。腾讯QQ拥有8亿用户，4亿移动用户。在数据仓库存储的数据量：单机群数量已达到4400台，总存储数据量经压缩处理以后在100PB左右。并且，这一数据量还在以日增200300TB、月增10%的速度不断增长。并且，正在为数据量达1000PB做准备。亚洲最大的数据

20、承载中心，腾讯天津研发与数据存储中心，正在滨海新区紧张地建设中。腾讯天津中心项目的总建筑面积9.33万平方米，预计服务器托管能力超过10万台。、BAT数据的总量及分析如果按某媒体所说的，在BAT中，阿里巴巴拥有90%以上的电商数据；XX以70%以上的搜索市场份额，坐拥庞大的搜索数据；腾讯拥有大量社交、游戏等领域积累的文本、音频、视频和关系类数据。BAT拥有的数据总量，肯定是在EB级别以上。、全部互联网公司数据总量其他，像360、一些地图、社交、影视娱乐类互联网公司，也拥有PB量级的数据储备。全部互联网公司拥有的数据总量应该超过1.5EB，达到或接近2EB。、电信、金融、保险、电力、石化系统、电

21、信据介绍，2012年，中国联通成功将大数据和Hadoop技术引入到“移动通信用户上网记录集中查询与分析支撑系统”。我们已经部署了4.5PB的存储空间。除了这些数据以外，运营商还具有用户通话、信息、地理位置等信息。主要运营商拥有的数据量应该都在10PB以上。总体年度用户数据增长约为几十PB。、金融、保险据介绍，全国仅“银联”银行卡发行量，2014年接近40亿张。每天有近600亿交易通过银联的银行卡交易。尽管单张卡片数据量不大，但是汇总起来，依旧是一个非常庞大的数据量。如果再加上开户信息数据，银行网点和在线交易的各种数据，以及金融系统自身运营的数据，那么2014年中国国内银行和金融系统每年产生的数

22、据也能达到几十PB。保险系统生成的数据量也会接近PB级别。、电力2014年，国家电网建成世界最大电能计量自动化系统。截至2013年年底，累计安装智能电能表1.82亿只，实现采集1.91亿户，采集覆盖率56%。自动抄表核算率超过97%.。智能电网可以产生巨大的数据量。比如，国网信通在北京5个小区，353个采集点，采集了1.2万个参数，包括频率、电压、电流等；15分钟采集一次，一天就能产生34GB数据量。仅仅国家电网，全国能够采集获得的数据总量也达到10PB级别；能够保存下来的数据量也接近10PB。、石油化工、智能水表等同样，据分析，石油化工、智能水表等领域，每年产生和保存下来的数据量也达到几十P

23、B级别。、公共安全、交通、医疗、公共安全随着平安城市和智慧城市等建设的推进，监控摄像头已经遍布城市大街小巷。安防监控对高清化、智能化、网络化、数字化的要求越来越高，数据量自然也在不断地迅速增加。据说，1080P高清网络摄像机，其速度能够达到每秒60帧。这样的摄像机1个月产生的视频文件就达1.8TB。北京2014年用于视频监控的摄像头有50万个；1个摄像头1小时的数据量就是几GB。每天北京市的视频采集数据量在3PB左右。而一个中等城市每年视频监控产生的数据量在300PB左右。尽管出于成本考虑，很多监控视频具备定期清除循环的特点。但是，整个视频监控能够保存下来的数据每年也在数百PB以上。、交通与此

24、相关的交通方面，航班往返一次能产生的数据就可达TB级别。还有列车、水陆路运输产生的各种视频、文本类数据，每年也可达100PB级别；能够保存下来的数据也能达到几十PB。北京市交通运行监测调度中心建立了包含“交通数据中心、监测预警中心、运行协调中心、综合交通信息发布中心”在内的四大中心，实现运行监测、协调联动、决策支持与信息服务等功能，并且为政府决策、行业监管、企业运营、百姓出行等提供了服务支持。具体来看，TOCC（北京市交通运行监测调度中心）已整合接入行业内外27个应用系统、6000多项静动态数据、6万多路视频。2014年，静动态数据存储达到20TB，每天数据增量达30GB左右。、医疗上海申康医

25、院发展中心牵头完成的“医联工程”项目，将大数据应用于健康医疗产业。该项目覆盖38家市级三甲医院，实现了市、区各级医院之间大规模临床信息实时共享，以及健康档案动态更新、高效存储检索，解决了海量影像信息高效存储、传输和展示的难题，建立了PB级医学影像档案库。有媒体报道说：“中国一线大型城市，仅仅健康档案的数据，一年就有5PB之多。”医疗健康卫生领域无疑是一个很大的数据来源，包括疾病监控等方面的数据。比如，在医疗数据中，一个大脑的CT扫描图若要让它分辨率很高，则微米的数据量可产生4.5TB数据。例如，广州中山大学医院2013年数据量达1000TB。统计表明，中国一个中等城市（1000万人口）50年所

26、积累的医疗数据量可达10PB。据此推算，整个医疗卫生行业，一年能够保存下来的数据就可以达到数百PB。大型医院每年的数据增量可达几十TB。仅医学影像数据每年可达20TB。一个CT图像含有大约150MB的数据容量；而一个基因组序列文件大小则约为750MB；而一个标准的病理图与前两者相比则要大得多，文件大小接近5GB。如果将这些数据量乘以人口数量和平均寿命，那么仅一个社区医院或一个中等规模制药企业，就可以生成和累积达数个TB甚至数个PB级的结构化和非结构化数据。、气象、政务、教育、地理等、气象2014年，整个中国气象局所保存的数据达45PB左右；每年大概增加数百个TB左右。其中包含：地面观测、卫星、

27、雷达和数据预报产品等几大类的观测数据。各种地图和地理位置信息，每年可达几十PB。但是，此类信息容易和互联网公司以及交通运输、物流行业产生的信息重叠；单独占有和保存的此类信息可达PB级别。除了常规的地面观测站之外，以气象卫星和多普勒天气雷达为代表的遥感遥测业务领域，近30年来取得了飞速发展。这些领域一方面每天产生着数以TB级的观测数据。、政务、教育、地理等据悉，一个智慧城市的一个季度的数据就是200PB之多。2013年，北京市政务数据资源网试运行一年来，已上线公布了400余个数据包；涵盖旅游、教育、交通、医疗等门类，累计访问量超过600万次；地理空间数据累计下载量4800余次。有调查显示，201

28、4年之后的未来12年，中国政府部门的数据规模超过100TB的将超过一半，达到53.3%；有将近三成（33.3%）的用户数据规模是1050TB。政府部门的数据多数还集中在结构化数据上。对于非结构化数据的拥有量并没有想象的那么大。整个政府部门产生的数据，排除上述提到的几个主要部分，也能达到PB级别。2014年，绝大多数中央部委和省级政府部门的核心业务，都是由数据库支撑的。核心业务数据库覆盖率超过80%。其中：公安部建成了覆盖13亿人口的国家人口数据库。国家工商总局建成了企业法人数据库。民政部和中央编制办公室初步建成了社会团体和事业单位信息库。全国四级国土资源主管部门，积累了近6000TB的数据。国

29、家统计局建成了统计信息库。国家发展和改革委牵头建设的自然资源和空间地理基础信息库，正在加紧建设。此外，金融、税务、质检、社保、教育等领域也都建成了一批信息库。、商业销售、制造业、农业、物流和流通等领域随着产业互联网的普及，（线下）商业销售、制造业、农林牧渔业、（线下）餐饮、食品、科研、物流运输等等，这些传统行业的数据量，将呈现迅速增长的态势。但是，2014年，这些行业数据量还处于积累期，整个数据体量都不算大；多的可达PB级别；基本可达100TB甚至数十TB级别。此外，中国国家图书馆藏书为2631万册。这相当于41TB数据。在影视、娱乐、出版传媒方面，也有一定数量的数据积累。还有在教育方面，目前

30、也在产生着大量的数据。这些都是未来可以挖掘的方向。制造业的存储数据一般被分为以下几种类型：其一、产品设计数据。这类数据的典型特点是以文件为主，为非结构化数据；共享要求比较高，保存时间也比较长。其二、企业生产环节的业务数据。其特点是以数据库等结构化数据为主。这些数据的重要性不言而喻。它们不仅表现企业目前运行的状况，而且为企业进一步发展决策提供有价值的分析。其三、生产监控数据。其特点是数据量非常大，对存储空间以及I/O吞吐要求高。在制造企业中，企业对数据的记录多停留于两种形态：一是传统的纸笔记录；二是Excel电子表格记录。这些操作起来看似简单的数据管理方式，在浪费人力物力的同时，还为企业生产及质

31、量监控埋下了巨大的隐患。而真正挖掘这些数据背后的价值更是无从谈起。最后，我们再从IDC（Internet Data Center，互联网数据中心）提供的使用大数据的行业分布看一看。互联网客户仍旧是主要快速增长的客户群体，占到40%左右；电信、生产制造行业也属于使用比较多的。政府、教育行业增长较快，所占比例分别为8.7%和7.8%。在数据存储需求方面，据IDC预测，存储市场将继续表现出良好的增长势头。在2014年未来5年，存储数据容量将达到15864PB（另一数据是18EB）。其中，尤其以政府、医疗、教育等行业增长迅速，所占份额最重。 2016年6月14日编写于重庆 2019年12月13日修改于重庆