国内外大数据发展调研报告.docx
《国内外大数据发展调研报告.docx》由会员分享，可在线阅读，更多相关《国内外大数据发展调研报告.docx（12页珍藏版）》请在冰豆网上搜索。
国内外大数据发展调研报告
国内外大数据发展态势
目录
1国外大数据发展动态1
1.1国际战略动态1
1.1.1美国1
1.1.2英国2
1.1.3日本2
1.1.4加拿大3
1.1.5法国3
1.1.6德国4
1.1.7澳大利亚4
1.1.8印度4
1.2国际业界动态4
2我国大数据发展动态7
2.1我国政府促进大数据发展的措施7
2.2我国大数据企业发展情况8
2.3我国推动大数据产业园区发展9
2.4国内外大数据发展对比分析10
3大数据相关社区11
3.1世界大数据相关社区11
3.2中国大数据相关社区12
4我国大数据行业协会15
1国外大数据发展动态
1.1国际战略动态
总管世界各国的大数据策略可以发现存在着一下三个共同点：
一是推动大数据全产业链的应用；二是数据开放与信息安全并重；三是政府与社会力量共同推动大数据应用。
1.1.1美国
美国从2009年至今全面开放了40万联邦政府原始数据集。
日前Data.gov（美国政府数据库）宣布采用新“开源政府平台”管理数据，代码将向各国开发者开放。
奥巴马政府将“大数据战略”上升为最高国策，认为大数据是“未来的新石油”，将对数据的占有和控制作为陆权、海权、空权之外的另一种国家核心能力。
首批共有6个联邦部门宣布投资2亿美元，共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性，并形成合力；对信息技术研发投入推动超级计算和互联网的发展。
目前，已有美国大学专门开设了研究大数据技术的课程，培养下一代的“数据科学家”，一些美国公司也在向大学提供教育研究资助，并赞助与大数据有关的比赛，扩大大数据技术开发和应用所需人才的供给，提高美国的科学发展、环境与生物医药研究、教育和国家安全的能力；美国国家卫生研究院开展的免费开放国际千人基因组计划，它将创建的人类遗传变异研究数据集，供研究人员自由访问和使用；美国国家科学基金会和美国国家卫生研究院对大数据进行联合招标，改进核心科学与技术手段，提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力；美国国防部则计划每年投资2.5亿美元左右，在各个军事部门开展一系列研究计划，以创新方式使用海量数据，通过感知、认知和决策支持的结合，加强大数据决策能力；美国能源部则将斥资2500万美元建立可扩展数据管理与可视化研究所（SDAV），帮助科学家对数据进行有效管理，促进其生物和环境研究计划、美国核数据计划等的研究成果。
此外，美国纽约州能源研究和发展管理局运用一系列的大数据技术来评估气候变化对纽约州的影响，并为农业、公共卫生、能源和交通运输等领域提供应对气候变化的策略。
这一应用也被引入美国疾病控制中心，它正与美国其他10个州和城市一起开展“阅读州和城市计划”，共同研究和应对气候变化，而大数据技术是其中一个非常重要的组成部分。
1.1.2英国
2011年11月，英国政府发布了对公开数据进行研究的战略政策，英国内阁部长弗朗西斯·莫德说，其实英国政府早有意带头建立“英国数据银行”，政府想算清楚究竟这个国家或政府创造了什么；英国不只是要成为世界首个完全公布政府数据的国家，还应该成为一个国际榜样，去探索那些公开数据在商业创新和刺激经济增长方面的潜力。
2013年1月，英国商业、创新和技能部宣布，将注资6亿英镑发展8类高新技术，大数据独揽其中的1.89亿英镑，将近三成。
2013年8月12日，英国政府发布《英国农业技术战略》。
该战略指出，英国今后对农业技术的投资将集中在大数据上，目标是将英国的农业科技商业化。
2013年英国首个综合运用大数据技术的医药卫生科研中心在牛津大学成立，这个研究中心总投资达9000万英镑，可容纳600名科研人员。
中心通过搜集、存储和分析大量医疗信息，确定新药物的研发方向，减少药物开发成本，同时为发现新的治疗手段提供线索。
同时，以英国为首的欧洲核子中心（CERN）将在匈牙利科学院魏格纳物理学研究中心建设一座超宽带数据中心。
建成后，魏格纳数据中心将成为连接CERN且具有欧洲最大传输能力的数据处理中心，未来该设施在处理大型强子对撞机（LHC）的数据以及实验方面发挥重要作用。
1.1.3日本
日本面临着由于长期经济低迷导致国际地位下降、人口老龄化以及日益增大的社会保险费用和社会基础设施老化等诸多问题。
为了扭转这一现状，日本政府决定通过大力发展IT产业，特别是大数据及开发数据和云计算，以发展开放公共数据和大数据为核心的日本新IT国家战略，要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”，并且将其发展成就扩展到国际范围内。
1.1.4加拿大
随着大数据在全球范围内继续火热，加拿大的大数据产业也在慢慢升温。
例如，在科研领域，加拿大政府科学、技术与创新委员会已要求科研组织就与加拿大经济发展和社会福利密切相关的问题，为加拿大政府提出基于证据的科技建议。
2007年，加拿大开始实施数字信息战略。
2011年5月加拿大广播电视和电信委员会（CRTC）就发布了新的“国家宽带计划”，该计划显示，到2015年加拿大全体国民将享有5Mbps的宽带接入速度。
2012年9月IBM正式启动在加拿大国内兴建智能数据中心，该中心全称为IBM加拿大领导数据中心（IBMCanadaLeadershipDataCentre）。
1.1.5法国
虽然法国在数学和统计学领域具有独一无二的优势，但法国的大数据产业发展情况远不如美国、英国等国家发展的火热。
但近年来，法国在智慧城市建设方面却投入了大量精力，包括法国电信、施耐德集团和达索集团等诸多法国知名企业都在旗下设立了专门从事智慧城市设计和研发的工作室或实验室，在政府引导下积极投身智慧城市建设。
2013年2月，法国政府发布《数字化路线图》，列出5项将会大力支持的战略性高新技术，其中一项就是大数据。
2013年3月，法国国家教育部推出了四项数字化服务。
2013年4月，法国经济、财政和工业部宣布，将投入1150万欧元用于支持7个未来投资项目，目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。
”
1.1.6德国
德国IT行业协会BITKOM日前发表报告称，大数据业务在德国发展迅速，2014年有望增长59%，营业额达61亿欧元，到2016年有望再翻一番达到136亿欧元。
同时因为严谨的名族习惯，德国在数据保护方面做的非常出色，据了解，德国在保护个人信息方面的立法已有几十年历史，现在的相关法律对互联网等领域中个人数据的使用都做出了明确规定，还提出设立专职信息保护人员的建议，较好地维护了德国社会的信息安全。
1.1.7澳大利亚
澳洲政府关于数据制定了一系列政策措施，其中包括澳洲公共服务大数据战略等，2013年更是出台了开放公共部门信息原则（OpenPSI），全文提出八条开放数据策略以及实施的难易程度，并提出了需开放数据的首要领域。
1.1.8印度
印度联邦内阁批准了国家数据共享和开放政策。
在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站data.gov.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。
1.2国际业界动态
互联网、金融、电信、医疗、政府等是大数据运营的重点领域。
而大多数领域的大数据发展应用仍处在初级阶段，在大数据应用的实践过程中也遇到了数据资产不明、应用需求不定、平台建设、技术路线、安全隐私问题等方面的挑战，但是，各领域在大数据应用方面还是做出了一些有益的探索，并取得了一定的成绩。
在电信行业，一些发达国家电信运营商一方面提升服务质量，改善内部管理。
包括客户维系、精准营销和网络运营与管理，这三点的代表企业分别为法国电信、英国O2、NTTDoCoMo和沃达丰。
法国电信开展针对用户消费的大数据分析评估，借助大数据改善服务水平，提升用户体验。
英国O2在英国推出了免费WiFi服务，以积累更多的用户，从而收集到更多的用户数据，用在精准的媒体广告和营销服务方面。
NTTDoCoMo通过制作精细化表格，收集用户详细信息，大大加强了CRM系统和知识库，准确定位目标客户，提高了业务办理的成功性。
沃达丰爱尔兰公司的Tellabs“洞察力分析”服务是将通信网络中的大数据转化为可利用的情报。
另一方面确立商业模式，创造外部收益。
包括直接出售数据获取收益和与第三方公司合作项目给运营商创造盈利，代表企业有AT&T、西班牙电信、DynamicInsights、Verizon、德国电信和沃达丰。
AT&T将与用户相关的数据出售给政府和企业以获利。
西班牙电信成立了动态洞察部门DynamicInsights开展大数据业务，为客户提供数据分析打包服务。
DynamicInsights与市场研究机构Gfk进行合作，在英国、巴西推出了首款产品名为智慧足迹（SmartSteps）。
Verizon成立了精准营销部门PrecisionMarketingDivisio，提供了精准营销洞察、精准营销、移动商务等服务，包括联合第三方机构对其用户群进行大数据分析，再将有价值的信息提供给政府或企业获取额外价值，数据业务的盈利在其整个业务中占比非常高。
德国电信和沃达丰主要尝试通过开放API，向数据挖掘公司等合作方提供部分用户匿名地理位置数据，以掌握人群出行规律，有效地与一些LBS应用服务对接。
在连锁零售业中，英国最大的连锁超市特易购（TESCO）已经开始运用大数据技术采集并分析其客户行为信息数据集。
特易购首先在大数据系统内给每个顾客确定一个编号，然后通过顾客的刷卡消费、填写调查问卷、打客服电话等行为采集他们的相关数据，再用计算机系统建立特定模型，对每个顾客的海量数据进行分析，得出特定顾客的消费习惯、近期可能的消费需求等结论，以此来制定有针对性的促销计划并调整商品价格。
这种有的放矢的营销和定价模式为特易购提供了更加高效的盈利方法。
在交通运输方面，美国Inrix公司和新泽西州运输部之间的合作伙伴关系。
Inrix公司通过汽车和移动电话GPS装置上的信号和数据，采集主干道上的车速数据，然后实时向新泽西州运输部警示任意主干道上的路况险情，同时向司机的车载GPS装置或移动电话发送警示来提醒司机注意路况险情。
在农业方面，美国气候公司（TheClimateCorporation）是一家天气保险公司，他们制作保单来弥补联邦农作物保险和因气候造成的农民损失之间的差额。
该公司通过庞大的传感器网络分析和预测2000万美国农田的气温、降水、土壤湿度和产量。
在知晓高温天的天数以及土壤湿度数据后，建立的模型来帮助其预判农民需要的天气保险金额以及公司需要支付的保费。
在外包领域，大数据技术也已成为信息技术行业的“下一个大事件”。
目前，一些外包行业巨头也开始进军大数据市场，试想瓜分这一块大蛋糕。
印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将达到12亿美元，是目前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。
在信息安全行业，FireEye和Splunk这类国际企业在大数据安全方面发展迅速，他们在大数据安全方面的技术也值得国内安企业借鉴。
专做DLP产品的Websense公司，他们基于数据流的分析技术十分有利于大数据的分析、挖掘。
2我国大数据发展动态
2.1我国政府促进大数据发展的措施
2012年8月份国务院制定了促进信息消费扩大内需的文件，推动商业企业加快信息基础设施演进升级，增强信息产品供给能力，形成行业联盟，制定行业标准，构建大数据产业链，促进创新链与产业链有效嫁接。
同时，构建大数据研究平台，整合创新资源，实施“专项计划”，突破关键技术。
广东率先启动大数据战略推动政府转型，北京正积极探索政府公布大数据供社会开发，上海也启动大数据研发三年行动计划。
工业和信息化部为鼓励和推进大数据产业发展也制定了三大措施。
一是已通过促进信息消费扩大内需的意见、软件和信息技术服务业“十二五”规划等政策规划中，对大数据发展进行了部署。
二是推动全国信息技术标准化技术委员会开展了大数据标准化的需求分析、标准体系框架研究及相关标准研制工作，并向相关国际标准化组织提交了大数据研究提案。
三是利用项目资金等手段进行了前沿部署，支持了关键技术产品的研发和产业化。
这是工信部对大数据所做的一些安排。
在政府部门数据对外开放，由企业系统分析大数据进行投资经营方面，上海无疑是先行一步。
2014年5月15日，上海市自今年起推动各级政府部门将数据对外开放，并鼓励社会对其进行加工和运用。
根据上海市经信委印发的《2014年度上海市政府数据资源向社会开放工作计划》，目前已确定190项数据内容作为2014年重点开放领域，涵盖28个市级部门，涉及公共安全、公共服务、交通服务、教育科技、产业发展、金融服务、能源环境、健康卫生、文化娱乐等11个领域。
其中市场监管类数据和交通数据资源的开放将成为重点，这些与市民息息相关的信息查询届时将完全开放。
这意味着企业运用大数据在上海“掘金”的时代来临，企业投资和上海民生相关的产业如交通运输、餐饮等，可以不再“盲人摸象”。
为推动数字福建（长乐）产业园、中国国际信息技术（福建）产业园加快建设成为全省大数据产业重点园区和“数字福建”建设的重要承载基地，福建省政府将从完善园区发展规划、引进培育产业龙头、推动资源汇聚开发、建设大数据创新平台、加强人才引进培养、做好园区用地保障、确保园区用电需求、强化园区网络支撑、实施财税优惠政策、提高安全保障能力等10个方面给予支持。
在引进培育产业龙头方面，福建省将通过市场开放、资源开发、技术采购、服务外包等方式，大力引进大企业、大行业、大平台，吸引国家部委、央企、电信运营商、金融机构、知名IT企业、互联网公司等入园建设新一代信息技术设计、研发、生产基地，发展一批行业性大数据云平台；吸引大数据产业链各个业务环节龙头企业入园，培育一批细分领域全国性领先的大数据服务提供商。
2.2我国大数据企业发展情况
中国移动提出了大数据时代全新的移动互联网战略，即：
构筑“智能管道”、搭建“开放平台”、打造“特色业务”与提供“友好界面”。
这16字方针，体现了中国移动在移动互联时代全面开启之际的全新战略定位。
中国移动在2014年成立了苏州研发中心，计划构建3000-4000人的研发团队和运营团队，宗旨就是要进一步完善云计算和大数据产品体系，尽快形成国际一流的云计算和大数据服务能力。
中国移动构建了大云产业联盟，与技术提供商、集成商、高等院校、政府机构等超过50家单位，在核心模块合作、授权技术服务、应用开发技术攻关等产业不同层面开展了合作。
XX、阿里、腾讯、360等互联网企业依靠自身的数据优势，均已将大数据作为公司的重要战略。
大数据正在从理论走向实践，从专业领域走向全民应用的阶段。
XX在大数据方面让人印象深刻的有XX迁徙这样的公益项目，应用在民生和新闻等领域。
最新动态是，XX网盟利用基于大数据的CTR（广告内容匹配）数据，站长的平均收入提升70％。
阿里则对外宣称已经拥有100PB数据并以令人欣喜的速度增长，马云最新的内部邮件将阿里战略阐述为云端＋大数据，阿里要进入数据时代。
2014年10月14日，阿里巴巴集团宣布无线开放战略，启动百川计划。
将全面分享阿里无线资源，为移动开发者提供技术、数据、商业等全链条基础设施服务。
百川计划作为阿里无线开发的重要平台产生，并将从技术、数据和电商能力上，面向移动开发者提供基础服务。
其中，云技术层面将提供架构搭建、数据存储、安全防护等服务，并可有专业人员对APP进行一对一的开发、维护、技术支持；大数据层面则将联合移动应用统计分析平台友盟，帮助开发者完善数据精准挖掘分析及完善个性化推送体系。
2014年10月10日，360举办首届数字世界大会，并发布三个产品，帮助广告商利用大数据做更有效的营销。
360宣称今后将推出的实效平台、聚效平台和来店通等三款产品，就是把集合了数十亿用户信息的数据，免费分享给广告主。
京东在无线领域也正进行着深层次的探索。
首先是充分利用移动设备去拓展人性化功能，例如多模式交互，通过京东APP，用户可以通过移动设备的摄像头拍照、扫码进行购物；另外，京东移动端还在积极通过大数据技术挖掘用户需求，提供更精准的服务。
在能够带来巨大流量的微信方面，举行京东微信购物的众筹活动，一个月参与的人数达到了40万人次。
2.3我国推动大数据产业园区发展
大数据是继云计算、物联网、移动互联网之后的又一个具有国家战略意义的新兴产业，正在成为业界概念炒作的焦点。
现今，大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素，据预测，到2020年中国数据产业市场将达到2万亿以上规模。
但任何一个技术概念都需要“落地”，先进技术只有与产业集合，并切实推进经济的发展，才能成为真正的生产力。
只有实现真正的产业落地，才能真正推动经济的发展，中国大数据产业才能挤掉泡沫，驶入健康发展的快车道。
产业园区作为产业集群的重要载体和组成部分，其经济效应已引起越来越多人关注。
产业园区能够有效地创造聚集力，通过共享资源、克服外部负效应，带动关联产业的发展，从而有效地推动产业集群的形成。
大数据产业园作为大数据产业的聚集区或大数据技术的产业化项目孵化区，是大数据企业走向产业化道路的集中区域。
大数据产业园区可以通过自身的规模、品牌、资源等价值为区域经济发展和企业资本扩张起到巨大的推动作用。
主要体现在：
（1）提升企业效益:
大数据产业园的建立会迅速聚集大数据企业发展所需要的多种资源，可以吸引众多互补型企业、产业链上下游企业等，为企业提供了一个良好的发展空间，是企业腾飞的重要平台。
（2）提升地区品牌:
大数据产业园的建立必将带来大量高科技企业的入驻，这必将带动地区经济的快速发展，为区域经济建设提供高效助推器。
另外，随着国家对大数据等新兴技术产业的重视，建立大数据产业园的地区将领先于国家的发展规划之前，提升本地区的知名度，并且可以借此吸引更多高新技术企业的投资。
（3）创造社会价值:
大数据产业园区，由于建设规模较大，涉及投资建设金额巨大，建成后，在年产值、税收等方面贡献巨大，并可直接解决部分当地失业人员的就业问题。
除此之外，园区的生产生活配套设施，如住宿、餐饮、商业区等，不仅可以满足园区内工作人员的个人需求问题，还可以为地区和其他服务型企业带来巨大的经济利益。
大数据产业园在为自己创造经济效益的同时，也获得了社会效益的大丰收。
总之，通过建立大数据产业园，能够更有效地组织和使用大数据，人类也将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
2.4国内外大数据发展对比分析
我国大数据产业起步较晚，同时由于互联网技术也有所滞后，使得我国的大数据发展较领先国家还尚有一段距离。
同时，我国又有得天独厚的优势——庞大的用户群，每日有庞大的数据量不断生成，同时，受惠用户量也极为众多。
从政策环境上看，我国尚未出台完善的信息数据相关的法律法规，对隐私的方面的问题没有明确可执行的规章制度。
在政府数据开放方面也亟需进一步加强。
3大数据相关社区
2014年已经迎来了大数据发展的黄金成长期，大数据以“降低信息不对称和提高决策有效性”为目标，几乎能应用于包括金融、互联网、医学、生物、教育在内的所有行业。
然而随着数据量不断的剧增，各个国家、各组织被迫寻找创新性的方法来管理、控制并分析利用这些巨量的数据。
但是，数据孤岛现象却制约着大数据的发展，各个组织之间的数据封闭，甚至同一个组织之间各个部门之间的数据也不开放，这些严重制约着大数据的发展。
因此数据开放和共享成为大数据的核心和关键。
为了推动数据开放和共享，世界各国都在不断寻找新的突破口以推动大数据开放和共享。
3.1世界大数据相关社区
美国在2009年设立“data.gov”门户网站，将政府和主要州、城市等持有的公共数据对外公开。
2014年1月美国的数据每户（data.gov）全面改版，截至到2014年2月10日，网站共开放了88137个数据集、349个应用程序、140个移动应用、参与的部门达到175个；同时还有40个州、44个县市建立了单独的数据门户。
英国在2010年开设的数据开放门户网站（data.gov.uk）上，政府规定各部委需公开重要公共数据，政府财政支出、犯罪高发区域、市政工程施工等与市民生活密切相关的信息需优先公开共开放了13670个公开的数据集以及4170个非公开的数据集。
此外伦敦、曼彻斯特等地以及索尔福德市议会等16个地方和部门还建立了独立的开放数据门户。
2011年欧盟设立公共数据网站，提出了《欧盟开放数据战略》。
新加坡的数据开放网站（data.gov.sg）实现了全国范围内的数据整合，是世界上发展最为完善的公共信息资源开放共享网站之一，目前已经汇集了来自68个政府部门和机构的8600多个数据集。
这些数据可以为企业和个人访问，发现机遇为这些人提供服务。
印度政府建立一站式官方数据门户网站，使其成为政府收集的所有数据的总网站。
该网站可以把政府收集的所有非涉密数据集中在一起，包括全国的人口、经济和社会信息。
2011年9月20日，开放政府合作伙伴（OGP，OpenGovernmentPartnership）成立，该组织由巴西、印度尼西亚、墨西哥、挪威、菲律宾、南非、英国、美国等八个国家联合签署《开放数据声明》。
截至2014年2月10日，全球已有63个国家加入开放政府合作伙伴。
除政府部门外，民间团体也在积极推进公共数据的灵活利用。
2012年7月日本非盈利性机构OpenKnowledgeFoundation（OKF）诞生，旨在促进公共数据的有效利用，其开发的开源软件CKAN对于构筑地方政府的公共数据门户网站起到重要支撑作用。
3.2中国大数据相关社区
中国政府同样也在做着开放、共享数据的努力，建立了类似英美政府的国家数据公开网站——国家数据网（）。
我国各地也开始了公共信息资源的开放共享，北京、上海等地数据开放网站相继投入运行。
北京市政务数据资源网通过原始数据（WPS、CSV）下载、带有地理坐标信息的空间数据（SHAPE）下载和在线调用API三种形式提供数据开放共享服务。
开发者、分析研究人员、普通用户通过互联网登录该网站可查询、下载数据以及在线调用API开发服务。
该网站已经整合了北京市35个政府部门的信息，为社会提供了土地使用、教育、旅游、交通、文化、医疗等269类、多达36万条的原始数据资源。
上海市政府召开推进政府数据资源向社会开放工作会议，要求在此前包括市公安局、市工商局、市统计局、市商务委员会等9家试点政府部门公开信息资源的基础上，所有政府部门在2014年内通过“上海政府数据服务网”向公众提供数据产品浏览、查询和下载等服务，具体涵盖公共安全、公共服务、交通服务、教育科技、产业发展、金融服务、能源环境、健康卫生、文化娱乐等11个领域。
中国香港均依托原有网站，通过进一步增强网站服务功能或者增设网站栏目的办法，实现政府数据的开放。
中国社会团体也纷纷自发成立数据共享中心，以期借助大数据技术寻求新的商机。
其中有以推动数据开放为目的的数据开放平台；也有为推动大数据技术进步而成立的大数据技术社区；也有为推动大数据的商业化应用而成立的大数据平台。
（1）数据开放社区
XX数据开放平台，是以XX框计算先进技术理念为基础，连接站长优质数据和XX搜索结果的开放平台。
站长通过结构化优质数据，获得XX搜索结果页“即搜即得”的搜索展现。
全国可信网站数据库开放平台，是在国家主管部门的亲切关怀和指导下，由中网依托“可信网站”验证数据库为基础搭建的全国最大的可信网站数据库开放平台。
该平台收录对象先由网站自行申请或公众推荐（含合作伙伴等），然后由中网按照“可信网站”验证审核规则或流程对商家或网站的身份信息完成交互审核后予以收录。
该平台将面向浏览器、搜
升级会员 