报批稿大数据技术在工控行业中的应用可行性研究分析报告.docx

1、报批稿大数据技术在工控行业中的应用可行性研究分析报告“大数据”技术在工控行业中应用可行性研究分析报告“大数据”时代脚步已悄然而至，“大数据”（Big Data）已迅速成为近期争相传诵热门科技概念.未来十年将是一个“大数据”引领智慧科技时代.专家们认为：“大数据技术就是下一个经济、国防、安全、社会活动等领域制高点！”“大数据”是继云计算、物联网之后信息技术领域又一热点， “大数据”时代来临，给各行各业带来了根本性变革，让所有人都看到了“大数据”挑战与机会.对于工业控制行业同样也是如此.本文即从“大数据”技术及其在工控行业中应用研究角度来探讨一下“大数据”技术问题.一、吹响大数据“集结号”！“大数

2、据”（Big Data）这所以会成为热点，主要应归因于近年来互联网、云计算、移动和物联网迅猛发展.无所不在移动设备、射频识别技术（RFID）、无线传感器每分每秒都在产生着成千上亿数据，数以亿计用户互联网服务时时刻刻都在产生巨量数据，需要处理数据量实在是太多、增长实在是太快了，而业务需求和竞争压力对数据处理实时性、有效性又提出了更高要求，传统常规技术手段根本无法应对“大数据”浪潮.国际数据公司（IDC- International Data Corporation）预计，大量新数据无时不刻不在涌现，它们以每年50%速度在增长，或者说每两年就要翻一番多.人类社会发展核心驱动力，目前，已由“动力驱动

3、”转变为“数据驱动”；经济活动重点，已从材料使用转移到“大数据”使用.“大数据”正在成为各个业界焦点话题.2012年1月，在瑞士达沃斯举行世界经济论坛上，“大数据”是框定主题之一.该论坛一份报告，大数据，大影响，宣告了“大数据时代”到来！今天已经进入“大数据”时代，身边一切都在“大数据”范围内.人们似乎再也没有什么秘密可言，各种信息都暴露在“大数据”之中.“大数据”几乎是无处不在.传统行业创新升级，“大数据”成背后推手！企业必须直面“大数据”挑战.二、关于“大数据”基本认识1 “大数据”定义什么是“大数据”？从一般意义上说，“大数据”是指那些超过传统数据库系统处理能力数据，数据量通常在10TB

4、（1TB=1024GB，为1万亿字节）以上.因为数据库、“大数据”已经成为变革中心，事实上成为一场信息革命，在IT领域、能源业、制造业、零售业、政府管理、科技与国防军事等，“大数据”都改变了整个世界运行方式.因此，我们称之为“大数据“时代.对于什么是“大数据”，目前业界并没有统一定义.而根据维基百科定义：“大数据是指无法在可承受时间范围内用常规软件工具进行捕捉、管理、处理数据集合.”从产业角度，常常把这些数据与采集它们工具、平台、分析系统一起统称为 “大数据”.纵观人类历史，每一次划时代变革都是以新工具出现和应用为标志.蒸汽机把人们从农业时代带入了工业时代，计算机和互联网把人们从工业时代带入了

5、信息时代，而如今“大数据”时代已经到来，它源自信息时代，又是信息时代全方位深化应用与延伸.“大数据”时代生产原材料是数据，生产工具则是“大数据”技术，是对信息时代所产生海量数据挖掘和分析，从而快速地获取有价值信息技术和应用.2 “大数据”量级20多年来，各个领域特别是信息领域数据量加速增长，是“大数据”概念产生基础.专家测算，2000年全球新产生数据量为1000PB到2000PB，到2010年仅仅全球企业一年新存储数据量就超过了7000PB.大数据海量数据复杂类型数据.目前全球每年产生数据量是ZB级，到2015年会达到35个ZB.这表明，海量存储已经达到了ZB级（1ZB=1000 PB，1PB

6、=1000TB，1TB=1000GB，1GB=1000MB），对于硬件系统已经超出了传统设计概念.3 “大数据”特点国际数据公司（IDC）认为，某项技术要想成为“大数据”技术，必须满足IBM所描述三个 “V”：多样性(variety)、大容量(volume)和时效性高(velocity).多样性是指数据应包含结构化和非结构化数据；大容量是指聚合在一起供分析数据量必须是非常庞大；时效性高则是指数据处理速度必须很快.具体来说，“大数据”具有4个基本特征：一是数据体量巨大.XX资料表明，其新首页导航每天需要提供数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸.有资

7、料证实，到目前为止，人类生产所有印刷材料数据量仅为200PB.二是数据类型多样.现在数据类型不仅是文本形式，更多是图片、视频、音频、地理位置信息等多类型数据，个性化数据占绝对多数.三是处理速度快.数据处理遵循“1秒定律”，可从各种类型数据中快速获得高价值信息.四是价值密度低.以视频为例，一小时视频，在不间断监控过程中，可能有用数据仅仅只有一两秒.4 “大数据”技术构成如果说“大数据”是一种技术，又具体包括哪些技术？专家认为，“大数据”技术由四种技术构成：它们包括：分析技术、存储数据库、NoSQL数据库、分布式计算技术.各种研究表明，“大数据”是与智能制造、无线网络革命并行又一次颠覆性技术变革.

8、其具体内容包括：海量数据分析技术、“大数据”处理技术、分布式计算技术、数据可视化技术.三、美国正在全面推进“大数据”研发2012年3月29日，奥巴马总统发布大数据研发倡议，开启了美国“大数据”全面研发工作，“大数据”作为信息时代获取、处理与利用信息一项核心技术，正改变着国家安全、社会经济发展乃至人类生活各个方面，已成为信息时代大国竞争一个战略性新领域.美国甚至流行一句谚语叫“除了上帝，任何人都必须用数据来说话”.美国政府把“大数据”看成是“未来新石油”.美国政府宣布“大数据研究和发展倡议（Big Data Research and Development Initiative）”，来推进从大量

9、、复杂数据集合中获取知识和洞见能力.大数据研究和发展倡议提出，将提升美国利用收集庞大而复杂数字资料提炼真知灼见能力，协助加速科学、工程领域创新步伐，强化美国国土安全，转变教育和学习模式.大数据研究和发展倡议还承诺将在科学研究、环境保护、生物医药研究、教育以及国家安全等领域利用“大数据”技术进行突破.该倡议涉及联邦政府6个部门（美国国家科学基金（NSF）、美国国家卫生研究院（NIH）、美国能源部（DOE）、美国国防部（DOD）、美国国防部高级研究计划局（DARPA）、美国地质勘探局（USGS）等六个部门）.这些部门承诺将投资总共超过两亿美元，来大力推动和改善与“大数据”相关收集、组织和分析工具及

10、技术.在这份倡议中还透露了多项正在进行中联邦政府各部门大数据计划.主要内容如下：美国国家科学基金和美国国家卫生研究院主要推进大数据科学和工程核心方法及技术研究，项目包括管理、分析、可视化、以及从大量多样化数据集中提取有用信息核心科学技术；国防部高级研究局项目主要推进大数据辅助决策，集中在情报、侦查、网络间谍等方面，汇集传感器、感知能力和决策支持建立真正自治系统，实现操作和决策自动化；美国能源部试图通过先进计算进行科学发现，提供2500万美元基金来建立可扩展数据管理、分析和可视化研究所；美国地质勘探局通过给科学家提供深入分析场所和时间、最高水平计算能力和理解大数据集协作工具，催化在地理系统科学创

11、新思维.五、“大数据”技术在工控行业中若干应用研究1 在电力行业若干应用研究在电力行业，坚强智能电网建设及“三集五大”管理体系决策部署，对数据管理、共享及互操作提出了更高要求.电力行业面临着正在形成大数据环境，为此，需要不断挖掘大数据环境下业务数据处理潜在需求，探索适应电力数据理论和方法，使得电力信息系统运维外延向数据运维范畴进一步地拓展.以更好地适应数据量迅速增长、数据类型多样化、数据时效性不断提高.以智能电网为例，电网互联是电力系统发展客观规律，有必要加强研发大规模互联电网安全稳定运行技术、先进可靠配电网与共用技术及微电网技术为主分布式电力系统.因此，采集、分析并有效应用“大数据”是解决能

12、源与公共事业关键业务重要因素，可以实现向智能电网转型、改善分布式可再生发电资产预报与调度、提高发电效率以及改变客户运营模式.大数据时代作者舍恩伯格说，可以抽象地认为，智能电网就是“大数据”这个概念在电力行业中应用，就是通过网络将用户用电习惯等信息传回给电网企业信息中心，进行分析处理，并对电网规划、建设、服务等提供更可靠依据.同时，对于风能、太阳能等具有间歇性新能源，通过“大数据”分析进行有效地调节，也可以使新能源更好地与传统水火电进行互补，更为灵活地出力.在本质上，智能电网是“大数据”在电力上应用.在电力行业，坚强智能电网迅速发展使信息通信技术正以前所未有广度、深度与电网生产、企业管理快速融合

13、，信息通信系统已经成为智能电网“中枢神经”，支撑新一代电网生产和管理发展.“大数据”与电网融合可组成智能电网，涉及发电到用户整个能源转换过程和电力输送链，主要包括智能电网基础技术、大规模新能源发电及并网技术、智能输电网技术、智能配电网技术及智能用电技术等，是未来电网发展方向等. 电力企业是不是符合“大数据”应用企业？享誉信息产业界多年梅特卡夫定律指出，网络价值与联网用户数平方成正比.随着电力工业与信息化深度融合，智能电网将承载着电力流、信息流和业务流，电网和电力信息通信网用户将发生叠加，电网整体价值会跃升.这种价值跃升将使电力企业具有大数据时代特征.电力信息通信将突破传统运维、产生更多增值服务

14、，甚至催生新管理模式创新.数据中心将被赋予更多职能，比如强大数据挖掘、数据分析和决策能力.电力企业业务数据主要来自生产数据和运营管理数据.电力企业生产数据既包括发电量、电压稳定性等实时采集数据，也包括物联网、云计算、新能源并网、移动互联、电动汽车充换电、车联网等技术带来新数据业务.电力企业运营管理数据，则包括交易电价、售电量、用电客户、ERP、一体化平台、协同办公等方面数据.如能充分利用这些基于电力生产、使用等实际数据，对其进行深入分析，便可以提供大量高附加值服务.这些增值服务将有利于电网安全检测与控制，客户用电行为分析与客户细分，电力企业精细化运营管理等，实现更科学需求侧管理.数据、信息和知

15、识“按需分配、恒值供给、多次挖掘”将成为新经济形态不竭动力，而“大数据”技术和应用成为决策辅助系统. “大数据”时代对电力行业发展提出新挑战，但也带来新发展机遇.通过良好数据管理，并运用数据挖掘手段践行大数据战略，将切实提高电力生产、营销，以及电网运维等各方面生产管理水平，为使中国电力企业继续立于世界先进行列提供强大信息技术支撑.据悉，2013年3月，中国电机工程学会电力信息化专委会拟编制发布中国电力大数据发展白皮书（2013），这将是我国首次就电力“大数据”问题发布白皮书.作为电力信息化专委会秘书处所在单位，国网信息通信有限公司承担白皮书调研和编写工作.白皮书全文12000 余字，分为引言、

16、迎接电力“大数据时代、展望电力“大数据”时代、迈向电力“大数据”时代、结束语等五部分.这充分表明，电力工业作为国家基础性能源设施，与社会发展和人民生活息息相关，是国民经济社会健康稳定持续发展重要条件.积极应用“大数据”技术，推动中国电力“大数据”事业健康发展，对实现中国电力工业科学发展具有极大现实意义.完全可以预期，“大数据”技术在电力行业中应用研究，仅仅是开始.随着电力行业不断发展，“大数据技术”应用，将会不断扩展与深化.2 有助于提升工控行业“洞察力”所谓“洞察力”，指是人对任何特定情况作出预见能力.在企业管理上，“洞察力”更意味着管理者必须拥有以数据为基础、深入观察分析，透过现象看本质、

17、将理论应用到实际工作中能力.随着数据总量持续增长和急速膨胀，“大数据”时代已经来临，2013年电力、石油等能源细分行业纷纷拉开了“大数据”开发应用序幕.“大数据”技术强调是从海量数据中快速获取有价值信息能力，如何从海量数据中高效获取数据，有效地深加工并最终得到有用数据是能源企业涉足“大数据”目.“大数据”是以大量资料为基础，以更加科学方式，进行分析、洞察创新能力.实际上，进入“大数据”时代以来，现代企业正经历着规模化、多样化和高速化数据挑战.越来越多管理者开始意识到，若无法对海量信息进行有效分析处理，预测出潜在业务风险，便容易在竞争中处于劣势；若无法通过有效沟通，确保洞察到信息被较好地执行，则

18、可能致使企业商机流失. 未来，企业会依靠洞悉数据中信息更加了解自己，也更加了解客户.在这个瞬息万变时代，面对各种随时可能发生变化形势，管理者不妨使用“以洞察获取先机、用沟通确保执行”方式，制定各种应对战略，保证企业这艘“大船”平稳行驶，在不断竞争中获得胜利.企业管理公司SAP（全球知名企业管理和协同化商务解决方案供应商）曾做过一项调查，发现在任何行业中，将最具竞争力企业与最不具竞争力企业相比，前者员工受到更强洞察力影响比例是后者两倍，由此可见，强大洞察力对企业竞争优势起推动作用.归根到底，“大数据”最终意义在于获得提升“洞察力”能力和价值.移动互联时代，数据已经被认为是宝贵资源，任何一家有雄心

19、、渴望获取洞察力企业，都应及早制定“大数据”战略和方案.否则，所有机会将被“数据鸿沟”所延宕.3 “大数据”核心：更准确地预测企业数据在“大数据”时代，数据与机器将在人类日常决策中占有重要地位.未来，人类必须学会如何和海量数据相处.从个体角度而言，人类需要学会如何平衡个人直觉与数字证据之间关系；从企业与组织角度而言，人类需要探索企业组织架构和决策流程与数据之间关系；从创新角度而言，人类需要探索如何打造合适产业环境，促进更多创新“大数据”应用诞生.“大数据”时代，海量数据处理与挖掘技术固然十分重要，但是，更为重要因素仍然是人.只有人，才能利用新技术与新方法创造性地搜集与探索数据中隐含意义；只有人

20、，才能最大限度地发挥数据作用，在机器与数据支持下更有效地决策.换句话说，“大数据”核心：是要求更准确地预测企业数据.为了适应“大数据”时代来临，企业需要从管理者思维方式、企业组织架构和信息环境等多方面进行改变以与之相适应.企业“大数据”应用一方面是与宏观经济、人民生活、社会保障、道路交通信息融合，促进经济社会发展；另一方面，是各个行业或企业内部，跨专业、跨单位、跨部门数据融合，提升行业、企业管理水平和经济效益.4 数据挖掘技术在工控行业里应用数据挖掘，又称为知识发现(Knowledge Discovery)，是通过分析每个数据，从大量数据中寻找其规律技术.利用大数据可对业务进行分析，加工成有用

21、数据，进而全面掌控企业业务.对电力行业来说，大数据是电力企业深化应用、提升应用层次、强化集团企业管控有力技术手段.随着电力企业各类IT系统对业务流程基本覆盖，采集到数据量迅速增长.电力行业面临问题不仅仅是收集和存储数据，而是围绕数据采用相应定量和统计信息，挖掘更加有价值信息.如国网信通公司在北京亦庄数据中心里，就设有10200个传感器，它们及时采集数据，存储到云并进行分析和利用.数据挖掘是从海量实际应用数据中，提取隐含在其中、潜在有用信息和知识过程，是一个知识发现过程.整个过程分为业务理解、数据理解、数据准备、建立挖掘模型、评估和部署六个步骤.即在开始数据挖掘之前，我们必须了解业务需求，根据需

22、求明确挖掘主题、要求和最终目标；接下来便是对现有数据进行评估，并对原始数据进行组织、清理、集成、变换等一系列数据收集和预处理工作；在搞好数据治理基础上，便可应用数据挖掘算法和工具建立挖掘模型；之后对所建立模型进行评估，重点具体考虑得出结果是否符合最初业务目标；最后，便可将发现结果以及过程利用各种可视化技术（报表、报告、图形等）呈现出来.5 工控行业“大数据”应用案例工业控制系统中“大数据”应用研究.现举例如下：案例之一，SCADA系统中大数据处理研究与开发在SCADA (Supervisory Control And Data Acquisition)系统，即数据采集与监控系统实际应用过程中，

23、由于很多应用企业数据采集点很多，同时由于应用方面实际需要，通常需要把采集数据保留一段很长时间，用于查询、分析和统计.另一方面，很多数据采集要求实时性较高，需要保持着较高采集频率，从而，数据库中数据势必会越来越多，因此，在保证系统稳定与正常访问前提下，将不可避免地面临着大数据处理问题.如：某城市供水管网数据SCADA系统中有多个水厂，每个水厂有多达上百个数据采集点，包括了水温、水流量、水压力、水位以及其它多项监测数据.针对此类问题，在不改变数据采集周期、不增加硬件设备情况下，通过优化数据结构和算法，完全可以达到提高数据访问速度、提高系统运行效率目，可具体进行优化.案例之二，大数据推动自动化和信息

24、化融合2012年9月20日，“第二届云计算大会暨大数据高峰论坛 ”在北京召开.在此次以“云计算与大数据融合发展方向”为主要探讨话题高峰论坛上，与会嘉宾首钢集团自动化公司总工程师郭雨春做主题演讲.郭雨春认为，“首钢对数据应用历史，原来数据是一种资料，到后来变成资源，到现在是一种资产.”“两化融合在制造业来讲应该是比较新课题，结合企业信息化来讲，从管理角度来讲，应该是精细化管理，从生产流程来讲应该产业升级.这两个都离不开自动化和信息化支持.就是因为要建立数字化企业，实际上这里面就是两化深度融合必然结果，这里面是最关键是数据.为什么?就是说两化融合进程中，首先要提到就是自动化和信息化之间关系，我们认

25、为信息化这种发展高级自动化，所以在两个融合进程中信息化包含了自动化.为什么?就是因为有大数据，有了数据融合，所以才出现了自动化和信息化融合.” 毫无疑问，大数据创业前景十分广阔，“看不见数据，看得见价值”正给新兴通过数据创业公司带来难以估量市场潜力.案例之三，“大数据”支撑智慧城市建设未来智慧城市建设将带来数据量爆发式增长，“大数据”将像血液一样遍布智慧交通、智慧医疗、智慧生活等智慧城市建设各个方面，城市管理正在从“经验治理”向“科学治理”转变.智慧城市是否真正“智慧”源自“大数据”，如何挖掘海量数据潜在价值并为城市治理提供可靠决策和建议，成为智慧城市建设关键.专家建议，中国必须抓住“大数据”

26、时代机遇，挖掘海量数据潜在价值，进而推进智能城市建设.结合智慧城市对信息需求，“大数据”在智慧城市中落脚点为为智慧城市各个领域提供强大决策支持.在城市规划方面，通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息挖掘，可以为城市规划提供强大决策支持，强化城市管理服务科学性和前瞻性.在交通管理方面，通过对道路交通信息实时挖掘，能有效缓解交通拥堵，并快速响应突发状况，为城市交通良性运转提供科学决策依据.在安防与防灾领域，通过大数据挖掘，可以及时发现人为或自然灾害、恐怖事件，提高应急处理能力和安全防范能力等.中国工程院院士邬贺铨在2013年1月11日举行2013中国智慧城市年会上说：

27、“大数据挖掘对智慧城市经济发展和社会管理是无形生产资料，“大数据”价值合理共享和利用将创造巨大财富.” 邬贺铨认为，智慧城市是城镇化进程下一阶段，是城市信息化新高度，是现代城市发展愿景.智慧城市在产生大数据同时，“大数据”也支撑着智慧城市建设和发展.五、“大数据”技术应用局限性这里，我并不是想说大数据分析不是一个好工具.而是想说，就像任何好工具一样， 它有它所擅长地方， 也会其局限地方. 而世界正因为不能单从一个方面解释而显得有趣.就像任何工具一样，“大数据”分析也有其局限性.“大数据”局限性是算法不能完全代替人判断.实际上“大数据”在很多方面都无法取代人类智慧和判断、“大数据”可以处理大量非

28、结构化数据，弥补管理者过于依赖直觉不足；但是人们也应当意识到，“大数据”也有很多不擅长地方：例如，无法对“情感”和“社会关系”等进行定性分析，原始数据和分析结果会受到人类主观意识影响；又如，“大数据”不擅长上下文情景分析；再如，“大数据”不擅长处理真正巨型问题；还如，原始数据往往会被扭曲，数据分析结论往往基于大众偏好. “大数据技术目前存在局限性，还不适用于所有企业.“大数据”最美地方，就是我们不再受数据容量局限，它可以不断增加一些变量，然后增加价值，帮助我们做出更好决策.斯坦福大学专家特来沃尔哈斯蒂也指出，“大数据”理论是“在稻草堆里找一根针”，而面临问题则是“所有稻草看上去都挺像那根针”.

29、而乔治梅森大学专家瑞贝克高尔丁则提出“数据提供者造假”危险，在“大数据时代”变得更有害，因为“大数据”理论建立在“海量数据都是事实”基础上，但人们无法控制数据提供者和搜集者本人偏见和筛选.近年来已有不少学者指出，拥有最完善数据库、最先接受“大数据”理念华尔街投行和欧美大评级机构，却每每在重大问题上判断出错，这本身就揭示了“大数据”局限性. 企业信息安全成为重大问题 “大数据”堪称一把双刃剑，不论是企业还是个人，都会因为“大数据”爆发而获益匪浅，但同时，个人隐私也无处遁形.站在不同角度看“大数据”，它既可能是大机会，大发展，大创新，也可能是大危机，大破坏，大淘汰.由于“大数据”炙手可热，数据流失

30、、泄露和私下买卖也成为噩梦，全球各地不时发生个人信息被盗可被看作“大数据时代”对个人生活伤害，而“维基泄密事件”则提醒强力部门和各国政府，“大数据”魔力同样会对强者构成反啮.数字世界扩大同时也意味着危险随之扩大.最近，通过美国人斯诺登持续爆料，“棱镜门”公之于众，全球在感到触目惊心同时，也不得不对美国收集数据广泛和浩瀚叹为观止.美国政府神通广大，一部分就是基于“大数据”.进入今年六月，美国“棱镜门”事件不断发酵，为全球信息安全敲响了警钟.“棱镜”折射出隐忧：大数据时代你我都是透明人！未知安全威胁，让人不寒而栗. 数据已经成为“企业命脉”.然而，我们既不应该过分迷信大数据、将现有非“大数据”技术

31、马上弃之不顾，也不应该将一切问题都推在“大数据”身上.很显然，传统技术不会瞬间“过时”、新技术也无法一手遮天.“大数据”理论并非人人相信然而“大数据”概念似乎正被不顾后果、毫无章法地过度使用;即使偶尔使用方法对路，其适用范围也并不像技术人员想象那么宽泛.例如：美国学者就质疑过“大数据”理论.微软研究院首席研究员、麻省理工学院公民媒体中心客座教授凯特克劳福德文章对大数据再思考，就从五个方面对大数据理论提出了质疑：1，大数据中存在偏见和盲区.克劳福德认为，数字无法自己说话.不论其规模有多大，数据集归根到底是人类设计产物，而大数据工具并不能使人们摆脱曲解、隔阂和错误成见.2，大数据在一定程度上可以使城市变得更加智能和高效，但具体效果如何取决于市政官员对数据及其局限性了解 .3，大数据可能导致基于群体歧视.大数据倡导者认为 ，“大数据对不同社会群体不会厚此薄彼”，克劳福德认为，实际情况并非如此.大数据不仅不会避免群体歧视，还可能加重这一趋势.