电力大数据质量实时监控平台建设可行性研究报告.docx

1、电力大数据质量实时监控平台建设可行性研究报告电力大数据质量实时监控平台建设可行性研究报告(说明：此文为WORD文档，下载后可直接使用)1. 项目概况2. 项目实施意义2.1项目的整体概念和含义2.2市场需求分析2.3项目的示范效应 2.4预期项目经济及社会效益3. 项目实施方案3.1项目可行性分析 73.2设计原则和技术特点3.3项目主要研究内容3.4项目创新性分析4预期目标及验收指标4.1预期目标4.2中期检查指标4.4项目进度安排5资金筹措及使用5.1投资估算5.2资金筹措5.3资金使用计划5.4已投入经费6项目产业化应用的推进策略和优势分析6.1项目的市场空间和目标客户群体6.2项目的商

2、务运营推广模式以及开拓市场的创新性6.3项目产业化推广有效性分析7项目已有基础与保障条件7.1承担单位概况7.2技术人员储备7.3开发团队人员名单与简历7.3基础设施与研究设备7.4已有科研成果7.5企业产学研情况8项目风险分析8.1技术风险8.2管理风险8.3市场风险8.4环境污染风险1. 项目概况本项目“电力大数据实时监控系统平台”是一套面向某某省电力行业，利用Hadoop架构技术建立的大数据准实时监控平台。通过对电力大数据的采集、存储和管理，该平台实现实时的大数据质量监控、系统分析处理以及预警发布。本项目采用的分布式计算体系能够实现对某某省电力行业大数据，进行实时有效地管理与监控。能够解

3、决电力大数据质量规则检验复杂，难以进行全面快速监控。同时可以将原有数据质量监控周期从以天、周、月级缩小到分钟级，并且有效解决了传统互联网用户关系数据库对于问题清单的保留与查询难点。本项目承担单位广州科腾信息技术有限公司专注电力信息化业务，为电力行业的信息化、数字化管理提供优质服务，成为包括南方电网、某某电网、广州供电局、东莞供电局、中山供电局、惠州供电局、潮州供电局、汕头供电局、江门供电局等多家电力企业优选的业务合作伙伴，能够第一时间掌握并拥有我省电力行业的海量数据资料。同时公司在服务过程中以及承担政府相关项目过程中积累了大数据采集、存储和管理的经验。公司已在相关大数据的存储和管理方面已投入大

4、量的研发费用以及设备费用，拥有包括专利及软件著作权等多项自主知识产权。目前该项目中的监控平台建设具有较好的前期基础。本项目针对电力大数据的特点，将监控系统平台划分为基础设施层、平台层以及软件服务层。进而实现对电力大数据的实时采集、分布式存储和并行计算分析，能够提供包括基础数据查询分析服务、基础数据挖掘分析服务、应用系统管理支撑服务，以及监测大数据可视化管控模型和服务、监测大数据演变跟踪模型和服务、监测大数据预警模型和服务等与应用密切相关的业务模型与服务。2. 项目实施意义2.1项目的整体概念和含义大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和

5、大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，是跨单位、跨专业、跨业务数据分析与挖掘，以及数据可视化。电力大数据由结构化数据和非结构化构成，随着智能电网建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数量将大大超过结构化数据。电力大数据的特性满足大数据的五个特性，一是数据量大（Volume）、二是处理速度快（Velocity）、三是数据类型多(Variety)、四是价值大（Value）、五是精确性

6、高（Veracity）。电力大数据技术满足电力数据飞速增长，满足各专业工作需要，满足提高电力工业发展需要，服务经济发展需要。电力大数据技术包括：高性能计算、数据挖掘、统计分析、数据可视化等。电力大数据通过对电力数据进行分析挖掘，得到信息，然后将信息转化为知识，最后通过可视化展现与表达，与人们进行分享。电力大数据的应用一方面是与宏观经济、人民生活、社会保障、道路交通灯信息融合，促进经济社会发展；另一方面，是电力行业或企业内部，跨专业、跨单位、跨部门的数据融合，提升行业、企业管理水平和经济效益。2.2市场需求分析近年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用

7、所产生的数据呈爆炸性增长。据世界权威IT信息咨询分析公司IDC研究报告预测：全世界数据量未来10年将从2009年的0.8ZB增长到2020年的35ZB（1ZB=1000EB = 1,000,000PB），10年将增长44倍，年均增长40%。电力行业中数据量的增长也呈现出相似的态势。近几年，电力行业信息化也得到了长足的发展，我国电力企业信息化起源于 20 世纪60 年代，从初始电力生产自动化到 80 年代以财务电算化为代表的管理信息化建设，再到近年大规模的企业信息化建设，特别伴随着下一代智能化电网的全面建设，以物联网和云计算为代表的新一代 IT 技术在电力行业中的广泛应用，电力数据资源开始急剧增

8、长并形成了一定的规模。从长远来看，作为中国经济社会发展的“晴雨表”，电力数据以其与经济发展紧密而广泛的联系，将会呈现出无以伦比的正外部性，对我国经济社会发展以至人类社会进步也将形成更为强大的推动力。在大数据时代，对数据质量缺乏管理，就无法挖掘大数据的价值。大数据的特点是3V，即大量化（Volume）、多种类（Variety）和高采集速度（Velocity）。大量化意味着传统的数据质量算法，除非有非常大的性能提升，是难以用在大数据环境下的，因为扫描一次的时间可能都是无法接受的；多种类更增加了这种难度，因为传统的数据质量算法基本上是基于关系数据的，对于象XML、文档、图数据等等类型，目前还没有太好

9、的数据质量算法；高采集速度更是一个严峻的挑战，因为采集过程本来就是数据质量问题的主要来源，采集速度快，又不能及时进行数据质量处理，会导致数据质量问题的堆积，越来越严重。2.3项目的示范效应根据我国“十二五”规划纲要明确提出“依托信息、控制和储能等先进技术，推进智能电网建设，构建安全、稳定、经济、清洁的现代能源体系”。该项目的成功实施可以帮助提升广州市乃至某某省电力企业在智能电网大数据方面的技术实力、应用能力以及服务水平，有利于促进我省智能电网的发展，推动清洁能源的利用与我国经济社会的可持续发展，具有良好的示范效应。2.4预期项目经济及社会效益麦肯锡研究报告大数据：创新、竞争和生产力的下一个前沿

10、领域中指出，大数据的应用具有显著的财务价值，而作为天然联系千家万户厂矿企业的中国电力工业，其所产生的电力大数据价值尤为宝贵。电力数据以其同用电客户的紧密耦合可以实现对用户 360 度的精确定位，电力数据以其同国民经济的紧密耦合可以实现对区域经济走势的准确还原，电力数据以其同电力生产的紧密耦合可以实现对电力设施设计、生产阶段的反馈指导。总之，电力大数据的有效应用可以面向行业内外提供大量的高附加值的内容增值服务。根据德克萨斯大学针对数据有效性的一项研究表明，企业通过提升对自身数据的使用率和数据质量，能够显著提高企业的经营表现。根据研究提供的数据，如果企业数据使用率提升10%，电力行业中企业人均产出

11、将能够提升18%左右。而数据质量的提升，将会对企业产生更为显著的影响。根据德州研究提供的数据，如果企业数据质量提升10%，电力行业受益最为明显，净资产收益率（ROE）提升幅度为218%。本项目的实施期为2年，将研发出业内领先的大数据质量处理技术及相应的系统平台。同时项目的实施有明显的社会促进意义，效益明显：1）提升和巩固我省大数据应用领域在国内外的先进乃至领先地位，推动大数据真正发挥价值、创建创新型某某做出积极贡献；2）通过申请专利或软件著作权、在国内外重要学术刊物和会议上发表论文等，有效保护国家的核心技术利益，提升在相应领域的话语权和知名度，为我省企业以及有关从业人员赢得应有的国际国内声誉做

12、出积极努力；3）有利于增强和保持项目依托单位相关领域产品在市场中的引领地位，提高有关产品的技术水平、市场竞争力和市场占有率，促进项目依托企业以及关联产业整体发展。3. 项目实施方案3.1项目可行性分析1.经济可行性随着南方电网各分子公司的业务发展及企业信息化系统建设的不断完善，同时也建设了总网级的数据中心，为决策提供辅助依据，为管理提高效率。但是数据质量成为各信息化系统及数据中心发挥其作用的制约，并且在大数据逐步成为主流的前景下，建设电力行业大数据质量监控平台是适应南网及各分子公司的信息化应用现状及发展的需求。广州科腾公司股东和管理层也高度重视技术研究开发机构的建工作，研发机构各方面建设已经具

13、有较好的基础，在资金上有充足的保障，项目在经济上具有可行性。2.技术可行性公司自2007年起组建技术研发团队致力于电力信息化事业，以持续提升供电企业核心价值为己任，为电力企业提供全面有效的信息化解决方案。2010年开始，科腾公司把握产业发展机遇，围绕新兴领域和新的业务增长点开展预先研究，通过承担一批智能电网、新能源领域的业务具备了一定的研发实力和技术基础。目前，公司从事技术开发专业技术人员有317人，公司的典型客户有南方电网公司、某某电网公司、广州供电局、东莞供电局、中山供电局、惠州供电局、潮州供电局、汕头供电局、江门供电局等。公司在大数据技术方面也通过产学研的策略来提升实力，“智能电网大数据

14、应用创新实验室”是由广州科腾信息技术有限公司、南京大学计算机科学与技术系共同创建，并于2013年11月正式成立。该实验室拥有的技术团队，是国内最早开展大数据技术研究的技术团队之一，其在hadoop底层优化等方面的大数据技术属于国内领先地位。实验室已完成基于开源技术大数据技术架构搭建，并作了优化封装。3.2设计原则和技术特点采用大数据并行化处理解决方案，系统设计须遵循以下设计原则并具备以下技术特点：（1）实时性：系统需要能准实时完成增量和全量电网数据质量校验处理，保证处理不会出现数据堆积现象，根据所配置系统的规模、所输入的数据量和校验规则的数量，提供不同时间窗口的准实时数据质量校验处理，并完成数

15、据质量校验结果输出和数据统计报告。（2）高可靠性：系统应采用目前业界成熟可靠的大规模数据处理平台和技术，需要考虑数据存储和计算时的系统可靠性，具有节点失效检测和恢复的容错处理能力，保证不出现系统瘫痪和数据出错现象。（3）高可扩展性：系统构架和方案必须具有高可扩展性，保证在将来应用系统规模扩大时能根据需要随时增加节点以扩大系统的数据存储能力和计算能力。（4）高可获得性：项目使用市场上标准的普通商用服务器，采用标准的网络构建云计算平台，云计算平台通用性强，且任何节点损坏都易于更换和维护，避免使用专用的、价格昂贵的服务器；云计算系统软件尽可能采用业界广为使用的开源系统，既节省软件费用，也易于获得。（

16、5）高性价比：采用价格不高的普通服务器，大大节省系统的构建和维护成本，同时通过云计算平台的并行化计算能力可提供比传统方案更高的计算性能，获得很高的性价比。（6）全业务支持：对电网大数据采用分布存储，而少量数据关系复杂或实时性要求很高的关键技术指标统计数据存放于关系数据库，采用这种分布式海量数据存储为主、关系数据库为辅的混合式数据存储模式，可存储各种不同规模和类型的数据，满足各种不同的数据处理和应用业务需求。3.3项目主要研究内容本项目的设计将采用基于Hadoop生态系统的的大数据存储和并行计算系统解决方案。作为本项目的总体解决方案所采用的核心技术和支撑系统，Hadoop提供了面向大数据并行处理的三个层面的支撑： 1.大数