基于大数据技术的用电信息采集分析系统的设计与实现.docx

基于大数据技术的用电信息采集分析系统的设计与实现.docx

《基于大数据技术的用电信息采集分析系统的设计与实现.docx》由会员分享，可在线阅读，更多相关《基于大数据技术的用电信息采集分析系统的设计与实现.docx（56页珍藏版）》请在冰豆网上搜索。

基于大数据技术的用电信息采集分析系统的设计与实现

硕士专业学位论文

基于大数据技术的用电信息采集分析系统的设计与实现

Designand ImplementationofElectro-InformationCollectionandAnalysisSystemBasedonBig-DataTechnology

作者:

XXXX

导师:

XXXX

北京交通大学

2015年12月

学位论文版权使用授权书

本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。

特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。

同意学校向国家有关部门或机构送交论文的复印件和磁盘。

（保密的学位论文在解密后适用本授权说明）

学位论文作者签名：

导师签名：

签字日期：

年月日签字日期：

年月日

学校代码：

10004密级:

公开

北京交通大学

硕士专业学位论文

基于大数据技术的用电信息采集分析系统的设计与实现

Designand ImplementationofElectro-InformationCollectionandAnalysisSystemBasedonBig-DataTechnology

作者姓名：

XXX学号：

XXXX

导师姓名：

XXXX职称：

XXXX

工程硕士专业领域：

软件工程学位级别：

硕士

北京交通大学

2021年4月

致谢

摘要

大数据概念兴起于互联网行业，随后在能源行业引起关注，主要特点是数据规模量级高、类型多样化、增长速度高。

大数据技术是实现大数据采集、存储、统计分析、展现等过程的新一代数据处理技术。

用电信息采集系统，是在电力行业对用电客户的用电信息进行采集、处理和监控的系统，是为实现用电管理和智能用电而建立的辅助系统。

本论文论述的是如何运用大数据技术实现新型用电信息采集分析系统过程，不包含智能采集终端等硬件设备的设计与应用，研究目的是实现将来自互联网行业的新兴技术应用于传统能源行业。

本论文描述的系统全名为基于大数据技术的用电信息采集分析系统，本系统总共分为五个模块，包括数据接入转发、实时计算、数据入库存储、数据统计分析和可视化展示。

本人长期从事软件设计开发工作，负责其中数据接入转发模块、实时计算模块与数据入库存储三个模块的设计与实现：

（1）数据接入转发模块

地市级计量自动化系统将计量数据和电能量信息以二进制的形式上传到省级中心系统，上传周期为15分钟，每个周期的数据容量大于10GB。

本模块通过分布式处理技术Kafka，在一个上传周期内完成数据接入、存储并转发，同时本模块实现了数据出错重发机制。

（2）实时计算模块

本模块使用分布式流计算引擎Storm，在数据接入转发模块转发信息的基础上，实现四分线损统计、供电质量统计、供售电量统计、供电时间统计业务逻辑。

本模块能够通过简单操作增加计算节点，扩充系统的处理能力。

（3）数据入库存储模块

本模块将数据快速安全地存储于分布式数据库HBase与分布式文件系统HDFS（HadoopDistributedFileSystem）中，并快速读取。

经测试和模拟数据验证，本系统在大数据技术架构基础上，完成用电信息采集系统五项功能。

功能之一：

通过分布式、数据持久化接入组件，本系统实现了海量用电客户用电数据实时可靠的接入。

功能之二：

通过分布式流式业务处理组件，本系统实现了阶段性电量计算、四分线损统计等实时计算功能。

功能之三：

基于HBase分布式数据库和HDFS分布式文件系统，本系统实现了分布式存储，数据根据实际情况选择存储方式。

功能之四，结合机器学习算法库与MapReduce分布式计算框架，本系统实现用电客户用电行为分析等离线分析挖掘。

功能之五，本系统实现了数据处理过程完全可视化以及系统组件的实时监控。

关键词：

分布式；用电信息；采集；分析；大数据技术

ABSTRACT

Bigdataisaconceptthat’sontheupgradeintheinternetindustryattheoutset,andthencausedconcernintheenergyindustry,whichmainfeatureisthehigh-levelscaleofthedata,thediversificationsofthedatatype,thehighgrowthrate.Bigdatatechnologyisanewgenerationofdataprocessingtechnology,realizingcollection,storage,statisticalanalysis,displayofbigdataandsoon.Electro-informationcollectionandanalysissystemisasystemforcollecting,processingandmonitoringtheelectricityinformationthat’sfromelectricitycustomers,asanassistantsystemassistingforthepowermanagementandintelligentuseofelectricity.

Thispaperdiscusseshowusebigdatatechnologytoachieveanewtypeofelectro-informationcollectionandanalysissystem,doesnotincludethedesignandapplicationofhardwaredevicessuchasintelligentacquisitionterminal,whichpurposeoftheresearchistoapplythenewtechnologyinthetraditionalenergyindustry.Thefullnameofthissystemisdesignand implementationofelectro-informationcollectionandanalysissystembasedonbig-datatechnology,whichisdividedintofivemodules,includingdataaccessandforwarding,real-timecalculation,datastorage,dataanalysisanddatavisualizationdisplay.Theauthorisengagedinthedesignanddevelopmentofsoftwareforalongtime,soisresponsibleforthedesignandimplementationofdataaccessandforwardingmodule,real-timecalculationmoduleanddatastoragemoduleofthreemodules:

（1）Dataaccessandforwardingmodule

Themeasurementautomationsystemonthecitylevelwoulduploadmeasuredataandenergyinformationinbinaryformtotheprovincialcentersystem.Datacapacityproducedineachuploadcyclewhichis15minutesisgreaterthan10GB.Inthismodule,throughthedistributedprocessingtechnologynamedKafka,thesystemcompletesdataaccess,storageandforwardinginanuploadcycle.Atthesametime,themodulesupplydataretransmissionfunction.

（2）Real-timecalculationmodule

ThismoduleusesdistributedstreamcomputingenginenamedStormafterdataaccessforwardingmodule,accordingtotheforwardinginformationtocompletefourlossstatistics,statisticsofpowersupplyquality,forelectricitysalesstatistics,powersupplytimeofstatisticalcalculation.Thismodulecanbeusedtoincreasetheprocessingcapacityofthesystem,whichcanbeusedtoincreasethecomputingnodes.

（3）Datastoragemodule

ThismoduleputsdatastoredquicklyinHBasethatisadistributeddatabaseandHDFS（HadoopDistributedFileSystem）thatisadistributedfilesystem,andgetsdatafromthemquickly.

Provedbytestandverificationwithsimulationdata,thissystembasedonthebigdatatechnologystructure,completesfivefunctionsofelectro-informationcollectionandanalysissystem.

Thefirstfunction:

Throughadistributed,datapersistentaccesscomponent,thissystemarchivesthereal-timeandreliableaccessfrommassiveuserelectricitydata.

Thesecondfunction:

Viaadistributedflowtypebusinessprocessingcomponent,thissystemachievesstagepowercalculation,four-inslinelossstatisticsreal-timecalculationfunc