对电力设备状态大数据分析.docx

1、对电力设备状态大数据分析 对电力设备状态大数据分析 摘 要：随着智能电网的发展和电网规模的迅速增长, 及时、准确地掌握电力设备运行状态面临巨大的问题和挑战。近年来, 电力信息化日臻完善, 电力设备状态监测、生产管理、运行调度、环境气象等数据逐步实现集成共享, 大数据技术为电力设备状态评估和故障诊断提供了全新的解决思路和技术手段。结合大数据技术及数据挖掘分析方法在电力设备状态评估中应用的现状, 说明了电力设备状态大数据分析的内涵、目的、数据特征和基本架构, 阐述了电力设备状态大数据集成、转换、清洗、分布式存储和处理、高效挖掘以及数据驱动的设备状态分析模型等关键技术。通过分析电力设备状态评估的总体

2、需求, 总结和探讨了大数据技术在电力设备状态评价、异常检测、故障预测、智能诊断等典型业务场景中应用的方法和效果, 提出了研究和应用中面临的主要问题, 并对相关技术的发展趋势进行了展望。关键词：大数据; 电力设备; 状态评估; 故障诊断; 状态监测; 数据挖掘; 异常检测; 故障预测;Abstract：With the development of smart grid and the rapid expansion of power grid scale, it is very difficult to grasp the operational state of power equipmen

3、t timely and accurately.In recent years, the informationization of electric power has reached a high level.Data from condition monitoring system, power production management system, operation dispatching system, and environmental meteorology system are gradually integrated and shared.Big data techno

4、logies provide new technical methods and tools for power equipment condition assessment and fault diagnosis.We put forward the connotation, purpose, data characteristics, and basic framework for big data analysis of power equipment condition, in consideration of the status quo of big data technology

5、 and data mining analysis in power equipment condition assessment.The key techniques of big data integration, conversion, cleaning, distributed storage and processing, data mining with high efficiency, and data-driven analysis model for power equipment condition assessment are comprehensively elabor

6、ated.According to the total demand analysis of power equipment condition assessment, the methods and effects of big data techniques in application scenarios such as condition evaluation, anomaly detection, fault prediction and intelligent diagnosis are summarized and discussed.Finally, the major pro

7、blems in research and application are proposed, and the development trend of the relative technologies is prospected.Keyword：big data analysis; power equipment; condition assessment; fault diagnosis; condition monitoring; data mining; anomaly detection; fault prediction;0引言电力设备是构成电网的基础元件, 设备故障会严重影响电

8、网的安全稳定运行, 造成巨大的经济损失。根据行业统计分析, 由于设备运行环境复杂恶劣、设备质量潜在缺陷等问题长期存在, 设备故障一直是引起电网停电事故的主要源头。全面、及时、准确掌握电力设备运行状态是保障设备安全运行的首要问题和难点, 也是电力设备智能化的主要技术瓶颈1。近年来, 电网规模迅速增长, 安全可靠供电的要求也越来越高, 设备状态准确评估和状态检修面临更大的挑战, 主要问题表现在:1) 传统的状态评估主要采用基于理论分析、计算仿真和试验测试等手段建立的因果关系物理模型, 然而设备故障影响因素众多、机理复杂, 难以建立完善、精确的状态评估物理模型。2) 现有方法主要基于单一或少数状态参

9、量以及统一的诊断标准, 参数和阈值的确定主要基于大量实验数据的统计分析和主观经验, 分析结果片面, 无法全面反映故障演变与表现特征之间的客观规律, 统一标准的固定阈值判定方法也难以保证对不同设备的适用性。3) 电力设备的故障诊断很大程度上依赖专家分析, 近年来状态检测数据爆发式增长加上与设备状态密切相关的电网运行、气象环境等信息数据量巨大, 人工进行诊断分析的效率很低。4) 电力设备状态相关信息分散于各业务应用系统, 数据结构复杂多样、数据接口各不相同、平台间数据通信困难、交互性差, 导致信息与资源分散, 异构性严重, 横向共享和纵向贯通困难, 而且数据质量参差不齐, 数据集成和融合分析的难度

10、较大, 影响设备状态评估诊断的效果和效率。随着智能电网的建设与发展, 电力设备状态监测、生产管理、运行调度、环境气象等数据逐步在统一的信息平台上的集成共享, 推动电力设备状态评价、诊断和预测向基于全景状态的综合分析方向发展。然而, 影响电力设备运行状态的因素众多, 爆发式增长的状态监测数据加上与设备的状态密切相关的电网运行、气象环境等信息数据量巨大, 现有方法难以对这些数据进行融合分析, 这种背景下, 大数据分析技术提供了一种全新的解决思路和技术手段。近年来, 现代通信信息技术的快速发展引发了数据迅猛增长, 面向数据挖掘、机器学习和知识发现的大数据分析和处理技术得到广泛的关注, 成为推动行业技

11、术进步和科学发展的重要手段2。由于大数据对经济、社会和科研的巨大价值, 美国、英国、日本和欧盟等世界主要发达国家和地区纷纷给予高度关注, 将大数据技术的研究和应用提升到国家战略层面, 投入大量人力和财力进行研究3。谷歌、亚马逊、微软、IBM和Facebook等国际著名IT企业也将大数据技术列入重点发展计划。国内相关的研究起步稍晚, 但呈现蓬勃发展的态势, 以XX、腾讯、阿里巴巴、科大讯飞为代表的企业已将大数据技术成功应用于电子商务、金融、智能交通、公共管理、语音识别等领域。2015年9月, 国务院发布了促进大数据发展行动纲要, 为推动我国大数据技术和产业进一步快速发展提供了有力支撑。电力行业大

12、数据的应用涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革, 是下一代智能化电力系统在大数据时代下价值形态的跃升4。近年来, 电力大数据基础技术及其应用的研究逐步开展, 并在智能配用电、电力系统仿真、电网安全分析、电力负荷预测等方面取得一定的应用成效5,6,7,8,9,10,11。为了更好地掌握电网设备运行状态, 提高设备运行风险管控水平, 国家科技部、国家自然科学基金、国家电网公司和南方电网公司等单位2015年以来陆续立项开展了大数据分析技术在电力设备状态评估方面的研究和应用, 取得了阶段性的研究进展, 成为电力大数据的重要应用领域。本文结合大数据技术及数据挖掘分析

13、方法在设备状态评估中应用的现状, 阐述电力设备状态大数据分析的内涵和目的、数据来源和特征、基本框架以及涉及的关键技术问题, 总结和探讨大数据技术在电力设备状态评估中的典型应用场景和应用效果, 并提出研究和应用中面临的挑战以及未来的发展趋势。1 电力设备状态大数据分析概述1.1 内涵和目的电力设备状态大数据分析主要利用日渐完善的电力信息化平台获取大量设备状态、电网运行和环境气象等电力设备状态相关数据, 基于统计分析、关联分析、机器学习等大数据挖掘方法进行融合分析和深度挖掘, 从数据内在规律分析的角度发掘出对电力设备状态评估、诊断和预测有价值的知识, 建立多源数据驱动的电力设备状态评估模型, 实现

14、电力设备个性化的状态评价、异常状态的快速检测、状态变化的准确预测以及故障的智能诊断, 全面、及时、准确地掌握电力设备健康状态, 为设备智能运检和电网优化运行提供辅助决策依据。电力设备状态大数据分析是传统数据挖掘技术的提升和变革5, 核心优势是从全量数据中提取客观规律, 不需要建立复杂的物理数学模型, 主要应用价值体现在:1) 从数据分析的角度揭示电力设备状态、电网运行和气象环境参量之间的关联关系和内在变化规律, 捕捉设备早期故障的先兆信息, 追溯故障发展过程, 预测故障发生的概率, 从而及时发现、快速诊断和消除故障隐患, 保障电力设备运行安全。2) 利用多维统计分析、关联分析、机器学习等方法获

15、得不同条件、不同维度电力设备状态变化的个性化规律, 实现多维度、差异化的全方位分析, 大幅提高电力设备状态评价和预测的准确性。3) 推动新一代信息技术与设备运维检修的深度融合, 实现多源海量数据的快速分析、主动预测预警和故障智能研判, 提升设备状态评估的效率和智能化水平。1.2 数据来源和特征电力设备状态大数据分析所需要的数据主要包括:设备台账、技术参数、巡检和试验数据、带电检测和在线监测数据、电网运行数据、故障和缺陷记录、气象信息等, 涵盖能够直接和间接反映电力设备状态的信息。根据电力设备状态信息的更新频率, 可以将上述不同来源的状态信息划分为3大类:静态数据、动态数据、准动态数据。静态数据

16、主要包括设备台帐、技术参数、投运前试验数据、地理位置等;动态数据通常按分钟、小时或天为周期更新, 是反映设备状态变化的关键数据, 主要包括运行数据、巡视记录、带电检测数据、在线监测数据、环境气象等;准动态数据通常按月或年定期或不定期更新, 主要包括检修试验数据、缺陷/故障/隐患记录、检修记录等。电力设备状态数据具备典型大数据特征, 传统的数据处理和分析技术无法满足要求, 主要体现在:1) 数据来源多。数据分散于各业务应用系统, 主要来源包括设备状态监测系统、生产管理系统 (统 (production management system, PMS) 、能量管理系统 (energy managem

17、ent system, EMS) 、地理信息系统 (geographic information system, GIS) 、天气预报系统、雷电定位系统、山火/覆冰预警系统等, 各系统相对独立、分散部署, 数据模型、格式和接口各不相同;2) 数据体量大、增长快。电力设备类型多、数量庞大, 与设备状态密切相关的智能巡检、在线监测、带电检测等设备状态信息以及电网运行、环境气象等信息数据量巨大且飞速增长;3) 数据类型异构多样。电力设备状态信息除了通常的结构化数据以外、还包括大量非结构化数据和半结构化数据, 如红外图像、视频、局部放电图谱、检测波形、试验报告文本等, 各类数据的采集频率和生命周期各不

18、相同;4) 数据关联复杂。各类设备状态互相影响, 在时间和空间上存在着复杂的关联关系。1.3 基本架构电力设备状态大数据分析的参考基本架构如图1所示。首先, 利用跨平台多源异构数据获取技术从电力系统内部多个信息系统中获得在线监测、带电试验、停电试验、人工巡检、电网运行、环境气象等设备状态数据。然后, 对异构数据进行规范化转换和清洗, 利用统一的电力设备状态全景信息模型和分布式处理技术实现大数据的分布式存储、快速检索和实时处理。在此基础上, 基于内存计算框架和并行化计算技术建立设备状态数据高效挖掘和耦合分析的大数据挖掘分析平台。结合电力设备状态评估的主要业务场景和分析模型, 基于该平台对大量设备

19、状态实时数据和历史数据进行关联关系和内在规律的分析, 实现电力设备异常检测、动态评价、状态预测和故障诊断等功能。最后, 利用多维度、多角度的可视化技术展示综合评估诊断结果和分析过程, 为设备运维检修、电网调度运行和资产管理等业务提供优化决策支持。2 电力设备状态大数据分析的关键技术大数据技术主要包括数据预处理、数据存储与检索、数据分析和可视化展示等重要技术。结合图1电力设备状态大数据分析的总体架构, 除了建立大数据分析平台的通用技术外, 电力设备状态大数据分析涉及的关键技术还包括:多源异构设备状态数据的集成和预处理、面向设备状态大数据的分布式存储和处理、数据高效挖掘和并行化计算以及数据驱动的设

20、备状态分析模型等。2.1 多源异构设备状态数据集成和预处理技术2.1.1 多源数据集成和规范化转换电力设备状态大数据分析平台一方面需要从PMS、EMS、设备状态监测系统、气象信息系统等多个内部系统中获取相关数据, 另一方面通过物联网、移动互联等技术, 收集无人机巡线、机器人巡检、移动巡检、智能穿戴等外部实时检测信息, 形成设备全景信息库, 为电网运行、设备状态、气象环境等多源信息的展示和融合分析提供数据支撑。依据数据完整性、可用性和安全性等要求, 可以采用企业服务总线 (enterprise service bus, ESB) 、Webservice、数据中心数据库共享、安全文件传输等数据接口

21、方式, 从各类电网业务系统中抽取数据, 解决跨平台数据库高效访问、数据文件高速并发读取、数据安全传输与同步等问题。2.1.2 非结构化数据转换通过人工巡检、在线监测、智能巡检等方式采集的大量红外热像、视频图像、紫外成像、局部放电图谱、频响和波形曲线等目前大都以非结构化的形式存储和处理, 这些非结构化数据可以有效地发现电力设备外观、环境、局部过热、局部放电等主要缺陷, 为设备状态评估诊断提供重要依据。此外, 大量的试验文档、巡检文档、检修工单、故障缺陷案例报告等以非结构化文本的形式存储, 也是设备状态评估和预测的重要参考信息。需要利用图像处理、文本挖掘等技术实现设备状态检测图形、图像、文本数据的

22、特征提取和结构化转换12, 为数据的统计分析和知识挖掘提供支持。2.1.3 状态数据质量评估和数据清洗数据质量是是保证数据挖掘分析效果的前提条件。电力设备状态信息相关数据具有来源多、信息异构、数量庞大、属性繁多等特点, 存在数据不完整、冗余、冲突、遗漏、错误等问题, 尤其是设备状态监测系统可靠性不高, 传感器的短时失效、测量值错误、通讯端口异常、设备系统扰动等情况时有发生, 监测数据中不可避免的存在各类无效的异常值, 影响设备状态分析和评估的结果。电力设备状态数据清洗是数据预处理必不可少的环节, 也是保证设备状态大数据分析效果的关键技术。数据清洗的主要方法是通过统计分布、聚类、关联分析、时间序

23、列分析以及机器学习等手段进行数据质量的检验、离群点识别、缺失值填充、噪声平滑等, 剔除无用的错误数据, 填补关键的缺失数据, 确保数据的有效性、一致性、完整性13,14,15, 满足设备状态数据挖掘分析的要求。特别要注意的是数据本身的异常应该与设备状态异常变化有效区分, 以免造成设备状态异常的漏判或误判16。2.2 面向设备状态大数据的分布式存储和处理技术考虑到系统的成熟性和先进性, 目前一般采用Hadoop平台作为电力设备状态大数据存储、处理和云计算平台, 但考虑到电力设备状态数据自身的特点和状态分析的性能需求, Hadoop平台在应用时仍存在很大的优化空间17,18,19,20。2.2.1

24、 设备状态数据高效存储技术:传统的设备状态数据存储多采用关系型数据库或以关系数据库为基础的并行数据库, 在海量数据装载以及查询时性能下降明显, 不能很好地适应设备状态大数据分析的应用需求。面向电力设备状态大数据的存储系统需要满足结构化和非结构化相结合、可靠性高、容量大、存储速度快等要求, 一般采用主流的分布式文件存储和分布式No SQL列存储数据库 (Hbase或HDFS) 。为了提高访问的性能, 需要针对电力设备状态数据的特点优化存储策略, 加快数据处理速度, 如:考虑设备状态数据相关性和时空属性的分布式存储算法, 按照设备主属性、时间戳和相关系数使具有相关性的数据在集群中聚集;对Hadoo

25、p平台的数据划分策略、调整数据块尺寸以及集群网络拓扑规划进行优化等18。2.2.2 设备状态数据快速检索技术大数据分布式存储并没有完全解决数据高效检索问题, 尤其是面对电力设备状态分析复杂、灵活多条件时空查询的需求, 单一行键查询难以满足需要。为提高设备状态评估数据检索和分析的效率, 针对设备状态数据查询业务虽然频繁发生, 但其类型相对固定的特点, 可采用多数据源并行连接的查询方法和二级索引技术, 设计复合行键结构, 在查询的性能以及业务的灵活性之间进行平衡。该技术基于增量索引和动态索引的数据检索方法, 资源利用率高、稳定性高、容错性高, 能够较好地满足设备状态大数据快速、灵活查询的需要19。

26、2.2.3 设备状态数据处理技术大数据计算处理技术主要包括内存计算技术 (如Spark) 、即席查询技术 (如Impala) 、实时流处理技术 (如Storm) 和并行批处理技术 (如Map-reduce) 等20。实时流处理技术特点是处理速度快, 可以简单、高效、可靠地处理大量的数据流, 但是无法精确反映数据的全貌。批处理技术可以实现数据自动分隔、任务均衡、并行处理和结果融合。设备状态大数据分析可以根据业务特点和对处理时间的要求综合应用不同的处理技术:设备状态评价和故障诊断分析等需要处理数据库中海量历史数据的场景, 可采用并行批处理技术;设备异常状态快速检出以及视频监控图像识别等需要实时处理

27、传感网络监测数据等场景, 可采用实时流处理技术和内存计算技术。2.3 面向设备状态评估的大数据挖掘分析算法与并行化技术数据挖掘分析的研究方式不同于基于数学模型的传统研究方式, 大量数据可以不依赖模型和假设, 只要数据间有相互关系, 经过分析计算就可以获得传统方法发现不了的新模式、新知识甚至新规律。数据分析的主要方法分为3类:1) 统计分析, 包括传统统计分布模型、时间序列分析、多元统计分析以及新兴的高维随机矩阵分析方法等;2) 挖掘分析, 包括关联规则挖掘、聚类、分类和异常检测等;3) 机器学习, 根据学习模式分为监督学习, 无监督学习和强化学习, 根据学习方法分为传统机器学习和基于多层神经网

28、络的深度学习, 另外, 还包括迁移学习、主动学习和演化学习等类型。由于大数据具有海量、复杂多样、变化快等特性, 当数据量增大到一定规模的时候, 传统数据挖掘分析算法很多不再适用, 需要利用并行计算模型加快数据的处理速度。因此, 不少科研机构以及高校都积极致力于高性能的大规模数据集挖掘算法的研究21,22, 利用不同的技术对传统的数据挖掘算法进行了修改、优化, 使其能够通过大数据存储架构的Map Reduce并行计算模型加快计算速度, 以适应大数据背景下的数据高效挖掘和融合分析要求。主要的思路是利用经典的数据统计和挖掘算法 (包括回归分析、关联分析、分类、聚类、时间序列分析等) 构建大数据挖掘平

29、台, 将建模过程与Spark内存计算框架相结合, 由多个分布式节点并行地进行计算, 提高挖掘分析速度。考虑到每种数据挖掘分析算法都有其应用特点, 在电力设备大数据分析的应用中, 需要针对具体的业务场景采用一种或多种算法。2.4 多源数据驱动的电力设备状态分析模型电力设备状态大数据分析的核心是充分利用设备状态、电网运行和环境气象等多源、海量数据进行深度融合分析和机器学习, 提高设备状态评价、故障诊断和预测的实时性和准确性。根据应用场景, 可以构建3类分析模型:1) 通过多维统计分析、聚类、关联分析、回归分析、时间序列分析等大数据挖掘手段分析各类状态数据的关联关系及变化规律, 构建历史知识模型;2

30、) 通过大量数据的多维统计和挖掘分析, 建立基于数据驱动的状态评价、故障诊断和预测模型;3) 利用大量样本数据进行智能学习, 对现有状态评价和故障诊断物理和数学模型进行修正、补充和完善。3 电力设备状态大数据分析的典型应用3.1 总体需求分析电力设备的状态变化和突发故障是在高压电场、热、机械力以及运行工况、气象环境等多种因素的作用下发生的, 要及时和准确地发现设备在运行中产生的潜伏性故障是十分困难的, 必须多角度综合分析不同特征参量值及其变化趋势, 来提高设备状态评价、诊断和预测的准确性。而电力设备的状态变化和故障演变规律蕴含在带电检测、在线监测、巡检试验以及运行工况、环境气候、电网运行等众多

31、状态信息中, 随着智能电网的建设和不断发展, 设备检测手段的不断丰富, 电网运行和设备检测产生的数据量呈指数级增长, 逐渐构成了当今信息学界所关注的大数据, 充分利用这些数据需要相应的大数据分析技术作为支撑。3.2 典型应用场景3.2.1 面向设备状态评估的历史知识库对设备状态相关的状态监测、带电检测、试验、气象、运行以及设备缺陷和故障记录等海量历史数据进行多维度统计分析和关联规则挖掘, 从电压等级、设备厂家、设备类型、运行年限、安装地区等多个层面和多个维度揭示设备状态变化的统计分布规律、设备缺陷和故障的发生规律及设备状态的关联变化规则, 形成基于海量数据挖掘分析的历史知识库, 为设备家族性缺

32、陷分析、状态评价、故障诊断和预测提供支撑, 也可以为状态检修辅助决策提供科学依据。3.2.2 设备状态异常的快速检测电力设备在实际运行过程中会受到过负荷、过电压、突发短路、恶劣气象、绝缘劣化等不良工况和事件的影响使设备状态发生异常变化, 这些异常运行状态如不及时发现并采取措施, 会导致设备故障并造成巨大的经济损失。从不断更新的大量设备状态数据中快速发现状态异常变化的信号, 是设备状态大数据分析的重要优势之一。设备异常或故障类型很多, 但故障样本很少, 反映故障发展过程数据变化的样本更少, 很难利用少量数据样本建立准确的异常检测模型、设定异常检测判断参数和阈值。大数据分析可以改变传统固定阈值的检测方法, 基于海量的正常状态数据建立数据分析模型, 利用纵向 (时间) 和横向 (不同参数、不同设备) 状态数据