数据挖掘在电力系统中的应用综述陈星莺.docx

1、数据挖掘在电力系统中的应用综述陈星莺数据挖掘在电力系统中的应用综述陈星莺,张晓花,瞿峰,刘皓明,赵波(河海大学电气工程学院,江苏南京210098)呈爆炸性增长态势.传统的统计手段已变得难以满足要求,需要运用新方法来挖掘更深层次的规律,并保证系统运行的经济性、安全性和可靠性,以便提供更快、更有效的决策支持.数据挖掘的出现,引起了电力工作者的广泛关注.近年来,数据挖掘在电力系统很多领域都有成功的应用,表现出广阔的应用前景2,3.本文介绍了数据挖掘的基本概念和主要方法、CRISP-DM标准流程以及在电力系统中的应用现状,并进行了较全面的总结.1数据挖掘数据挖掘是一个包含多个处理步骤的知识发现过程,其

2、主要内容包括:数据清洗、数据集成、数据选择、数据转换、数据挖掘、模式评估和知识表达输出.数据挖掘涵盖了数据库系统、数据仓库、统计学、机器学习、数据可视化、信息检索和高性能计算等多学科交叉领域,其中涉及的学科类别包括人工神经网络、模式识别、空间数据分析、图像数据库、信号处理和归纳逻辑编程等4,5.典型的数据挖掘体系结构如图1所示.图1典型的数据挖掘体系结构1.1数据挖掘流程数据挖掘是指一个完整的过程,该过程从大型数据库中挖掘先前未知的、有效的、实用的信息,并使用这些信息做出决策或丰富知识.CRISP-DM6是当今数据挖掘业界著名的标准之一,它强调的是数据挖掘在商业中的应用,解决数据挖掘过程中存在

3、的问题,而不是将数据挖掘仅局限在研究领域.CRISP-DM为数据挖掘项目的生命周期提供了一个综合的描绘,它包括6个阶段:商业理解、数据理解、数据准备、建立模型、模型评估和模型部署.图2展示了这个过程.这些阶段之间的顺序并不固定,在不同阶段之间来回流动往往是非常必要的.究竟下一步要执行哪个阶段或哪个特定的任务,取决于每个阶段的结果.图2数据挖掘参考模型1)商业理解.这是数据挖掘的初始阶段.在这个阶段清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的关键前提.2)数据理解.数据理解开始于数据的收集工作.接下来就是熟悉数据的工作.在此基础上进行数据质量问题的鉴定,并从中发现包含隐含信息的感兴趣的数

4、据子集.3)数据准备.数据准备阶段覆盖了所有从初始数据构成最终用于挖掘的数据子集所进行的活动.数据准备的工作可能需要进行多次,而且没有任何预定的顺序.数据准备工作包含选择数据表、记录、属性以及转换和清理数据等.4)建立模型.在这个阶段可能需要选择和应用不同的建模技术,并将其参数校准到最佳值.一般一个类型的数据挖掘问题都需要用到几种技术.一些技术对数据的结构具有特定的要求,因此经常需要返回到数据准备阶段对数据进行相应的处理.该阶段主要建立的模型包括关联规则、分类与预测、聚类、异常检测等.5)模型评估.到了这个阶段,已经建立了一个或多个从数据分析角度看似高性能的模型.在该模型最后付诸实52电力科学

5、与技术学报2007年9月很精确的不足,取得了预期的效果.文献14提出了在孤岛电力系统的在线动态安全预防中应用决策树,强调在线应用决策树技术来测试每个发电调度的动态安全性,并且经过发电再分配来提供正确的指导.在大多数孤岛电力系统中发电的费用比互联的电力系统要高很多,文献从各种决策树中提取出来的规则与发电容量的最优化直接相关,优化了孤岛电力系统的发电容量,节约了发电成本.文献15提出了kernel回归树的新方法来在线安全评估和监控电力系统,该方法首次用动态安全评估处理频率稳定性的问题,与决策树和人工神经网络结合的方法相比,其性能更优.文献16描述了一种从决策树学习中提取规则,并用这些规则来获得必要

6、的控制措施,使得暂态不安全稳定的电力系统保持安全的动态控制技术,同时还提出了用QuinlansC4. 5决策树来在线安全控制,与神经网络技术所不同的是C4. 5不需要任何特征选择.训练过程非常快而且输入向量的大小不会引起训练过程中的任何问题,唯一的困难是产生训练数据难得到基于C4. 5的充分精确、规则的过程.2.2负荷预测与用户特征提取电力负荷预测是电力调度系统的一项非常重要的工作,它关系到电厂各机组的运行计划,预测结果的准确与否直接影响电力部门的经济效益.基于数据挖掘决策树算法和通用的决策支持对象建模工具,朱六璋等人17结合区域电网气象负荷数据库,设计并实现了决策树形式的数据挖掘模型,并将其

7、运用于日负荷预测.统计分析结果表明该数据挖掘模型完全满足实用标准,具有智能自适应、自学习和全过程自动化、通用可靠以及准确率高等特性.之后朱六璋18又给出了一种短期电力负荷预测的组合数据挖掘算法,挖掘模型算法采用C4. 5和CART算法的基于BP网络加权组合,算法还应用范例推理给出节假日调整因子来校正节假日的影响,设计出一种高精度短期负荷预测系统.文献19针对短期负荷预测具有明显周期性的特点,将范例推理方法应用于短期负荷预测,并通过粗糙集方法进行范例的特征属性和特征权值的合理选择,从而保证得到与预测日前一段时间内都相似而不仅与预测日相似的历史范例集.郑刚等人20从寻求准确预测电力系统的目的出发,

8、提出了利用数据挖掘方法将电力系统大量的历史负荷数据按照相应影响因素进行分类,建立负荷预测的决策树,该方法克服了其他线性预测方法带来人为误差的缺陷.但这种方法也有一定的不足,没有考虑多方面的影响,精度不是很高.由于电力用户的多样性及随机性,用常规的算法很难划分用户群组和分析出用户的特点.文献21提出了用时间序列模型使用已有的数据序列预测负荷,用自适应决策树对存储在数据库的用户的用电记录、季节、气候和其他一些相关的属性进行聚类,制定合适的收费表,而且分析出用户和其他属性相关联的一些特点.2.3电力系统故障诊断电力系统故障诊断22是通过利用有关电力系统及其保护装置的广泛知识和继电保护等信息来识别故障

9、的元件位置(区域)、类型和误动作的装置,其中故障元件的识别是关键问题.郭创新等人23综述了电力系统故障诊断的各种方法,包括专家系统、人工神经网络、优化技术、粗糙集理论、模糊集理论和多代理技术等.论述了基于粗糙集理论比较适合中小型电力系统和变电站的故障诊断.但该模型在考虑发生多重故障时,粗糙集方法将出现决策表十分庞大、甚至出现“组合爆炸”的问题.白建社等人24将决策树用到变电站故障诊断领域,不仅可以实现故障诊断知识的自动获取与表示,而且所获得的以决策树形式表示的知识具有很高的推理速度.文献25将基于事件序列的数据挖掘原理故障诊断模型用于高压输电线系统故障诊断领域,依据输电系统故障事件序列在时空特

10、性上的关联性,用动态规划算法的优化相似性原理挖掘事件序列之间的关联性和蕴涵的知识,将诊断问题的求解转化为寻求与实时故障事件序列模式最相似的、运算操作代价最小的标准故障序列模式,以实现对异常事件序列模式中畸变事件的“复原”和纠错,从而保证故障诊断系统的高容错性.文献26提出了一种粗糙集理论的决策表约简新算法,通过粗糙集理论与二元逻辑相结合的属性约简算法对诊断决策表进行约简,可快速得到最佳约简组合;同时提出了形成混合策略规则的思路,将约简结果进行融合,从而建立故障所对应的综合知识库模型用于电网故障诊断中.文献27提出采用模糊聚类的方法.因为粗糙集理论适合于处理离散数据,而电厂和电力系统广泛存在的数

11、据类型是具有连续属性值的数据,所以要将实测数据中的连续属性离散化,然后采54电力科学与技术学报2007年9月以前,还必须彻底地评估该模型,再回顾构造该模型的步骤,以确定该模型真正能够达到预定的商业目标.一个关键的问题就是确定是否存在一些重要的商业问题没有被充分地考虑到.评估阶段最后应作出数据挖掘结果的使用决定.6)模型部署.模型的创建通常并非数据挖掘过程的终结.即使建模的目的是增长数据的知识,获得的知识仍需要以客户可用的方式进行组织和呈现.根据需要,实施阶段可能非常简单(如生成一份报告)或非常复杂(一个可重复的数据挖掘过程).在大多数的情况下,进行实施的人是客户而并非数据分析人员.然而,即使数

12、据分析人员不是实施的执行者,也必须预先使客户理解为了充分利用所创建的模型而需进行的活动.1.2数据挖掘的主要方法数据挖掘涉及的学科领域和方法很多,以下是几种常用方法.1)统计分析方法.统计学为数据挖掘提供了许多判别和回归方法,有:贝叶斯推理,回归分析,方差分析等.贝叶斯推理是在知道新信息后修正数据集概率分布的基本工具.回归分析用来找出一个输入变量和输出变量关系的最佳模型,或用来描述一个变量的变化趋势以及与别的变量值关系的线性回归,还可用来为某些事件发生的概率建模和预测变量集的对数回归.方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响7.2)决策树.国际上最有影响和最早的决策树方法

13、是由J.R.Quinlan提出的ID3方法,后人又发展了多种决策树方法,如ID4、ID5和C4. 5等.决策树方法的最大优点是直观,对解决高维数据分类问题很有效.其缺点是随着数据复杂性的提高,分支数将增加,管理的难度越来越大.此外,该方法存在数据的缺失值处理问题8.3)神经网络.神经网络是模仿人脑神经网络的结构和工作机制而建立的一种计算模型.它以MP模型和Hebb学习规则为基础,建立了前馈式网络、反馈式网络和自组织网络模型.神经网络的最大优点是能对复杂问题进行精确的预测.由于具有良好的鲁棒性、自组织、自适应、并行处理、分布存储和高度容错等特性,神经网络非常适合解决数据挖掘中建立分类模型等问题,

14、因此近年来越来越受到人们的关注9.4)粗集方法.粗糙集理论作为一种数据分析方法首先由Pawlak于1982年提出.它把知识看作是关于论域的划分,认为知识是有粒度的,利用相对核的概念进行知识相依性分析和约简.粗糙集理论能够在缺少相关数据的先验知识的情况下,仅以对观测数据的分类能力为基础,解决模糊或不确定性数据的分析处理,从而揭示潜在规律,是当前数据挖掘的主要方法之一10.5)可视化.可视化就是把数据、信息和知识转化为可视的表示形式的过程.可视化数据分析技术拓宽了传统的图表功能,使用户对数据的剖析更清晰.它为人类与计算机之间提供了一个接口.CRISP-DM各阶段涉及主要方法见表1.表1CRISP-DM各阶段涉及主要方法阶段涉及方法商业理解数据理解可视化数据准备统计分析、规范化、可视化等建立模型决策树、统计分析、神经网络、粗集方法等模型评估测试集和检验集方法,可视化等部署决策树、统计分析2数据挖掘在电力系统中的应用近年来,数据挖掘在电力系统中的应用取得了大量的研究成果.主要集中在电力系统动态安全评估、负荷经济调度、负荷预测与用户特征提取、故障诊断等方面11.2.1动态安全评估动态安全分析12(DSA)是评价系统受到大扰动后过渡到新的稳定运行状态的能力,并对必要的预防措施和补救措施给出适当的参考答案.动态安全评