深度学习在故障诊断中的应用.docx

1、深度学习在故障诊断中的应用分类号： 单位代码： 密 级： 学 号： 故障诊断论文作业题目：深度学习在电力变压器故障诊断应用 * * * 学 号： * 研究方向：基于深度学习的图像处理二一六年四月深度学习在电力变压器故障诊断应用摘要：由于电力变压器发生故障时油色谱在线监测数据无标签，工程现场往往会得到大量无标签故障样本，而传统的故障诊断方法在对变压器故障类型进行判别时往往无法充分利用这些无标签故障样本。该文基于深度学习神经网络1(deep learning neural network，DLNN)，构建了相应的分类模型，分析并用典型数据集对其分类性能进行测试。在此基础上提出一种电力变压器故障诊断

2、新方法，它能够有效利用大量电力变压器油色谱在线监测无标签数据和少量故障电力变压器油中溶解气体分析2 (dissolved gas-in-oil analysis，DGA)实验数据进行训练，并以概率形式给出故障诊断结果，具有更优的故障判别性能，能够为变压器的检修提供更为准确的参考信息。关键词：故障诊断；电力变压器；深度学习神经网络；溶解气体分析Abstract：As oil chromatography online-monitoring data is unlabeled during power transformer failure，project sites tend to get a

3、large number of unlabeled fault samples However，traditional diagnosis methods often fail to make full use of those unlabeled fault samples in judging transformer fault types Based on deep learning neural network ( DLNN )，a corresponding classification model was established，whose classification perfo

4、rmance was analyzed and tested by typical datasets On this basis，a new fault diagnosis method of power transformer was further proposed，in which a large number of unlabeled data from oil chromatogram on-line monitoring devices and a small number of labeled data from dissolved gas-in-oil analysis (DG

5、A) were fully used in training process It could generate fault diagnosis result in the form of probabilities，and provide more accurate information for the maintenance of power transformer because of its better performance in fault diagnosis Keywords：fault diagnosis; power transformer; deep learning

6、neural network; dissolved gas-in-oil analysis0 引言 由于油浸式电力变压器在不同运行状态时，油中溶解气体的类型和含量不同，油中溶解气体分析(dissolved gas-in-oil analysis，DGA)长期以来成为判别其运行状态的一种有效手段。随着人工智能的发展，越来越多的领域运用人工神经网络(artficial neural network，ANN)、支持向量机(support vector machine，SVM ) 和极限学习机(extreme learning machine，ELM)等电力变压器智能诊断方法来解决一些棘手的问题，但是

7、但是 ANN 方法收敛速度慢、易发生震荡;SVM 方法本质上属于二分类算法，在多分类问题上存在构造学习器困难及分类效率低的缺点，而且核函数的选择和参数的确定比较困难。深 度 学 习 神 经 网 络 ( deep learning neuralnetwork，DLNN)是 2006 年由 Hinton 教授提出的一种深层机器学习方法3，具有较强的从样本中提取特征以及对特征进行转换的能力，学习能力强，是近几年国内外研究和探讨的一个热点。目前，它已经成功应用于语音识别、目标识别、自然语言处理等方面，但在电力变压器故障诊断方面应用的研究才刚刚起步。 基于 DLNN，本文首先构建分类深度学习神经网络模型

8、，并用典型的分类数据集对其分类性能进行分析验证。然后，结合电力变压器油色谱在线监测数据和 DGA 数据特征及故障类型，提出一种新的变压器故障诊断方法。该方法采用半监督机器学习方法，学习能力强，能够诊断出电力变压器各种运行状态的概率，为工作人员决定是否对变压器进行检修提供更多参考信息。最后，对文中提出的方法予以工程实例测试，并与基于 BP 神经网络和 SVM 的故障诊断方法进行对比分析。1 深度学习神经网络的介绍DLNN 简单可以理解为具有多个隐含层的神经网络，通过特征转换或特征提取来发现数据的内在属性，使其分类更加容易，进而提高分类的准确率。DLNN 的 方 法 主 要 包 括 自 动 编 码

9、 器 ( auto-encoder， AE )、受 限 玻 尔 兹 曼 机 ( restricted Boltzmann machine，RBM ) 和 卷 积 神 经 网 络(convolutional neural network，CNN) 21-22 ，其 中，CNN 主要用于图像处理方面，并不适用于变压器故障诊断，这里不再作过多介绍。根据美国斯坦福大学教授 Andrew Ng 的课程笔记，自动编码器4的相关理论简单介绍如下。一个基本的 AE 可视为一个 3 层的神经网络，其中输出层与输入层具有相同的规模，结构如图 1 所示。通常，将输入层到隐含层的变换过程称为编码，将隐含层到输出层的变

10、换过程称为解码。设 f 和 g分别表示编码和解码函数，则 2 个过程可分别表示如下: (1) (2)式中:和 通常取为 sigmoid 函数;W 表示输入层与隐含层之间的权值矩阵表示隐含层与输出层之间的权值矩阵;p 表示隐含层的偏置向量;q 表示输出层的偏置向量。为下面表示方便，将 AE 的参数记为 。 图 1AE 结构Fig. 1 AE structure假设训练样本集 S = x 1 ，x n ，预训练 AE 的过程实质上就是利用 S 对参数 进行训练的过程。为此，我们首先需定义一个训练目标，即解码后的 y应与输入 x 尽可能接近，这种接近程度可以通过重构误差函数 L(x，y)来刻画，L(

11、x，y)定义为 (3)基于重构误差函数，针对训练数据集 S，损失函数如式(4)所示，通过对损失函数作极小化处理便可以得到该层 AE 参数 。 (4)然而，在实际应用中，如果直接对损失函数作极小化，有时候很可能得到的是一个恒等函数。为了避免这种情况，我们可以对损失函数进行稀疏性限制，即稀疏自编码。实现时通常采用一种基于相对熵的方法，则损失函数如式(5)所示:（5）式中: 为控制稀疏性惩罚项5的权重系数; 为稀疏性参数; 表示输入为时隐藏层上第 j 号神经元在训练集 S 上的平均激活度。KL( | | ) 的表达式如式(6)所示: （6）从式(6)可以看出，KL(| | ) 随着 与 差值的增大而

12、逐渐减小，当二者相等时取值为最小值 0。因此可以通过最小化损失函数使得 与 尽量接近。2 深度学习模型 2.1分类深度学习神经网络模型构建了分类深度学习神经网络(classificationdeep learning neural network，CDLNN)模型，它的前部由若干层 AE 或 BM 堆叠而成，顶部增加代表期望输出变量的最后层，即分类层，框架如图 3 所示。这里，分类器选用 Softmax，它适用于多分类问题，能够以概率形式给出各分类结果，与 CDLNN 结合起来，往往会获得较优的判别性能。 图 3CDLNN 模型Fig. 3 CDLNN modelCDLNN 用于多分类问题时，

13、训练过程分为预训练和调优 2 个阶段。预训练主要是采用无标签样本或去标签样本作为网络的输入，通过 BP 算法或 CD算法完成底部若干层 AE 或 BM 参数的初始化;调优则是通过标签样本对包括分类层在内的整个网络参数进行微调，使得网络判别性能达到最优。 2.2 深度学习模型的性能测试采用 2. 1 节中构建的 CDLNN 对 Iris、Synthetic、Fourclass、Diabetes 这 4 个数据集进行分类，网络参数 初始化为服从高斯分布的随机较小数值，初始学习速率值设为 0. 1，参数更新速率值设为 0. 01。 为便于下面描述，笔者将 CDLNN 分为 CDLNN1和 CDLNN

14、2，CDLNN1 表示模型前部由若干层 AE 堆叠而成，CDLNN2 表示模型前部由若干层 BM 堆叠而成。表 1 给出了 CDLNN1 和 CDLNN2 对不同数据集的分类情况。从表 1 中可以看出，CDLNN1 和CDLNN2 对不同数据集均具有较高的平均分类正确率，表明所构建的 CDLNN 模型适用于多分类问题。表 1CDLNN 对不同数据集分类情况Table 1 CDLNN classification on different datasets 3 基于 CDLNN 的变压器故障诊断方法 3.1 选取样本数据 为避免样本集偏斜，同时又能保证得到足够多的样本，可以选取多个工程现场记录的

15、投运年限相近的相同型号变压器发生故障前后较短一段时间内的油色谱6在线监测数据，这些数据为无标签数据，可以用作预训练样本。对于调优阶段采用的少量调优样本，可以通过搜集相同型号故障变压器 DGA 结果样本数据获得，这些样本为带标签样本。 3.2 选取特征变量7 根据 工 程 现 场 在 线 监 测 数 据 特 点，考 虑 到CDLNN 具有较强的样本特征转换及特征提取能力，选取 H 2 、CH 4 、C 2 H 6 、C 2 H 4 、C 2 H 2 、CO、CO 2 这 7 种特征气体变量。为了缩小特征气体含量值的差异，减小计算误差，采用式(7)对各特征气体含量值进行标准化处理8。（7）式中:x

16、 new 为标准化后气体的含量值;x 为气体原始含量值;x mean 为训练集或测试集 X 中该类气体含量的均值;x std 为 X 中该类气体含量的标准差值。3.3 变压器的状态编码（标签制作）根据电力变压器运行过程中易发生的故障，将其诊断结果分为 6 种，具体故障类型及编码如表 2所示。表 2 变压器状态编码Table 2 Transformer status encoding 3.4 变压器故障诊断 CDLNN 模型变压器故障诊断的 CDLNN 模型，结构如图 4 所示。模型的输入为 3. 2 节中经标准化处理的 7 种油中溶解特征气体含量值，模型的输出为变压器处于各种运行状态的概率，概

17、率值最大的状态即为故障诊断结果。变压器故障诊断 CDLNN 模型的训练过程同CDLNN 一样，分为预训练和调优。预训练主要是采用大量预训练样本完成网络底部若干层 AE或RBM参数的初始化9;调优则是通过少量调优样本对包括分类器层在内的整个网络参数进行微调，使得网络的故障诊断性能达到最优。3.5 基于 CDLNN 的变压器故障诊断步骤基于 CDLNN 的变压器故障诊断步骤如下: (1)选取样本数据和特征变量; (2)对变压器状态进行编码;(3)建立变压器故障诊断 CDLNN 模型;(4)初始化变压器故障诊断CDLNN 模型参数为服从高斯分布的较小随机数值大小10;(5)采用预训练集中无标签样本通

18、过 BP 算法或CD 算法对模型底部若干层 AE 或 RBM进行预训练;(6)采用调优集中标签样本通过 BP 算法对整个CDLNN 网络进行微调;(7)保存训练好的网络并利用测试集样本对网络诊断性能进行测试图 4 基于 CDLNN 的变压器故障诊断模型Fig. 4 Transformer fault diagnosis model based on CDLNN4 结果分析利用某变压器厂多个工程现场记录的同一型号变压器发生故障前后某段时间内的油色谱在线监测数据，通过DBSCAN算法对其进行聚类，平衡选取正常簇、近似故障簇和故障簇样本数据共1500条作为预训练集，另用工程现场搜集到的300组相同型

19、号故障变压器DGA实验样本用作调优集和测试集，比例为21。(1)不同AE层数时CDLNN1故障诊断情况。 分别测试了AE 层数从0到10时基于CDLNN1的变压器故障诊断平均正确率，如图 5 所示图 5 不同AE层数时基于CDLNN1的变压器故障诊断情况Fig. 5 Correct fault diagnosis rate of transformers based on CDLNN1 with different AE layers基于CDLNN2的变压器故障诊断平均正确率与预训练集大小和网络层数均有一定的关系，而且预训练集不同时，网络最优层数也会发生相应变化。由实测数据经过大量实验，绘制出

20、三者之间的关系图，如图 6 所示。图6不同网络层数、预训练集时基于CDLNN2的变压器故障诊断情况Fig. 6 Correct fault diagnosis rate of transformers based on CDLNN2 with different network layers and pre-training sets(2)不同预训练集时CDLNN故障诊断情况。 测试了不同预训练集时 CDLNN1和CDLNN2这2种方法的故障诊断情况，如表3所示。 从表3中能够看出，随着预训练集的增大，基CDLNN1和CDLNN2的变压器故障诊断平均正确率不断提高。同时，基于 CDLNN1 的

21、变压器故障诊断平均正确率11略高于 CDLNN2，但总体来看，二者均具有较优的故障诊断性能，这表明 CDLNN 适用于变压器故障诊断。表3不同预训练集时基于 CDLNN 的变压器故障诊断情况Table 3 Transformer fault diagnosis based on CDLNN in different pre-training sets5 总结（1）通过深度学习神经网络的模型能够很好的解决多分类问题，以及通过测试数据很好地对系统性能进行了分析。（2）基于CDLNN的电力变压器故障诊断的方法，这是以半监督方式进行的，可以有效利用油色谱在线监测所获得的无标签样本对网络进行预训练，克服

22、了BPNN、SVM方法无法利用无标签样本训练的缺点，具有更强的学习能力，故障诊断性能更优。（3）实验分析结果表明，CDLNN 诊断方法随着预训练集增大，故障诊断平均正确率不断增高，该方法适用于大量样本的训练，可扩展性好，与BPNN、SVM 故障诊断方法相比，诊断平均正确率更高，可以为变压器检修12提供更为准确的参考信息。参考文献1 朱德恒，严璋，谈克雄等电气设备状态监测与故障诊断技术M北京:中国电力出版社，20092王国平，余涛，傅森木等基于DGA的变压器故障诊断智能方法分析J 电力建设,2015，36(6): 34-393尹金良，朱永利，俞国勤等基于高斯过程分类器的变压器故障诊断J 电工技术

23、学报,2013，28(1):158-1644王致杰，徐余法，刘三明等电力设备状态监测与故障诊断M上海:上海交通大学出版社，20125孙志军，薛磊，许阳明等深度学习研究综述J计算机应用研究，2012，29(8):2806-28096余凯,贾磊，陈雨强等深度学习的昨天、今天和明天J计算机研究与发展，2013，50(9):1799-18047遇炳杰，朱永利,加权极限学习机在变压器故障诊断中的应用J计算机工程与设计，2013，34(12): 4340-43448Bengio YLearning deep architectures for AIJFoundations andTrends in Mac

24、hine Learning，2009，2(1): 11279Hinton G E.A practical guide to training restricted Boltzmann machines UMTL Tech Report 2010-003 Toronto，Canada:University of Toronto，201010孙劲光，蒋金叶，孟祥福，等一种数值属性的深度置信网络分类方法J计算机工程与应用，2014，50(2): 112-11511尹玉娟，王媚，张金江，等一种自主核优化的二值粒子群优化-多核学习支持向量机变压器故障诊断方法J.电网技术，2012，36(7):249-25412王昌长，李福祺，高胜友电力设备的在线监测与故障诊断M.北京:清华大学出版社，2006