红外非均匀性校正的算法研究.docx
《红外非均匀性校正的算法研究.docx》由会员分享，可在线阅读，更多相关《红外非均匀性校正的算法研究.docx（32页珍藏版）》请在冰豆网上搜索。
红外非均匀性校正的算法研究
IRFPA响应的
非均匀性校正的算法研究
CONTENTS
一．IRFPA响应的非均匀性产生原因…………
二．常见的非均匀性校正方法的原理
三．两点标定法及改进思路
四．自适应算法的介绍和改进
五．盲元替代的实现
附录一：
用于实现两点标定法和盲元处理的MFC源程序
参考文献
一．IRFPA响应的非均匀性产生原因
为了对IRFPA响应的非均匀性进行校正，我们有必要先对它的定义和成因进行介绍。
红外成像过程可以描述为目标和背景的红外辐射通过大气和光学系统传输后到达红外焦平面阵列（infraredfocalplanearrays,IRFPA），红外探测器把辐射信号转换为电信号，然后经过读出电路输出显示的过程。
因此，IRFPA响应输出是目标辐射特性、大气传输特性、光学系统特性、器件响应特性等诸多因素共同作用的结果。
依此，我们可以把影响红外成像质量的因素分为四种：
响应的非均匀性，响应的漂移特性，盲元，目标辐射的对比度。
对于目标辐射的对比度，由观测对象决定，但可以通过图像增强的方法进行改善。
本文主要讨论前三种。
对于理想的IRFPA，假定输入辐射均匀且相同的话，那么每个探测器的输出信号应该完全相同。
但事实上，由于制作工艺，材料质量等因素的影响，每个探测器在阻抗，容抗，热敏面积，电阻温度系数等参数方面均有差别，因此输出信号幅度并不相同，即产生固定图案噪声（FixedPatternNoise,FPN），这种不一致就是IRFPA响应的非均匀性。
1999年中华人民共和国国家标准红外焦平面阵列参数测试技术规范中的关于非均匀性（NU）的定义如下：
（1-1）
其中
表示红外焦平面阵列上所有有效像元的输出信号平均值（在计算输出信号的和以及非均匀性时，均不包括无效像元的信号值），M和N分别为焦平面阵列的行数和列数，d为焦平面阵列中的死像元数，h为焦平面阵列中的过热像元数。
盲元包括死像素和过热像素。
死像素指响应率小于平均响应率的1／10的像素；而过热像素就是响应率大于平均响应率10倍的像素。
它严重影响了红外系统的成像质量.因此，在实际应用中，必须要先对其进行非均匀校正（Non-uniformityCorrection,NUC）。
不同的IRFPA响应的非均匀性并不相同。
常用的HgCdTe和InSb型IRFPA的非均匀性为10%左右，而测微辐射热计IRFPA的非均匀性可达20%。
若不校正的话，我们就无法获得清晰的图像。
与此同时，非均匀性还会随着时间和工作条件（如环境温度、偏置电压）的变化而产生漂移。
影响漂移的因素间也是相互关联，很难对其中一个单独校正。
工作条件的改变是对整个器件施加的影响，因此具有一种整体性变化趋势，这种趋势表现为直流成分，可以通过图像增强的方法消除；对于每一个探测元，工作条件的改变引起的变化略有不同，其响应的漂移也略有差别，这种不同探测器的差别性变化可以通过校正系数的更新来消除。
盲元是指响应过高或过低的探测单元，在图像中表现为过亮点和过暗点。
如果某个探测器的非均匀性无法通过校正消除的话，就认为它是盲元。
盲元数量和分布直接影响探测器的成像质量，若盲元多而集中，图像就会出现无响应区域，称为盲区，严重限制了红外成像器件的应用。
因此，只有开发有效的盲元检测算法对其进行补偿，才能更好发挥探测器的性能。
对于盲元的定义，主要是从器件对黑体辐射的响应程度作为量化指标的。
国家标准从器件对黑体辐射的响应程度作为盲元的量化指标，包括死像元和过热像元。
死像元是指像元响应率小于1／10平均响应率的像元；过热像元是指像元噪声电压大于平均噪声电压10倍的像元。
像元响应率和平均响应率的定义如下。
像元响应率：
像元响应率R（i,j）是单位辐射功率产生的输出信号电压，表达式如下：
（1-2）
上式中，V（i,j）是第i行第j列像元对于辐射功率P的响应电压，P表示红外焦平面阵列接收的辐射功率。
平均响应率：
平均响应率
表示红外焦平面阵列各个有效像元响应率的平均值，表达式如下：
（1-3）
上式中：
M、N分别表示红外焦平面阵列的行数和列数；d、h分别表示死像元数和过热像元数。
实际测量中，d和h是经多次迭代计算得到。
盲元率：
红外焦平面阵列的盲元数占总像元数的百分比，由下式表示：
（1-4）
二．常见的非均匀性校正方法的原理
非均匀性校正的方法有很多，大致可以分为两类：
基于标定技术的算法和基于场景技术的算法。
基于标定技术的算法是指在实验室里利用均匀的高温和低温黑体对红外焦平面进行标定，对指定焦平面器件进行参数的提取，从而计算出增益和偏移系数，对探测器输出进行校正的方法，此类算法常见的有的两点标定法（TPC）、多点温度校正法（ETPC）等，其中的两点标定法最为常见，也是本文着重介绍的一种算法。
定标校正法具有较高的校正精度、技术成熟、硬件实现容易、校正效果明显、图像较为均匀。
其缺点是校正时，需要许多辅助器件（如：
黑体源、光学设备等）定标，因此大大增加了探测器的体积和成本；在标定过程中成像系统还必须暂停工作；此外它还没有补偿各探测元差别性漂移的能力，对探测器长时间工作的漂移需要周期性采样定标。
这严重制约了该类算法的使用范围；
基于场景技术的算法,它直接利用每帧图像的场景信息及统计特性，获得每个像素的校正系数，进行非均匀校正。
基于场景的非均匀性校正算法有：
神经网络法（ANNC）、时域高通滤波法（THPFC）、恒定统计法（CSC）、代数校正算法、Kalman滤波法等。
这类算法克服了标定法的不足，能够随着IRFPA非均匀性的变化自适应地对图像进行校正，其校正参数的提取不需要对系统进行干预，系统正常使用过程中自动对当前探测器输出的非均匀性进行参数的统计、计算和提取。
但其技术还不成熟，好的算法实现起来繁琐，硬件要求资源多、速度快，能实现的算法需要经过近似、简化，校正效果也不尽相同但往往具有较大的计算量和存储量,因此很难实时处理；收敛速度慢，收敛时间长，算法的实时性较差。
三．两点标定法
两点标定法建立在两个假设条件下：
（1）每个探测单元的响应是线性的。
这一假设在探测单元响应的大部分区域是成立的，只有在辐射输入很小和接近饱和时才有比较大的非线性，在忽略两端误差的情况下可以认为探测单元的响应是线性的。
根据线性模型的数学公式，只需对直线上两点进行定标测量，便可求出直线，从而对非均匀性进行校正。
在此条件下，红外焦平面阵列在均匀辐射背景下任一像元的响应输出可以表示为：
（3-1）
其中Ф为辐射通量，
为像元（i,j）的响应，
为其增益，
为其偏移系数。
在假设
（1）的条件下，IRFPA的响应非均匀性体现为每个像元的增益和偏移系数的不同。
（2）探测单元的响应分布相同，并具有时间的稳定性，否则，定标数据在使用时就会失去意义。
非均匀校正的基本思想就是是相同辐射条件下的不同像素的响应曲线重合于同一条曲线。
为此可先设定一条基准曲线，将各探测元的响应曲线分别作旋转和平移使之与基准曲线重合，这个旋转和平移系数即为该像元的校正系数。
下图给出了两点校正法的原理图，两点法校正将所有像元在高温
和低温
下的响应分别规格化为
和
。
图3.1两点校正法示意图
（直线a和b分别代表一个像元的响应特性，直线c代表校正后所有像元的响应特性，既基准曲线）
假定基准响应曲线在输入辐射分别是
和
时的响应为
和
，像元（i,j）对应的响应分别为
和
，则可以求出像元（i,j）的增益校正系数
和偏移校正系数
分别为
（3-1）
而像元（i，j）经两点校正后的输出表示为
（3-2）
式中
为像元（i,j）未校正前的输出，
为两点非均匀校正后的输出。
由该式我们可以看出获得任意像元的校正系数并不需要知道实际的增益和偏移量，而只需要知道
和
。
基准响应
和
可以任意选取，通常为了简便，我们取所有像素在输入辐射分别为
和
时的响应平均值。
利用两点标定法获取校正系数的过程大致为：
（1）.调节热成像仪系统，使焦平面通过光学系统与平面黑体源对准，并使辐射充满焦平面的整个视场。
（2）.调节黑体辐射源的温度到低温
；测量N组焦平面每个像元的响应值，求出每个像素在
下的平均值
以及所有像元的响应平均值
。
（3）.调节黑体辐射源的温度到高温
；测量N组焦平面每个像元的响应值，求出每个像素在
下的平均值
以及所有像元的响应平均值
。
（4）.利用算法计算每个像元的增益和偏移系数，并将其存储在查找表内，以供校正时使用。
根据上述过程，对所给定的4251文件进行处理后得到的图像如下：
图3.2使用MFC经两点标定法校正后图像
两点校正法的缺点及改进思路：
根据假定
（1）,两点校正法假定像元的响应特性在所感兴趣的温度范围内是线性的，实际情况并非如此。
当目标温度和定标温度差距较大时，将会有较大的残留空间噪声,而这会影响成像质量，因此适合于非线性不严重的焦平面探测器或小动态范围成像系统。
为弥补两点校正法的这一不足，必须把温度定标点设置在目标温度附近，也可以可进一步采用选择多温度点进行多点校正。
根据假定
（2）,探测单元的响应分布相同，并具有时间的稳定性，但长时间的使用后，将会产生相应的漂移。
对于各像元的差别性漂移，它表现为增益和偏移系数的细微变化，因此利用标定系数获得的永久性校正系数将不再使用，此时我们就必须重新进行标定。
这时我们可以通过电机波动放置在IRFPA前面的黑体挡板来重新标定。
四．其他算法的介绍
基于标定技术的算法无法永久适用于各像元的差别性漂移，从而使得我们长时间使用时必须进行标定。
这在实际使用中带来很大不便，自适应非均匀性校正方法是非均匀性校正发展的必然趋势。
基于场景的非均匀性校正算法有：
神经网络法（ANNC）、时域高通滤波法（THPFC）、恒定统计法（CSC）、代数校正算法、Kalman滤波法等。
本文仅介绍时域高通滤波法（THPFC）、神经网络法（ANNC）这两种算法。
1990年以来，美国海军研究实验室的D.A.Scribner等人基于人眼视觉神经机理的现有研究成果，提出了两种自适应非均匀校正算法。
一种是时域高通滤波校正算法（TemporalHigh-passFilter,THPF-NUC），另一种是一神经网络计算为核心的人工神经网络算法（artificialneuralnetworks,ANNC）。
下面分别介绍其原理和优缺点。
4.1时域高通滤波校正算法
可以认为空中环境尤其是温度对于探测器而言是个慢变化量，而图像本身包括目标、背景噪声是个快变化量，因而图像可以看作是高频部分，而探测器漂移的非均匀性是探测器的固有的响应，分布在低频（变化较慢）的部分，它能用时域低通表现出来，从而可以利用增益补偿和高通滤波算法来完成红外焦平面阵列的非均匀性校正。
图4.1THPF-NUC原理图
假设探测器的响应输出为
，经过增益补偿后变为
，低通滤波器输出
，
即为固定图案噪声（FPN），则校正后图像像元输出为
（4-1）
其中的低通采样输出为：
（4-2）
这样,在不显著增加计算复杂性的前提下,通过简单的迭代处理完成FPN参数初值的计算,避免了使用黑体所导致成像系统光机结构复杂、易受周围环境温度影响的缺陷。
其中N为预先设置好的帧数，G为增益补偿系数。
可以先假设某像素在第n帧经增益校正后得到一个滤波器输入量
，经过无限冲击响应滤波器低通处理后得到了低通输出
，再通过减法运算得到一个高通输出
。
经z变换得到传递函数为：
（4-3）
令
（
为采样时间），则可以求出系统的频率响应为：
（4-4）
可求出截止频率为：
（4-5）
其中
为焦平面阵列图像的帧速率。
积累帧数N越大，截止频率越小，在实际应用中可以根据具体要求选取合适的N值，过小的积累帧采用时域高通滤波将会破坏到运动的目标。
时域高通滤波法的优点：
时域高通滤波法的算法简单可以实时实施；不需要定标；合理选择时间常数，空间噪声可以降低到时域噪声水平；对低频率的非均匀性效果显著。
时域高通滤波法的缺点：
只进行了偏移的校正，需要极好的增益均匀性，或是先进行增益的定标校正；时域高通滤波法要求视场中的景物做随机运动，否则图像会退化，这在有些应用场合是一个非常苛刻的条件；这种方法的难点之一是设置的帧数N的确定。
较小的N值会较快达到稳定，但是对景物的随机性要求也更强。
反之，较大的N值会使系统需要较长时间才能稳定，但景物的短时非随机的影响也小一些。
过大的N值有可能使系统的稳定时间超过探测器的漂移速度，从而无法彻底补偿系统的漂移。
时域高通滤波法可能会减弱信号。
对于静止场景而言，基于时域高通的算法可能会将场景与固定噪声一起通过低通滤波器去除，产生图像的消隐现象。
另外，因为低通滤波器是通过时域上的加权累加进行更新，新加入的帧的权重低于以往的累加，因此这样可以避免异常的噪声对滤波器性能的影响。
但是，当存在长时间静止的亮目标突然产生运动，新加入的场景亮度较原有亮度差距较大时，由于系数更新缓慢，就会在局部出现鬼影现象，鬼影现象是自适应更新系数的校正算法中共有的问题。
4.2人工神经网络校正算法
可以完全不对FPA进行标定（或自动标定），是红外成像系统的理想境界。
依赖于神经网络方法自动实时地进行校正系数的更新是目前实验室研究的热点之一。
对人眼视觉研究表明，人眼视网膜的各个光接收元之间总存在一定的差异，但人可根据具体的景像通过视网膜上水平细胞元进行调节，每一个水平细胞元都与邻近的几个光接收元连在一起。
受此启发，国外有学者采用周期性神经网络结构进行自适应的非均匀性校正，该法采用一个隐含层计算某像素邻域输出的平均值，并以此作为该像素的输出，回馈给线性校正神经元计算NUC系数。
具体办法是：
让每一个神经元连接一个阵元，再设计一个隐含层，它的每一个神经元就像水平细胞元那样与邻近的几个阵元连接起来，得到它们的平均输出值反馈到它的上层神经元去计算非均匀性，采用最陡下降法依据实际景像逐帧迭代，直至达到最佳校正状态。
D.A.Scribner提出的BP人工神经网络算法用于非均匀性校正的实现模型，其原理如下图所示。
图4.2BP神经网络校正算法原理图
可见，网络由输入层、NUC层、一个隐含层和输出层四层组成，是BP人工神经网络算法应用于非均匀性校正的具体实现形式。
它是经典的BP人工神经网络和二点定标校正算法的结合，即在选用最简单的三层BP人工神经网络算法结构的基础上，结合红外非均匀性校正的实际情况，引入了二点定标NUC（非均匀性校正）层。
因此这种实现形式既具备了人工神经网络的自适应性（即：
参数不断向着最优化调整），又结合了红外非均匀性校正的具体问题，使得算法更具针对性。
（1）输入层的输入为连续帧的二维图像灰度值，（i,j）表示像素所在的行值、列值。
（2）隐含层的作用是对图像进行线性平滑，平滑的结果作为期望的输出图像。
因为红外图像具有低对比度的特性，因此相邻的阵列元所接收的红外辐射应当比较接近，由于各阵列元的响应特性参数近似不相关，因此可以把某一像素的邻域平均作为该像素的理想输出。
对于第n帧图像的第i行，第j列的像素，取其四邻域像素的灰度值进行平均，作为该像素的期望输出值。
即
（4-6）
并将期望输出值
反馈至NUC层。
（3）NUC层除了要对输入灰度值进行二点非均匀性校正，如果实际输出与期望输出间的误差大于设定的误差阈值，还要利用隐含层反馈的期望输出值，对增益校正系数和偏置校正系数进行修正。
NUC层行二点非均匀性校正的公式如下：
（4-7）
式中n为输入图像的帧序号，
为增益校正系数，
为偏置校正系数。
修正过程如下：
定义关于
、
的误差函数为（为简便起见，以下公式均略去下标）：
（4-8）
根据最小梯度法，此函数的梯度为:
（4-9）则趋进于最小误差的最陡下降路径为（即沿着负梯度方向）:
（4-10）
其中
是迭代步长。
从
的表达式可以看出误差函数的形状为抛物谷面，谷面底部满足方程
，即
（4-11）由于人工神经网络具有鲁棒性，所以当
足够小时，就可以保证迭代过程稳定收敛，即误差值在误差函数抛物谷面上逐渐向着谷面底部靠近。
（4）输出层输出经过校正的二维灰度图像，即
（4-12）
理论分析和试验结果表明，神经网络算法是稳定和收敛的，即能连续修正每一像元的增益和偏置系数，直至稳定为止。
与定标方式的校正算法相比，自适应校正算法更能满足实际需要。
即只要一次定标测量，就能连续修正光敏元的增益和偏置系数，因此对探测器的变化具有更强的适应性；减小了空间噪声电平，降低了红外焦平面阵列的非均匀性。
当背景变化时可以跟踪探测器单元响应的非线性；空间噪声可以降低到低于时域噪声。
神经网络算法的缺点：
算法的计算量比较大，实时实现有困难；结构比较复杂，硬件实现有困难；与时域高通滤波算法相类似，这种方法同样要求视场内的景物作随机运动，否则会引起图像退化；在寻求最优的过程中，可能陷入局部最小值而达不到全局最优解，以及收敛较慢、需要较多训练次数；对于空间频率低的非均匀性效果不明显。
4.4对人工神经网络算法的进一步分析和改进
对上述BP人工神经网络算法进行分析，可以得出，算法实际上由三部分组成：
（1）二点定标线性校正算法；
（2）线性平滑算法；（3）系数修正算法。
其算法原理框图如图4.4.1所示。
图4.4.1BP算法的原理框图
下面分析这三部分算法。
（1）二点定标线性校正算法
这部分算法本质上是和二点定标法是完全相同的，只是其增益校正系数和偏置校正系数是处于不断的自适应调整过程，使得输出在外界条件变化时仍可接近期望值。
（2）线性平滑算法
BP人工神经网络算法中的线性平滑算法与普通的线性平滑算法并不相同，它没有采取直接代替的方法，而是将线性平滑的结果作为期望输出值，来校正二点定标线性校正算法中的增益校正系数
和偏置校正系数
。
这相当于对图像进行了二维低通滤波，所以当目标长时间固定在某一个像素点上时，将会使目标模糊。
邻域大小可任意选择，但将直接影响算法的复杂度、计算量等性能。
（3）系数修正算法
BP人工神经网络的系数修正算法实质上就是最小均方误差算法（LMS）。
最小均方误差算法（LMS）的工作原理就是把增益和偏移校正系数作为权系数，把期望响应
和输出信号
的差值作为误信号，根据误信号
的大小自动调节权系数，从而使得滤波输出信号的均方误差
最小。
在LMS滤波器中，期望响应
对性能具有重要影响，但它又是不可获知的，因此必须选用某值代替。
常用方法是把目标在运动轨迹上均值作为理想期望
。
由于运动轨迹上的无规则性，LMS校正后的剩余非均匀性近似等于过去轨迹运动后所有像元平均后的非均匀性。
这要求我们保持系统与场景间的相对运动，否则
将会退化为像元自身的响应，滤波器将失效。
在分析了经典的BP人工神经网络算法之后，我们可以依次进行算法思路的改进。
改进思路一：
在算法试验仿真中，注意到经BP校正算法中的增益校正系数（简称“增益”）的调整量是偏置校正系数（简称“偏置”）调整量的
倍，这就意味着在LMS算法中增益的调整量要远大于偏置的调整量，而通常增益处于以1为中心的一个区间内，这种调整量数量级上的差别导致算法实现中步长值难以选取。
按照经典BP算法进行校正，当步长取很小时，会造成收敛缓慢；而当步长取过大时，又造成迭代不收敛。
这使算法在应用于实际时遇到了障碍。
针对这一缺点，人们提出了归一化BP人工神经网络校正算法，既利用图像的灰度平均值对图像的灰度数据进行归一化，，使其成为1附近的数值，对归一化的灰度数据，利用经典BP校正算法中的增益和偏置调节公式进行非均匀性校正，在处理完成后，对数据进行还原，使其恢复到原始的数量级。
可以看出此时对增益和偏置进行调节，我们可以获得相同数量级的调整量，这样就避免了迭代步长a难以选取的问题，克服了BP算法实际应用的障碍。
可见，归一化BP人工神经网络算法，处理的目的就是为了消除增益和偏置的调整量的数量级的差别。
归一化BP校正算法具体实现如下。
在进行BP校正前，对需要处理的每一帧图像的灰度值进行归一化：
（4-13）
为当前帧的灰度均值。
对归一化的图像灰度值利用经典BP算法进行非均匀性校正。
而后，对归一化输出结果进行还原，实际校正输出为：
（4-14）
至此归一化BP校正算法对一帧图像的处理过程结束。
此外，为了保证算法尽可能地迭代收敛到最优值，我们可以设定增益
和偏置量
的动态范围，当调整后的增益和偏置量超出其动态范围，用下式进行循环回调，直至其处于动态范围之内。
（4-15）
改进思路二：
BP人工神经网络算法中的线性平滑算法采用邻域平均法估计真实的图形值，但是在图像不同灰度的边界处，这种方法会产生很大的偏差。
因此我们可以根据邻域像元的灰度为其分配不同的权系数，然后通过加权求和得到估计的真实值。
即根据两像元灰度级差值的倒数确定权系数，二者灰度级越接近，差值就越小，权值就越大，这就是所谓的“梯度倒数加权法”。
此外，如果当前像元位于图像的边界处时，周围的像元可能与当前像元处于不同区域，我们可以将周围像元值与当前像元值进行比较，如果其差值大于选定的阈值Th,就认为它与当前像元处于不同区域，将其权系数置为0。
上述改进是基于像元的空间相关性，我们还可以利用图像序列的时间相关性估算图像的真值，确定其权系数。
采用相邻的三帧图像，在每帧图像内采用最近邻的四个像素和当前像素的数据对图像的真值进行估计，用
表示第K帧图像的地（i,j）像元的原始值，
表示第K帧图像的地（i,j）像元的校正值，
为像元
的权系数，可以得到以下的计算公式：
（4-16）
其中l=k-2,k-1,k,
（4-17）
（4-18）
（4-19）
其中sigh（x）为符号函数，Th是选定阈值。
当前像素和它最近的4个像素的校正值均送入隐含层，通过比较估计的真值和实际输出值的误差，来修正上一层的增益系数和偏置。
图4.4.2采用单帧图像估计真值图像的神经网络结构图
针对上述这些算法的实现步骤，分析ANNC算法中步长和误差阈值大小对算法的影响。
（1）在远离算法收敛的终点（最优值）时，不论误差平面是陡是缓，较大的步长值可使算法快速收敛，而且较大的步长值甚至有助于跳过崎岖的局部极小值，如图所示
图4.4.3较大步长跨越局部最小的情况
（2）在接近收敛的终点时，较大的步长会形成振荡，导致算法不收敛。
如图所示
图4.4.4较大步长形成振荡的情况
（3）小的步长值固然能保证算法的收敛，但是过小的步长使算法收敛缓慢，在期望的时间内得不到较好的校正效果
（4）误差阈值的选择也很重要，大的误差阈值可使算法很快的达到稳定的输出，但是校正输出的效果较差，就是说，在没有达到最优值时，就停止了修正过程，而不能得到最优值。
过大的误差阈值还可使算法完全失效，起不到任何校正作用。
小的误差阈值情况下，收敛较为缓慢，但是校正输出的非均匀性较好，而过小的误差阈值会引起算法的振荡，而得不到稳定的输出。
总而言之，步长和误差阈值的选择，对于算法来说就是稳定性和效率二者的选择。
在实践中，常常根据具体情况和要求对二者进行折衷。
五.盲元替代的实现
红外焦平面阵列像元响应曲线如下图所示,
图5.1像元响应曲线
曲线A和C分别表示过热像元和死像元温度响应，它们的响应输出不随红外焦平面阵列接收的辐射功率而改变，曲线B表示正常像元的温度响应，随着接收的辐射
升级会员 