SUSAN算子:
提取角点及边缘特征
同化核同值区:
在图像上设置一个移动的圆形模板,若模板的像素灰度与模板中心的像素差值小于给定的阈值,则认为该点与中心点是同值的,由满足这样条件的像素组成的区域叫做~。
在一幅图像中搜索图像角点或边缘点,就是搜索SUSAN最小(小于一定值)的点,即搜索最小化同化核同值区。
阈值越小,可从对比度越低的图像中提取特征。
过程:
确定掩膜核->掩膜2维遍历->形成角点强度图像->去除伪点->抑制局部非最大
优点:
无需梯度运算,具有积分特征、良好的定位能力
在纹理信息丰富的区域,SUSAN算子对明显角点提取的能力较强;在纹理相近处,Harris算子提取角点的能力较强。
4.3、线特征提取
线特征:
影像的“边缘”与“线”
边缘:
影像局部区域特征不相同的那些区域间的分界线
线:
具有很小宽度的其中间区域具有相同的影像特征的边缘对
距离很小的一对边缘构成一条线;线特征提取算子通常也称边缘检测算子
一阶差分算子中若卷积值大于阈值,二阶差分算子若卷积值过零点
则模板中心点对应像素就是边缘点
LSD算子
基本思想:
首先利用高斯模板对原始图像进行去噪处理,然后计算每个像素的梯度幅值和梯度方向,并对梯度幅值进行排序,按照梯度幅值的顺序,通过迭代方法将具有梯度方向相似性的像素划分为具有同一梯度方向的像素区域,最后利用矩形结构逼近这些相同梯度方向的区域,取矩形结构的中心线作为该区域线段特征。
过程:
梯度幅值和梯度方向估计->直线支撑区域生成->矩形逼近直线支撑区域->直线检测
优点:
实时性、准确性、鲁棒性,计算效率高,不需过多设置参数,能控制虚假直线
4.4、面特征提取
影像分割是提取面特征的主要手段
图像分割算法大致分为三类
基于阈值:
计算量小、易于实现,但未考虑空间特征,抗噪性差;
基于边缘:
抗噪性和检测精度难以兼顾
基于区域:
区域生长、分裂合并、分水岭分割、空间自相关
遥感影像分割的难点:
数据量明显增加;同物异谱;尺度依赖性强
4.5、圆点特征定位
Wong-Trinder圆点定位算子
基本思想:
利用二值图像重心对圆点进行定位。
首先将窗口中的影像二值化,再计算目标重心坐标(x,y)与圆度r.当r小于阈值时,目标不是圆;否则圆心为(x,y)。
阈值取最小灰度值与平均灰度值和的一半。
受二值化影响,误差可达0.5像素。
用原始图像灰度作为权进行改进,理想情况下,定位精度可达0.01像素。
椭圆拟合法
基本思想:
首先用边缘检测算子对椭圆边缘进行粗定位,然后剔除粗差,再对像素级边缘点进行亚像素边缘检测得到亚像素精度的边缘点,最后对提取的标志边缘点进行椭圆最小二乘拟合,从而确定标志中心的精确位置。
定位精度约为0.02像素
4.6、角点特征定位
Fǒrstner定位算子
特点:
速度快、精度较高
步骤:
最佳窗口选择->在最佳窗口加权重心化
以原点到窗口边缘直线的距离为观测值,梯度模之平方为权,列误差方程
高精度角点与直线定位算子
一维理想边缘的成像为刀刃曲线;梯度与系统的线扩散函数成正比。
平差模型采用梯度的模为观测值。
因为梯度方向代替直线方向存在不容忽视的误差,Hough变换等使用梯度方向的方法不可能达到很高的精度。
过程:
确定窗口(粗定位)->列误差方程(梯度模为观测值)->确定直线参数初值(Hough变换)->剔除粗差(选权迭代)->计算角点->评估精度
五、基于灰度的影像匹配(概述,3、4节)
匹配:
在不同数据集合之间建立对应或相关关系
影像匹配:
在影像间建立对应关系,
实质:
在两幅(或多幅)影像之间识别同名点
配准:
在遥感影像和地图间建立对应关系
数字影像匹配:
在两或多数字影像的要素之间自动建立对应关系,这些影像是(或至少局部是)对同一场景在不同位置或不同时刻的成像。
要素:
是数字影像中的点(即像素),也可以是数字影像中提取的其它特征
5.1、数字影像匹配基础
理论基础:
相关函数
四类遥感影像配准:
不同主点、不同时期、不同传感器、场景到模型
需考虑:
几何变形类型、辐射变形类型、噪音干扰、匹配精度、应用类型等
5.2、基于灰度影像匹配
定义:
以影像上局部围的灰度值及其分布作为匹配实体(或比较要素),通过计算匹配实体之间的相似性测度寻找共轭实体的影像匹配方法
相似性测度(代价函数)
距离型:
差平方和、差绝对值
方向型:
相关函数、协方差函数(中心化)
夹角型:
相关系数(标准化)
局限性:
窗口形状、窗口影像容、影像强度的变化
5.3、VLL法
定义:
直接确定物体表面点空间三维坐标的影像匹配方法
铅垂线轨迹法影像匹配
过程:
给定地面点的平面坐标,与近似最低高程。
从最低高程出发,计算像点坐标、相关系数,按步长搜索Z,使相关系数最大。
可用抛物线拟合法或减小步长增加精度
基于物方的多视影像匹配
过程:
确定过目标点的光线S0p0,根据目标点初始高程和误差,确定高程搜索围,根据精度要求确定步长。
计算物方坐标,像点坐标,n幅待匹配影像窗口与目标影像窗口的相关系数,按步长搜索Z使相关系数和最大。
5.4、最小二乘影像匹配
基本思想:
依据目标窗口影像的灰度值分布,以搜索窗口的中心位置和形状作为待定参数,通过极小化目标窗口与搜索窗口的影像灰度值差的平方和来估计待定参数值,从而确定同名点。
特点:
考虑辐射畸变、几何畸变,搜索窗口的形状是不断变化的
优点:
模型化几何变换、精度高、符合误差传播定律
不仅可以被用于一般的数字地面模型获取、正射影像生成,而且可以用于控制点的加密(空中三角测量)及工业上的高精度测量
可以引入各种已知参数和条件,进行整体平差;可以引入粗差检测
可以求单点视差、空间坐标,同时求待定点坐标与影像的方位元素
还可以解决多点、多片影像匹配
缺点:
要求相对精确的初值
单点最小二乘:
过程:
迭代进行匹配,计算改正值、变形参数,几何畸变改正、重采样,辐射畸变改正,计算相关系数
带有共线条件的多片影像匹配
基本思想:
将共线条件作为制约条件,最小二乘影像匹配与共线方程两类误差方程联合组成法方程式
误差方程式个数n×m×m+2n未知数个数6×n+3
VLL方式的最小二乘解
物方空间点的平面位置是固定的,当高程改变时,目标窗口和搜索窗口影像都会改变。
误差方程式个数m×m未知数个数8
引入共线条件:
误差方程式个数m×m+4未知数个数8+1
多片影像匹配:
误差方程式个数n×m×m+2n+2未知数个数2+6×n+3
位置偏移向量a0、b0的估计精度由3个参数所决定:
影像噪声方差、窗口像素数量N、梯度图像的方差和协方差
六、基于特征的影像匹配(1-3节)
6.1、特征匹配概述
特征匹配:
通过计算从影像中提取的特征属性或描述参数之间的相似性测度来实现配准的影像匹配方法。
具有整像素定位精度
步骤:
特征提取->候选特征的确定->变换参数估计或最终的特征对应
影像匹配策略
建立金字塔多层数据结构:
先验视差未知,已知两种情况确定层数
特征提取:
分级,提取方式与目的相适应,点的两种分布方式
特征点的匹配:
二维与一维匹配;匹配的备选点选择方法;提取与匹配的顺序;匹配的准则;粗差的剔除
6.2、跨接法影像匹配
先进行几何改正再进行特征匹配
特征参数:
三个特征点(灰度梯度最大点、两个突出点)的像素号与△g
过程:
特征提取->构成跨接法匹配窗口(两个特征连接)->跨接法影像匹配
计算目标窗口与重采样的匹配窗口的相关系数,按最大相关系数的准则确定同名特征。
相对几何变形改正并不要求重采样后的搜索窗口的形状与目标窗口的形状完全相同。
只要求长度相同
6.3、SIFT影像匹配
基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配
适用于具有几何畸变、辐射畸变、空间分辨率不一致的影像
优点:
1.SIFT特征是图像的局部特征,对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性。
2.独特性好,信息量丰富,可在海量特征数据库中进行快速、准确的匹配
3.多量性,即使少数的几个物体也可以产生大量SIFT特征向量。
4.可扩展性,可以很方便的与其它形式的特征向量进行联合。
缺点:
实时性不高、有时特征点少、对边缘模糊的目标无法准确提取特征点
SIFT特征提取
1)尺度空间的极值探测;
高斯核是实现尺度变换的唯一线性变换核;一幅二维图像,在不同尺度下的尺度空间表示可由图像与高斯核卷积得到;
尺度空间因子越小:
图像被平滑的越少,相应的尺度也就越小
DOG算子:
两个不同尺度的高斯核的差分;LOG算子的近似
2)关键点的精确定位;
通过拟合三维二次函数以精确确定关键点的位置;
目的:
进一步精化极值点在图像尺度空间的位置
方法:
对尺度空间函数进行泰勒展开,求取函数极值进行位置修正
同时去除低对比度的关键点和不稳定的边缘响应点
3)确定关键点的主方向;
使SIFT算子具有旋转不变性
一个关键点可能会被指定具有多个方向
4)关键点的描述。
对每个关键点使用4×4共16个种子点来描述;每个种子点有8个方向向量信息;这样对于一个关键点就可以产生128维的SIFT特征向量。
长度归一化可去除光照的影像
SIFT特征匹配
当两幅影像的SIFT特征向量生成后,采用关键点特征向量的欧式距离作为两幅影像中关键点的相似性判定度量。
在目标图像中取出某个关键点,并通过遍历找出其与右影像中欧式距离最近的前两个关键点。
如果最近的距离与次近的距离比值少于某个阈值(经验值0.8),则接受这一对匹配点。
降低阈值,可增加匹配点的正确率,但匹配点数同时会减少。
优化:
尺度空间的层数
约束条件:
唯一性约束、核线约束、视差围约束、互对应约束
核线上特征点的快速查找:
将影像划分为格网,并记录每一格网中的特征点
高维空间搜索的优化算法:
BBF算法、哈希表查找
粗差剔除:
RANSAC算法
6.4、RANSAC估计
思想:
尽量用比较少的点估计出模型,再用剩余点来检验模型。
减轻了存在严重错误点时异常数据对模型参数估计的影响。
基本假设:
数据集中含有噪声;给定一组正确的数据,存在可以计算出符合这些数据的模型参数的方法
基于RANSAC算法的直线估计
随机选择两点确定一条直线l;根据阈值t,确定与直线l的几何距离小于t的数据点集S(l),并称它为直线l的一致集;
重复若干次随机选择,得到n条直线和相应的一致集;
使用几何距离,求最大一致集的最佳拟合直线,作为数据点的最佳匹配直线。
RANSAC用于误匹配剔除
自动提取两幅图像的特征点集,建立初始“匹配对集”
RANSAC去除错误匹配对
由最大一致集(即正确匹配对)重新估计基本矩阵
七、整体影像匹配(1-2节)
整体影像匹配:
考虑相容性、一致性、整体协调性,可以纠正或避免错误的结果,从而可以提高影像匹配的可靠性。
算法:
多点最小二乘影像匹配、松弛法影像匹配、动态规划影像匹配、人工神经网络影像匹配、半全局影像匹配等
7.1多点最小二乘影像匹配
定义:
将有限元插法与最小二乘影像匹配相结合,直接解求规则分布格网上的视差(或高程)的整体影像匹配方法
有限元法:
为解算一个函数,有时需要把它分成为许多适当大小的“单元”,在每一个单元中用一个简单的函数来近似的代表它。
对于曲面也可以用大量的有限面积单元来趋近它,这就是~
任意一点的视差值可用其所在格网的4个顶点的视差值作双线性插求得。
以视差为参数展开误差方程;
与起起视差表面平滑作用的虚拟误差方程式联合求解
优点:
不仅可以基于像方,也可基于物方;可同时确定地形特征线。
缺点:
即使采用多级数据结构,收敛速度也很慢。
7.2、松弛法影像匹配
并行算法:
对每个象素的处理是独立的,不依赖于其他象素的处理结果;
效率高,但可能产生与邻近的结果不协调和不合理的现象
串行算法:
在处理某个像元时,须要考虑先前已处理过的邻近点的结果;
在相关算法中引入了预测,减小了搜索围,减少了运算工作量;在某种意义上,还可以减少相关的粗差。
但先前结果出错会影响后面的处理结果。
松弛算法:
是一种并行和迭代的算法,在每一次迭代过程中,在每一点上的处理是并行的,但是在下一次迭代过程,它将根据上次迭代过程中周围点上的处理结果来调整期结果。
基本思想:
在松弛法的每一次迭代计算过程中,它并不进行绝对的分类,只是确定概率,每次迭代过程中求得Pij的增量,增量由相容系数决定
基于松弛法的整体影像匹配
影像匹配的实质是确定左(或右)影像中某个目标(或像点)j在另一影像上的共轭目标(或像点)i的问题。
若将目标点j视为类别,而共轭备选点i的集合视为目标,则影像匹配问题可用松弛法来解决
整体影像匹配过程
局部匹配:
根据匹配窗口的影像信息,计算其相似性测度,给出候选匹配点
整体挑选:
根据挑选规则从候选匹配点中选出最终的匹配结果
整体最佳:
通过邻域匹配点的兼容性来实现。
好的匹配点获得的邻域支持强度较大,坏的匹配点获得的邻域支持强度较小。
相容系数:
通过邻域匹配点的视差变化的一致性来确定
八、数字微分纠正(2-4节)
基本任务:
实现两个二维图像之间的几何变换
定义:
根据有关的参数与数字地面模型,利用相应的构像方程式,或按一定的数学模型用控制点解算,从原始非正射数字影像获取正射影像,将影像化为很多微小的区域逐一进行,且使用数字方式处理的过程
直接法:
由原始像点求纠正后的相应点坐标
间接法:
由纠正后的像素坐标反求原始像点
8.1框幅式中心投影影像的数字微分纠正
间接法特点:
纠正图像上所得的点规则排列,在规则排列的灰度量测值中进行灰度插,适合于制作正射影像图
直接法特点:
是一个迭代运算过程;纠正图像上所得的点非规则排列,有的像元可能“空白”(无像点),有的可能重复(多个像点),难以实现灰度插并获得规则排列的纠正数字影像
8.2线性阵列扫描影像的数字微分纠正
处理过程
1.根据图像的成像方式确定影像坐标和地面坐标之间的数学模型;
2.根据所采用的数学模型确定纠正公式;
3.根据地面控制点和对应像点坐标进行平差计算变换参数,评定精度;
4.对原始影像进行几何变换计算,像素亮度值重采样。
纠正方法:
共线方程法,有理函数法,多项式法
共线方程法
间接法:
首先求各元素对应的外方位元素,才能求出该相应像点的y及t,或y及x
关键在于确定像点的成像时刻,需要迭代计算
实用过程:
DEM重采样得到规则格网->每个DEM网格,利用共线方程反求出其四个格网点对应的像点坐标(仍需迭代)->逐像素进行