图像方向识别与目标分割Word格式.docx

图像方向识别与目标分割Word格式.docx

《图像方向识别与目标分割Word格式.docx》由会员分享，可在线阅读，更多相关《图像方向识别与目标分割Word格式.docx（31页珍藏版）》请在冰豆网上搜索。

一、问题重述

1.1问题背景

现在高清像素摄影已经被应用到各个领域，技术发展越来越高新，但由于某些客观因素，导致有时仪器只能在形成低像素图像。

只考虑单色成像。

假设成像的分辨率为，图像中每个像素的取值为对应格子的亮度平均值。

每间隔一定时间拍摄一帧图像，运动的画面体现为图像的序列。

目标分割指在图像中将感兴趣的目标提取出来，例如提取下图中的手目标，其分割结果为紫色轮廓线所对应的部分。

目标分割过程通常利用两方面的信息：

待分割图像本身的数据信息和目标的先验信息。

目标的先验信息涉及目标的特征，例如已知目标的颜色，纹理和形状等。

1.2问题提出

1）现在整个视野区域向某个方向缓慢运动，拍摄到的系列图像实时地传输到计算机中。

请你建立合理的数学模型和算法，通过分析实时拍摄的图像，使用尽量少的时间，以判断出运动的方向。

（附件1给出整个视野区域向某个方向缓慢运动的连续两张像素图像，时间间隔为0.02；

也可自己拍摄视频提取图像）对于低分辨率图像目标分割难度较大，这里给出高像素手的图像信息，请解决以下问题;

2）假设已知手的先验信息（颜色，纹理和形状等），见附件2中目录，利用先验信息建立数学模型并编程完成附件2中目录下测试图像的手目标分割。

分割结果用紫色轮廓线标出。

3）如果手目标的先验信息未知，给出相同目标的多张图像（附件3），能否根据图像中目标的相关性，建立数学模型，自动将每张图像的手目标分割出来。

若能，请用紫色轮廓线标出每张图像的分割结果。

二、模型假设

1、假设在拍摄图片时，只有拍摄设备运动（移动、变焦等），而场景保持静止；

2、假设拍摄设备的移动在同平面内；

3、假设附件中的图像均未被人为处理过，且具有代表性。

；

三、问题一

3.1问题分析

本问要求建立合理的数学模型，用尽量少的时间，判断视野向某区域缓慢运动，即拍摄设备相对于初始位置的运动方向。

阅读分析关于图片处理的参考文献可知，运用方向微分方程、图像匹配等方法，可以对图像方向进行识别。

再通过对文献中不同方法进行对比分析，最后确定了相对用时较短短的角点检测及匹配算法，对附件1给出的图片进行方向识别，进而得出相机相对于初始位置的运动方向。

连续拍摄两张图片时，拍第一张图片时有准备工作，然后相机进行缓慢移动，并在0.02s后拍下第二张图片。

虽然是缓慢移动，但是0.02s时间太短，很难使拍摄环境稳定后再进行拍摄。

所以比较两张图片的整个拍摄过程，拍摄第一张图像的拍摄环境相对较稳定。

因此第一张拍摄图片相对于第二张图片会清晰一些。

再综合和这两张实时图片的属性中“修改时间”的时间进行对比分析，确定出拍摄的第一张图片。

接下来，利用角点检测法，对附件1中的两张图片进行角点检测，从而得到两张图片的特征点，并将特征点坐标化；

然后，利用零点均值匹配法，对两张图片进行匹配；

从而，利用各个相同特征点，在两张图片中的相对位置的坐标相对位移确定特征点的位移弧度；

最后，判断出图像运动的相对方向。

具体的思维流程图如下图：

图1：

一题思维流程图

3.2模型建立

3.2.1确定拍摄的第一张图片

方法一，连续拍摄两张图片时，拍第一张图片时有一定的准备工作，再缓慢移动0.02s后拍摄第二张图片，所以第一张图像的拍摄环境相对较稳定。

因为拍摄器材与拍摄对象的相对运动，会导致所拍图像变得模糊，所以将两张图片放大到相同大小，比较其模糊情况。

将和用进行简单的颜色处理，处理结果如下图：

图2:

、黑白图

比较图2中，和箭头指向部分的轮廓，明显比清晰。

因此从图片的模糊程度可以确定为拍摄的第一张图片。

方法二，根据题目中的信息可知，拍摄到的图像会实时的传递到计算机中，因此可以通过两张图片属性中的“修改时间”进行区分。

提取两张图片的属性信息如下表：

表1：

图片修改时间表

修改时间

2016年8月23日,18:

20:

24

25

从表1可以看处图片的修改时间小于图片的修改时间，所以图片比图片先拍摄，即为第一张拍摄图片。

综合上，方法一和方法二是两种完全不同的判断比较方式，但是结果都是一样的，因此可以确定为第一张拍摄图片。

3.2.2图像灰度化处理

图像灰度化是指，将彩色图像转化为灰度图像的过程。

将图像进行灰度处理后，不会改变图像的特征描述。

灰度化处理后，可以减少图像的复杂信息，便于对图像的后期的处理。

利用加权平均法对图像进行灰度化处理的公式[1]：

（1）

式中，为灰度值；

、、代表蓝、绿、红颜色的亮度值。

3.2.3基于优化的角点检测模型

角点就是极值点，在某方面体现特别属性的点。

也可以理解为能体现图像很重要特征的点，能帮助分析理解图像。

角点具有旋转不变和不受光照影响的优点。

角点检测是对有具体定义的、或者是能够具体检测出来的兴趣点也就是角点的检测。

优化角点检测算法的基本思想是，利用图像的灰度变化率来确定角点，此方法通过计算一个与图像自相关函数相联系的矩阵的特征值，即自相关函数的一阶曲率来判定某点是否为角点，如果两个曲率值都高，那么就认为该点是角点。

角点检测算子，定义在任意方向上的自相关值为一组方形区域中图像灰度误差的总和的表达式[2]为：

（2）

将

（2）式用泰勒公式展开为：

式中，为的对称矩阵；

为高斯平滑函数；

为图像方向的梯度值；

为高斯滤波器。

在像素的角度求解过程中，需要研究新矩阵的特征值。

简便求新特征值得公式[2]为：

式中，为高斯平滑函数与矩阵的卷积（函数与矩阵的卷积在图像范围内相乘后求和的结果）；

为的特征值为矩阵的行列式直；

为矩阵的特征值；

。

对矩阵所有特征值进行求和，来表示矩阵与旋转无关的描述，故定义角点之间的响应函数[2]（角点之间相互影响的函数关系）为：

式中，为响应函数；

为的推荐值一般是0.04.

考虑到实质是角点的检测信号，行列式的值大、特征值的值小为角点的信号，行列式的值小、特征值的值大为边缘信号的特点。

因此使用一种改进的计算方法[2]：

式中，为一个很小的小数，其目的是，到特征值为0时避免分母为0。

计算可以减小参数选择的随机性，增大了实用性、可靠性以及准确性。

当且仅当大于阈值和是某领域内的局部极大值时，该点才能确定为角点。

当阈值增大时，角点数目会变少，反之亦然。

另外求局部极大值的邻域大小也会影响提取角点的数目。

3.2.4基于零均值归一化互相关跟踪的角点匹配模型

零均值归一化互相关跟踪算法[3]是对目标模板以及候选模板的灰度向量分别进行去均值处理并以归一化互相关系数作为度量函数的一种跟踪算法。

该算法抗噪行强，且能适应较强的光照变化，在模板大小为、信噪比大于0.4时，匹配精度大于98％。

因此很适合用于角点的匹配。

以第一张图片中的角点为目标模板，第二张图片中的角点为候选模板，然后运用算法进行角点匹配。

设和分别对应为目标模板和第个候选模板去均值前后的灰度矩阵，则归一化系数[3]为：

式中，为归一化系数；

为模板中灰度点的个数；

依次表示为求均值，求方差，求转置。

3.2.5判断运动方向

对两张图片中的角点进行匹配以后，得出了第二张图片中的角点与第一张图片中的角点一一的对应关系。

首先，将能各相匹配的点连接起来，并建立坐标系根据其坐标化；

再确定出各匹配角点的相对位移的，然后，确定各对相匹配角点的相对角度，在对各个角度求均值来代表整个图片运动的角度，进而判断出运动方向。

在坐标系中确定相匹配的角点的坐标后，求夹角的公式：

式中，为第个匹配点之间的夹角；

为第一张图像中的角点坐标；

为第二张图片中与第一张图像角点相匹配的角点坐标。

图像运动夹角公式：

式中，为图像移动夹角；

为可匹配的角点数量。

3.3模型求解

3.3.1图像灰度化处理

使用软件进行编程（程序见附录1），对图像进行灰度处理，的得到了灰度化后的图片如下图：

图3：

灰度图

3.3.2基于优化的角点检测模型的求解

根据建立的优化的角点检测模型，利用编程（程序见附录1），对模型进行求解。

具体的运算步骤如下：

，生成9*9高斯窗口；

，选取参数点八邻域的“相似度”参数，只有中心点与邻域其他八个点的像素值之差在之间，才确认它们为相似点，相似点不在候选角点之列。

并没有全部检测图像每个点，而是除去了边界上的像素，因为需要的的角点并不出现在边界上；

，用来保存角点响应函数值。

初值全零，图像中角点响应函数的最大值，作阈值；

计算，求得，整体求得的角点响应函数用来记录角点的个数，通过一个的窗口来判断当前位置是否为角点；

，最终确定图像和角点的数量依次为16个和13个，以及角点的具体位置如图：

图4：

角点分布图

比较两幅图中检测到的角点位置，可以大致的知道两幅图中的角点均大致位于景物的同一位置。

3.3.3基于零均值归一化互相关跟踪的角点匹配模型

在角点检测的基础上，根据零均值归一化互相关跟踪的角点匹配模型，利用编程（程序见附录1），对模型进行求解。

，角点检测，得到原始图的角点和匹配图的角点如下图：

图5：

角点匹配图

，单向搜索和双向搜索到的结果，中搜索到的跟图像中相匹配的点的个数为6对；

，得到了，零均值互相关匹配结果图像，如下图：

图6：

零均值互相关匹配结果图

，最终，将图像和可匹配的角点坐标化，并将两张图像的可匹配角点提取到同一坐标图中，并将图像和的可匹配角点的坐标链接起来。

其结果见下图：

图7：

角点移动连线对比图

通过对两幅角点图的零均值归一化互相关匹配，得到的匹配角点相似度很高，极具代表性。

3.3.4运动方向求解

在角点检测和角点匹配的基础上，利用编程（程序见附件1），对模型进行求解。

通过做出的角点移动图，可以大致的确定物体的移动方向，但为 

了更加精确的知道移动方向，我