52 混合高斯模型初始化西北工业大学Word下载.docx

52 混合高斯模型初始化西北工业大学Word下载.docx

《52 混合高斯模型初始化西北工业大学Word下载.docx》由会员分享，可在线阅读，更多相关《52 混合高斯模型初始化西北工业大学Word下载.docx（20页珍藏版）》请在冰豆网上搜索。

/*请不要删除带有分节符的下一行*/

*/

摘要

实习题目：

基于多摄像机协同的运动对象分割与三维重建系统

研究内容：

——摄像机内外参数标定；

——背景建模与运动前景分割；

——基于剪影投影的三维重建与显示；

涉及技术：

混合高斯模型的背景建模与运动前景分割

设计思路：

混合高斯模型的背景建模与前景提取分三步进行，高斯模型的初始化、高斯模型的更新、前景提取、去噪去影子。

设计目标：

实现对视频中的运动前景进行提取，输出前景的二值图像序列。

完成情况：

基本实现了高斯模型对运动图像的前景提取。

自我评价：

实现了有4个高斯模型组成的混合高斯模型对运动图像进行前景提取，去噪好，利用现有的算法去影子，提取结果精度较高。

/*实习题目、简述研究内容与意义、用途、涉及技术与方法、基本设计思路、设计目标、完成情况、特色（难点、新技术、新思路）、结果自我评价等。

第一章开发计划

1.1关键技术

1.1.1摄像机内外参数标定

像机标定的目的是利用给定物体的参考点坐标（x,y,z）和它的图像坐标（u,v）来确定摄像机内部的几何和光学特性（内部参数）以及摄像机在三维世界中的坐标关系（外部参数）。

内部参数包括镜头焦距f,镜头畸变系数（k、s、p）,坐标扭曲因子s,图像坐标原点（u0,v0）等参数。

外部参数包括摄像机坐标系相对于世界坐标系得旋转矩阵R和平移向量T等参数。

此模块要求组员熟悉相机的成像原理，利用给定的实验数据完成内外参数的计算。

1.1.2背景建模与运动前景分割子系统

前景检测是目标跟踪、分类、识别、行为理解等后继处理的基础。

目前，主流的前景检测算法采用背景建模的思路，通过分析输入图像和估计背景的差异，提取变化的前景区域。

由于对目标类型、观测角度、距离等因素不敏感，该类算法在很多监控场合得到广泛应用。

下图给出了基于混合高斯模型的前景提取结果。

此模块要求组员对原始拍摄的视频数据进行前景提取，输入为彩色图像序列，输出为二值化的前景分割结果。

1.1.3三维重建与显示子系统

根据前景分割的结果，利用三维重建可获得目标的三维信息，目前基于多视点环境的快速三维重建方法主要以Shape-From-Silhouette（SFS）算法为基础。

原理如下：

由于剪影是待重建物体在图像平面上的投影，因而物体应该完全落在从多个视点的剪影反投影形成的空间区域的交集中，这种根据剪影获取反投影交集的方法便是SFS，如果相机的数目足够多，并且合理布局以便覆盖广泛的视角，那么SFS方法获得的交集将是真实目标三维形状的良好近似。

此模块要求组员利用前景分割的结果进行三维重建，并根据原始图像对重建的点云上色，最终完成三维重建结果的可视化显示。

1.2任务分配

1.2.1总体分配

10个人分为两个小组，每组5人，要求每组人员相互协作，独立完成多视点三维重建系统。

分工如下：

1人负责相机内外参标定子系统，2人负责背景建模与前景提取子系统，2人负责三维重建与显示子系统。

1.2.2具体分配

我们组具体的分配是，张鹏一人做摄像机参数标定；

李林和杨海涛做背景建模与前景提取；

屈冰心和谭明亮做三维图像重建。

第二章相关工具及开发环境

2.1开发工具

2.1.1参数标定

Matlab工具箱

2.1.2背景建模与前景提取和三维图像重建

VisualStudio2010开发，编程语言为C++

2.2开发环境

2.2.1硬件环境

摄像头

计算机

2.2.2软件配置

WindowsXP操作系统

VisualStudio2010

OpenCV2.2

第三章需求分析背景建模与前景提取

3.1算法要求

3.1.1基本理论—单高斯模型

多维高斯分布的概率密度函数PDF定义如下：

其中x的维数为d，u是模型的期望，∑是模型的方差。

3.1.2实现算法---混合高斯模型

高斯混合模型是单高斯模型的延伸，由于GMM能够平滑地近似任意形状的密度分布，因此在这里很实用。

3.2需求分析

3.2.1实现形式

VisualStudio2010配置OpenCV2.2中

3.2.2实现结果

对视频进行运动前景提取，输出前景二值图像序列。

第四章结构设计与系统分析

4.1结构设计

4.1.1输入输出

输入：

基于固定摄像头的有运动前景的视频

输出：

提取出的前景二值图像序列

4.1.2处理过程

初始化高斯混合模型、更新背景、提取前景、去噪去影子。

4.1.3系统结构图

结束

N

Y

输入

初始化高斯混合模型

更新背景

提取前景

去噪去影子

输出

对于视频当前帧

视频结束

下一帧图像

4.2系统分析

4.2.1算法选择

高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。

对图像背景建立高斯模型的原理及过程：

图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。

对于复杂的图像，尤其是医学图像，一般是多峰的。

通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。

在智能监控系统中，对于运动目标的检测是中心内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要。

而建模正是背景目标提取的一个重要环节。

高斯混合模型虽然算法比较复杂，但精度要高得多，适用于叫复杂的图像。

4.2.2参数设置

第五章详细设计

5.1高斯模型结构体

5.1.1单个高斯模型的内容

均值、方差、权重

5.1.2混合高斯模型的参数结构体

高斯模型数、学习率、通道数、是否开启阴影检测等参数

5.2混合高斯模型初始化

初始化函数：

参数：

图像序列的宽，图像序列的高。

返回值：

混合高斯模型参数结构体的一个值。

5.2背景更新

5.3前景提取

5.4去噪去影子

第六章程序编码

6.1结构体

6.1.1单高斯模型内容的结构体

6.1.2混合高斯模型参数结构体

6.2高斯混合模型的初始化

初始化

6.3为每个点建立一个高斯模型

每个点的高斯模型

6.4高斯模型更新

更新模型

6.5前景提取

6.5.1像素点统计

6.5.1形成二值图像

6.5.1前景提取

6.5去噪去影子

去影子

第七章测试与运行

7.1测试与运行

7.1.1输入

图像序列

7.1.2输出

二值图像序列

7.1.3某帧的测试结果

输入图像帧

输出图像帧

第八章开发技术总结

8.1开发环境总结

8.1.1开发环境要求

由于高斯混合模型的背景建模与前景提取，算法比较复杂，并且处理的是视频，数据量大着就要求计算机要有较好的硬件，以保证算法的速度。

在vs2010下的c++中配置opencv2.2，能方便视频的输入输出和相应处理。

8.2算法总结

8.2.1算法选择

混合高斯模型比单高斯模型复杂，但其精度与效果比单高斯却要好得多。

本程序选用高斯混合模型进行背景建模与前景提取。

8.2.2参数设定

高斯模型取4个：

精度很高，但运算速度慢了点。

设置不同的学习率：

不同情况下不同的学习率，有利于在视频的不同阶段综合地保证精度和运算速度。

实习总结

可以说本次实习的内容是我目前遇到的最复杂的了，最考验我编程能力和独立解决问题的能力。

虽说专业方向是信号方向，数字图像处理这门课也学过了，但用程序对视频处理还是第一次，并且第一次接触opencv。

所以，这两周慢慢的爬，遇到也解决了不少问题，也懂得了很多的道理。

首先，就是vs2010下配置opencv的问题。

光就这个，我满天下的查了两天，在同学的帮助下终于配置好了。

非常麻烦，不过主要是没接触过，很难理解其中的一些东西。

这其实也就是自己知识面的问题了。

再有，系统分块完成，很不错。

基于多摄像头协同的运动对象分割和三维图像重建系统，这是一个非常大的系统（对我来说）。

不管怎么说，一个大系统，分块有多人来协同完成，这是必须的。

一个人的力量和精力都是有限的。

分块后，这也就要求要协同好，不然，情况也不容乐观。

还有，基础理论和一般的常识性的东西都很重要。

基础理论的没有读懂，这件事情是做不好的。

由于以前没有接触过着方面的东西，在开始面对高斯模型和高斯混合模型时，都是一头雾水，要把它和图像序列的处理联系起来那就更是不知所云了。

当然，这理论性的东西，要自己动接触，多看，多问做到实处，自己才会慢慢理解。

一般的常识性的东西，也特别重要。

比如说：

你想对图像进行某种处理，本来有一个函数，来进行这种处理，你却不知道；

你可能就自己去写这个函数，既花时间，也可能写错。

最后，让我看到了自己编程的能力是多么的低。

速度不高，代码的质量也不能保证。

很多常识性的东西还不知道。

我需要学习的地方还很多。

参考资料

1、《数字图像处理导论》西北工业大学出版社

2、高斯混合模型（GMM）参数优化及实现龚勋（2010-11-13）

3、视频监控中基于GMM的前景提取的实现李婷，徐华中（武汉理工大学自动化学院）

4、2011年计算机学院大三学生生成实习题目安排杨涛副教授（陕西省语音与图像信息处理重点实验室）