毕业设计论文.docx

1、毕业设计论文毕业设计（论文）说明书学 院 软件学院 专 业 软件工程 年 级 2007 姓 名 张辰阳 指导教师 陈锦言 2011年 6月 22日毕业设计（论文）任务书题目：运动相机下的移动物体分割算法研究学生姓名 张辰阳 学院名称 软件学院 专 业 软件工程 学 号 3007218081 指导教师 陈锦言 职 称 讲师 一、原始依据（包括设计或论文的工作基础、研究条件、应用环境、工作目的等。）视频中的移动目标提取与分割是视频监控以及物体跟踪等应用中用途十分广泛的一项技术。在摄像机固定的情况下，已知背景信息，当图像变化的时候，帧间差就是变化的部分。然而，随着移动拍摄设备的应用和普及，越来越多的

2、视频已经打破之前相机位置固定的假设，因此没有办法通过简单的帧间差来得到视频变化的部分。国内外很多大学和研究机构在这一难题上做出了不少探索和贡献。卡耐基梅隆大学的舍赫教授提出运用视频追踪点轨迹矩阵的秩约束来对运动中摄像机视频的前、背景模型进行稀疏建模，再通过该稀疏模型对整帧图像利用图分割算法和马尔科夫链进行0-1标记来获得移动物体的分割的算法。这个算法很好的解决了运动中摄像机视频中的移动目标提取的问题，而且避免了使用耗费时间和资源的三维建模。本次设计基于舍赫教授的论文，对该算法进行实现和研究，从而能够对移动摄像机视频下的目标提取算法和技术进行应用和开发，为相关需要视频监控的行业和领域提供必要的理

3、论依据和技术支持。二、参考文献1 Y. Sheikh, O. Javed and T. Kanade. Background subtraction for freely moving camerasA. In: Proceedings of IEEE 12th International Conference on Computer VisionC. IEEE: 2010. 1219-1225.2 P. Sand and S. Teller. Particle Video: Long-range motion estimation using point trajectoriesJ. Int

4、ernational Journal of Computer Vision, 2008, 80(1): 72-91.3 G. Bradski and A. Kaehler. Learning OpenCV: Computer Vision with the OpenCV libraryM. OReilly Media, 2008.4 W. Zhang, X. Cao, Y. Hou et al. Detecting and extracting the photo composites using planar homography and graph cutJ. IEEE Transacti

5、ons on Information Forensics and Security, 2010, 5(3): 544-555.5 C. Zhang, X. Guo and X. Cao. Duplication Localization and SegmentationA. In: Proceedings of Pacific-Rim Conference on MultimediaC. Springer: 2010. 578-589.6 M. Cho, Y. Shin, and K. Lee. Unsupervised detection and segmentation of identi

6、cal objectsA. In: Proceedings of IEEE Conference on Computer Vision and Pattern RecognitionC. IEEE: 2010. 16171624.7 D. Lowe. Distinctive image features from scale-invariant keypointsJ. International Journal of Computer Vision, 2004, 60(2): 91110.8 C. H. Lampert, M. B. Blaschko, and T. Hofmann. Beyo

7、nd sliding windows: Object localization by efficient subwindow searchA. In: Proceedings of IEEE Conference on Computer Vision and Pattern RecognitionC. IEEE: 2008. 18.9 R. Hartley and A. Zisserman. Multiple view geometry in computer visionM. Cambridge Univ. Press, 2004.10 C. Wren, A. Azarbayejani, T

8、. Darrell et al. Real time tracking of the human bodyJ. IEEE TPAMI, 1997.11 D. Hochbaum and V. Singh. An efficient algorithm for cosegmentationA. In: Proceedings of IEEE International Conference on Computer VisionC. IEEE: 2009. 269276.12 W. Hardle and L. Simar. Applied multivariate statistical analy

9、sisM. Springer Verlag, 2007.13 C. Bishop. Pattern recognition and machine learningM. Springer, 2006(4).14 A. Elgammal, R. Duraiswami, D. Harwood et al. Background and foreground modeling using nonparametric kernel density estimation for visual surveillanceA. In: Proceedings of the IEEEC. IEEE, 2002.

10、15 N. Friedman and S. Russell. Image segmentation in video sequences: A probabilistic approachA. In: Proceedings of Conf. Uncertainty in Artificial IntelligenceC. 2000.16 I. Haritaogolu, D. Harwood, and L. Davis. W4: Real-time surveillance of people and their activitiesJ. IEEE TPAMI. 2000.17 R. Jain

11、 and H. Nagel. On the analysis of accumulative difference pictures from image sequences of real world scenesJ. IEEE TPAMI.1979.18 O. Javed, K. Shafique, and M. Shah. A hierarchical approach to robust background subtraction using color and gradient informationA. In: Proceedings of IEEE Workshop on Mo

12、tion and Video ComputingC. IEEE: 2002.19 Y. Sheikh and M. Shah. Bayesian object detection in dynamic scenesJ. IEEE TPAMI, 2005.20 C. Stauffer and E. Grimson. Learning patterns of activity using realtime trackingJ. IEEE TPAMI. 2001.三、设计（研究）内容和要求（包括设计或研究内容、主要指标与技术参数，并根据课题性质对学生提出具体要求。）本次毕业设计着重于视频的数据提取和

13、分割算法的实现。视频数据提取方面，参考桑德教授的微粒视频一文，运用光流和特征追踪相结合的方法在给定视频中提取追踪点轨迹，再根据舍赫教授的论文讲述的算法，通过运用RANSAC算法对追踪点轨迹进行秩约束，实现稀疏模型的建立。通过稀疏模型，运用马尔科夫链和图分割算法对视频帧进行0-1标记，最后得到目标提取和分割结果。数据提取方面，要注意阅读桑德教授主页关于微粒视频的说明和数据说明。下载代码并阅读理解，认清其实现原理。另外，桑德教授的主页上有充足的测试视频和源数据，可以用来做测试和实验。算法实现方面，需要了解和实现RANSAC、马尔科夫链和图分割算法。数学方面，要求阅读和理解仿射变换矩阵的秩约束原理和

14、贝叶斯概率公式。衡量实验效果的主要指标是分割结果的准确率和查全率，如果运用桑德教授的数据的话，可以直接使用对应视频的基准值。指导教师（签字）年 月 日审题小组组长（签字）年 月 日天津大学本科生毕业设计（论文）开题报告课题名称运动相机下的移动物体分割算法研究学院名称软件学院专业名称软件工程学生姓名张辰阳指导教师陈锦言（内容包括：课题的来源及意义，国内外发展状况，本课题的研究目标、研究内容、研究方法、研究手段和进度安排，实验方案的可行性分析和已具备的实验条件以及主要参考文献等。）1. 课题来源及意义随着摄像技术的应用和普及，越来越多的摄像装置被应用到日常生活和生产当中。其中视频监控和物体识别和追

15、踪是最为热门的一个领域。但是，随着应用的推广和普及，视频数据量的不断扩大，单纯的视频采集系统已经不能满足日益增长的视频监控需求。对于视频的理解和分析等智能功能则占据了更为重要的需求地位。由于数据规模的庞大和人力资源的昂贵，计算机视觉算法和技术应运而生。模式识别与机器学习知识被广泛的应用于视频监控和物体识别和追踪的领域。在摄像装置拍摄的视频中，固定相机位置作为长久以来的假设和技术瓶颈正在被打破，由于背景的移动，前景移动物体的提取和分割已经不能运用于非位置固定的相机的算法。所以，本设计希望能够实现移动摄像装置视频中提取移动物体的算法并且研究之。2国内外发展状况无论在国内还是国外，运动中相机的移动目

16、标检测都是一个技术难题。一般相机位置固定的情况下，背景相减的算法，即帧间差，能够很好的提取运动目标。早在70年代，背景相减和运动分割算法就被提了出来，基于的假设是相机静止。当相机位置静止这个假设被打破之后，比如手持摄像机或者搭载在交通工具上的摄像机，由于背景相对于画面也在运动，所以单纯运用帧间差不能提取运动的目标。该项技术如果能够得到实现和普及，那么它将大大推动视频监控的应用范围，比如智能汽车上的路况判断和标志牌识别。我国在视频监控已经颇为成熟并且应用广泛，智能车的发展和应用也是未来的热门研究方向之一，比如每年的本田智能车大赛，都吸引了很多高校的参与和竞争，创意和新技术也层出不穷。这都为移动相

17、机的视频监控提供了很好的研究前景和应用方向。 3研究目标本设计旨在实现舍赫教授于2010年发表的“自由移动相机中的背景减算法”一文中的运动目标提取算法。通过实现这个算法，掌握其中的技术要领，发现其中的潜在问题，从而为以后的研究找到目标和技术方向。 4研究内容首先，本设计着手于研究微粒视频算法。该算法是通过合成光流和特征点跟踪来得到追踪点轨迹的。因为光流是较密集但是没有长期信息，特征点追踪则是较长期但是很稀疏。通过合成这两个技术，微粒视频将会得到一个折衷的方案，即较为密集同时比较长期的追踪点轨迹。其次，对于微粒视频算法所得到的数据进行分析，判断如何处理这些轨迹点才能为以后的算法所用。再次，对于计

18、算机视觉当中的仿射、透视几何变换进行学习和研究，明白该算法所基于的秩约束的原理。接下来，研究0-1标记使用的算法，弄清其原理并且能够清楚明白马尔科夫链和图分割算法在该体系框架内实现的技术细节。最后，探索该方法的局限性，探讨改进算法的可能性。试图为解决该方法的局限性打下基础。5研究方法一，进行移动中相机的视频采集；二，对视频进行微粒视频算法处理生成追踪点轨迹；三，对追踪点轨迹进行分析和筛选，得到可供算法使用的追踪点轨迹矩阵；四，使用RANSAC算法，估计符合仿射矩阵秩约束的最大子矩阵，通过子矩阵建立背景的稀疏模型，剩余的点用来建立前景的稀疏模型；五，计算0-1标记的后验概率，其中，似然函数由标记

19、像素和前、背景稀疏模型的相似度进行确定，并用图分割算法进行解空间的探索；利用马尔科夫链算法计算标记向量的先验概率。从而得出最优标记向量。实验评价部分，通过对查全率和查准率的计算，得到实验的效果。再此基础上与其他方法比较衡量，分析该算法的不足和缺陷，同时对不同参数下的算法效果进行统计和分析。6研究手段对于微粒视频的算法，使用C+和OpenCV库函数实现。对于运动物体的检测，也用C+和OpenCV进行实现。在实验数据处理方面，利用Matlab进行分析和处理。7进度安排2010.11 学习光流、特征点追踪、仿射变换、贝叶斯理论、马尔科夫链和图分割。2010.12 学习使用OpenCV。2011.01

20、 阅读文献，确定技术方案。2011.02 下载实验数据和相关算法的实现代码，弄清技术细节。2011.03 编程实现算法。2011.04 编程实现算法并进行实验。2011.05 对实验结果进行分析，运用评价体系衡量实验结果。2011.06 撰写毕业设计报告，通过答辩。8实验可行性分析和已具备的实验条件微粒视频的实现可以从作者的主页上找到。同时，测试用例也可以找到。对于跟踪点的处理，可以通过简单的筛选处理来实现，较为简单。RANSAC算法较为成熟，运用秩约束的估计可以通过计算放射变换的误差来实现。这个部分虽然没有现成的代码，但是通过伪代码来写实现并不难。至于标记时采用的一系列算法，都是较为经典和成

21、熟的，实现起来虽然不简单但是是可行的。总而言之，该实验方案是可行的。9主要参考文献1 Y. Sheikh, O. Javed and T. Kanade. Background subtraction for freely moving camerasA. In: Proceedings of IEEE 12th International Conference on Computer VisionC. IEEE: 2010. 1219-1225.2 P. Sand and S. Teller. Particle Video: Long-range motion estimation usin

22、g point trajectoriesJ. International Journal of Computer Vision, 2008, 80(1): 72-91.3 G. Bradski and A. Kaehler. Learning OpenCV: Computer Vision with the OpenCV libraryM. OReilly Media, 2008.4 W. Zhang, X. Cao, Y. Hou et al. Detecting and extracting the photo composites using planar homography and

23、graph cutJ. IEEE Transactions on Information Forensics and Security, 2010, 5(3): 544-555.5 C. Zhang, X. Guo and X. Cao. Duplication Localization and SegmentationA. In: Proceedings of Pacific-Rim Conference on MultimediaC. Springer: 2010. 578-589.选题是否合适： 是 否课题能否实现： 能 不能指导教师（签字）年 月 日选题是否合适： 是 否课题能否实现：

24、 能 不能审题小组组长（签字）年 月 日摘 要 移动相机下的移动目标提取已经成为计算机视觉领域中十分热门的一个话题， 同时，也有很多的人力物力被投入到这个议题的研究实现以及改进当中来。传统上，背景减算法是被用来做目标提取的最流行的算法，因为传统上的监视系统中的相机摄像装置都是被固定安装的，这样的话，背景就是不变的而前景物体通常是动着的。然而，随着移动电话、手持摄像装置的不断普及和发展，越来越多的视频序列是被移动着的相机所拍摄的，在这些视频当中，已有的算法显然已经不适用了。 自然而然的，对那些在移动视频中提取前景目标的算法的市场需求就显得十分迫切。本毕业设计提供了卡内基梅隆大学的舍赫教授在200

25、9年提出的移动相机下的背景减算法的一种实现。基本上本论文的实现是基于该篇论文的，但是本毕业设计在此基础上也加入了一些别的算法和策略，并做了一些修改。实验结果证明本毕业设计的方法是行得通的。 首先，SIFT特征点被从每一帧中提取出来，并且基于此，两个匹配矩阵被建立出来，而后初始的轨迹序列被通过合并这两个匹配矩阵建立出来。接下来，马萨诸塞理工学院的桑德博士提出的微粒视频技术也被加入进来用来提高轨迹的密度。接下来就是通过随即一致性算法和神经网络技术分别建立系数模型和二值标记。另外的，框级定位结果被通过稀疏模型建立出来。关键词：目标提取；计算机视觉；背景减算法；移动相机ABSTRACT Object

26、detection and segmentation has long been a hot topic in the area of Computer Vision. There has been a large amount of effort undertook in this problem. Traditionally, background subtraction was the most popular method to do this job, basically because in traditional supervise system, the cameras wer

27、e always static; thus, there was an assumption in traditional algorithms in such object detection problem: the background is at static and the foreground is moving. However, as the developing of mobile phones as well as digital video capture devices, theres a growing number of video sequences are ta

28、ken by such mobile devices, which old algorithms can not handle with. Consequently, the market need of algorithms to solve the object detection problem is also growing at an amazing speed due to existed algorithm can not handle those problems in moving cameras. We propose an implementation of a nove

29、l algorithm about background subtraction and object detection in moving camera settings. Basically, our method is according to a previous work of Prof. Sheikh from Carnegie Mellon University. Also, we do some modification and add some new process in this framework. The experimental results show that

30、 our method works well. Firstly, out method use SIFT to extract feature points from each frame of given video sequence and match them frame-by-frame. Secondly, the two match matrices are combined together to form a initial trajectory matrix. Particle Video technique, proposed by Dr. Sand from Massac

31、husetts Institute of Technology, is also included to obtain more dense trajectories. Then sparse labeling of trajectories is accomplished by Random Sample Consensus and dense labeling is accomplished by Artificial Neural Network. A box-level bounding result is also obtained by Efficient Sub-window Search according to the sparse model.Key words: object detection; computer vision; background subtraction; mobile camera.第一章 绪论1.1 选题背景 计算机视觉，作为近20年从出生到发展的一门新兴学科，在包括从军用到民用的诸多领域都有着卓越的贡献和长足的发展潜力。它是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图