运动目标检测与跟踪的研究文档格式.docx

1、年月日弘多年/月碧日江苏大学硕士研究生毕业论文摘要快速的经济发展、不断升级换代的计算机软硬件以及不断提高的网络速度,互联网已经渗透到人们生活的各个领域之中,再加上物联网技术的火热,各种基于网络互连智能化的应用逐步融入人们的生活之中,人们对生活自动化、智能化的需求越来越强烈,计算机视觉的研究越来越受到各方面专家学者的重视,而视觉视频目标跟踪作为计算机视觉领域的一个重要方向,蕴含着巨大的商机和经济效益,受到了学术界、产业界和管理部门的高度重视。本文选取了视频目标检测和跟踪为研究主题,以包含运动目标的视频序列为研究对象,从理论、算法和实验三个方面讨论了视频目标检测和跟踪所存在的相关问题。具体而言,论

2、文在以下几个方面进行了一些研究工作:研究了视频检测的相关技术,在阅读和研究相关文献的基础上,提出一种临近区间更新与运动混合检测算法。当目标跟踪置信度高于闽值时,采用临近区域更新对目标进行跟踪;当运动目标的置信度低于下限阈值时,采用跟踪方法,根据颜色和空间上的相似性将目标分割为多个区域,每个区域包含有区域号、位置、大小信息,随机选取一个进入在线跟踪模块进行检测,直到获取到置信度达到上限阈值时,切换到临近区域更新算法进行跟踪。通过此方法可解决单纯基于在线的跟踪的临近区间更新算法所导致的错误累积进而产生漂移甚至跟踪失败的问题。介绍了传统算法,主要针对和在线做详细的分析,提出一种改进的在线的特征更新算

3、法,来对目标特征进行分类判断。很好的捕获到背景扰动、目标形变和遮挡情况对目标特征的影响,在有噪声的情况仍然能够获得比较稳定的跟踪结果。以临近区域更新与运动混合检测算法来实现初步定为目标区域,使用基于在线的特征更新算法来学习待跟踪目标的特征,实现简单的目标跟踪系统来验证算法的有效性,对不同视频序列测试的结果表明,与传统在线算法和其它传统的跟踪算法相比,本算法能在实时性的基础上快速准确获取跟踪目标并具有更强的鲁棒性。关键字:在线;目标跟踪;漂移;抗遮挡;运动检测;机器学习江苏大学硕士研究生毕业论文江苏大学硕士研究生毕业论文 :,?, ,.:, .,;, , . ?. , ?, .,.江苏大学硕士研

4、究生毕业论文 ,耐黟 ., , . ? ?.:; ;?. 江苏大学硕士研究生毕业论文摘 要?一.?.?.?.?.?.?.?.目 录?.第一章绪论?.课题研究背景与意义.选题的背景.选题的理论意义和实用价值.国内外研究现状?.跟踪问题的难点和挑战?.论文主要:作.论文结构概要第二章运动目标检测与跟踪基础。.运动目标检测算法.帧间差分法?.光流法?.背景减除法?.运动目标跟踪算法?.目标跟踪概述?.图像特征提取与匹配算法?.基于机器学习的目标分类算法.视频跟踪算法的评价方法?.运动检测评估?。目标跟踪评估?.本章小结.第三章临近区域更新与运动混合检测算法研究.视频运动目标检测和跟踪控制策略?.自底

5、向上的控制策略?.自顶而下的控制策略?.混合控制策略?.临近区域检测?.运动 检测?.临近区域与运动 混合检测江苏大学硕士研究生毕业论文.本章小结一第四章基于在线 的特征更新算法研究?算法的提出?.传统 算法.在线 特征选择算法?.在线 缺陷分析.在线 算法改进.本章小结.第五章系统设计与实验结果分析.运动目标检测跟踪流程.实验环境介绍?.设置配置信息?.程序运行界面?.实验结果数据?.人脸遮挡情况下的跟踪.多目标相互干扰情况下跟踪.?第六章总结与展望.论文总结一?.下一步工作?攻读硕士学位期间发表的学术论文?致谢参考文献?第一章绪论视频目标跟踪是一项融合图像处理、模式识别、人工智能、自动控制

6、等多种不同领域先进成果的高级课题,是计算机视觉领域【】的一个重要方向。它符合信息产业未来发展趋势,蕴含着巨大的商机和经济效益,受到了学术界、产业界和管理部门的高度重视。而如何有效地适应目标自身的运动形态变化、排除各种干扰以及如何进行高效的特征匹配是一个优秀的目标检测与跟踪系统所必须解决的两个关键问题【】。这两个问题反映到跟踪算法上就是准确性、鲁棒性和实时性。随着计算机视觉、机器学习、模式识别技术以及计算机硬件的不断发展,运动跟踪的软硬件条件不断成熟,运动目标检测与跟踪算法研究受到当前人工智能以及图像识别领域专家的极大重视,越来越多的学者都开始对其进行探索并研究,提出了各种新的方法和思路。其中,

7、如何兼顾视频目标跟踪的准确性、鲁棒性和实时性始终是计算机视觉研究的前沿【,这也是本文的主要研究目的。.课题研究背景与意义.选题的背景于网络互连智能化的应用逐步融入人们的生活之中,越来越多的自动化、智能化产品不断的出现在人们的视线,不断改善着人们的生活质量。反过来,也激发了人们对未来的畅想和期望,使人们对生产生活的自动化、智能化需求也在逐步提高,给人们的生产生活带来了极大的方便,但目前仅限于中低端产品,将前些年的技术整合出一种可以使用的产品,而有针对性的创新高级应用仍然凤毛麟角,留下的空间仍然很大。而基于视频分析的应用还是一个比较崭新的行业,是计算机视觉、模式识别、人工智能以及工业控制等多种技术

8、的综合应用。随着市场正从传统的视频监控朝着网络化、管理的智能化以及音视频的数字化不断发展,在国民越来越重视生存环境安全和舒适的今天,高性能智能视频跟踪系统的研究与实现将具有不可忽视的应用前景和商业价值。如行业专家们所预测,视频图像极有可能是行业的江苏大学硕士研究生毕业论文下一个春天【训。广泛的应用前景以及诱人的市场潜力,促使大公司、创新型创业公司和科研工作者在视频跟踪方面展开深入地研究与探索。加上视频监控广泛应用于楼宇安防、交通管理、安检以及战场防御等很多重要领域,涉及到国家和人民的安全,因此政府对此的投资和支持力度也在不断加大。.选题的理论意义和实用价值面对日益增多的视频数据,不仅需要花费大

9、量的人力物力而且经常发生漏警和误警,不能做到实时有效的发现、制止危险事件,从而极大的降低了系统的可靠性和可信度,视频图像数据往往仅作为事故发生后处理的证据而失去了其主动实时的特点,更无法做到异常事件预警。因此对于一个具有预警、实时监测等“智能化”系统的需求还是比较强烈和迫切的,这需要系统能够对大量的视频信息进行处理分析、理解,提取出关键有用信息给监控人员。等基于视频以及体感应用的诞生,颠覆另外近来随着、于传统应用所必须的鼠标和键盘甚至于触摸屏,大大激发了人们对基于视频的目标识别和形态分析的兴趣,对这种与硬件设备相配合的基于视频的互动应用的需求显得越来越突出,而作为类似视频应用的关键环节,运动目

10、标的检测与跟踪也理所当然的成为目前计算机视觉研究领域的一个热门话题。然而,视频跟踪问题目前还存在着很多难点,其难点之一就是在复杂背景下,对于被跟踪目标来说存在很多不确定的干扰,跟踪系统的鲁棒性很差;另外一个主要的难点是对于跟踪到的物体如何进行识别分析出它的特性,分析判断是否为待跟踪目标,进而进行相应处理。本课题在研究国内外先进视频检测与跟踪技术的同时,着眼于改善其跟踪的鲁棒性和实时性,对于积极推进科研成果产品化的进程具有积极的意义。.国内外研究现状运动目标检测与跟踪是计算机视觉领域中近年来备受关注的前沿研究方向,它从摄像机社区的视频图像序列中检测、识别、跟踪目标,并对其行为进行理解和语义描述。

11、利用序列图像对动态场景的目标运动分析技术是计算机视觉技术、图像处理以及人工智能技术等交叉的科学技术,即使计算机的高性能计算用于对江苏大学硕士研究生毕业论文视频图像序列进行解析,实现定性分析和定量动态摄影测量。区别于传统意义上的监视系统,不仅用摄像设备替代人眼,而且用计算机替代人、协助人,来完成监视任务。从而大大减轻人力的负担,将人们从繁重的日常监视事务中解脱出来,实现自动化控制管理。正是由于视频序列图像的动态场景变化监控具有广泛的应用前景和巨大的潜在经济和商业价值,从而激发了来自国内外许多研究学者、研究机构和创新型公司的浓厚兴趣。美国国防高级研究计划局 信息系统办公室于年成立了麻省理工学院、卡

12、内基梅隆大学等众多美国高校参与的视觉监控重大项目,其中居首位,它们主要用于一些场景监控的视频自动理解技术,比如战场、普通民用场景等,以达到在未来可能的战争中,监控一些危险、耗费人力物力等场合的目的;定位和分割人体的各个部位是实时视觉的监控系统的功能,并且能利用外观模型的建立同时跟踪多人,进一步检测出人的一些诸如是否携带外物的行为;系统是由研发的用于对单人准确的跟踪;关于对行人和车辆的追踪及二者交互的研究是由英国雷丁大学开展的【。关于视频智能监控领域的各项研究在.恐怖事件之后受到了更广泛的关注,相关的一些研究亦先后在多个公司得到开展。譬如、和等公司,均已研发了用于智能监控特定场合的产品。这些视频

13、智能技术产品主要用于化工厂、边境线、海港码头、核电站、水净化工厂等高风险场合。以计算机视觉技术为基础的产品,能够提供检测、分类、跟踪以及分析威吓或者感兴趣的行为。主要的产品主要包括对飞机场或其他交通场所的遗落行李的检测,安全区域的车辆行人检测,人流统计等。公司的产品主要实现多种场景下的人的检测,可针对大范围的户外场景的人的检测跟踪,同时对于进入特定区域的人进行报警。与等公司也逐步将基于视觉的手势识别接口应用于商业领域。以色列具有代表性的公司有、。公司的主要产品可检测六种异常行为,包括路径检测、突然出现报警、定向运动检测等,提出三层防护概念。公司的视频分析仪对不同的威胁提供实时侦测功能,包括闯入

14、者,车辆,被遗弃的行李和包裹,周边及设施保护,阻塞安全出入口及消防路线,盗窃侦/以避免移动安全设施,通过车辆、人数江苏大学硕士研究生毕业论文计算,给出人群的聚集和监控的安全率水平。入侵检测,探测遗留的物体,的自动追踪,探测移动物体,非法滞留的探测等是公司产品所能实现的功能。是法国的一家公司,它的产品为视频事件自动检测系统,主要应用于智能的交通行业。车辆图像的追踪、自适应的动态图像背景是的关键技术,它具备精确地采集一些交通数据,辅助化的控制交通,消除雨雪、灰尘、光线的对系统造成的影响,并即时检测出发生在监控范围内的交通事件等功能。美国麻省理工大学在运动物体的检测、分割与跟踪方面也做了相当大量的研

15、究工作。此外,国外各种期刊杂志上已发表了大量的视频跟踪研究科技论文,每篇论文在理论上都取得了一定创新和改进,为智能监控的发展起到了非常大的推动作用。国内在智能视频的研究以中科院自动化所下属的模式识别国家重点实验室起步较早,他们也取得了一定的成绩,主要工作集中在人脸检测与跟踪、交通场景跟踪、多摄像机联合跟踪、异常行为检测等方面。除此之外,还有不少高校的实验室投入到该领域中,并取得了一定的成果,例如清华大学计算机系在计算机视觉方面的研究主要集中在人脸识别,物体的主动跟踪等方面,上海交通大学的计算机视觉实验室、北京航空航天大学、中科院计算所等等。年第三届全国智能视觉监控学术会议在中国科学院自动化研究

16、所召开,参与的研究人员围绕智能视觉监控领域中的运动检测与跟踪、物体识别与分类、行为理解、多传感器融合、硬件系统集成等主题展开了交流和多方面探讨。、国际上三大权威会议,、计算机视觉与模式识别大会是领域的旗舰和风向标,随着计算机视觉的发展并受到广泛关注,每年有大量的投稿,其中有不少是跟视频目标跟踪相关,从中也表明视频目标跟踪技术研究是计算机视觉领域中一个非常活跃的分支,受到国内外学者的普遍关注,伴随着越来越多力量的投入,视频目标跟踪技术和智能化视频监控产品的发展空间会愈加广阔。市场:由垄断趋势转为多元竞争前几年,由于智能化市场处于起步阶段,进入这个领域的企业不多,少数产品垄断这个市场。由于近几年国

17、际局势的演化,反恐规模与形式的变化,智能识别这块蛋糕也越发庞大,丰厚的利润是的该市场的竞争愈演愈烈。伴随着大量资金的流入和先进技术的引进,所谓的智能识别市场也在逐渐的由暴利向平均化的利润过度,只有掌握了先进的核心技术、标准化的产品经营方式,才有可能称为最大的赢家。用户:由特殊部门专用转向社会化智能识别产品多面向些特殊部门或行业的用户,如公安部门、银行、安全行业等,而对那些通用的领域则涉及很少。社会的快速发展,严峻的治安管理形势,科学技术的突飞猛进等都加剧着产品成本的降低,对这种技术和产品有需要的普通化行业也不断增多,比如家具的智能化、游戏的互动、能识别人脸的智能化玩具等。该领域从面向特殊部们的

18、用户转为面向大众消费者已是势在必行。应用:由孤立使用转向网络化应用单一识别是目前智能识别的主要归属,和互联网这个媒介相同的不多,高速度和大容量的传输将随着网络传输的技术日趋成熟起来,技术的发展,智能识别越来越多的数据将通过手机进行实时传输。分析国内外在各类场景的运动物体监视、理解和应用方面的研究成果可以发现,近年来尽管在运动物体提取与运动分析的研究方面取得了积极的研究成果,但这些成果大多基于室内理想场景而取得的。尽管在理论上具有一定的可行性,由于现实环境太过复杂且突发事件过多,离实际应用还是有一段距离,下面针对其中存在的难点和挑战进行进一步分析说明。.跟踪问题的难点和挑战现阶段的目标跟踪算法能

19、够在简单的场景中进行鲁棒的实时跟踪。但是通常需要一些约束条件,如运动的平滑性、不能全部遮挡、光照不变条件、目标形态不变、目标与背景之间的对比度较大等,而实际的应用场景很难符合这些条件。现在流行使用多种特征的加权组合,通过机器学习和模式识别对特征进行选择学习,但这都需要离线的特征学习过程,当选择的样本掺杂主观性时,经常出现无法应对另一场景的情况。传统的离线训练是需要所有的训练数据被提前提供,针江苏大学硕士研究生毕业论文对当前场景训练出独一无二的分类器,因此必然是有偏见的,当使用场景发生变动,对应的分类器需要重新加以训练。视频目标检测和跟踪问题所面临的主要难点可以归结为对算法的三个方面的要求,即对

20、算法的准确性、鲁棒性和实时性】的要求。准确性在视频目标检测和跟踪问题研究中,准确性一般包括两个方面:目标检测的准确性和目标跟踪的准确性。准确性的保证往往是大量复杂的矩阵运算和处理,这导致在目标跟踪时先天性存在的实时性与准确性的冲突。因此,一个好的运动目标检测与跟踪算法必须要对两个性能指标加以平衡。鲁棒性所谓鲁棒性是指算法能够在各种环境条件下对运动目标进行持续稳定的跟踪,对于突然发生的异常具有一定的容忍度。影响算法鲁棒性的主要原因在于:图像帧中的噪声、背景亮度变化、背景发生扰动等;待跟踪运动目标的形态变化;部分遮挡引起的目标不规则变形和全部遮挡引起的目标暂时消失;目标的突然性运动包括摄像机短暂性

21、抖动;目标的非刚体结构属性如人行走。实时性通常情况下,一个实用的智能视频跟踪系统必须能够实现对运动目标的实时跟踪,这就要求视频目标跟踪算法必须具有高效和迅速性。但是,视频分析中必然涉及大量的图像数据,这些算法往往需要大量的运算时间,很难达到实时处理的要求。通常情况下,简单的算法可以实现实时跟踪,但跟踪的精度却很差;而复杂算法具有比较高的跟踪精度,但实时性却很不满意。此外,从视频序列中选取合适的目标特征,用来实现对前景运动目标的有效分割并跟踪也是另一个难点。视频图像像素点数据的复杂性和目标位置出现的随意性,以及目标本身外观、形态的特殊多样性都使得提出一个适应性强的高效的目标提取和跟踪方法困难重重

22、。现在通用的一个有效的解决方法就是采用有效的分割算法组合来检测动态场景中的运动目标,采用机器学习的方法对获取到的特征进行持续不断的更新,不断适应环境和物体的变化,实现目标的有效跟踪。一般而言,准确性、鲁棒性、实时性是视频检测和跟踪系统的三个基本要求。例如,系统的准确度对于控制应用特别重要,例如基于视觉行为或姿态识别的工业控制场合;系统的鲁棒性对于监控应用特别重要,这是因为监控需要自动连续地工作,需要系统对于如噪声、光照、天气等因素的影响不能太敏感;而系统的处理速度对于那些实时高速的道路交通监控系统而言至关重要。因此,如何折中选择有效的设计方案来提高系统性能、降低计算代价是一个特别值得考虑的问颢

23、。.论文主要工作本文以视频图像为研究对象,研究和实现了图像中目标的检测和特征提取算法,归纳起来,论文主要工作如下:介绍了视频跟踪中常见的目标检测算法以及特征提取算法,并详细论述了各种方法的原理,指出其各自的优缺点。提出了临近区域更新与运动混合检测算法,当目标跟踪置信度高于阈值时,采用临近区域更新对目标进行跟踪;当运动目标的置信度低于下限阈值时,采用跟踪方法,根据颜色和空间上的相似性将目标分割为多个区域,每个区域包含有区域号、位置、大小信息,随机选取一个进入在线跟踪模块进行检测,直到获取到置信度达到上限阈值时,切换到临近区域更新算法进行跟踪。通过此方法可解决单纯基于在线的跟踪的临近区间更新算法所

24、导致的错误累积进而产生漂移甚至跟踪失败的问题。以临近区域更新与运动混合检测算法来实现初步定为目标区域,使用基于在线的特征更新算法来学习待跟踪目标的特征,实现系统来验证算法的有效性,对不同视频序列测试的结果表明,与传统在线算法和其它传统的跟踪算法相比,本算法能在实时性的基础上快速准确获取跟踪目标并具有更强的鲁棒性。最后,对本文进行总结,指出文章创新点和可以改进的点,并展望未来的研究方向。.论文结构概要本论文共分六章,主要研究了视频运动目标的检测与跟踪技术,主要包含背景运动检测算法、运动目标的实时检测算法、序列图像中运动目标分割算法等,围绕着如何提高运动检测的效率和对指定目标进行稳定快速跟踪,展开

25、了视频运动目标检测和跟踪研究,为研制智能视频跟踪系统做准备,具体安排如下:第一章为了论文的概述。介绍视频运动目标检测与跟踪的研究背景、研究意义、国内外研究现状、论文的主要工作及以下各章的内容安排。第二章主要介绍视频运动目标检测与跟踪的基础,包括视频运动目标的特点和难点、目标检测相关算法、特征提取相关算法等,也介绍了评价运动目标检测跟踪质量的常用方法。第三章为对临近区域更新与运动混合检测算法的研究与实现。分析介绍了视频运动目标检测和跟踪的控制策略,提出一种混合控制的思路,为临近区域更新与运动混合检测算法的提出提供了理论的依据,然后分别介绍了临近区域更新和运动检测算法的理论基础和算法框架。第四章为

26、对基于在线的特征更新改进算法研究与实现。介绍了在线算法的发展历程,算法的基本原理,分析其缺陷并针对性进行分析,进而提出改进方案。第五章对运动目标检测和跟踪系统的流程做介绍,以临近区域更新与运动混合检测算法来实现初步定为目标区域,使用基于在线的特征更新算法来学习待跟踪目标的特征,研究并实现了该系统,可对视频中目标进行实时准确跟踪,由于时间所限,主要针对单目标进行跟踪,通过多个视频来验证算法的有效性。第六章对本文研究工作进行了总结,根据自己研究的成果和体会,确定了下一步研究工作的重点与研究方法。第二章运动目标检测与跟踪基础视频跟踪技术是计算机科学的一个极具特色和活力的分支,是计算机视觉技术的重要应

27、用之一,融合了机器学习、图像处理、模式识别、脑神经科学等多学科前沿技术,随着理论和实践的不断成熟,最近几年受广大专家学者关注,是计算机学科国际上最前沿的研究课题之一,具有很高的实用背景和研究价值。随着研究者们的不断努力,必将逐步提高未来人们的生产生活质量,为创造“智慧地球”添砖加瓦。为了增进对视频跟踪技术的进一步了解,有必要对视频跟踪技术相关知识有更深入的认识。本章主要介绍视频跟踪技术的流程框架、运动目标检测和特征提取的相关基础知识以及跟踪效果的常用评价方法。运动目标检测就是从一系列图像的背景中分割提取运动变化的区域,它处于智能视频跟踪系统的最底层,是目标分类、目标跟踪、目标行为理解等后续高级应用的基础。运动区域的有效分割将显著的减少后续过程的运算量,是视频序列图像处理的关键环节。作为自动视频监控的基础,运动目标检测的效果决定着整个监控系统的性能,只有将运动目标从背景中实时、可靠并且精确的分割出来,后续步骤的准确性才能得到保证。然而,运动目标的检测做起来并没有那么简单,研究者仍面临巨大的挑战性。图像中像素的变化、天气转变、光线的强弱、阴影目标的移动、背景中的一些干扰介质等在检测运动目标过程中都需要考虑,否则由上述因素造成的像素变化都可能影响检测的实时性和可靠性。一个能监视各种不同环境并且较好的检测和提取