机环境下的目标交接研究与系统实现1图文精.docx
《机环境下的目标交接研究与系统实现1图文精.docx》由会员分享，可在线阅读，更多相关《机环境下的目标交接研究与系统实现1图文精.docx（48页珍藏版）》请在冰豆网上搜索。
机环境下的目标交接研究与系统实现1图文精
西北工业大学
硕士学位论文
多摄像机环境下的目标交接研究与系统实现姓名:
牛恩国
申请学位级别:
硕士
专业:
控制理论与控制工程
指导教师:
程咏梅
20060301
西北工业大学硕士学位论文摘要摘要
对人的观察和分析是计算机视觉领域内的一个研究热点,在智能视觉监控、行为理解、步态识别以及虚拟现实等领域有着广泛的应用。
由于摄像机的分辨率和视野范围有限,限制了单摄像机人体运动分析的研究与应用,这使得多摄像机系统的使用成为必然。
本文对多摄像机环境下人体跟踪中的目标连续跟踪、多机数据通讯、系统搭建等关键技术进行了较为深入的研究。
主要工作如下:
I。
详细分析研究了多摄像机人体跟踪系统中的关键技术和相关算法。
对当前主要的技术难点和算法做了全面的总结、分析,对今后的多摄像机人体运动分析研究提供有价值的参考。
2.提出一种基于同步视频的摄像机视野分界线快速自动生成算法。
该算法只需要一段同步视频,不需要摄像机标定和环境等先验信息,系统就能快速、自动生成摄像机视野分界线,且准确率高、实时性强。
对后续的视场分割、多摄像机之间的目标交接等研究提供了依据。
3.对目标与摄像机视野分界线之间的距离计算提出了改进方案,提高了基于摄像机视野分界线目标交接算法的计算速度。
实验证明,改进后的目标交接算法具有简单、易实现、实时性高以及准确率高等优点。
4.基于PC机终端开发了一个多摄像机人体自动检测与跟踪系统。
针对系统实时信息传输和数据类型多样化的要求,采用了基于Socket的数据传输方案,提出在数据传输前对数据编码以提高传输数据的安全性和多样化。
系统具有多摄像机之间的目标交接、视野分界线自动生成、云台转台控制、多机实时通讯等功能,并分别设计了相应的客户端和服务器的用户操作界面,操作界面友好。
功能齐全,操作简便。
关键字:
多摄像机系统,目标交接,摄像机视野分界线,数据编码
西北工业大学硕士学位论文ABSTRACTABSTRACT
LookingandanalyzinghumanisaresearchfoCHSincomputervisionforitswideapplications,suchasintelligentvisionsurveillance,humanbehaviorunderstanding,gaitrecognition
andvirtualrealityandSOon.Howeverthelimitationofcamera’SresolutionandFieldOfView（FOVconstrainsthedevelopmentofmonocularcamerabasedhumanmotionanalysis.Itmakestheuseofmultiplecalnerassystem（MCStobenecessary.Thereareseveralkeytechniquessuchascontinuoustargettrackinganddatacommunicationbetweenmultiplecameras,collaborativeworkofmultiple
camerasand
recoveringFOVlinesofmultiplecamerasbeingstudiedirtthispaper,Themainworksaredescribedasfollowing:
1.Analyzingandstudyingthekeytechniques
andcorrelativealgorithmsin
multiplecamerashuman
trackingsystemindetail.Summarizingtheprimarytechnical
difficultyand
algorithmsstudiedcurrently,theseprovidevaluablereferenceforfutureWOrks.
2.AnewalgorithmforgeneratingcameraFOVlinesfastandautomatically,synchronizedvideobased,ispresentedinthispaper.Togeneratethe
camera’SFOVlinesfast,exactly,real—timeandautomaticallythealgorithmjustneedsapieceofsynchronizedvideowithoutanycamera’Scalibration
andenvironmentinformation.Thisprovidesaneffectivetoolforfutureworklikefieldofviewsegmentingandtargethandoffbetweenmultiplecameras.
3.AnimprovementofthecomputationofthedistancebetweencameraFOVlineandtargetisadoptedtoimprovetheaccuracyoftargethandoffandthetimeofcomputation.Experimentsindicateouralgorithmwasfaster
andeaserforresolving
targethandoffproblemwithhighveracityinmultiplecamerashuman
trackingfield.
4.Developingasystemofmultiplecamerashumandetectionand
trackingbased
onPC.AdatatransmissiontechniquebasedonSocketisadoptedincomputercommunicationtoadapttotransmitmessagereal-time,andbeforedatatransmissionadatacodingworkwasdonetoimprovedatatransmissionsecurityanddatavarieties.Thesystemhasseveralfunctionsasfollows:
targethandoffbetweenmultiplecameras,generatingcameraFOVlinesautomatically,activecameracontrol,multipleclientscommunicateswitheachotherreal—time.Wealsoseparatelydesignthe
II
西北工业大学硕士学位论文ABSTRACThuman—machineinteractiveinterfaceforclientandserver,theinterfaceisveryfriendly
andconvenientforusers.
Keywords:
multiplecamerassystem,targethandoff,cameraFOVlines,datacoding
Ijl
西北』:
业大学硕十学位论文第一章绪论§1.1选题背景和意义
第一章绪论
人体的运动分析是当前计算机视觉领域的一个重要研究方向,其中非常重要的一部分就是人体的检测与跟踪以及行为分析。
人体运动分析的研究内容相当丰富,主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识;同时,动态场景中运动的快速分割、人体的非刚性运动、人体自遮挡和目标之间互遮挡的处理等也为人的运动分析研究带来了一定的挑战【l】。
由于人的运动分析在高级人机交互、安全监控、视频会议以及医疗诊断等方面具有广泛的应用前景,从而激发了世界上广大科研工作者及相关商家的浓厚兴趣。
视觉是人类感知世界、认识外部世界的主要途径,据统计人类约有80%的信息是通过视觉获取的。
同样,在对人的跟踪分析时,主要的传感器是CCD摄像机,依靠它提供信息量很大的视觉信息,准确快速的完成对人的运动分析与行为识别。
由于普通的CCD摄像机的视野范围有限,难以实现大范围、多角度、长时间对人的跟踪,这使得多摄像机的使用成为必然。
由于多摄像机具有监控范围大、视野宽阔、全方位视点等优点,使得多摄像机环境下的人体跟踪成为计算机视觉领域内的一个主要研究方向。
§1.2人体运动分析国内外研究状况
人体运动分析一直是计算机视觉领域内的研究热点和难点,基于单摄像机的人体运动分析等相关技术已经取得很大进展。
但是摄像机存在分辨率和视野有限的缺点,在进行大范围和多角度对人进行监控和行为分析时,单一摄像机使用就显得无能为力,在这些方面,多摄像机有助于解决这些问题,且多摄像机对于解决目标跟踪中的遮挡问题有很大帮助。
因此,多摄像机的使用成为必然。
由于多摄像机的视野范围大,能提供多视角信息,因此,有着巨大的应用前景。
这也激起了广大商家和研究者的极大兴趣。
国内外相关研究机构参与到了这
曲北』:
业大学硕士学位论文第~章绪论一领域研究。
在应用方面,典型应用有以下几个方面【2】:
a虚拟现实:
b交互式虚拟空间;
c电子游戏:
d虚拟工作室:
e电信会议:
f电影、广告及家庭应用:
（2智能监控系统
a访问控制场所;
访问控制场合,利用人脸或者步态跟踪识别技术以便确定来人是否有进入该安全领域的权利[3】f4】
b停车场;
c大型超市、大型商场的安防和监控;
d自动售货机、自动取款机;
e交通控制;
D地铁、飞机场等重要人El流动场所;
智能监控系统对公共场所以及交通拥挤状态分析及流量统计,并对有特殊意义（比如被盗车辆、载有犯罪嫌疑人的车辆等的车辆进行检测与跟踪。
人的运动分析在自动售货机、ATM机、公共场所行人的拥挤状态分析及商店中消费者流量统计等监控方面也有着相应的应用f5lf6】。
智能监控系统能每天连续24小时的实时监视,自动分析摄像机捕捉的图像数据,当盗窃发生或发现到具有异常行为的可疑的入时,系统能向保卫人员准确及时地发出警报,从而避免犯罪的发生,同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入。
（3高级用户界面
a交互界面;
b手语理解:
c姿态驱动控制:
d高噪声环境下的信号捕获;
在高级用户接口应用领域中,希望未来的机器能像人一样与人类更加容易和便捷地交流,如手势驱动控制、手语翻译等。
人与人之间的信息交流主要是依靠语言,并适当结合手势、身体姿势和面部表情等,因此多视角视觉信息可以作为语音和自然语言理解的有效补充来完成更加智能的人机交互。
2
两北工业大学硕士学位论文第一章绪论（4运动分析
a基于内容的视频检索
当目前监控场景内发生异常行为时,可借助多摄像机系统对整个事件进行全方位的回顾,辅助保安系统人员对事件进行分析研究。
b辅助运动员的个人训练
在某些运动中,对运动员的姿势要求很高,运用多摄像机系统有助于校正运动员的姿势,提高运动员的竞技水平。
c舞蹈演员的动作分析
在舞蹈演员进行动作练习时,可以借助多摄像机系统对动作进行回放,对动作要领进行理解和纠正,这样有助于快速提高舞蹈演员的水平。
d辅助外科医生临床研究在外科医生对病人进行手术时,一个人很难观测到病人其他部位的反应,借助多摄像机系统辅助主治医生对病人进行全方位的控制、了解,降低了无尘隔医疗事故的发生,减轻了医生的工作量。
正是由于“入的观察”在虚拟现实技术、智能监控系统、高级人机交互、基于内容的图像存储与检索,基于模型的编码等方面具有广泛的应用前景和潜在的经济价值,从而激发了世界上广大科研工作者及相关商家的浓厚兴趣,大量相关机构加入到这个领域的研究。
国外方面:
1.1997年美国国防高级研究项目署设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VsAM（VideoSurveillanceAndMonitoring,主要研究了用于战场及普通民用场景进行监控的自动视频理解技术;实时视觉监控系统不仅能够定位入和分割出入的身体部分,而且通过建立外观模型来实现多人的跟踪,并可以检测人是否携带物体等简单行为;
2.美国国防高级研究项目署（DARPA,DefenseAdvancedResearchProjectsAgency开展了AVS（AirbomeVideoSurveillance项目,主要研究如何准确实时分析登记采集到的静止或运动的物体信息,及多目标同时监控分析与不同空间物理的行为监控等;
3.在2000年,DARPA又资助重大项目——HID计划（HumanIdentificationataDistance,它的任务就是开发多模式的监控技术以实现远距离情况下人的检测、分类和识别,从而增强国防、民用等场合免受恐怖袭击的保护能力。
西北工业大学硕士学位论文第一章绪论4.马里兰大学、麻省理工学院等26家高校或公司参与了该项目的研究工作,其目前焦点在于脸像、步态或者特定行为的识别:
5.英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的相关研究:
6,Microsoft公司亚洲研究院也成立了专门的研究小组开展对人脸识别技术,人体运动分析与合成方面的研究;
国内方面:
1.中国科学院自动化研究所在运动检测、人脸跟踪、步态识别和人体跟踪等方面展开了研究,并且建立了相关的演示系统,并且申请了关于人运动步态识别技术的专利。
2.中国科学院计算技术研究所在人面部信息检测与识别方面已经取得了比较重大的进展,系统可在1/10秒到1120秒的时闻内“捕获”人脸,并在1秒钟内完成识别,准确率高达96%。
3.南京大学与南京长城信息系统有限公司和江苏省公安厅刑警总队研制成功“基于单幅训练图像的多表情人脸自动识别系统”,也成功通过江苏省科技厅组织的科技成果鉴定,并且浚系统己在江苏省公安厅刑警总队和南京火车站公安派出所等单位试用,效果良好。
4.中国科学院上海微系统与信息研究所已经将这项技术应用在上海浦东机场和2号线地铁的候车室的监控,工程正在进展中,并取得了不错的效果。
5.西北工业大学自动化学院“长城（GreatWall工作室”在复杂环境下的背景建模、人体检测与跟踪、行为识别、轨迹分类等方面取得了很大进展,并搭建了一个多摄像机人体检测跟踪以及行为分析一体化的系统。
在权威期刊收录方面。
国际上一些权威期刊如IJCV（InternationalJournalofComputerVision、CVIU（ComputerVisionandImageUnderstanding、PAMI（1EEETrans.onPatternAnalysisandMachineIntelligence、IVC（ImageandVisionComputing和重要的学术会议如ICCV（InternationalConferenceonComputerVision、CVPR（IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition、ECCV（EuropeanConferenceonComputer
Vision、IWVS（IEEEInternationalWorkshoponVisualSurveillance等将人运动分析研究作为主题内容之一,可见此主题研究的重要程度和热点程度。
多摄像机系统能够提供多角度的信息,在医学领域也取得了巨大的应用。
西北』业大学硕士学位论文第一章绪论对于建立人体的几何模型、解释人体的运动行为机制从而提高它的运动性能有着积极的推动作用.传统的步态分析是肌电图学、关节动力学的研究范畴,而目前的医学步态分析是一个旨在提供诊断和治疗支持的研究领域,它可以提供人体正常步态建模的线索,有助于开发生物反馈系统来分析病人的步态,判断其腿步受伤情况或者畸形程度,从而做出积极的整形补偿或有效的治疗;
§1.3应用前景与技术难点
人体运动分析是计算机视觉领域内的一个重要研究方向。
对人的行为理解和分析有着极其重要的作用。
而目前,绝大多数人体运动分析的信息来源是CCD摄像机,由于摄像机分辨率有限以及它的视野范围受到很大限制,使得人体运动分析的大量研究成果在应用时不能充分发挥优势。
多摄像机的出现给人体运动分析的成果转化提供了生机。
新事物的出现必然带来新的问题和挑战。
基于多摄像机的人体运动分析是计算机视觉领域里一个崭新的研究领域,相关算法和系统还远不如单摄像机系统那样成熟。
但是它潜在的巨大商业价值和研究意义,使其逐渐成为广大科研工作和和商家追逐的焦点。
不惜出巨资和人力来克服当前的困难,主要技术难点集中在以下几个方面:
（1智能视觉监控【7】f8]Ig]110Ⅲ】1121[13】f14l
这是人体运动分析的主要应用领域。
现在的智能视觉监控区别于传统意义上的监控系统在于其智能性。
它不仅用摄像机代替人眼,而且用计算机协助人乃至代替人来完成监视或控制任务,从而减轻人的负担,有巨大的实际应用价值和研究价值。
特别是91l事件以后,人们对安全保护设施的需求增长速度非常侠,使得智能视觉监控成为目前人体运动视觉分析领域里最具应用前景的领域。
由于周围环境以及天气的变化以及人体目标的特殊性,使得智能监控的应用时遇到了很大的困难,主要难点有以下几个方面:
a快速准确的运动目标检测【3】【15]【16】【17】。
主要是从监控摄像机所捕捉的序列图像中检测是否有运动物体存在。
b实时性、鲁棒性的基于三维模型（三维建模的车辆与行人的定位、识别与跟踪。
C移动摄像机视觉监控技术。
目前大部分用于监控的摄像机均是固定在某一位置,相关参数在安装时就已经设定,在使用中不能或者无法自
西北1:
业人学硕士学位论文第一章绪论动改变,而基于移动摄像机的监控技术是将现有参数固定的静态摄相机改进为参数可自动调节的动态摄相机。
d多摄像机的协作监控[8】19】【J2】f18】【l9】[20-22][23】【24‘3们。
由于是多个摄像机同时作业,这对系统的协调性提出了很高的要求,如何充分利用多摄像机系统提供的信息,使系统达到最优化,是广大科研工作亟需解决的问题。
e身份识别。
身份识别在现实生活中有非常重要的应用,当前的摄像机受到分辨率和视野范围有限的限制,在远距离对人脸与步态识别时,遇到很大的困难。
如何利用当前的人体运动分析技术来解决基于生物特征的身份识别是人体运动分析得到实际应用的一大障碍。
（2步态分析及识别…“”㈣1
步态分析来自传统的医学领域,主要用于分析病人的关节情况。
在计算机视觉领域中,对人的步态进行视觉分析与识别研究具有重大意义,由于人的行走步态的非接触性、可感知性和难以伪装的非侵犯性,是远距离时唯一可感知的行为特征。
因此在计算机视觉监控系统中可以选择它们作为生物特征用于一定距离时的身份识别。
在这方面代表性的是英国的南安普敦大学所做的工作。
但总的来说步态识别研究目前仍处于初级阶段,相关算法不成熟,存在以下局限性:
一、实验通常是在受限的条件下进行的,如人体运动期间不被遮挡、背景相对简单、相对于摄像机而言人的侧面行走等;
二、目前算法的测试都是在小样本数据库上进行的.一般最多不超过12人。
（3面部表情与手势分析及识别
这是人体运动分析的最高层之一。
将来人们要求今后计算机应能听、能看、能说,而且应能”善解人意”,即理解和适应人的情绪或心情,使人能以语言、文字、图像、手势、表情等自然方式与计算机打交道,现在该领域已经成为“人的观察”领域最热门的研究方向。
利用计算机进行面部表情理解需要解决的主要问题有:
一、复杂背景下的人脸检测;二、人脸模型化,由于人脸是非刚体。
不同表情的人脸模型也是不一样的,因而模型的精确建立非常困难的。
三、跟踪与识别。
面部表情的识别关键在于表情模型的建立和情绪分类。
四、不同通道（语音、图像等信息的同步与融合,也就是多摄像机之间以及与其他的传感器的数据融合。
（4行为理解与描述
人体运动分析研究的最高层。
人的行为理解与描述是指对人的运动模式进行分析和识别,并用自然语言等加以描述。
行为理解可以简单地被认为是时变数据
西北工业大学硕士学位论文第一章绪论的分类问题,即将测试序列与预先标定的代表典型行为的参考序列进行匹配。
其关键问题是:
一、如何从学习样本中获取参考行为序列;二、学习和匹配的行为序列必须能够处理在相似的运动模式类别中空间和时闻尺度上轻微的特征变化。
此外,多摄像机技术在其它应用方面遇到了很大的困顿,如多路视频显示中的视频拟合””等技术。
总之,基于多摄像机的人运动视觉分析已经成为计算机视觉领域一个重要研究领域,在智能视觉监控、三维环境建模、交通控制等方面的应用前景引起广泛的关注。
1998年Science期刊中就发表有关于人视觉分析的文章,在以后的实际研究和应用中引入了多摄像机系统,借助多摄像机系统实现单一摄像机无法解决的问题（如遮挡问题、视野范围有限等。
但就总体来说基于多摄像机的人体跟踪研究还处于基础性研究阶段。
§1.4本文主要内容
本文受国家自然科学基金“智能信息融合图像识别理论及应用研究”（编号:
60372085、陕西省科学技术研究发展计划项目（攻关项目“智能人脸检测与跟踪系统”（编号:
2003K06一G15资助,对多摄像机环境下的人体跟踪与系统搭建做了较为深入的研究,主要内容安排如下:
第一章,对多摄像机环境下的人体检测与跟踪的应用背景和国内外研究状况做了概述。
首先介绍了本文选题的研究背景和意义,分析研究了多摄像机环境下的人体检测与跟踪的国内外研究现状,并对现在多摄像机人体跟踪领域做了相应地分析,总结出最近几年的研究方向和遇到的挑战。
第二章,分析研究了多摄像机人体跟踪系统中的主要功能以及相关关键技术,并对相关技术和算法进行了分析,最后对当前研究存在的难点问题做了分析总结。
第三章,重点研究了摄像机视野分界线的快速自动生成。
提出了一种基于同步视频的摄像机视野分界线划分算法,取得了较好地结果。
试验表明该算法具有较强的实时性和鲁棒性,准确率高。
第四章,重点研究了基于摄像机视野分界线的目标交接算法。
相对于基于特征融合的算法,该算法具有准确率高、计算复杂度低、不需要摄像机标定以及目标颜色信息等优点。
实验证明,该算法成功地实现了多摄像机之间的目标交接。
第五章,重点研究了多摄像机人体跟踪系统的搭建,给出了多摄像机系统的
7
幽北』业大学硕士学位论文第一章绪论总体设计方案。
详细阐述了系统中的各种仪器的选择以及主要模块的设计与实现,最后给出了详细的测试结果报告。
第六章,总结与展望。
对本文的内容做了总结,并对多摄像机系统人体的运动分析的未来发展趋势做了展望
升级会员 