机器视觉论文.docx

机器视觉论文.docx

《机器视觉论文.docx》由会员分享，可在线阅读，更多相关《机器视觉论文.docx（13页珍藏版）》请在冰豆网上搜索。

机器视觉论文

Documentserialnumber【UU89WT-UU98YT-UU8CB-UUUT-UUT108】

机器视觉论文

《生活中的视觉》课程论文

基于机器视觉的虚拟演播室系统

姓名

学号

二零一七年三月

摘要

虚拟演播室系统应用摄像机跟踪技术，获得真实摄像机数据，并与计算机生成的背景结合在一起，背景成像依据的是真实的摄像机拍摄所得到的镜头参数，因而和演员的三维透视关系完全一致，避免了不真实、不自然的感觉。

由于背景大多是由计算机生成的，可以迅速变化，这使得丰富多彩的演播室场景设计可以用非常经济的手段来实现，由于它本身所具有的无穷魅力以及其不可低估的发展前景，迄今已被越来越多的节目制作及有关人员所关注。

虚拟演播室在应用传统的色键合成技术的基础上实现了摄像机可以与背景同步运动的功能，使演员可以有效地融合到虚拟场景中，同时在与虚拟对象流互动时无任何违和感。

演员在虚拟演播室的蓝箱中表演时，由摄像机采集前视频信号，并且通过跟踪设备实时地采集摄像机的各项参数信息，再把跟踪设的数据传给高速图形计算机，最后，通过图形发生器将演员与背景图像合成。

中，在拍摄演员时采用蓝色背景，然后使计算机生成的虚拟背景与演员摄像视频步工作，再利用色键器的抠图合成技术将两路信号实时合成，将其作为最后的输出。

关键词：

虚拟演播室；机器视觉；虚拟演播室系统；色键与蓝箱

Abstract

Applicationofthevirtualstudiosystemcameratrackingtechnology,obtaintherealcameradata,andthecomputergeneratedbackgroundtogether,thebackgroundimageisbasedontherealcameralensparametersobtained,andthusactor3Dperspectiverelationshipiscompletelyconsistent,avoidisnottrueandnaturalfeeling.Becausethebackgroundismostlyproducedbythecomputer,canchangerapidly,whichmakestherichandcolorfuldesignstudioscenecanbeusedtoachieveaveryeconomicalmeans,becauseofitsinherentcharmanditsdevelopmentprospectsshouldnotbeunderestimated,sofarhasbeenmoreandmoreconcernedabouttheproduction.

Onthebasisofthetraditionalcolorkeycombinationtechnology,thevirtualstudiocanrealizethecameraandthebackground

Thesynchronousmotionfunction,theactorcanbeeffectivelyintegratedintothevirtualscene,atthesametimetointeractwithvirtualobjectsflowwithoutanysenseofviolation.Actorintheblueboxinthevirtualstudio,thevideosignalcollectedbythecamera,andtheparametersoftheinformationreal-timecameratrackingequipment,thensetthetrackingdatatohighspeedgraphicscomputer,finally,apatterngeneratorwillactorandbackgroundimagesynthesis.Inthebluebackgroundinthefilmactor,andthenmakethevirtualbackgroundandactorcomputergeneratedvideostep,usingmattingsynthesistechnologykeymachinewillbereal-timesynthesisoftwosignals,asthefinaloutput.Thevirtualstudioturnedouttobeabenefitforhigh-definitiontelevisiontechnology,thisnewtechnologyprovidesastrongsupportforthedevelopmentofthevirtualstudiohighdefinitiontelevision.Atthesametime,themotionparametersofthesensortrackingsystemcameraareacquired,andthefinalrenderingoutputincludesthebackgroundsignalandthekeysignalastheforegroundocclusion.

Keywords:

Virtualstudio;machinevision;virtualstudiosystem

本论文的组织和结构

第1章绪论

概述

虚拟演播室（VirtualStudio）是近年发展起来的一种新兴电视制作技术,是传统演播室色键抠像技术与计算机虚拟现实相结合的产物。

它将摄像机拍摄的图像与计算机制作的虚拟场景完美地结合起来,创造出令人异想天开的虚拟世界。

这一技术的应用,使得电视工作者摆脱了时间、空间及道具制作方面的限制,能够自由地遨游在广阔的想象空间之中,极大地提高了电视台的节目创作及制作能力。

并且由于虚拟场景的制作、修改、保存都是在计算机中进行,省去了真实场景的搭建、拆卸、储藏等环节,降低了节目制作的费用,提高了演播室的效率。

系统应用摄像机跟踪技术，获得真实摄像机数据，并与计算机生成的背景结合在一起，背景成像依据的是真实的摄像机拍摄所得到的镜头参数，因而和演员的三维透视关系完全一致，避免了不真实、不自然的感觉。

由于背景大多是由计算机生成的，可以迅速变化，这使得丰富多彩的演播室场景设计可以用非常经济的手段来实现，由于它本身所具有的无穷魅力以及其不可低估的发展前景，迄今已被越来越多的节目制作及有关人员所关注。

虚拟演播室是一种全新的工具，虚拟演播室技术包括摄像机跟踪技术、计算机虚拟场景设计、色键技术、灯光技术等。

虚拟演播室技术是在传统色键技术的基础上，充分利用了计算机三维图形技术和视频合成技术，根据摄像机的位置与参数，使三维虚拟场景的透视关系与前景保持一致，经过后，使得前景中的主持人看起来完全浸尽于计算机所产生的三维虚拟场景中，而且能在其中运动，从而创造出逼真的、立体感很强的电视演播室效果。

采用虚拟演播室技术，可以制作出任何想象中的布景和道具。

无论是静态的，还是动态的，无论是现实存在的，还是虚拟的。

这只依赖于设计者的想象力和三维软件设计者的水平。

许多真实演播室无法实现的效果，对于虚拟演播室来说，确是“小菜一碟”。

例如，在演播室内搭建摩天大厦，演员在月球进行“实况”转播，演播室里刮起了龙卷风等等。

现在有的电视台已经起用了，并且成为了明星，他们不仅可以配合真人的主持人主持节目，而且还可以单独主持节目。

这些都是虚拟演播室创造性的体现。

虚拟演播室的产生，给视频节目制作、电视广播带来了一场革命。

研究历史及研究进展

1978年，EugeneL.提出了“电子布景”（ElectroStudioSetting）的概念，指出未来的节目制作，可以在只有演员和摄像机的空演播室内完成，其余布景和道具都由产生。

随着计算机技术与（VirtualReality）技术的发展，在1992年以后虚拟演播室技术真正走向了实用。

1993年，以色列ORAD推出了世界上第一套虚拟演播室，此后另外一家以色列厂商RTSet也推出了基于传感器跟踪技术的真三维虚拟演播室，此后的10年中，虚拟演播室厂商陆续推出自己的产品，西班牙的BrainStorm，BBC英国广播电视公司的虚拟演播室，法国PSY等等，以及2000年之后中国大洋、奥维迅、新奥特也相继推出自己的虚拟演播室产品，虚拟演播室要求实时图形图像渲染技术很高，并要求配合方便，使用便捷的虚拟演播室跟踪技术，经过市场的淘汰、演变，所剩余继续发展的厂商逐渐减少，2008年之后，一些无跟踪的虚拟演播室技术开始推向专业市场，被称为无轨跟踪虚拟演播室，此类虚拟演播室没有摄像机跟踪技术，无法获得真实摄像机的运动参数，也无需按照摄像机的运动25帧/秒的画面，因此此种方式的虚拟演播室适合学校、电教室等等非专业用户的使用。

作为数字演播室发展新技术，虚拟演播室技术已成为了当今数字电视演播室新技术的热点。

在1993年IBC展览会上虚拟演播室技术首次亮像，并在各种电视转播中得以实现。

迄今，中央电视台、各省级电视台、教育行业、企业等大量采用了此技术，该技术的发展促进未来电视行业低碳、减排发展。

国内产品与国外产品差别主要是:

（1）国外的虚拟演播室产品一般基于工作站平台开发,成本较高;生成的三维图形图像的质量高、速度快;摄像机参数的获取多采用机电跟踪和光电跟踪相结合的方法;可以在场景及前景的任意位置上插入活动视频;虚拟摄像机可以在实际演播室边界以外的地方漫游摄像:

三维音响效果可以被激活并与其他动画或特技联系起来:

具有完备的提示系统;在制作过程中没有现场视频和音频的延迟等等。

（2）国内同类虚拟演播室系统多基于PC机:

主要用二维图像作为虚拟背景,通过视角变化产生三维的视觉效果;通过图形加速卡生成真三维的背景图形:

摄像机参数的获取采用机电跟踪和光电跟踪相结合的方法;能够进行多个摄像机机位的预监和多通道的特技切换;提供移动机位,使摄像机在拍摄过程中可以自由的移动。

虚拟演播室的基本原理

在虚拟演播室中,把摄像机拍摄到的人物、景物称为前景图像,而把通过计算机动画软件制作的二维或三维动画图形,称为虚拟背景或虚拟场景。

虽然虚拟演播室前景、背景图像也是靠色键技术合成的,但二者之间却有“同步联动”关系,即将拍摄前景的摄像机进行摇移、俯仰、变焦、聚焦动作时,可以通过获取摄像机的各种运动参数（摇移、俯仰、变焦、聚焦、摄像机空间位置等）,去控制背景图像生成装置,使之生成与前景图像保持正确透视关系的背景图像,最后通过色键将前景、背景图像合成输出。

随着各种先进电视节目制作技术的发展，虚拟演播室得到了越来越多的应用，它主要包括了摄像机系统、虚拟场景生成系统以及视频合成系统。

所谓的前景指的就是在虚拟情况下得到的各种风景以及人物的视频，与其相对应的是虚拟场景。

虚拟场景并不是真实的，是借助虚拟生成系统生成的。

摄像机的拍摄工作中不可避免的会进行角度的调整，姿势的俯视仰视、变焦动作，摄像跟踪系统的职责就在于对摄像机进行跟踪监视，并且将采集到的各种运动信息传送到虚拟生成系统中，从而使得到的各种虚拟场景对前景透明。

有的情况下我们会发现得到的虚拟场景和前景之间会存在一定的延时现象，因此需要增加相应的延时器，确保制作的视频系统能够实现虚拟背景和实际背景之间的有效合并，为人们呈现一个虚实相结合的场景，达到前景同虚拟场景进行交融贯通，合为一体。

本论文的组织和结构

第2章虚拟演播室的系统构成

1套典型的虚拟演播室系统主要由摄像机跟踪系统、虚拟背景生成系统及视频合成系统组成。

摄像机跟踪系统

摄像机跟踪系统在在虚拟演播室中扮演着重要角色，确保摄像机、演员以及虚拟场景之间保持一个同步关系，同时保持对摄像机进行精密的监视并将其中的运动参数提取出来，其中最为重要参数主要为镜头运动参数、机头运动参数、空间坐标参数等，然后通过串行接口RS232或RS422实施传输，虚拟场景生成系统接收后生成同前景相融合的虚拟场景。

常见的摄像机跟踪技术主要包含下列几种方式：

网格图案识别、红外传感、超声波定位、机械传感。

机械传感方式

优点：

此种方式的优点在于性能稳定可靠，对于摄像机的跟踪参数的获取精度较高，数据处理效率较高；背景颜色采用单一蓝色；同时对于摄像机的拍摄位置的选择比较宽松，没有苛刻的要求，所以在使用过程中不用考虑摄像机的摆放位置和拍摄角度；演员还可以在背景范围内进行自由活动。

缺点：

跟踪系统每次重新启动都需对摄像机重新进行校正定位；摄像机的种类和数量受到了极大的限制；如果必须多台摄像机，那么任何一台摄像机必须相应的配备一套跟踪系统，这对于系统成本来说无疑是一个极为不利的因素。

超声波定位方式

该方式能够有效提高摄像机在视频录制过程中的定位精度；安装方式也进行了大幅的简化，初始化设置的简便快捷化，另外当摄像机重新启动后将自动进行定位校正；摄像机的参数采集精度得到了较大的提升，对于数据处理效率较高，运算量较小、延时短；拍摄方式简单、多样化，包括肩扛、手提、液压云台、摇臂、吊臂、滚轮三角架等。

缺点：

当前采用的超声波定位技术的实际产品比较少，应用并未成熟。

网格图案识别方式

1.优点

无需对摄像机安装附加方式；拍摄过程中能够对摄像机实施自由转动，这对于摄像师的创作是极为方便的；能够原封不动的对演播室摄像机进行使用；对于一个跟踪器能够运用于多台摄像机。

2.缺点

对于色键混合器的细节表现能力有所牺牲，同时灯光布置要求比较苛刻；由于受到网格角度的此限制，摄像机的俯仰角范围较小，不得摇摆出网格，否则定位精度将会大打折扣；相比起机械传感方式，该识别方式采集到的数据精度较小；所以为了保证视频拍摄过程中的跟踪精度，使用过程中应保证摄像机的焦点不得移出网格，这无疑将会大大限制了摄像机的景深以及演员的活动范围，这给特写拍摄带来较大难度，演员不得走出网格范围之外，同时演员的蓝色背景也有限制，不能对网格进行遮掩，否则的话，跟踪信号将会受到影响，甚至消失；摄像机移动过程中要保持缓慢的速度，从而避免摄像机在移动过程中出现跟踪混淆现象，导致录制的图像出现一定程度的跳帧现象；需要额外时间对网格图案进行辨识，这无疑增加了节目录制所需要的时间，导致视频播放需要的时长较多。

辅助摄像机技术

上一个图像识别方式为辅助摄像机的设计和应用提供了必备条件，实现了摄像机向着小型化的方向发展，体积的小型化给安装工作提供了极大的便利，一般可安装到演播室摄像机顶部，但是也可安装到其他部位，不管是侧墙或者天花板。

辅助摄像机的作用在于配合演播室摄像机的演员拍摄工作，并且对拍摄工作内容进行实施分析，确保摄像机采集到的各个参数正确无误。

这种摄像技术具有较大的便利性，能够实现各种高难度的视频拍摄。

红外传感方式

1.优点

对于摄像机角度坐标参数的测定非常简单快捷，只要处于其所控制的范围内；拍摄方式简单快捷，无论是肩扛还是手提式拍摄。

2.缺点

安装程序复杂，初始化比较麻烦；容易遭受外界环境干扰；一般情况下如果红外线相互交织就会出现炫光现象，对演播室中的人员眼睛造成一定的损害；另外该方式在使用过程中的运算量较大，视频录制和播放过程中存在较严重的而言是现象。

虚拟背景生成系统

虚拟场景的制作

虚拟演播室的背景图像可以是来自录像机或摄像机的视频图像,也可以是静止图像,但使用最多的是计算机创作的二维或三维图形CG（ComputerGraphics）,即虚拟场景。

虚拟场景可分为二维虚拟场景和三维虚拟场景,所谓二维虚拟场景是指景物没有厚度,只提供一个平面背景,而在三维虚拟场景中景物是立体的,具有Z方向的厚度,在具有虚拟后景的同时,也提供虚拟前景。

人物可在前景与后景之间穿插,运动,从而增强了视觉效果的纵深感和真实感。

三维虚拟场景的制作可分为几个步骤:

首先要对虚拟场景中出现的所有物体按自然尺寸比例建成三维模型,然后在模型上添加材质,描绘纹理;其次是将模型在虚拟场景中定位,制作灯光效果以及阴影;最后是制作在实际拍摄过程中虚拟场景出现的事件序列和特技效果,目前用于虚拟场景制作的主要软件有Softimage,Alias/wavefront,3Dmax等,它们一般都具有建模、描绘和特技等功能。

实时背景生成

实时背景生成是指在摄像机运动参数控制下,背景生成系统对预先制作好的虚拟场景信号进行处理,实时生成与前景有正确透视关系的背景图像。

这就意味着背景生成系统必须要以25帧/秒的速度实时处理数据流。

如果生成三维虚拟场景,其计算量是非常大的。

在不降低图形照明度、阴影,纹理和建模结构的前提下,提高图形工作站图形刷新速率成为实时生成虚拟背景的关键。

视频合成系统

虚拟演播室的视频合成系统仍采用传统演播室多年来一直使用的色键抠像技术,即前景与背景的混合是通过色键混合器来完成的,一般采用Ultimatte、Primatte等色键合成器。

为保证容易抠像,应使蓝色幕布处于均匀照明之下,演员的服装及小道具的颜色也应注意。

蓝色幕布应使用纯正的色键蓝色,其空间大小应保证演员有足够的移动范围。

另外,由于图形工作站创建出来的三维虚拟场景中每一个像素都带有景深值Z,即深度信息,而摄像机提供的前景图像是没有深度信息的,因此要实现演员在虚拟环境中行为逼真,各物体间的遮挡关系显得尤为重要。

这便引出了深度键的概念。

采用层次等级深度键可将物体分为有限数目的深度层次,使物体之间实现相互遮挡;而像素等级深度键是按像素划分等级,可使演员处于虚拟场景中的正确位置。

当真实的人物、景物与虚拟景物动态遮挡时,通过深度键技术,就可以实现逼真的三维效果。

第3章虚拟演播室的设计

摄像机跟踪部分的设计

摄像机在拍摄过程中有平移X、纵移Y、高度移Z、水平角、俯仰角、镜头变焦Z00M，聚焦FOCUS等变化，这些参数的改变会引起所摄图像视野与视角的改变，为了模拟人物所在的三维环境，计算机必须根据这些参数不断调整三维视图。

而摄像机跟踪部分的作用正是收取摄像机的位置信息和运动数据，实时的跟踪真实摄像机，以保证前景与计算机背景“联动”。

由于这种“联动”是以高速计算机运算的结果，而这种运算永远是存在着一个运算时间，所以这种“联动”是有时间差的。

只是设计者保证使这种时间差在一个人眼不易察觉的范围之内，因此要求前景摄象机只能在一个有限的速率内改变位置参数。

目前虚拟演播室的摄像机跟踪系统主要有以下几种方式：

基于传感器的系统

基于机械传感器跟踪方式是首先应用于虚拟演播室系统的一种跟踪方式，并且至今还在广泛应用。

这种跟踪方式原理很简单，即在摄像机的镜头上、液压摇摆头上装有精确的编码器，可以精确地检测相应参数，通过RS-232或RS-422端口送给控制计算机，要获得正确的透视合成效果，就要使虚拟背景的立体透视关系实时地跟上真实摄像机拍摄的状态变化。

为此，二维虚拟演播室系统中虚拟摄像机应跟踪真实摄像机机头的左右摇移、上下俯仰、镜头推拉三个参数，采用这种方式的有益世的Minset，RT-set的IBIS；三维虚拟演播室系统中，除了上述三个参数外，还应跟踪真实摄像机的机位横向、纵向位移，机座高度升降，摄像机旋转，镜头光圈变动，采用这种方式的有RT-set系统的Larus。

虚拟摄像机各项参数与真实摄像机间各项参数之间并非是一一对应的线性关系，这就更增加了用模拟控制的困难程度。

为此，采用基于编码的传感技术，并对这些参数进行编码，经过分析判断这些参数的优先级别，并将这些编码信息馈送到同步跟踪分析处理计算机优先译码，转为虚拟摄像机的参数指令，控制高性能的图形计算机生成虚拟背景，跟随真实摄像机同步移动。

基于图形分析系统

基于图形识别技术的虚拟演播室，是在演播室的蓝幕上画上两种蓝色深浅不同、线条粗细不等、线间空格不均匀的网络图案。

真实摄像机在摄取前景图像的同时，也摄取了网格图案的影像，将这一图像数字化后送入同步跟踪的图形处理计算机，利用图像分析法，参照摄像机起始参数，根据网格图案的变化，计算出摄像机左右摇摄、上下俯仰摄及视角的变化，用这些参数的变化量去控制图形计算机生成虚拟背景的变化，使虚拟摄像机中看到场景中物体位置的变化及透视关系与真实摄像机中看到的一致。

图像识别的简单原理，用图像分析的方法检测其亮度的变化，以求出每一帧图像中由于摄像机运动而引起的水平位移、垂直位移Δxi、Δyi及放大系数Z的变化。

用图像分析法求取摄像机运动参数的原理，主要是把摄像机的帧间的运动与亮度的时间、空间梯度联系起来。

在每一个像素位置都有如下关系成立：

Gi=GxX+GyY+（Z-1）（GxX+GyY）

其中，Gi、Gx、Gy为图像亮度于水平、垂直方向及时间上的梯度。

X、Y、Z则为水平、垂直位移及推拉镜头比例系数的变化。

x、y为像素在当前图像帧内的坐标值。

由于每帧图像中都有大量像素，每点都可以列出一个如上的方程，因而可以得到一个已知条件高度冗余的线性方程组。

由此可以求出运动参数的最小均方值。

实验证明，为获得可靠的、质量足够好的摄像机运动参数，每帧取500-1000个有规律的点即可达到要求。

计算机虚拟场景生成的设计

虚拟演播室的场景是计算机绘制的图形，计算机绘图有二维和三维之分，因而虚拟场景也有二维和三维之分，二维场景没有厚度，只是一个平面图形，所以二维虚拟场景只能作为背景平面，出现在真实人物的后面，而三维虚拟场景中的景物具有Z方向的厚度，是立体的，以背景中的一个长方体为例，长方体是一种六面体，其底面和背面一般是看不见的。

然而随拍摄角度的不同，有可能看见其正面，侧面和顶面。

在计算机中应保存其正面、侧面和顶面的图像，实际上，在计算机内，其正面、侧面和顶面的图像都分解为像素的形式，保存在存储器中，当摄像机处于任意的角度位置时，计算机即进行计算，获得相应的画面。

同时，三维的场景中，虚拟景物既能作为真实人物的前景出现，也能作为背景出现，并且真实人物还能围绕虚拟景物运动：

这样在视觉效果上更具纵深感，更加真实。

显然对于计算机的运算能力、运算速度提出了很高的要求。

当然还必然进一步考虑许多细节问题，比如灯光和阴影的问题，当摄像机改变其取向位置时，根据照明条件，阴影部分将发生相应的变化，背景画面应该能够反映出这种变化。

视频合成部分的设计

虚拟演播室系统视频合成的基本技术是色键器抠像，摄像机拍摄的蓝幕布前的真实景物：

通过色键器进行抠像处理，与计算机生成的虚拟场景合成一个画面。

灯光系统设计

在一般情况来讲，虚拟演播室有多个摄像机来拍摄。

通过这个特征，为了能让每个角度拍摄出来的画面都防止出现边角抠透或者是出现蓝边的现象，所以就要求蓝箱一定要照射的非常柔和。

尤其要注意的就是对于蓝箱的表面和地面的照射，一定要注意在抠画面以后，在场面地面和蓝箱背景有均匀的照度。

而且每当主持人在坐着主持节目的时候，尤其注意当灯光投射在主持人身上或者是主持人整面的时候，灯光必须是均匀柔和的。

一旦灯光不均匀，就会出现把主持人的腿部