AR增强现实特点关键技术和应用图文精Word格式.docx
《AR增强现实特点关键技术和应用图文精Word格式.docx》由会员分享,可在线阅读,更多相关《AR增强现实特点关键技术和应用图文精Word格式.docx(23页珍藏版)》请在冰豆网上搜索。
interactivclyandrealtime,registeri“grealandVinualobjectse8chother.Wemusts01Vesomekeytechn0109y,
lncIudingdisplays,tracking,registration,interfacesandcalibration.Inaddition,humanfact。
rs
are
Ve。
yimportant.
AR
tecllnology
can
beusedin
manyflelds,such
as
medical,manufactu“ng,visualization,collaboratlon・commerce
andmilitary,eta1.This
paper
discusses幽eseproblems,anddirectionsand
areas
requiri“g
furtherres曲rch.
Key
words:
augmentedreallty;
virtualenVir。
nment;
r。
gistration;
calibration
l
引言
增强现实(A・tgmentedReality,简称AR)就是将计算机
生成的虚拟对象与真实世界结合起来,构造出具有虚实结合的虚拟空间.虽然目前AR的研究都集中在视觉上,但是AR
并不仅限于此,还包括听觉、触觉和味觉的所有感官.AR起始于:
十世纪六十年代,sutherland发明了头盔显示器显示3D图形但是直到近些年,AR才成为一个研究领域.Mil—gram”定义了一个从真实到虚拟环境的连续统一体(如图
1).
真实环境(RealEnvironment)和虚拟环境(VirtualEnvi—
ronment)在两端,中间是混合现实(MixedReality).AR靠近真实世界的一端,用计算机生成的数据可以增强真实环境.加强用户对环境的理解.Augmentedvirtuality是Milgram创造的术语,意指在虚拟环境中增加真实世界的图像,比如在虚
拟物体上加上纹理映射的视频.这种技术可以增加虚拟物体
的真实程度,减少虚拟和真实物体的区别.而虚拟环境是指环
境是完全虚拟的.
AR中真实物体和虚拟物体与用户环境必须无缝地结合
在一起,而且真实物体和虚拟物体之间还要能够进行交互,这
样才能实现真正的虚实融合.AR中物体交互的方式有两类:
视觉上的和物理上的.视觉上的交互指内部反射、吸收以及从
环境
现实虚拟环境
图1真实到虚拟的统一体
Fig.1
Real{ty_virtualitycontintlllm
这些物体发出光的重新定向,在AR中产生的效果包括阴影、遮挡、漫射、镜面反射以及内部反射、折射和颜色渗透.物理上
的交互包括物体问运动学上的约束、碰撞检测和响应,以及对
于外力完全基于物理的响应.运动交互还包括物体运动约束或在某一连接点直接影响其他物体的位置和方向.碰撞检测
收稿日期,20。
2一07一04基金项目:
国家“863”高技术研究发展计划基金(2002AAll7020)资助作者简介:
齐越,博士,主要研究方向为
虚拟现实和多媒体技术.qy@vrlab.buaa.edu.cn马红妹,博士,研究方向为机器翻译、人机交百.
5期齐越等:
901
是运用计算判断物体问是否发生碰撞,并防止多个物体占据同一个空间.基于物理的最复杂的交互是真实物体和虚拟物
体问的力量和动力的交换.用真实行为影响虚拟物体.十分重
要的是。
目前实现的交互只是单向的:
真实物体可以影响虚拟物体.但是虚拟物体不能影响真实物体,这需要计算机控制的
视觉上和物理上的操作,这已经超出了当前的技术范围.2增强现实的关键技术。
’
构造一个AR系统需要解决很多的关键技术问题,这主
要有显示技术,跟踪和定位(registration)技术,界面和可视化技术以及标定(calibration)技术.
2.1
显示技术
用于AR的显示器有头箍显示器(Head-Mounted
Dis—
plays.HMD).手持显示器(Hand—Held“splays)和投影显示
器(ProjectionDisplays).2.1.1头盏显示器
这种显示器戴在头上,在眼腈前方星现图像,分两种,光
学透视(0ptical
see—through)和视频透视(video
see—
through).光学透视HMD在用户眼睛前面放置光学合成器.舍成器是部分透明的,用户透过它可以直接看到真实世界.合
成器又是部
(a)光学透视HMD概念图
真实世界
(b)视频透视HMD概念图
图2
HMD概念图
Fig.2
HMDconc印tualdiagram
分反射的.用户可以看到从头上戴的显示器反射到合成器上
产生的虚拟图像,如图2(a).视频透视HMD封闭了视线,带有一个或两个摄像机,拍摄真实世界的场景.场景合成器负责把摄像机视频和图形进行合成,并将结果送到用户眼睛前面的显示器上,如图2(b).2.1.2手持显示嚣
这是一种平面LCD显示器,使用捆绑的摄像机提供基于视频透视的增强.手持显示器充当一个窗口或放大镜,显示用
AR覆盖的真实对象.2.1.3投影显示器
所需的虚拟信息直接投影到真实对象上进行增强.最简
单的情况是,将增强信息直接投影到对象表面上,这样无需戴
特殊的眼镜03.另一种是头戴投影仪,按照观察者视线的方向,把图像投影到真实世界中的对象上.目标对象上涂有向后
反射的物质,沿着入射角度把光线反射回来这样,通过使用各
自的HMD系统,多个用户能够同时在同一投影目标上看到不同的图像.但是这种投影显示器比较重‘93.
目前使用较多的还是透视显示器.但是透视显示器的缺点是没有足够的亮度、分辨率和视域以及对比度,因而无法支
持广泛的虚实结合,而且大小、重量和价格也是重要的因素.
另外还有两个问题:
一是,大多数视频透视显示器存在视差错误,这是由于捆绑摄像机的位置偏离了真实的跟睛位置“”.二是,大多数显示器需要固定眼睛的位置
2.2
躁踪和定位技术
为了交互,AR需要进行定位,因而准确地跟踪用户的位
置和视域方向是十分重要的.对于室内环境,通常预先在已知
的位置上放置基准的标记,通过跟踪这些标记跟踪真实对象,
从而扩大跟踪范围o”.目前在准备好的室内环境中,能够实现鲁棒性定位.对于室外、移动的AR应用,一般使用GPS或
Dead
Reckoning技术跟踪计算对象在户外的实时位置.但这
也有很大的局限性,如GPS需要天空能见度很高.另外,还可
以跟踪可见的自然特征(如环境中已有的、不变对象)=22’.如
果有环境数据库,那么就可以根据跟踪可见的水平轮廓或已
绘制的周围建筑物的预知视图.与视频进行匹配“”.另外,给
定有限的一组已知特征点,跟踪系统能够自动地选择和测量
环境中新的特征点。
“.但是,目前这些方法还不支持实时运
行.而更适于特殊效果和后期制作的应用.
完全控制定位错误比较困难.因为应用需要的精确度越高,引起错误的源就越多.我们把这种源分成两类:
静态的和
动态的.静态源是指当用户的视点和环境中的物体保持静止时引发的错误,主要有:
光学的变形,跟踪系统误差,机械误差和视觉参数误差.动态源是指错误由用户的视点或环境中的物体移动引起的,主要是延迟错误和预测位置错误.
2.3
界面和可视化
目前许多研究人员在考虑用户如何与AR应用进行交互,以及如何有效地在AR显示器上表现信息.与虚拟信息进
行交互是很困难的.AR交互手段研究有两个趋势:
第一,使
用不同的设备,取各家之长}第二,通过切实可行的界面.使虚拟对象与自然界成为一个整体.对于AR显示中的显示信息,要解决以下问题,
2.3.1错误估计的可视化
AR系统定位错误很难避免,解决的方法有两个:
一是根据预测的跟踪和测量错误.在屏幕中可视化地显示一块区域,
以绘制对象.二是当绘制被真实对象遮挡的虚拟对象时,沿着
遮挡区域的边缘,逐渐地淡出隐藏的虚拟对象,使定位错误减少.
2.3.2数据密度
902
小型微型计算机系统
2004年
如果用大量的虚拟信息增强真实世界,那么显示就会变
得混乱和不易凄.Julier”。
。
使用基于空间交互模型,把所显示的信息量减少到最小,只在视图中保留重要的信息.2.3.3真实感绘制
在AR应用中,改善虚拟对象绘制质量的关键是能够自动获取环境的光照和反射信息.目前有三个方法:
使用模型估计光照参数,基于图像的绘制。
:
,以及动态范围的光照获
取….
2.3.4
调节现实(MediatedReal;
ty)
为了删除真实对象系统必须能够分割场景中的单独对象Lepetlt。
3论述了一个半自动的方法,通过轮廓区分对象和它们在场景中的位置,在某些情况下,无需对环境进行3D重构.就能够插入虚拟对象以及删除真实对象.2.4标定技术
为了生成准确的定位,AR系统需要进行大量的标定.测量的值包括:
摄像机参数.视域范围,传感器的偏移,对象定位
以及变形等.目前AR标定使用摄像机标定原理,以及许多手动AR标定技术.避免进行标定的一个方法是开发标定自由
的绘制器.Kutulakos和Vallino“”提出基于弱透视投影模型
的标定自由AR方法,Seo和Hong“”把这个方法扩展剜覆盖弱透视投影,支持传统的光照技术.另外,为了减少标定需要,
必须自动标定.这需要使用冗余的传感器信息,自动地测量和
补偿变化的标定参数““”3.
3人的因素及感知
人的因素、感知研究以及认知科学的研究成果对高效AR系统的设计是很有帮助的.Drascls“”讨论了影响AR显示的18种不同的设计问题.包括:
实现错误(如定标错误).技术问题(如立体显示的图像帧中垂直的错误匹配),以及目前HMD设计中的基本限制(适应性调节).对于医学应用,Rol—landn”详细分析了不同人的因素与光学和透视HMD之闻的关系.我们需要更好地理解人的因素对长期使用AR系统的影响.这些重要的因素包括:
・反应时间.与所有能够引起错误的源相比,延迟引起
的定位误差最大.有研究表明,一毫秒的延迟会引起一毫米的误差“”.更重要的是,延迟会降低系统的性能.
・深度感知.准确的深度感知是很困难的定位问题.立
体显示可以帮助深度感知,但目前的显示技术会带来新的问蹶,包括适应性调节,低分辨率和模糊显示引起对象出现的距
离比实际的要远。
3”.使用正确的遮挡关系能改进一些深度感
知问题”“.
・适应性用户.对AR设备的适应能力从负面影响AR系统的性能.
・疲劳和眼睛紧张.不舒服的AR显示器不适合长期使用.一项研究表明.与单目或立体显示器相比,两个眼睛看相同图像的双且显示器会引起眼睛紧张和疲劳.
4增强现实技术的应用
4.1
医学
AR可用于医疗数据可视化.以及外科医生的手术培训
例如,为医生提供病人体内动态的3D图像;
对需要准确性的
任务进行指导,虚拟指令提醒新的外科医生手术步骤+虚拟对象还能识别器官并指定位置.4.2机械维护和修理
AR可以用于复杂机械的装配、维护和修理.机械说明书是文本和图形形式,而AR可以直接在实际设备中添加3D画面,一步一步地提示技术员应该做什么以及如何做.
4.3注释
利用AR技术,可以用公共或私有的信息对物体和环境
进行注解.例如,当用户在图书馆中走动时,手持显示器可以显示身边书架上图书的信息.建筑师戴上透视HMD就可以
看到窗外竖起一座摩天大楼的情景.如果数据库中有这座建筑物的结构信息。
AR就可以给出建筑物内部的“x光显示”,显示出管遭、电线以及墙体中的结构支柱.
4.4协同
许多AR应用允许多个用户同时观看、讨论以及与虚拟的3D模型交互,这要解决两个问题。
2“:
一是,存在的工具和实践之间要无缝整合,二是,通过支持远端和协同活动(在真
实环境中不可能的)增强实践.
协同AR系统中重要的问题是,确保用户能够建立一个共享的、可理解的虚拟空间,类似于他们所理解的自然空间.许多系统的设计者建议根据每个用户的兴趣设计适当的界
面.这样,就可以对每个用户进行个性化的信息表示,有助于
AR系统为单独用户表现私有信息,而不必害怕这些信息会
被其他用户会看到.另一种协同AR是AR游戏:
ARairhockey。
’,以及协同作战对付虚拟敌人“”.4.5商业
AR在商业方面应用广泛,如;
虚拟演播室,把演员和虚拟场景实时地以3D方式融合起来;
虚拟广告,在播放的电视图像中的指定区域插入广告}对历史的场景和事件进行重现f室内设计,先拍摄室内环境,然后用AR技术对室内进行布置,预览布置的效果.4.6军事
在军事训练方面,AR也有广泛的用途.对于飞行训练,运用AR技术,在真实环境中融合3D虚拟物体,可以更加逼
真地合成场景.在战场上,AR眼镜可以给士兵提供战场的辅助信息.比如,士兵身上带有计算机系统和GPs,当他走到一座山边时,身上的GPs可以准确地给出他的具体位置,并与
计算机中存储的数字地图相匹配,然后调用数据库,检索出此
山的名称、高度和3D地图等,最后把这些信息显示到他的眼
前.
5未来的工作
从上面的讨论知道.AR今天的状况就好像是早些年的VR,有许多能够演示的研究系统,但是达到实用的系统却还很少.限制AR广泛使用的主要障碍有三个方面:
技术限制,
用户界面限制以及社会接受问题.
5.1技术限制
5期
齐越等:
903
显示器、跟踪器以及AR系统必须更准确、更轻便、更便
宜以及更少的能源消耗.目前的AR设备不便于携带尤其对
室外环境.还要懈决准确跟踪问题.在AR研究中,可以通过改进室外环境中的跟踪技术,以及自由标定或自动标定方法,最大限度地减少所需配置.5.2用户界面限制
我们需要更好地理解如何给用户显示数据,以及用户如何与数据进行交互.目前,大多数研究集中在低层次的感知问题。
如适当的感知深度等.AR还需要确定许多高层任务,如要确定提供什么信息.什么是数据的恰当表示,用户如何查询
数据.例如,用户在街上漫步时要查看商店的橱窗,查询商店
的库存.目前.这类问题还很少研究.5.3社会接受程度
最大的挑战是社会接受程度问题.如果具备了理想的硬
件和直观的界面,AR系统如何能够像移动电话或个人数字助手(PDA)一样,成为人们每天生活的一部分?
通过电影和
电视,许多人熟悉了模拟的AR图像.但是,劝说用户戴上显示系统还要解决从时尚(用户戴上系统是否会感到时髦?
)到
隐私(能否使用所需的跟踪系统显示所监视和记录的信息?
)
的许多问题.到目前为止,对这些基本问题的研究还未涉及.但是在AR被广泛接受以前,我们相信这些问题必须得到懈
决.
Keference:
1
Mllgram
PandKishino
F.Ataxonomyofmixedreality
visual
displays[J].IEICE
Tr8ns.InformatlonSystems,1994,E77-D
(12):
1321~1329.
2
RonaldAzuma,YohanBailot
et
a1.Recentadvancesina“gment—
ed
reality[j].1EEE
Computer
Graphlc8andAppIlcatjons,2001,
2l(6)I34~47.
3
ohshlma丁et
a1.AR2Hockeyj
case
studyofcollaborativeaug—
mentedfeaIity(C:
.
Proc.
IEEEVinuaI
Reality
Ann.
Int’l
Symp.・1998:
268~275.
4
PryorH
L.FurnessTA.Thevirtualretlnaldisplay:
newdjs—pla?
technoIogyusi“gscanned1aserIight(C].Proc.42nd
Human
FacLorsE。
碍ono“csS0c..1998,1570~1574.
5
Julier
S
a1.Informationfilte““gform。
b“ea“gmentedMallty
[C].Proc.Int’1Symp.Augment“ReaIity2000,2000:
3~11.
6
LepethVand
Be‘ger
M-O.Handli“g
occlusionsm
aug哪砒ed
re.
amy3ysrems:
semi—automatkmethod[C],Proc.Int’lSymp.
AugmentedRealiIy
2000,2000:
137~146.
7
MukalgawaY,Mihashi
al-Photometric
image_based
render_
l“g
forvirtuaI
Iighti“gimage
8ynthesis[C].
2nd
Workshop
AugmentedReality
1999・1999:
115~l
24.
8
RaskarR
a1.Table—topspatially+augmented
realty;
bri“ging
physlcal
modelsto
ljfewitbprojected{m89e’y[C].Proc.
WorkshopA“gmented
Reallty,1999:
64~71.
9HuaHet
aI.Anultra—Iightandcompa“deslgnand
implementa—
tion口fhead-mountedprojectjvedispl8ys[C].Proc.IEEE
V1rtual
200l,Z00l:
175~182.
10
DebevecP.Renderi“g8ynthetic
objects
mtorealscenes:
bridgi“g
traditIona【¨
dimage_basedgraphkswhh
gIob“小umination
andhigh
dynamic
ra”ge
photography[c].
sIGGRAPH
98,
1998:
189~198.1lDrascicDand
M1Igranl
P.PerceptuaI
issuesln
augmented
reality
[J].Proc.sPIE,Stereoscopic
DispIaysVIIandVirtualsystems
III,SPIE
Press.1996.2653:
123~134.
12BioccaFAandRolland
J
P.Virtualeyes
rearra“ge
y。
ur
body:
adaptation
t。
displacement
in
3ee—thro“gh,head—mounteddisplays[J].Pre8ence:
Teleoperatorsand
VirtualEnvironments,
June1998,7(3)l262~277,
13
Rolland
a1.Optlcal
versus
v试eoseethroughhead—mounted
dis—plays
ln
medical
visualization[J].
Presence:
Teleoperators
and
VirtuaIEnvlronments,2000.9(3)187~309.
14KukulakosKNandVallino
R.Calibration—freeaugmentedreali—
ty[J].IEEETrans.Visualization
andComputer
Graphics,1998.
4(1)tl~20.
15
Welch
Gand
BjshopG.Scaat;
incrementaltfacking
withincom一
口1eteinformat|on[C].Proc.ACMSlGGRAPH
97,1997:
333~
344.
16SeoYet
a1.Weakly
calIbratedvideo—basedaugmentedreality±
em—
beddingand
rende“ng
through“rtualcamera[c].Proc.Int’1
Symp.A“gmented
Reality2000,Z000l
129~136.
17Ho“Band
AzumaR.Autocal|bra“onof
an
electronlccornpassin
outdoora“gmentedreaIity
8ystem[C].Proc.Int’lSymp.A“g—
rnentedReality
159~164.
18ChoY
aL
muhi-ri“g矗duc试system
andan
intenshy邶var;
ant
detectionmethod
forscalable
augmentedreality【C].
Int’1
Work3hop
AugmentedReality1998,1998:
l47~165.
19
Hollow8yRL_Registration
err