AI VR.docx
《AI VR.docx》由会员分享，可在线阅读，更多相关《AI VR.docx（15页珍藏版）》请在冰豆网上搜索。
AIVR
交互式娱乐
人工智能-在虚拟现实中的艺术中介式互动
Jean-LucLugrin,MarcCavazza,andSeanCrooks,提赛德大学
MarkPalmer,西英格兰大学
在娱乐程序里，人工智能技术常常被用作实现代理或者自动的产生艺术内容。
最近的研究是关于利用人工智能支持用户体验新的基于人工智能的交互技术。
这尤其对基于3D世界的艺术设备的开发格外有趣。
1-4在开发这样的设备中的主要困难在于合理的将这些艺术形式翻译成实实在在的交互元素，它同样决定着用户体验感受。
这项研究的开始点就在于帮助对虚拟世界的精确描述，这是虚拟现实中的艺术设备的组成部分。
我们的基本假设是人工智能的展示来源于规划的形式体系5,并且基于人工智能的模拟也来源于此，这中假设构成了虚拟世界行为的设备基础。
在我们交互性的方法中，用户交互的结果可被动态地计算，并产生级联反应--诱发一种特殊的用户体验。
这一串时间的计算源于嵌入艺术简介的第一准则（艺术家最初的关于互动设备的和预期的用户体验的概念描述）。
换言之，人工智能技术用于呈现行为和类比转换计算的能力，用于创建用户体验。
系统综述和架构
我们的系统基于一个CAVE似的设备—SASCube，展现为一个浸入式的虚拟环境。
SASCube在虚幻竞技场2003游戏引擎的基础上研发，它作为主要的可视化引擎，并提供基本的交互机制。
6虚拟引擎同样通过使用CaveUT软件传输吸引人的显示，5它支持立体可视化以及头和手跟踪。
另外，一种特殊特征的游戏引擎的开发，使得使用人工智能技术在虚拟世界模拟行为成为可能。
事实是他们依赖基于事件的系统代表各种各样的互动。
基于事件的系统来源于将物理的交互分散为对简单物理计算：
尽管对运动物体的动态要进行数值模拟，但是物理交互的结果（例如，玻璃在碰到坚硬东西后的破碎）在一个离散系统里能够被确定，而不必去完成一个负责的实时模拟。
我们设备组成一个虚拟的世界,在那里我们通过新的事件链取代现实行为过失的影响，改变现实法律的因果关系。
我们的方法依赖于高层次动作的认识，从低级的物理事件到虚拟世界的事件的语法表现。
换言之，从一系列低级的事件的对象之间的碰撞和联系,系统视为高层次的动作（例如推、破碎、倾翻）影响物体,从而把事件赋予与用户认识相同的含义。
这些动作在系统里使用形式体系展现，使得结果更加的清晰。
对这种展现的实时修改将会改变一个行动的默认结果,从而影响在虚拟环境中用户的体验和现实感。
我们的系统不同于游戏引擎的本身基于事件的系统，游戏引擎是直接调用对象处理事件。
而我们的系统是基于一个集中的事件管理模块，称作因果引擎。
这个模块构成一个物理引擎和交互界面通用的隔层（如图1）。
事件的因果引擎不断拦截从物理引擎和替换计算中可供选择的事件的请求。
我们的可选择的因果关系系统通过UDP通信（用户数据协议）接口，基于两个主要部件:
事件拦截系统和活动修改模块。
EIS负责事件拦截、分析、激活,活动修改模块计算修改优先于活动的激活行为（见图2）。
这种机制实时产生人造事件,这又反过来影响用户体验。
虚拟现实的艺术和替代因果关系
虚拟现实艺术一直在研发在虚拟环境中的不同的用户体验。
从这个意义上来看，在构造虚拟现实艺术替代环境存在一个传统--例如，查尔·戴维斯浸入虚拟现实或者莫里斯·贝纳永的Quarxs设计环境（出现在同名动画系列），不可见的生物群倾向物理规律。
然而，迄今为止，对虚拟现实艺术设备的开发一直主要专注于虚拟世界和特定交互机制的设计。
对于更深入的开发虚拟现实艺术的一个挑战将是开发来自第一规则的对世界行为的定义的技术支持。
这些技术将使有更有雄心的虚拟现实设备的新的实验成为可能。
我们在这篇文章中讨论的技术已经用于支持虚拟现实艺术设备了。
作为一个说明，我们展示一个我们制作的第一个虚拟现实设备原型。
Gyre和Gimble是一个基于路易斯·卡罗尔的爱丽丝故事而来的虚拟现实艺术作品。
尽管Gyre和Gimble来源于爱丽丝故事，但是我们目的不在于再次叙述，而是探索他们提供的影响感知的地方。
事实上，卡罗尔的故事提供了对任何人都很自然的开始点，当他们对故事的自认为结局和创作的结局感兴趣的时候。
我们在他的故事中经常遇到纠结、冲突、和发明比赛以及改造的规则的方式。
卡罗尔诙谐的用语言在似是而非的情况及对话中,爱丽丝发现自己。
例如在《爱丽丝梦游仙境和镜中世界奇遇记》的一段对话（企鹅图书，1998）：
“当我们还小的时候”尽管仍然时不时的抽泣，MockTurtle继续更平静地说，“我们在海里上学，校长是个老海龟—我们过去常叫它Tortoise--”
“你们为什么叫它Tortoise，如果它不是呢？
”爱丽丝问。
“我们这样叫它是因为它教我们”，MockTurtle生气地说。
“你真的很笨！
”
这就是为什么他的书总是能超出书中的情节，他们是一些显然的事件，包括读者自己领会的。
这种交互反应使主要导演Gyre和Gimble有意地使自己脱离这个故事。
而不是成为一种再次复述爱丽丝故事的工具，它像他们自己的故事，成为一个“事件”和一个场合,在这个颠覆性的过程中还包括用户。
挑战是做一个基于像卡罗尔创作性颠覆的游戏的技术。
在《爱丽丝镜中世界奇遇记》的场景，爱丽丝尽可能去看在商店里的东西，她发现，他们回避她的目光。
他们共同决定提供机会使用场景本身作为一种互动。
我们正在考虑结合使用的重点和中心观众的虚拟物体的距离作为交互手段。
从系统的角度来看,对象的希望摆脱构成的结果出现了物体的碰撞,计算链的事件的开始点（以及由此带来的后果）。
Gyre和Gimble主要的理想环境是3D世界，它反映了尼尔爵士原有插图的美感（也就是说，利用三维物体和非图片真实感渲染）。
用户，在爱丽丝故事中作为第一角色，她能看到其他对象的行为，这同样也会在她出现时有所影响。
一个房间里,包括几柜和一张桌子构成了Gyre和Gimble的世界。
它包括10个不同类型的互动对象,共90,如蜡烛、烛台、钟表、和书,它们分散在货架、橱柜、桌子（见图3）。
当前版本的环境支持一套20行为（例如倾斜,打破,飞行和燃烧）。
用户交互
用户在任何虚拟的环境中，可通过导航和与物体的交互，达到与虚拟现实的艺术作品交互的目的。
然而，作为我们前面所说的那样艺术理念的技术实现,对象是相关的一个默认的行为,，他们逃避用户的凝视,逃向其他的目标。
用户的凝视触发自发运动。
系统衡量用户凝视，是通过头向量（通过衡量与屏幕的平均距离的近似值）和从头部追踪数据计算的方向。
如图2所示，一个固定的锥形的是与用户的视野范围联系在一起的,任何物体交叉与锥超过几秒（随机地从2到10秒）将开始移动,直到它的碰撞与另一个物体。
物体的移动方式是根据它的类型的--有些将滑动，跑动，或者跳跃—并且它的速度取决于用户与物体的距离（离的越近，动的越快）。
基本的语境规则决定脱离用户的视野的方向。
结果是，用户看到一连串对象的行为,虽有互动提示但准确的逻辑不能直接访问用户。
另一种交互机制，对这种类型的装置是更精确的。
它由集成用户轨迹和导航模式来确定用户的行为向特定部分的环境和他们拥有的物品。
最后，通过普遍的涉及干扰和惊讶的程度，这些对象的行为都将反映用户的行为,正如接下来的章节描述的。
自发运动两个物体的碰撞,从AI模块产生一个事件链为起点。
这个事件链会给用户诱发各种形式的因果知觉,并构成了互动的用户体验的一个重要方面。
改变幅度的因果事件链是基于对象和用户所在的环境的语义特性和相似之处。
这种计算的类型提供了直接关系到用户经验的一个衡量准则,比如“惊喜”7。
虚拟世界本体:
代表的行为和对象
知识表示是我们的方法的一个重要的方面。
8我们的系统是基于对象和行动本体的展现。
虽然重要的子集可以从一个安装到另一个地方重复使用，但是这些本体是专门为给定的虚拟世界的内容而开发。
行动的本体在一个给定的虚拟世界的主要行动构造规范。
对一个动作的影响的表达要符合于其条件（即改变物体属性）.这些效应也和3D行动动画自身的行动可视化有关联。
以这种方式,行动可适当举行了在虚拟世界，而不需要对所有的阶段详细的模拟。
这种本体包括通用的和具体的行动。
例如,所有的物体就会飞与落,但只有特定的种类物体可以打破（这取决于其物理性能）。
此外,一些行动与对象的功能有关（例如,只有容器可以填满或变空）。
物体本体为不同的目的服务：
·确定哪些行为对象可以参加,以及那种行为会如何影响他们,
·对世界上各种对象比较和类比。
对象本体应该支持在虚拟环境下的实时要求进行最有效率的计算。
在前提条件或触发时，动作将的物理性质将会出现。
例如,一个动作,如breaks-on-impact（?
object,?
surface）将测试表面的硬度。
这将统计各种不同的情况,例如一个杯子敲向桌子或用球击窗户后的后果。
类比表示法在事件产生链中起重要作用,这种事件链会导致虚拟世界里的因果印象。
行为的替代后果的产品很大程度上是基于类比转换,如替代效果或基于相似准则用另一个更换行动的对象。
我们能从物理或功能描述得出推理:
比如,液体从一个容器中蒸发过程能被联系到一根蜡烛燃烧。
对象采用一种二元结构表示本体:
一部分是专门为对象的物理属性（如大小、形状和硬度）,另一个对象的功能属性（比如容器或光源）。
这两部分预定义的状态的表现,这是一个关键要素的表示（特别是考虑到表示应该支持衍生出来的行动的结果）。
依照一个物体的物理性能和功能对其可能的状态的预定义。
物理状态描述高级属性,例如目标定位或对象的完整。
功能状态与对象的完成:
蜡烛可以点燃或者熄灭,一个集装箱填充可以填满或者置空等等。
状态的改变对应被称为本体一部分的具体行为;行为的后置条件对应不同的物体状态。
状态同样涉及两个描述:
例如,茶杯的“倾斜”位置状态将与液体的容器的空置功能状态兼容（见图4）。
同样,一个是书可读（功能）,只有它现在打开着（物理）。
物理和功能之间的连接状态因果模拟而不需要在系统顶部执行复杂的定性模拟或者常识推理。
替代现实和生成事件链
替代现实在艺术装置的经验是基于事件链的创造以响应印象深刻的因果关系的用户交互。
创造链事件的两个主要原则是修改某些行为的默认的后果和增设新效果。
我们的系统使用一个本体的行为,通过使用的语义特性来代表它产生可选择的影响。
规划形式化（即SIPE形式5）鼓舞了我们的行动表示。
他们涉及相同的展示，依据物体修改（效果）产生的关于物理事件（的原因）及其影响的一种干预的形式。
我们称为这些表达CE（因果）结构。
正如我们前面所描述、CE表示法是不断产生的，通过“分析”低级系统事件之间相应的物理接触的物体放入CE结构,利用对象的语义属性参加那些行动。
图5显示了一个突出表现CE（投掷）行动Tilt-Object（?
）obj1?
obj2）。
它的“触发”部分符合物理事件发起行动（Hit（?
）obj1?
obj2）和“效应”分离行动的后果（事实上,物体在冲击中倾斜）。
“条件”领域符合物理性能，塑造对象参加活动（削减,开灯,等等）。
这些特性的存在是行动的一部分,都是实例化一个CE的必要条件。
一个事件链的产生是基于CE实例的实时改变,当他们的结果被EIS“冻结”时。
从一个正式的角度看,这些改变应该在激活CE影响之上修改CE例子的内容去产生新的事件类型。
这样做，因果引擎依赖以下几个特点：
·对CE和目标的语义表示
·转换CE例子内容的详细步骤
·针对CE转换的控制装置
第一点来源于一个潜在的本体，在这个本体里面所有物体根据组成它们规格的的物理性质（例如柔软的，质量轻，固体等）被区分开来。
这个语义上的规格反过来又决定了某些方案的适用性。
例如，只有易碎的物体才能成为粉碎影响CEs的目标，也只有具有具体形状的物体能够被倾斜对象CE影响。
第二点借助于Macro-Operators（MOps）的概念得以补充说明，MOps的表述是按照转换等级来进行的，它们对于CE的影响做出反应。
MOps等级包括如下所示：
·转换对象，把原来CE作用的目标对象替换为新对象。
·转换效果，修改CE作用后的效果。
·传播效果，在环境下，扩展CE影响至其他语义兼容目标对象。
·连接效果，即是连接两个CE效用。
最后一点，一个控制装置要能够决定对哪个CE进行修改以及哪个修改方案是最佳的。
这个控制装置将能选择一套MOps并将其应用于候选CE之上，但是这个选择标准必须是语义类的。
在我们将要探讨下一部分之前，我们将这个控制装置作为启发式搜索算法的基础。
事件转换
CE将通过一系列实时动作，分析其中原则性修正，从而产生事件链，此类事件链动态产生的基础原则是依赖于类比等级的，这些修正是伴随着MOps在事件上的应用得以完成。
这整个算法用启发式搜索探索了潜在的能力转换空间。
它产生了一系列可能的转换，并根据语义兼容性与空间条件限制性从中选择一种最优的方案出来。
一个衡量中断等级的全局评分系统能够控制这种搜索。
这种观念表明了用户经验的本质，即是，究竟虚拟世界能够脱离现实世界多远···
CE是从中断事件转换中产生因果事件链的重要组件，它的执行总共有四步：
初始化，衍生，评估，选择。
初始化
这第一步包括识别一批兼容的对象，从而效用可以被传播以便产生事件链，它们被初始选择是基于它们的空间存在特性，即是，它们更接近用户的视野。
这里的兼容条件确定了所要选择的对象，而MOps正是通过对这些对象的操作来充当CE作用的替换对象或者通过它们传播CE作用效果。
当初始化完毕，每一动作描述将会独立改变。
然而，为了避免修改之间的冲突，算法将移除对象集中已经在中断事件中涉及到的事件对象。
衍生
伴随着针对“冻结”CE而采取的一系列MOps,具有选择性的效应应运而生。
MOps清单是在线下对因果引擎进行等级区分的，这里，因果引擎将连续执行两个MOps:
交换效果与传播效果。
典型的是，一个MOps应用程序将产生一个“冻结”CE的新情况，并且会修改其效用部分。
在我们的系统中，一个效果或者说效应的辨识是基于其类型，状态，或者其存在的物质性，这里所说得物质性即是效果或效应作用的对象（见下例）。
在对目标进行描述时，我们根据目标不同属性（姿态，运动，结构，功能）划分四种不同的效应结果，而效应是以元组的姿态呈现出来的。
一个MOps将会改变效应的元组对象或者效应区域。
MOps使用对象的声明来确定对象支持哪种效应（见图6）。
对于每一个潜在的状态声明或者每一个效应涉及到的对象，MOps将会产生一个相应的修改方案，例如，如果一个对象支持10种不同的声明，那么一个改变效应MOps将会产生10种潜在的修改方案（就像我们的蜡烛所做的一样），同样地，一个传播效应MOps将会对候选名单里的每一个对象产生一个新的潜在修改方案。
因此，如果四只蜡烛（包括撞到的那只）在使用者的视野范围内，由先前MOps产生的10种方案的清单将会扩展至40种候选清单。
基于这一系列的候选修改方案，更进一步的MOps将会作用于每一个修改方案，这连续的MOps应用程序执行过程中将会产生一个修改空间，对象声明数量以及兼容对象数量的限制在应用程序每一步决定着修改方案空间的分支因素。
衍生的过程将会在所有相关MOps都执行完毕或者整个过程耗时超过50毫秒时终结，考虑到变动的数量将会呈指数形式递增，这个时间阈值将维持一个应答时间以便与虚拟环境要求匹配。
在生成过程的最后，系统将会产生一系列适用于“冻结”CE的潜在变动事件（这些变动事件在搜索空间里以部分路径的形式表现出来），为了最大化用户在因果事件中成为主因的几率，应该评估一下这些可能变动在原始CE中的一致性和关联性。
评估
每一个改变的CE都与初始CE在某些程度上相关联，对于变动事件中涉及到的对象而非默认对象，它们的空间分布值也是计算好的，这些分布值对于每一种转变都以某种合理的方式集合，并以二进制的形式表现出来，我们所介绍的搜索算法正是利用这个分布值的启发式功能来确定最优转换方案的。
每一种变动都可以是三维的，这种变动需要一个反映变动等级的数量值，而这个数量值是通过新旧效应之间的对比产生的，它的强化也是随着对象原始空间位置与新的空间位置之间的差异而产生。
修正值=置信系数*近似值
置信系数应该与修正置信等级相匹配（在我们的例子中，它等价于变动的程度）。
存在这样一个函数，它利用一个简单的矩阵计算这个置信系数，而这个矩阵关联搜索值与潜在的组合（见图7）。
这些搜索值在图7中的取值范围是0-1,0表明MOp产生的修正效应与原始效应相同，而1则表明这种效应完全消失，这也是最不合理的一种结果，例如一支蜡烛倾倒在墙上则会一直保持这种“被卡住的”姿势。
搜索值越小转换的可信度则越高。
置信矩阵通过类推，从一系列动作的潜在结果中识别建立起来。
在后续步骤中，我们将根据用户使用效果反馈修正与矩阵元素相关联的值，这部分将在下面讨论。
然而，突发事件的空间位置也将会影响修正的可信度，正因为远距离事件很少会被认为是相关联的，所以我们用一个表征事件发生点影响程度的近似值来补充这种不足。
近似值0说明目标是原始对象，数量值1则表示最远的对象。
选择
在这最后的一步中，算法用在前一步中计算好的搜索值来选择最接近预先设定好的临界值的修正值。
我们提到的这个搜索值的取值范围在正常情况下应该是0-1，这和全局中断等级是一致的。
例如，如果我们设定中断等级在0.8，算法将会选择一个临近0.8的修正值，并在环境中重新激活，以此代替正常结果（例如，一支蜡烛将会开始燃烧而不是倾倒熄灭）。
换句话说，中断等级可以视为一个搜索阈值，用它可以确定转换的程度。
MOps与启发式搜索的整合提供了一种原始的方法，它允许转换空间的系统化探索。
总体来说，这个系统与设计初衷还是相符合的，并且它加入了大约60-12-毫秒的响应时间（每分钟20-50个中断事件的频率）。
中断事件识别与处理是在40-60毫秒之内完成的，而事件修正时长20-40毫秒。
实验
为了评估系统获取因果感知的能力，我们主持了两个涵盖60个对象的实验，对每一个实验，我们都在计算机上进行了测试。
每次当系统告知他们不同结果时，我们指导实验者重复相近的动作，例如，在我们第一个实验中，用户必须丢掉一个杯子在放着一些东西的桌子上。
这个实验的默认结果是杯子粉碎。
系统产生可能的共现结果，如，杯子在桌子上粉碎，同时桌子表面破损；又如一个杯子倾倒，同时里面的内容物倾洒在桌子上；又或者是硬质菜单从桌子上滑落。
对每一个实验，我们要求实验者在每一次实验结束时立即解释他所表现出的行为。
我们认真分析了他们所给的对于他们所表现出行为的因果解释清单，这些实验表明实验者在70%以上的个人任务中感知到了效果的因果替换。
这两个实验同时引导我们调整验证我们的启发式搜索。
然而，我们目前的工作包括通过引入测量学测量基于相同环境和触发动作延拓。
系统响应与用户体验
正如我们前面所述，中断等级与搜索阈值相符合，根据这个搜索阈值，产生的转变在自然状态（0）与人工状态
（1）之间波动。
我们的系统对这个区间进行离散化，离散为五个中断等级：
无，低级，中级，高级，超高级。
在Gyre和Gimble的世界里，这个系统动态的更新中断等级来描述环境响应。
两个常规参量来描述用户行为：
（用户-对象-近似物）集成用户花在近似物和确定对象上的时间，（用户-活动）反应用户探索世界的行为。
更特别的是，（用户-对象-近似物）在0-1之间取值，并且符合用户与其所能接触到的对象之间的平均距离。
这个度量指标反映用户接触对象的状态。
根据艺术的描述,这可以解释为兴趣或威胁。
（用户活动）代表一种对用户的移动频率与世界相互作用的鉴别。
每隔10到30秒,包括他或她在内的用户的距离和对象的数量，汇编成一个在0和1之间的值,0的值意味着用户几乎是静止的。
中断水平使用一个简单矩阵经常更新（见图8）,增加或减少是响应用户行为，它营造出反应在情感和世界本身的不同的用户体验。
用户通过他或她的行为从而间接地影响振幅值转化。
这是另一个例子关于通过人工智能技术产生更丰富的用户体验。
在其他艺术装置中,水平的干扰受使用者对人造生物的反应的程度度量，他或她可以决定排斥或吸引。
1
一个低的分解水平参数的值（接近0.25）往往导致一些小的改进。
事实上,它们常常是有关一个空间接近或相同类型的对象正常的结果的传播。
例如,书和蜡烛的接触也将产生一个（即，扔）在最接近时的类似的蜡烛。
然而,一个中等水平的中断（大约0.5）通常都是替代或扩展不同的对象默认的后果,这本书上投射的蜡烛,不是原来的蜡烛（见图9,第二个:
行动修改）。
高水平的破坏（接近1.0）影响在用户的视野内产生的效果的类型和整个物体数。
在这个阶段,成为一个相互作用的结果变得难以预测,因为它仍然取决于环境背景（类型、状态,初始事件周围物体的距离）。
在这里,当一些蜡烛开始燃烧和倾斜，将水平触发的打开的书（见图9,第三个:
行为激活）。
这个方法的优势在于它有能力控制用户在不同环境下交互的结果,使用概念可以联系到艺术的意图。
最重要的是,这些原则也支持系统丰富创新过程的生成方面。
我们应用我们的方法全面实施来自两个不同的艺术家的艺术装置。
1,2我们与艺术家开评估会议以：
·获得艺术家的反馈关于如何最终的实现他们早期陈述的交互的思想。
·让他们去试验系统进行形式化的安装的行为。
这些课程帮助我们集中我们的未来的工作分为两个方向。
一是通过发展具体创作工具，很自然地使艺术家更好地获取系统的形式化,。
二是比较系统地探讨这些设施使用者的反应。
最近关于娱乐理论的研究表明在对这种评估的一种可能方法。
传统的互动系统依靠互动事件和脚本结果的直接关联。
这会对数字艺术应用有一些局限性,当执行一个艺术描述强制执行低级事件的规格说明。
这种方法也有灵活性的限制，当涉及引发更丰富的用户体验,如反映用户的全局的行为。
从人工智能观点看，它将会带来两个主要的研究进展。
首先是对高层次的行动一个明确的表示层,支持的行动原则修改的后果。
这些原则是作为艺术描述的一部分来自高层规格系统行为的说明。
例如,GyreandGimble详细介绍因果性并描述各种层次的影响环境的预期行为。
另一个优点是人工智能的方法是产生的特性，丰富了用户体验,简化了创作的过程。
随着虚拟现实艺术的发展,3更加先进的交互性的需求将会变得更破切。
通过第三方的人工智能交互似乎是一个有前途的研究方向,正如,我们一直强调着的装置。
1,2
感谢
本研究部分资金由欧盟委员会通过ALTERNE（IST-38575）项目。
我们感谢MarcLeRenard和JeffreyJacobson参与开发。
升级会员 