虚拟人技术的手语合成系统.docx

1、虚拟人技术的手语合成系统虚拟人技术的手语合成系统一.虚拟人建模1.概述手语是一种可视语言，合成的手语需要用图形或图像的方法显示出来，观察者才能“读”取手语的信息与意义。虚拟人是完全由计算机表示，看起来像真人的图形实体，这就要求虚拟人要做的逼真，并且能正确的模拟人类的各种动作。2.虚拟人建模的常用方法虚拟人建模有以下几种常用方法：棒模型：使用棒元素来表示人体轮廓，这种表示方法表示的真实感较差，但由于其模型简单，显示的速度比较快，一般在研究中研究运动模型的时候使用。表面模型：是由一系列多边形或曲面片的表面将人体骨骼包围起来来表示人体外形。主要有多边形法（Polygon），Bezier曲面法和有限元

2、法（FEM,Finite Element Method）。多边形法：该方法把人体表面分解成多边形，然后消除隐藏面并着色以达到逼真的程度。Bezier曲面法：将人体的每一个部位定义成一个Bezier曲面集，并把这些曲面光滑地连接在一起，用Bezier曲面集的坐标变换来模拟与人体活动相一致的自然的皮肤变化。有限元法：采用大量图元，利用有限元理论的数值模拟计算法。用多边形表示的表面模型虽然可以通过修改表面点来表示人体部位的运动，也可以消除其隐藏面，真实感较强，但有限的多边形面表示人体表面光滑型不够。使用Bezier曲面的表面模型方法比较逼真，但是，处理的数据量十分庞大，时间和空间开销很大，并且建立光

3、滑连接的皮肤活动模型难度较大体模型有基本体素的组合来表示人体的外形，基本体素可以是圆柱体，椭球体，球体等。宋顺林等采用了一种多面体胶接的方法来模拟人体的外型：人体外型是由各个部位和相应关节组合而成，每个部位用部位多面体来模拟，相应关节用关节多面体来模拟，部位体是由多个多边形组合而成，并且具有体积，而关节体是没有厚度的两个重叠的多边形构成的多面体。设计思想如下：每个部位体都为一多边形棱柱，组成该棱柱的多边形称之为片，片类似于人体的横截面，将相邻片之间定点连接起来就构成了多边形棱柱如下图所示：如图所示：A1B1C1D1, A2B2C2D2, A3B3C3D3为该多面体的片。关节体为仅有一多边形组成

4、的体结构，该多边形的顶点为关节部位的特征点，选取的特征点数应与上下部位体片多边性相一致将多面体相邻的面的对应顶点连接就产生棱，擦除相邻的面，两个实体就胶接为一个实体，对每两个相邻的面都重复这样的过程，就可以产生初始的粗略人体。3.VRML语言Internet上第一个浏览器发行不久,Virtual Reality Markup Language (VRML) 成为Internet上虚拟现实的3D 标准。它的传输协议同于World Wide Web (WWW) 上的传输协议(HTTP) ,文件格式是Open Inventor 的Inventor 文件格式的子集。1994 年在瑞士日内瓦举办的Wor

5、ld Wide Web 会议上VRML作为一个3D Web 标准被提出,VRML 这一缩写改为代表“Virtual Reality Modelling Language”这一术语,更贴切反映了VRML 的本质。通过用建模语言来构造计算机可操作的对象以反映外部世界。这和大多数图形软件的构造对象的模式有异曲同功之处。有于时间上的紧迫,VRML 协议创建者中的大多数赞成用SGI 公司的Open Inventor 的文件格式作为VRML1. 0 的文件描述规范。这样Open Inventor 的一个子集加上网络功能,成为VRML1. 0 的主要组成部分。在1995 年春,SGI 推出了第一个VRML

6、浏览器WebSpace ,可用来浏览VRML1. 0 所构造的虚拟世界。VRML 的设计者想使它成为一种在Internet 上具有交互性和多方参与性的分布式虚拟现实标准建模语言。这就要求它具有平台独立性,可扩展性。VRML1. 0 实际上只是这些要求的部分实现。它能展现三维图景,用户也可在其中漫游,但环境只提供有限的交互性。1996 年优秀3D 图形技术会议上,随着VRML2. 0 的确定,VRML 所构造的虚拟世界更接近真实世界。VRML2. 0 支持SGI 提出的MovingWorlds 建议,使它更具有交互性。在虚拟世界中,漫游者可以操纵灯的开关,招手Taxi ,可以听到有远及近的火车汽

7、笛声。并且,VRML2. 0 采用Apple 公司平台独立的3D 图元格式(3DMF) 技术对.wrl 文件进行压缩,以实现更快的在Internet 上传输3D 虚拟世界。VRML是Web技术发展的一个重要里程碑，它有如下的特点：以VRML为核心的第二代Web不同于以HTML为核心的第一代Web技术。它把VRML与HTML, Java媒体信息流等技术有机的结合起来，形成一种新的三维超媒体网页。它展示给用户一个交互，三维，动态，逼真的世界。（1）它是一个3D造型和渲染的图形描述性语言，用普通的文本编辑器就可以编写出来，也可用专门程序生成或变换而得到（2）它的图形渲染是实时的（3）它是面向网络的语

8、言：它是应网络而生，随网络而发展；传输的是小容量的.wrl等格式的文件，并且支持gzip压缩，使得文件可以缩减到.wrl格式的文件的十分之一（4）它并不是一种编程语言，而是一种标记语言，其中定义了构成3D景象的基本元素。所以它的执行不需要任何编译，只要将ASCII文件送到VRML浏览器去解释并将所描述的场景现实与屏幕上。通过VRML浏览器，用户能再一个虚拟场景中自由移动，还能与其中的实体相互交互，并且通过超链接还可以到达另一个新的三维世界。（5）VRML与软硬件平台无关，是一个开放的标准。VRML是在Internet上构造和共享虚拟世界的一个强大工具。通常需要专门的应用程序或浏览器的plug-

9、in来查看。VRML中由一个专门的子标准描述虚拟人模型，称为H-anim(Humanoid Animation)，完全遵循VRML语法，可以方便的在Internet上表示并共享三维虚拟场景和虚拟物体。3.1 VRML的语法介绍VRML文件中的主要成分包括VRML文件头，原型，造型，脚本和路由等，这些也不都是必需的，就是说并不是每一个VRML文件都必须包含这五个成分，根据我们所编写的VRML程序不同，包含的成分也不同。不过VRML文件头是必需的，语法如下：#VRML V2.0 utf8该文本行必须位于VRML文件的第一行，必须按照其语法形式出现，不得更改。造型物体的造型既场景图，场景图由描述对象

10、及其属性的节点组成。节点由两部分组成：第一部分为视觉和听觉所表现的对象，按层次体系结构组织而成；第二部分为参考事件和路由机制，这部分为交互提供的功能。节点是现实世界中各种对象和概念的抽象描述，它是VRML文件中最基本的组成部分。节点中的属性称为域，属性的值称为域值。每种节点都有自己的一套域，域中定义了节点的各个属性。通过修改节点的域的域值就可更改该节点的属性，进而改变VRML场景。节点的类型有主要有以下几种：形态和几何节点：这些节点构造出原始的物体造型，有以下几种：Box（长方体）Cone（圆锥）Cylinder（圆柱）IndexFaceSet（索引面集）IndexLineSet（索引线集）P

11、ointSet（点集）Sphere（球体）Text（文本）几何属性节点Color（颜色）Normal（法向量）Coordinate（坐标）Orientation（朝向）Position（位置）外观节点Appearance为Shape节点指定材质和纹理组节点Group（组）Transform（变换）Group和Transform的区别是Transform可以进行新坐标系的平移，旋转和缩放；而Group节点是在原有坐标系中，并没有产生新的坐标系其中，有一些节点还可以做其他节点的子节点，这样就可以把一个场景图变成一颗树域可以包含各种类型的数据和单个或是多个的值。每个域都有缺省值。有两类常见的域，一类

12、只包含单值；域名以SF开始；另一类包含多个值，叫多值域，名称以MF开始。表示多值域的方法是一系列用逗号和空格间隔开的单值，整个用方括号扩起来。每个域都有缺省值。域的类型有下面几种：SFBool：布尔型变量 值能取TRUE和FALSESFColor：颜色变量，和RGB值一样，有三个0.0-1.0的浮点型变量组成SFFloat和MFFloat：分别表示一个和多个ANSI C格式的单精度浮点数SFImage：含有非压缩的二位彩色图像或灰度图像SFInt32和MFInt32：分别表示一个和多个32位整数SFNode和MFNode：分别包含一个和多个节点SFRotation和MFRotation：SFR

13、otation规定一个绕任意轴的任意角度的旋转，包含4个浮点数，前三个数代表旋转轴，第四个数代表绕上述旋转轴旋转的弧度SFString和MFString：SFTime和MFTime：SFVec2f和MFVec2f：定义一个和多个二维向量SFVec3f和MFVec3f：定义一个和多个三维向量下面以Transform节点为例说明一下 每一个Transform节点都创建一个相对已有坐标系的新坐标系，并且该节点所包含的空间造型都是在这个新的坐标系的基础上创建的。其语法定义如下：Transform eventIn MFNode addChildren eventIn MFNode removeChild

14、ren exposedField SFVec3f center 0 0 0 exposedField MFNode children exposedField SFRotation rotation 0 0 1 0 exposedField SFVec3f scale 1 1 1 exposedField SFRotation scaleOrientation 0 0 1 0 exposedField SFVec3f translation 0 0 0 field SFVec3f bboxCenter 0 0 0 field SFVec3f bboxSize -1 -1 -1 原型节点的原型是

15、节点对其中的域，如事件和出事件的声明，用户可以通过原型扩充VRML节点类型集。原型的定义可以包含在使用该原型的文件中，也可以在外部定义。原型的例子将在后面看到。脚本脚本是一套程序，通常作为一个事件级联的一部分而执行。路由路由是产生事件和接收事件的节点之间的连接通道。路由不是节点，路由说明是为了确立被指定的域的事件之间的路径而人为设定的框架。路由说明可以在VRML文件的顶部，也可以在文件节点的某一个域中。3.2H-Anim介绍 H-Anim制定了一个标准，这个标准能用标准的VRML语法来定义人体。这个标准的目标是：兼容性：虚拟人应该能在VRML兼容的浏览器中运行弹性：没有规定某种类型的程序来使用虚拟人简单性：可以被以后扩展人的身体包括很多段（Segment）（像前臂，手和脚），这些段由关节(Joint)相连（像肘，腕和踝）。为了使虚拟人动起来，我们需要获得关节并且改变关节的角度，并且还必须知道关节角度的限制和段的质量。一个H-Anim文件包括一批关节节点，这些关节节点形成了一个体系：每个关节节点可以包含其他关节节点，也可以包含和这个关节有关联的段节点。每一个段节点也可以包含许多site节点，它定义了和段节点的相对位置。Site节点可以用来表示衣服和饰品。每个段节点也可以包含很多Displacer节点，他详细指出了段中的哪些顶点具有某种特征。文件还包括一个