多媒体技术与应用视频课件PPT(8).ppt

1、第十二章 多媒体新技术展望 介绍多媒体技术相关的几个研究热点nMPEG-21标准n智能交互设备n虚拟现实技术nWhat next?12.1 MPEG-21标准n信息技术的发展要求有统一的标准来规范交流行为,使用户能得到更多的信息提供源,并扩大网络电子交易的机会。nMPEG组织在1999年10月墨尔本会议上提出了MPEG-21(多媒体框架)的概念并试图用多媒体框架将各种服务综合在一起并进行标准化。n MPEG-21的最终目标是协调不同层次间的多媒体技术标准,建立一个交互式的多媒体框架,此框架能够支持各种不同的应用领域,允许不同用户使用和传递不同类型的数据，并实现对知识产权的管理和数字媒体内容的保

2、护。n根 据 2000年 3月 的 MPEG会 议 报 告,最 初 希 望MPEG-21能包含6个方面：用户需求；内容之间的相互作用；内容的描述；内容的认证；知识产权管理和保护相关技术；终端和网络。n随后的2000年6月会议中进一步定义了多媒体框架的范围，将工作放在10个主题：网络传输；服务质量和灵活性；内容质量；使用方便；媒体物理格式的相互协调能力；支持/订阅模式；内容的查询、过滤、定位、恢复和存储；消费内容的公布；消费者的使用权；消费者的隐私权.2001年1月在意大利召开的MPEG第55次会议中,决定把多媒体框架暂时浓缩到以下几个方面：n数字项目说明(Digital Item Declar

3、ation)n内容表示(Content Representation)n数字项目的标识与描述(Digital Item Identification and Description)n内容管理与使用(Content Management and Usage)n知 识 产 权 管 理 与 保 护(Intellectual Property Management and Protection)n内容发送与终端及网络(Terminals and Networks)n事件报告(Event Reporting)。多媒体电子商务系统的用户模型 nMPEG专家组还就如下几个问题达成一致意见：(1)MPEG-

4、21中,对用户的定义取决于他们在交易过程中担当的角色,无论是信息的提供方还是信息的接受方,或是传递信息方都是用户。他们都是电子商务的主体之一,地位平等,并可在不同的交易中担当不同的角色。(2)MPEG-21中,联系用户并使用户之间发生相互作用的称为内容。对内容的使用包括对内容施加的操作,如内容的建立、定位,内容的传送、收集、发布、提交,内容的消费等。(3)数字化条目声明部分已由需求阶段转移到规范阶段，等收集到数字化条目认证和描述的相关建议和对版权数据字典、版权描述语言的需求方面的建议之后,在作进一步讨论。(4)深入发展MPEG-21工作计划,包括研究多媒体框架组成部分之间需要哪些认证,是否遗漏

5、掉了某些现有的认证技术等,从而增强MPEG-21的能力。(5)调研其它标准化组织在多媒体处理方面的相关措施,与这些组织联系,为MPEG-21的进一步发展创造更多的机会。MPEG-21与电子商务n无论从MPEG-21的初衷还是它所包含的内容来看,无一不在为电子商务做铺垫。2001年1月的会议上更进一步指明MPEG-21要和电子贸易紧密联系,建立数字多媒体内容交易的电子贸易环境。n从电子商务的角度来看,我们更容易理解MPEG-21所涉及的内容和应当解决的问题：(1)网络方面的问题。网络作为底层的传输媒体,它的性能直接关系到整个上层应用的效果。因此,首先要保证高质量的传输网。(2)内容方面的要求。内

6、容必须具有权威性、健康性、真实性和完整性,所标明的内容的价格应和内容本身的价值相匹配。用于交易的内容应能为用户提供详细的相关内容的介绍和查找,以便消费者决定是否购买。(3)相关服务。所提供的服务是为了及时响应消费者需求。消费者在网上购买商品时,能快速地检索到商品的地点、价格、提供方及其可靠性。同时消费者应知道自己对消费内容所享有的权利,如所有权、使用权、拷贝权、编辑权和传递权。消费者购买商品后，应有凭据来证明消费者已经付费。(4)安全性问题。它需要保证网络传输过程中内容不被破坏、修改和丢失;在保证交易合法的基础上,交易双方都需要认证对方的身份。n上述问题与MPEG-21正考虑解决的内容不谋而合

7、。电子商务中的买方、卖方、中介方在MPEG-21中统称为用户；买卖的商品在MPEG-21中属于数字化条目的部分；涉及的买卖行为在MPEG-21中被称为使用(Use)。下图表示电子商务的交易过程.用户1电子化(交易物品,身份,交易过程等电子化)网络管理(提供内容的数字化、查询、定位、传输、交易，电子物品的实时传输、存储、交易)认证机构(认证用户身份、交易物品、交易过程及用户支付的电子货币)用户2用户n MPEG-21对电子商务存在的问题n网络方面:MPEG-21决定由相关网络协议以及MPEG-2、MPEG-4中的成熟技术予以支持。n内容方面:MPEG-21已做明确的要求,具体实现正在探讨中。相关

8、问题主要集中两个方面:一是对查询问题的研究,考虑用MPEG-7的特征描述来解决。另一方面是对版权保护起关键作用的信息隐藏技术的研究。专家们分歧较大,但认为身份验证和版权保护必不可少。因此,认证问题应是多媒体框架的重要部分。nMPEG-21标准正在探讨中,对MPEG-21包含的内容方面意见比较统一,内容划分和侧重点方面差异较大。随着研究的深入,MPEG-21标准问题都会得到解决,在此基础上的电子商务也会得到越来越广泛的应用。12.2 智能交互设备 n人机交互中文字的输入方法对使用计算机的效率有重要影响。n文字输入技术大致可分为3大类：键盘输入法;手写输入法;语音识别输入法。n键盘输入是最早使用的

9、文字输入方法,而且目前仍然是主要使用的输入技术。光学字符识别(OCR)nOCR技术主要研究计算机自动识别文字的技术。nOCR系统涉及数字图象处理、模式识别和人工智能、认知心理学、体系结构等许多领域。n一个OCR系统可分为3个部分:(1)预处理部分;(2)识别部分;(3)后处理部分n汉字OCR的基本方法有以下3类:(1)象素统计法(2)结构分析法(3)智能识别法 字符识别系统工作原理预处理 模式表达测度估计 字典 判决图象输入识别输出语音交互技术 n语音识别技术研究起步较晚,大规模的研究起始于70年代初期,近年来已取得长足的进展。n1997年秋季,IBM公司推出的中文语音识别系统Viavoice

10、听写系统,Viavoice充分运用了在语音识别、模糊处理和人工智能方面的最新成果，能够把不同人的连续语音流自动识别、转化为计算机文字信息。语音识别与合成系统原理 预处理声学参数分析语音库测度估计知识库判决语音单元字典语言规则连接规则语音输入识别输出文本输入发音代码语音输出(a)语音识别系统原理(b)语音合成系统原理12.3 虚拟现实技术 n虚拟现实(VR)或称虚拟环境(VE)是由计算机生成具有临场感觉的环境，它是一种全新人机交互系统。n虚拟现实技术本质上说是一种高度逼真地模拟人在现实生活中视觉、听觉、动作等行为的交互技术。n1968年，Ivan Sutherland研制出头盔式显示器(HMD)

11、、头部及手跟踪器，是用于虚拟环境技术的最早产品。n八十年代末以来随着计算机图形软硬件技术、数字信号处理技术、传感技术和跟踪定位技术与数据手套等三维交互设备的成熟，VE设备价格下降，使VE技术普及成为可能。模型与系统构成 n从系统的角度来说是显示/检测模型。显示指系统向用户提供各种感官刺激;监测指系统监视用户的各种动作,即感知并辩识用户的视点变化及头、手、肢体的动作。n从用户角度来看是输入/输出模型。用户接受系统提供的各种感官刺激(输入);用户动作被系统检测(输出)。n当前VE提供的感官刺激主要为视觉、听觉与部分触觉。同时,VE中还提供了检测用户的各种动作的检测装置。n典型的虚拟环境系统由头盔式

12、立体显示器、数据手套和计算机构成。VR参考模型用户 感觉器官 肌肉 虚拟环境(感觉刺激)(用户动作)VE提供的各种感官刺激感官刺激 说 明 显 示 视觉感知可见光图象生成系统，光学或显示屏听觉感知声波计算机控制的声音合成器耳机喇叭嗅觉感知空气中化学成分气味传递装置味觉感知液体中化学成分尚未实现触觉 触觉皮肤感知的触摸，温度，压力，纹理等 触觉传感显示器，弱力或温度变化 动觉肌肉，关节，腱感知的力 中到强的力反馈装置身体感觉感知肢体或身驱的位置和角度变化 数据衣服 前庭感觉平衡感知，由内耳感知头部线性加速度和角加速度 动平台 检测用户的各种动作与检测装置 用户动作 检测装置 头部运动肢体或躯体运

13、动指头动作眼球转动语言 使力 头部跟踪装置跟踪器,力反馈装置,空间球数据手套,按钮装置,操纵杆,键盘眼球跟踪器语言识别装置带力传感器的力反馈装置 n虚拟现实造型语言(VRML)是一种用来描述WWW页面上三维交互环境的文件格式。VRML同HTM一样,是运行于WWW上的页面描述语言。n它与HTML不同:以HTML为核心的Web浏览器浏览的是二维世界,而以VRML为核心的Web浏览器浏览的是三维世界,用户可借助鼠标进入这个三维世界内游览而不是象在二维世界里“一页一页”地显示。n体验三维世界需要能接收和再现VRML文件的浏览器。目前有2种类型:一种是插入型,把VRML浏览软件插入到HTML浏览器;另一

14、种是单独的VRML浏览器。虚拟现实造型语言(VRML)(1)实时、限时三维动画技术;(2)临场感技术(包括宽视场立体显示技术,基于自然方式的人机交互技术等);(3)快速、高精度三维跟踪技术;(4)辩识技术;(5)传感技术。实现VR的关键技术n虚拟现实技术结合了人工智能、多媒体、计算机动画等多种技术,应用范围很广。n虚拟现实技术包括软件和硬件两部分的支持。虚拟现实技术的软件支持：(1)复杂的逻辑控制的实现;(2)模拟实时的相互作用;(3)模拟人脑所有的智能行为;(4)模拟复杂的时空关系,涉及时间与空间的同步等问题;(5)感觉的表达，包括人的听觉、视觉、触觉、味觉和嗅觉的计算机表达;(6)实时的数

15、据采集、压缩、分析、解压缩;(7)支持与虚拟环境交互的定位、操纵、导航等工具。虚拟现实技术的硬件支持：(1)数据存储设备要求,动画图象存储需要更大存储容量的设备;(2)显示设备大体可分平面的与立体的两大类,因为平面的显示设备不能很好地模拟现实环境,所以主要是针对立体显示设备而展开的,包括双筒全方位监视器,工作室和头盔显示器;(3)数据采集与处理系统；(4)虚拟环境技术的操作设备。虚拟现实技术存在的障碍n从硬件上讲,数据存储设备的速度、容量还十分不足,而显示设备的昂贵造价和它显示的清晰度等问题也没能很好地解决。n从软件讲,由于硬件的诸多局限性,使得软件开发费用十分惊人,而且软件所能实现的效果受到计算机时间和空间的影响很大。n另外,人们对人脑和人类行为的认识还需进一步提高。本章小结 本章讨论当前多媒体技术相关的热点。n多媒体标准的新进展;n介绍了智能交互设备的研制结构、工作原理以及面临的困难;n虚拟现实技术概念、实现模型和关键技术。上述问题的解决能对多媒体领域产生重大影响。