1、第2章 媒体及媒体技术1为什么说媒体具有不同的抽象层次? 对媒体的抽象层次和性质进行小结。在获得媒体语义的过程中,抽象起着十分重要的作用,这种抽象是复杂的,而且与任务有关。通常包括若干抽象层,每一个抽象层都包含着与具体的任务和问题域有关的模型。从接近具体感官的信息表示层到接近符号的信息表示层,信息的抽象程度递增,而数据量则递减。语义就是在从感官数据到符号数据的抽象过程中逐步形成的。对不同媒体来说,媒体的语义是处于不同层次上的。抽象的程度不同,语义的重点也就不同。2媒体的空间含义是指什么? 媒体的时间含义是指什么? 媒体的时空综合是指什么? 什么是媒体的时空“上下文”?多媒体信息的空间意义有两种
2、解释。第一种是指表现空间,尤其是指显示空间的安排,目前在大多数研究中指的都是这一类。第二种空间意义是把环境中各种表达信息的媒体按相互的空间关系进行组织,全面整体地反映信息的空间结构,而不仅仅是零散的信息片断。媒体的时间也有两种含义。一是表现所需的时间,这是所有媒体都需要的。第二种时间意义即同媒体的空间一样,媒体的时间也可以包含媒体在时间坐标轴上的相互关系。媒体的时间关系存在于同步、实时等许多方面。空间和时间组成了一个三维的时空坐标系统。时间与空间的联系构成了媒体的时空“上下文”。3媒体的结合为什么会产生“感觉相乘”的效果? 试举几个例子对此加以说明。多媒体的作用在很大程度上是媒体之间结合产生的
3、影响。这种结合可以是低层次的,如在显示窗口中提供多种媒体信息片断,并将视觉、听觉相互结合,造成一种比较适合的媒体表现环境;也可以是高层次的,由各种媒体组成完全沉浸的虚拟空间,但应该如何结合现在还缺乏理论上的指导。媒体之间可以相互支持,也可以相互干扰。如果媒体之间是相互支持的关系,则这种媒体结合所产生的效果就是“感觉相乘”效应。“感觉相乘”的例子很多,比如以视听并举的方式传递信息,比仅仅依靠观察或者解说能产生更好的效果;为了追求更强的沉浸感,虚拟现实环境的构建往往需要综合考虑视觉、听觉、触觉甚至嗅觉等多种感觉。4什么是媒体的语义?什么是隐喻?不考各种媒体的信息在最低层次上都是二进制位流。如果仅仅
4、作为信息的简单通道,系统不必了解媒体的语义,但如果要多媒体系统具有对媒体进行选择、合成等方面的能力,就必须赋予它媒体的语义知识,从而使得系统能在媒体之上对媒体进行比较、选择和合成。媒体被赋予的媒体的语义知识即为媒体的语义。在与多媒体系统交互的过程中,人所依据的是关于这种交互的概念模型,也称心智模型(Mental Model)。这种概念模型的建立往往需要培训和经验,不易于被用户所接受。一种较好的方法是模拟人对其他事物的知识和技能,把它们挪到多媒体系统中使用,媒体的多样性为这种模拟提供了一个很好的基础,这种模拟,就是隐喻技术。5研究声音心理学对声音的处理会带来哪些好处?试举例加以说明。说明掩蔽、临
5、界频带、相位对声音的影响。各种声音可以互相掩蔽,也就是说一种声音的出现可能使得另一种声音难于听清。纸张的沙沙声、鼓掌声、咳嗽声等往往会掩盖说话声和音乐声。一般说来,在掩蔽音条件下,要听清被测量的测验音,就必须提高测验音的强度。由于声音的掩蔽效果,可以欺骗人的听觉。在频率的某一临界区里,各种声音强度是相互作用的,合成声音的响度由这些频率共同决定,但在临界区内不会改变。如果超出临界区,声音的响度不再相互作用,随频率而变。这个临界区就是临界频带,其宽度视其中心频率而定。从声音的波形来看,声音的起点和方向也要反映声音的特性,这就是声音的相位。当两个声音相同而相位完全相反时,它们将相互抵消;当两个声音相
6、同而且相位也相同时,声音就会得到加强。相位的确定对于多声道声音系统的设计非常重要,它可以应用在回声的消除、会议系统的声音设计上等。6声音的数字化过程是怎样的? 什么是声音的符号化?声音在真实世界是模拟的,时间和幅度上是连续的,声音的数字化主要包括采样、量化、编码等步骤。波形声音可以把音乐、语音都进行数字化并表示出来,但这并没有将它看成音乐和语音。对声音的抽象化(即符号化)表示包括两种类型,一种是音乐、一种是语音。声音的符号化即将声音转变为符号序列的过程。7声音的三维化处理所基于的原理是什么?双工理论的作用在何时体现得较为明显、何时又会失效?耳廓模型的建立是为了达到什么样的目标?声音的三维化处理
7、基于的原理是双工理论。人耳对声音定位的特性,通过大脑的综合作用后,对有差别的声音信号进行了相对于空间位置的定位。很显然,如果按此方法使用计算机向人耳提供不同的声音,人的大脑也会综合出声音的位置信息。双工理论过于简单,这一理论实际上是处于一个较理想的状态下,即无反射、无折射和单频率等,但实际上人耳所处的环境比双工理论描述的环境要复杂得多。按照双工理论,人耳应没有在垂直平面的定位能力,不能够区分前后,因为在这些情况下两耳间声音的到达时间差ITD和两耳间声音的强度差IID都几乎为零;而实际上,人耳确实具有这方面的能力,这就是耳廓的作用。耳廓模型的建立,主要为了模拟出人耳的听觉特性,具体来讲,就是模拟
8、如何解析声源的本身信号特征、声源的空间三维位置、声源所处的环境这3个因素。建立正确的耳廓模型有利于创造三维的虚拟听觉空间。8视觉心理学对视觉信息的处理辅助体现在哪些地方?如何利用这些心理学特性?虽然光的物理特性与心理知觉有关,但并不是线性的。把物理波的强度加倍,感受到的亮度却并不加倍。对光的色调和亮度的感觉不仅和它的频率与强度有关,而且还和它出现的背景有关,和同时出现的周围光有关。即使是最简单的物理因素也要受到神经系统的复杂分析,从而产生出复杂的心理知觉反应。将物理性质和心理知觉区分开来,就是十分重要的。在多媒体信息系统的设计过程中,充分考虑视觉心理学特性,能提供更好的人机交互方式。第3章 多
9、媒体数据压缩1如何衡量一种数据压缩方法的好坏? 多媒体数据存在哪些类型的冗余?评价一种数据压缩技术的性能好坏主要有3个关键的指标:压缩比、图像质量、压缩和解压的速度。希望压缩比要大,即压缩前后所需的信息存储量之比要大;恢复效果要好,尽可能地恢复原始数据;实现压缩的算法要简单,压缩、解压速度快,尽可能地做到实时压缩解压。除此之外还要考虑压缩算法所需要的软件和硬件。一般而言,多媒体数据中存在的数据冗余类型主要有以下几种。(1)空间冗余在同一幅图像中,规则物体和规则背景的表面物理特性具有相关性,这些相关性的光成像结果在数字化图像中就表现为数据冗余。(2)时间冗余时间冗余反映在图像序列中就是相邻帧图像
10、之间有较大的相关性,一帧图像中的某物体或场景可以由其他帧图像中的物体或场景重构出来。音频的前后样值之间也同样有时间冗余。(3)信息熵冗余信源编码时,当分配给第i个码元类的比特数b(yi)= .lgpi时,才能使编码后单位数据量等于其信源熵,即达到其压缩极限。但实际中各码元类的先验概率很难预知,比特分配不能达到最佳。实际单位数据量dH(S),即存在信息冗余熵。(4)视觉冗余人眼对于图像场的注意是非均匀的,人眼并不能察觉图像场的所有变化。事实上人类视觉的一般分辨能力为26灰度等级,而一般图像的量化采用的是28灰度等级,即存在着视觉冗余。(5)听觉冗余人耳对不同频率的声音的敏感性是不同的,并不能察觉
11、所有频率的变化,对某些频率不必特别关注,因此存在听觉冗余。(6)其他冗余包括结构冗余、知识冗余等。2数据压缩技术可分为几大类? 每类有何主要特点?根据解码后数据与原始数据是否完全一致进行分类,压缩方法可被分为有失真编码和无失真编码两大类。有失真压缩法压缩了熵,会减少信息量,而损失的信息是不能再恢复的,因此这种压缩法是不可逆的。无失真压缩法去掉或减少了数据中的冗余,但这些冗余值是可以重新插入到数据中的,因此冗余压缩是可逆的过程。有失真压缩法的冗余压缩取决于初始信号的类型、前后的相关性、信号的语义内容等。由于允许一定程度的失真,可用于对图像、声音、动态视频等数据的压缩。如采用混合编码的JPEG标准
12、,它对自然景物的灰度图像,一般可压缩几倍到十几倍,而对于自然景物的彩色图像,压缩比将达到几十倍甚至上百倍。采用ADPCM编码的声音数据,压缩比通常也能做到4181。压缩比最为可观的是动态视频数据,采用混合编码的DVI多媒体系统,压缩比通常可达5011001。无失真压缩法不会产生失真,从信息语义角度讲,无失真编码是泛指那种不考虑被压缩信息的性质的编码和压缩技术,它是基于平均信息量的技术,并把所有的数据当作比特序列,而不是根据压缩信息的类型来优化压缩。也就是说,平均信息量编码忽略被压缩信息语义内容。在多媒体技术中一般用于文本、数据的压缩,它能保证百分之百地恢复原始数据。但这种方法压缩比较低,如LZ
13、W编码、行程编码和霍夫曼(Huffman)编码的压缩比一般为2151。6常用的图像和视频压缩标准有哪些? 它们分别采用什么压缩方法?静止图像压缩标准有JPEG标准和JPEG 2000标准等,其中JPEG的压缩方法包括:(1)JPEG的无损预测编码算法(2)JPEG的基于DCT的有损编码算法而JPEG 2000的压缩改用以离散小波变换算法为主的多解析编码方式,还将彩色静态画面采用的JPEG编码方式、2值图像采用的JBIG(Joint Binary Image Group)编码方式及低压缩率采用JPEGLS统一起来,成为对应各种图像的通用编码方式。视频压缩标准有MPEG压缩标准、H.26L视频编码
14、标准等。MPEG压缩标准中,MPEG-1是以两个基本技术为基础的。一是基于1616子块的运动补偿,可以减少帧序列的时域冗余度。二是基于DCT的压缩技术,减少空域冗余度。MPEG-2标准的压缩编码系统编码有两种方法,其编码输出包括传送流和程序流两种定义流。传送流和协议ISO/IEC11172-1系统定义的流相似;程序流是一种用来传送和保存一道程序的编码数据或其数据的数据流。MPEG-4采用基于内容的压缩编码,将一幅图像按照内容分块,如图像的场景、画面上的物体被分割成不同的子块,将感兴趣的物体从场景中截取出来,进行编码处理。H.26L是一种高效的压缩方法,它集中了以往标准的优点,并吸收了标准制定中
15、积累的经验。H.26L提供包传输网中处理包丢失所需的工具。H.26L在系统层面上提出了一个新的概念,在视频编码层(Video Coding Layer,VCL)和网络适配层(Network Adaptation Layer,NAL)之间进行概念性分割,前者是视频内容的核心压缩内容的表述,后者是通过特定类型网络进行传送的表述。这样的结构便于信息的封装和对信息进行更好的优先级控制。9 MPEG标准系列已有哪些压缩标准? 各有什么特点? 适合用于什么场合下的数据压缩?MPEG(Motion Picture Experts Group),已推出了MPEG(或MPEG-1)、MPEG-2、MPEG-4等
16、系列标准。(1)MPEG-1压缩标准MPEG-1标准(ISO/IEC11172-)的目标是以约1.5Mbit/s的速率传输电视质量的视频信号,亮度信号的分辨率为360240,色度信号的分辨率为180120,每秒30帧。MPEG-1视频压缩技术是以两个基本技术为基础的。在MPEG中,不仅在帧内使用DCT,而且对帧间预测误差也作DCT,以进一步减少数据量。MPEG-1标准包括MPEG系统(ISO/IEC11172-1)、MPEG视频(ISO/IEC11172-2)、MPEG音频(ISO/IEC11172-3)和测试验证(ISO/IEC11172-4)4部分内容。所以MPEG涉及的问题是视频压缩、音
17、频压缩及多种压缩数据流的复合和同步问题。(2)MPEG-2压缩标准MPEG-2标准的系统功能是将一个或更多的音频、视频或其他的基本数据流合成单个或多个数据流,以适应于存储和传送。MPEG-2系统支持五项基本功能分别是:解码时多9压缩流的同步、将多个压缩流交织成单个的数据流、解码时缓冲器初始化、缓冲区管理和时间识别。MPEG-2标准的压缩编码系统是将视频和音频编码算法结合起来开发的。MPEG-2视频体系的视频分量的位速率范围大约为2Mbit/s15Mbit/s。MPEG-2视频体系要求保证与MPEG-1视频体系向下兼容,并且同时应力求满足数字存储媒体、可视电话、数字电视、高清晰度电视(HDTV)
18、、通信网络等领域的应用。分辨率有低(352288)、中(720480)、次高(14401080)、高(19201080)等不同档次,压缩编码方法也从简单到复杂有不同等级。MPEG-2标准详细地叙述了数字存储媒体和数字视频通信中的图像信息的编码描述和解码过程。它支持固定比特率传送、可变比特率传送、随机访问、信道跨越、分级解码、比特流编辑以及一些特殊功能,例如:快进播放、快退播放、慢动作、暂停和画面凝固等。MPEG-2视频标准与ISO/IEC11172-2向前兼容,并与EDTV、HDTV和SDTV格式向上或向下兼容。MPEG-2标准包括MPEG系统、MPEG视频、MPEG音频和一致性4部分内容,是
19、运动图像及其伴音的通用编码国际标准。MPEG-2标准克服并解决了MPEG-1标准不能满足的日益增长的多媒体技术、数字电视技术、多媒体分辨率和传输率等方面技术要求的缺陷。(3)MPEG-4压缩标准MPEG-4采用基于内容的压缩编码,将一幅图像按照内容分块,将感兴趣的物体从场景中截取出来,进行编码处理。MPEG-4具有高速压缩、基于内容交互和基于内容分级扩展等特点,并且具有基于内容方式表示的视频数据。MPEG-4在信息描述中首次采用了对象(Object)的概念。视频对象的构成依赖于具体应用和系统环境。MPEG-4标准满足了随着网络和通信技术的迅猛发展、交互式计算机和交互性电视的逐步应用和视频音频数
20、据的综合服务的发展,对计算机多媒体数据压缩编码的越来越高的要求。第4章 多媒体硬件环境1试述光存储的类型及主要原理。常用的光存储系统有只读型、一次写型和可重写型光存储系统3类。只读型光盘包括LV和CD-ROM(Compact Disc-Read Only Memory)等。CD-ROM只读式压缩光盘,其技术来源于激光唱盘,形状也类似于激光唱盘,能够存储650MB左右的数据。用户只能从CD-ROM读取信息,而不能往盘上写信息。CD-ROM中的内容在光盘生成时就已经决定,而且不可改变。CD-ROM盘常用于存储固定的软件、数据和多媒体演示节目。CD-ROM驱动器除了能读出CD-ROM盘外,还可以用于
21、读取激光唱盘以及柯达激光照片的信息。一次写(Write Once Read Many,WORM)光存储系统可一次写入,任意多次读出。与CD-ROM相比,它具有由用户自己确定记录内容的优点。可重写光盘(Rewritable或Erasable,E-R/W)像硬盘一样可任意读写数据。它又分磁光型(Magnetic Optical,MO)和相变型(Phase Change,PC)两种形式。2CD-ROM、CD-R、CD-RW三种光驱的差别有哪些?CD-ROM是只读型光盘的缩写,其驱动器由光头、聚焦伺服、道跟踪伺服、CLV伺服、EFM解调、错误检测和校正处理6个部分组成。CD-R是一次写、多次读的可刻录
22、光盘系统。CD-R刻录是将刻录光驱的写激光聚焦后,通过CD-R空白盘的聚碳酸脂层照射到有机染料(通常是箐蓝或酞箐蓝染料)的表面上,激光照射时产生的热量将有机染料烧熔,并使其变成光痕。CD-RW是一种可改写的CD,其中RW是ReWritable的缩写。CD-RW的改写性是其最大优点,反射率仅为15%-20%,比较小,因而旧的CD-ROM驱动器不能读出。3什么是MIDI? 它与波形音频的本质区别是什么?MIDI(Musical Instrument Digital Interface)是指乐器数字接口,是数字音乐的国际标准。任何电子乐器,只要有处理MIDI消息的微处理器,并有合适的硬件接口,都可以
23、成为一个MIDI设备。MIDI消息是乐谱的一种数字式描述。与波形声音相比,MIDI数据不是声音而是指令,所以它的数据量要比波形声音少得多。MIDI的另一个特点是,由于数据量小,所以可以在多媒体应用中与其他波形声音配合使用,形成伴乐的效果。对MIDI的编辑也很灵活,在音序器的帮助下,用户可以自由地改变音调、音色等属性,直到找到自己想要的效果。波形文件就很难做到这一点。但是,MIDI的声音尚不能做到在音质上与真正的乐器完全相似,在质量上还需要进一步提高;MIDI也无法模拟出自然界中其他非乐曲类声音。4视频卡与音频卡的核心部件是什么?视频卡与音频卡的核心部件是编解码芯片,主要完成视频或音频信号的模数
24、/数模转换,压缩/解压缩等功能。从结构上分,音频卡可分为模数转换电路和数模转换电路两部分,模数转换电路负责将麦克风等声音输入设备采到的模拟声音信号转换为电脑能处理的数字信号;而数模转换电路负责将电脑使用的数字声音信号转换为喇叭等设备能使用的模拟信号。一般音频卡由下列部件组成:MIDI输入/输出电路;MIDI合成器芯片,用来把CD音频输入与线输入相混合电路;带有脉冲编码调制电路的模数转换器,用于把模拟信号转换为数字信号以生成波形文件;用来压缩和解压音频文件的压缩芯片;用来合成语音输出的语音合成器;用来识别语音输入的语音识别电路,以及输出立体声的音频输出或线输出的输出电路等。5触摸屏可以分为哪几类
25、,各自的特点是什么?【特点不考】触摸屏按安装方式分,可分为以下4种。外挂式:由用户自行把它挂到显示器的屏幕前,而且随时可以拆卸。内置式:需拆卸显示器的外盖,把传感器夹在荧光屏玻璃与外盖之间。整体式:传感器本身与显示器为一体的配置。投影仪式:安装于大型投影屏前,可通过在投影屏的触摸来写字、绘图以及控制计算机流程等。从结构特性与技术分有以下不同类型,包括红外、电阻膜、电容、表面声波、压力矢量等多种类型。红外触摸屏原理是当用户触模屏幕时,手指会挡住经过该位置的横竖两条红外线,从而利用x、y方向上密布的红外线矩阵来检测并定位用户的触摸位置,执行该位置的图标或热点、热键。其主要特点是清晰度好,透光性高,
26、防刮擦能力强,但其分辨率低,反应速度慢,不够美观。电容式触摸屏的原理是用户触摸屏幕时,由于人体电场,手指与导体层间会形成一个锅台电容,四边电极发出的电流会流向触点,而电流的强弱与手指及电极间的距离成正比,位于触模屏幕后的控制器便会计算电流的比例及强弱,准确算出触摸点的位置。其主要特点是分辨率较高,反应速度较快,寿命较长,但怕硬物敲击,易受电磁干扰。电阻触摸屏的原理是当手指触摸屏幕时,两层导电层在触摸点位置就有了一个接触,控制器侦测到这个接通并计算出x、y轴的坐标。其主要特点是反应速度快,寿命长,不受电磁干扰,但怕锐器。表层声波技术触摸屏的原理是当手指接触屏幕,便会吸收一部分声波能量,控制器依据
27、减弱的信号计算出触摸点的位置。其主要特点是纯粹玻璃屏不怕刮擦和用力,寿命长,精度高,清晰透亮,还有压力轴响应。压感触摸屏是在屏幕四角装上压力感应仪,当对触摸屏施加压力时,会由此引起感应仪电阻抗的变化,通过监测这些变化,就可计算出触摸点的确切位置和用力大小。电磁感应触摸屏是基于笔输入式PC的主流技术,在笔尖上安装的一个非机械式开关将电容变化转变为频率变化,此开关还可使笔传感120级压力。6扫描仪的主要性能指标有哪些?扫描仪的技术指标主要有以下一些。(1)原稿种类:透射或者反射原稿,连续调试线条稿,阳图或阴图原稿均可扫描分色。(2)扫描分辨率:决定了扫描仪的精度,分辨率越高,采样图像的清晰度也就越高。包括光学分辨率和间插分辨率。光学分辨率(采集到的图像细节数量)是要考虑的首要因素。光学分辨率取决于扫描头里的CCD数量。间插分辨率取决于扫描仪的硬件和软件。(3)色彩精度:即用灰度级表示每一基色的深浅程度。(4)扫描速度:扫描图像所需时间。(5)其他参数:包括阶调、灰阶、鲜锐度、色彩再现能力、接口标准等。7投影仪有哪几种基本类型?【不考】投影仪可分为间接投影仪、直接投影仪两类。间接投影仪如幻灯机、传统投影机等,只能正投,适用于20人左右、100英寸以下的投影;直接投影仪如单枪投影仪、三枪投影仪等。单枪投影仪除了正投
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1