多媒体与通信技术重点.docx

1、多媒体与通信技术重点1. 多媒体的概念，特性，多媒体的范畴，多媒体应用和Internet应用，多媒体通信技术 多媒体：融合两种以上媒体的人机交互信息交流与传播的媒体。 多媒体信息都是以数字形成而不是以模拟信号的形势存储和传输的，即数字表示媒体。 多媒体技术的特点：集成性、交互性、多样性。 多媒体计算机（MPC）是在个人计算机的基础上融合高质量的图形、立体声、动画等多媒体而组合的软硬件系统。多媒体通信技术是多媒体技术、计算机技术、通信技术和网络技术等相互结合和发展的产物。2. 彩色表示的三要素：亮度、饱和度、色调3. 乐音合成技术包括调频合成和波形表合成 调频合成法：数字式频率调制合成法。FM电

2、子合成器先由震荡器产生一个载波作为基音，然后再产生若干个调制波带着许多泛音加在载波之上，可以对这个组合加以任意调整，然后加上典型的声音包络线，再通过数控滤波器和数控放大器送往数字/模拟转换器，从而形成最后的声音。波形表合成：也叫乐音样本合成法，就是把各种真实乐器发出的声音以数字的形式记录下来，形成波形表，播放时调用相应乐器的波形记录，改变播放速度，从而改变音调周期，生成各种音阶的音符。4.电视信号扫描：行|场正程，逆程;逐行扫描，隔行扫描 电子束从左至右、从上至下逐行依次扫描的方式称为逐行扫描。从左至右的扫描称为行扫描正程。从右至左的扫描称为行扫描逆程。 隔行扫描是指将一帧图像分成两场进行扫描

3、，第一场扫描奇数行，称为奇数场，然后再扫描偶数行，称为偶数场。两场叠加起来就是一帧完整的图像。5.声音文件，已知采样频率，量化精度，计算波形文件大小。计算图像，视频文件的存储空间大小。6.分辨多媒体数据中包含的各种冗余：空间冗余，时间冗余，视觉冗余，信息熵冗余 空间冗余：同一副图像中，规则物体和规则背景的表面物理特性具有相关性，这些相关性的光成像结果在数字化图像中就表现为数据冗余。人们通常将其视为一个整体，从而达到数据压缩的目的。时间冗余：反应在图像序列中就是相邻帧图像之间有较大的相关性，一帧图像中的某物体或场景可以由其他帧图像中的物体或场景重构出来。结构冗余：有些图像从大域上看存在着非常强的

4、纹理结构，我们称它们在结构上存在有冗余，也成纹理冗余。知识冗余：有许多图像的理解与某些基础知识有相当大的相关性，这些规律性的结构可由先验知识和背景知识得到，我们称为知识冗余。视觉冗余：在记录原始图像数据时，通常假定视觉系统是线性的和均匀的，视觉敏感和不敏感部分同等对待，从而产生了比理想编码更多的数据，这就是视觉冗余。听觉冗余：人耳对不同频率的声音的敏感性是不同的，并不能觉察所有频率的变化，而受环境的影响，声音之间还存在掩蔽效应。因此对某些频率不必特别关注，存在听觉冗余。信息熵冗余：实际中各码元的先验概率比特分配不能达到最佳，实际单位数据量平均码长大于压缩极限，即存在信息冗余熵。7.影响视频质量

5、的主要因素8.MIDI的相关内容(第二章) MIDI乐器数字化接口，是用于音乐合成器、乐器和计算机之间交换音乐信息的一种硬件和软件国际标准，它指示合成器要做什么，怎么做。MIDI不是声音信号，在MIDI电缆上传送的不是声音而是动作指令。 单个物理MIDI通道分为16个逻辑通道，每个逻辑通道各指定一种乐器。 MIDI文件实际上是一张表格，它描述了各种音符以及这些音符的播放及延时，所以MIDI文件比WAV文件要小得多。 MIDI文件的主要缺点是处理语音能力差，缺乏重现自然语言的能力，不能独立合成，可将WAV文件与MIDI文件配合使用。9.国际上常用的三种视频制式：PAL,NTSC,SECAM,它们

6、的特点，信号调制方式。我国采用的PAL制（场频等参数）。PAL（逐行倒相正交平衡调幅制）制式电视信号的特性：（1）625行帧，25帧/秒（2）每场中有25行作为场回扫，所以每帧中只有575行是有效的（3）高宽比： 4：3（4）隔行扫描，2场/帧，321.5行/场（5）颜色模型：YUV（6）西欧、中国、英国、印度、朝鲜等国家使用 NTSC （正交平衡调幅）制式： （1）525行/帧，30帧/秒 （2）高宽比： 电视4：3，电影3：2，高清晰度电视16:9 （3）隔行扫描，一帧分为两场，262.5行/场 （4）每场开始部分保留20扫描线作为控制信息，因此只有485条线的可视数据 （5）每行63.5

7、us，水平回扫时间10us，显示时间是53.5us （6）颜色模型：YIQ （7）美国、加拿大等大部分西半球国家以及日本、韩国、菲律宾、台湾等使用。 SECAN （顺序传送彩色与存储制）电视信号： 采用625条线和25帧，与前两个差别：色度信号是频率调制，而且它的两个色差信号（红色差、蓝色差）是按行的顺序传输的。 法国、俄罗斯及东欧和中东国家采用这种制式。10.MPEG-1图像序列的组成：I帧，P帧，B帧，它们的相关概念，应用。各自采用的压缩算法。 I图像帧是一种帧内编码图像帧，它是利用一帧图像中的像素信息，通过去除其空间冗余度而达到数据压缩的目的。 P图像帧是一种预测编码图像帧它是利用前一个

8、I帧或P帧，采用带运动补偿的帧间预测的方法进行编码。该图像帧可以为后续的P帧或B帧进行图像编码时提供参考。 B图像帧是一种双向预测编码图像帧。它是利用其前后的图像帧进行带运动补偿的双向预测编码而得到的。它本身不作为参考使用，所以不需要传送，但需传送运动补偿信息。11.MPEG1视频码流的分层结构 序列层、图像组层、图像层、片层、宏块层、块层12.各种常用的图像文件格式的特点。如：JPG,GIF支持交叉存储或累进显示。 BMP 是一种非压缩的文件，支持124bit色彩，文件比较大不便于网上传输。 TIFF文件可以压缩也可以不压缩，支持游程编码、LZW、JPEG等多种压缩方式，广泛应用于桌面发布、

9、传真、3D应用程序和医学图像应用程序中，传统图像印刷。 GIF主要用于记录一些重要的图像资料如尺寸、颜色、缩码等。颜色数少，形成文件较小，广泛支持Internet标准，适合网页使用。GIF图像文件以数据块为单位来存储图像信息。采用了LZW无损压缩算法存储数据，支持图像数据的交叉存储方式。 JPEG是一种高度压缩的全彩色图像格式，常用来压缩存储批量图片。它支持无损压缩编码和有损压缩编码。它的无损压缩编码基于预测算法的编码，有损压缩的编码基于离散余弦变换算法。允许用户设定需要的质量等级即压缩率。具有渐进式支持交错功能。每保存一次JPEG文件都会再次降低图像质量。 MPG运动图像文件常用文件格式，压

10、缩比高。 AVS、AVI视频和音频交替存放文件。AVS文件格式能支持多个数据流同时操作，AVI实现音视频同步播放。13.位图，矢量图的区别 矢量图是对图像抽象化的结果，反映图像最重要的特征，以指令集合的形式出现。矢量图是用数学方法来表示一幅图像。缩放、旋转、移动时不会失真；存储和传输时数据小；图像显示花费时间长；真实世界的彩色图像难以转化为矢量图。 点位图是把一副彩色图像分成像素，每个像素用二进制位来指定该像素的颜色、亮度或灰度值和属性。显示速度快；真实世界的图像可通过扫描灯转化为点位图；存储和传输时数据量大；旋转、缩放时容易失真。14.衡量数据压缩技术性能的重要指标：压缩比；恢复效果；算法的

11、复杂度15.显示彩色图像用RGB相加混色模型，打印彩色图像用CMYK颜色模型16.Karhunen-Loeve变换又称为最佳变换或Hotelling变换，它能使变换后的协方差矩阵为对角阵，并且有最小均方误差，但计算比较复杂17.预测编码，变换编码，最佳线性预测编码的原理 预测编码是从相邻像素之间有强的相关性特点考虑的。后一个值可用前一个值进行预测得到一个预测值，并将实际值与预测值进行求差，对这个差值进行编码、传送。 变换编码先对信号进行某种函数变换，从一种域变换到另一种域，再对变换后的信号进行编码处理。时域空间有强相关的信号反映在频域上是某些特定的区域内能量常被集中在一起，从而实现压缩。最佳线

12、性预测编码：n时刻的抽样值是根据前n-1个值来预测即中固定不变并且根据均匀误差最小准则来获得的线性预测编码称为最佳线性预测编码。18.根据数据交换方式的不同，通信网络大致可分为电路交换网络和分组交换网络。19.各种常用音频文件的特点 WAV是对声音模拟信号波形的采样，声音质量好，存储容量大。 Audio文件是一种压缩的数字声音格式是Internet中常用的格式。 MPEG音频文件的压缩是一种有损压缩，根据压缩质量和编码复杂程度分为MP1、MP2、MP3三种声音文件。具有很高的压缩率。 RealAudio文件主要用于低速率的广域网上实时传输音频信息。具有强大的压缩量和极小的失真。 MIDI文件只

13、包含产生某种声音的指令，文件尺寸较小，MIDI重放时的声音质量取决于音乐合成器的质量。20.IPv4地址由网络地址和主机地址组成21.HDTV 高清晰度电视，HDTV是由它所能提供的画面质量定义的。 分辨率：画面水平和垂直像素数目都差不多是常规系统的2倍，总带宽是现有彩色电视系统的5-8倍。 宽高比： 16:7 观看距离：观看距离要近些22.离散余弦变换DCT，变换系数的特点 DCT是一种准最佳变换。DCT从DFT中取实部，并可用快速余弦变化算法，加快了运算。同时压缩性能好。DCT变换矩阵与图像内容无关，因为它构造成对称的数据序列，避免了子图像轮廓处的跳跃和不连续现象。经过DCT变换后变换系数

14、的相关性大大减小，并且信号能量主要集中在低频部分。只对少数方差大的变换系数进行量化编码。23.视觉惰性 当一个景物突然出现在眼前时，需要经过一定的时间才能形成一个稳定的主观亮度感觉；同样，当一个实际景物从眼前消失后，所看到的印象都不会立即消失，还会暂留一段时间。由此可见，人眼的亮度感觉的建立与消失都之后于实际的光刺激，且此过程是逐步的，这种现象就是视觉惰性。24.多媒体同步 多媒体同步就是保持和维护各种媒体对象内部所存在的时态关系，维持各种媒体序列来达到某种特定的任务的目的。参考模型由规范层、对象层、流层和媒体层构成。 多媒体同步包括媒体流间同步和媒体流内同步。媒体流内同步指某种媒体流必须连续

15、、流畅。媒体流间同步是指整体感觉。25.超文本技术 超文本技术是一种按照信息之间的关系非线性的存储、组织、管理和浏览信息的计算机存储技术。超文本是以节点为单位的信息管理技术，节点可以是信息块、某个字符文本集合、信息空间中的某个区域。26.延时抖动网络传输延时的变化，即不同数据包延时之间的差别。产生的原因：传输系统引起的 金属导体共享传输介质的局域网引起的 介质访问时间不同广域网引起的 流量控制的等待时间以及节点拥塞引起的排队延时的变化结果：对实时通信中多媒体的同步造成破坏，影响音视频播放质量27.QoS服务质量 ITU将QoS定义为决定用户对服务的满意程度的一组性能参数；QoS描述参数：吞吐量

16、，传输延时，延时抖动，错误率，通量，连接失败率，传输失败率，优先级，成本网络QoS的保障机制：用户向网络提交QoS参数描述，提出对网络资源的需求；网络在会话中保障用户提出的QoS要求，进行性能监控，动态调整资源的分配；当资源不能保障需求时，要通知有关用户。28.矢量量化编码的过程（第四章） 在发送端，将输入信号的样值序列按时间顺序分成相等长度的段，每一段含有若干个样值，每一段就构成了一组数据；这样一组数据就构成了一个矢量，对应的很多组就会有很多的矢量。在事先计算好的矢量码本中找到一个与输入矢量最接近的码字，将比较结果误差最小的码字来代替输入的矢量，就是最佳的量化值。每个输入矢量都用搜到的最佳量

17、化值来表示。进行编码时，只需对码本中每一个码字的位置进行编码。在解码端，有一个与编码端完全一样的矢量码本；当解码端接收到发送端传来的矢量下标时，就根据下标数值，在解码端的矢量码本中搜索到相应的码字，以此码字作为重建语音的数据。29.全电视信号的组成以及它的幅度 在电视系统中把视频信号，复合同步信号和复合消隐信号和在一起，形成全电视信号。全电视信号中，各合成信号的电平关系是以同步信号电平为100%，黑电平（即消隐电平）为70%，白电平为0，其他亮度的电平介于0-70%之间，随图像内容变化。30.JPEG静态图像压缩编码的主要原理及其计算步骤（第四章）31.彩色电视的视频信号处理采用YUV和YIQ

18、彩色空间有何好处？ （1）Y和色差信号是独立的，因此彩色电视和黑白电视可以同时使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步处理；（2）可以节省带宽和功率，通过选择合适的颜色模型，可以使色差信号的带宽明显低于Y带宽，而又不明显影响重构彩色图像的质量。32.DOLBY AC-3的数字音频编码技术提供的5.1声道指的是什么？ 5个全带宽声道，分为左、右、中和两个环绕声道，另加一个低频效果增强声道扩展了编码器的输出范围，从32-384kb/s扩展到8-640kb/s。5.1声道立体环绕声的采样率是48kHz,量化精度为22bit,压缩方式采用AC-3编码技术，压缩后的总数据率为320kbi

19、t/s。33.具有运动补偿的帧间预测编码的基本思想 对于运动的物体，估计出物体在相邻帧内的相对位移，用上一帧中物体的图像对当前帧的物体进行预测，将预测的差值部分编码传输，就可以压缩这部分图像的码率。这种考虑了对应区域的位移或运动的预测方式就成为运动补偿预测编码。34.用于运动矢量估计的块匹配算法 块匹配算法将当前帧划分成尺寸为M*N个像素的若干彼此互不重叠的子块，并假设一个子块内所有的像素做速度相同的平移运动。对当前帧中每一个子块A，以前一帧的对应位置为中心，在上下左右四个方向偏开相等距离dm的范围，即（M+2dm）*(N+2dm)个像素的搜索区内进行搜索，寻求与其最匹配的子块A。这一对子块在

20、水平和垂直方向的距离即是求得的运动位移矢量。35.像素递归法 通过某种方法首先将图像分割成运动区和静止区。在静止区内像素位移为0，不进行递归运算；对运动区内的像素，利用该像素左边或正上方像素的位移矢量D作为本像素的位移矢量，然后用前一帧对应位置上经位移D后的像素值作为当前帧中该像素的预测值。36.Huffman压缩编码（信源的熵，编码过程，平均码长，编码效率及冗余度），算术编码（第四章）(1) Huffman压缩编码:编码过程：1将信源符号按其出现的概率由大到小进行排序；2将两个最小的概率相加，其和作为新符号的概率3重复上述做法1）和2），直到概率之和为1止；4每次合并消息时，将被合并的消息赋

21、予1和0或0和1 (如概率大的赋“0”,概率小的赋“1”) ；5从根节点到叶子节点，寻找从每一信源符号到概率为1处的路径,记录下路径上的“1”和“0”；6对每个信源符号列出0、1序列。平均码长：信源熵：编码效率：冗余度：(2)算术编码：在编码运算过程中，随着消息符号的出现，子区按下列规则缩小。规则A：新子区间左端前子区间左端十当前子区间左端前子区间长度；规则B：新子区间长度=前子区间长度当前子区间长度（即当前符号的概率）。例 已知信源 ，试对1011进行算术编码。二进制信源符号只有两个“0”和“1”，设置小概率Pc1/4，大概率Pe=1-Pc3/4设C为子区的左端起始位置，L为子区的长度(等效

22、于符号概率)，根据： 符号“0”的子区为0,1/4)；“0”的子区左端C0，子区长L1/4； 符号“1”的子区为1/4，1)；“1”的子区左端C1/4，子区长L3/4。步序 符号 C L (1) 1 1/4 3/4 (2) 0 1/4+0*3/4=1/4 3/4*1/4=3/16 (3) 1 1/4+1/4*3/16=19/64 3/16*3/4=9/64 (4) 1 9/64+1/4*9/64=85/256 9/64*3/4=27/256 最后的子区间左端(起始位置) C(85/256)d=(0.01010101)b 最后的子区长度L(27/256)d(0.00011011)b 最后的子区右端(子区间尾)(27/16)d=(0.0111)b编码结果：子区间头尾之间取值，其值为0.011，可编码为011，原来4个符号1011被压缩为三个符号011。 算术编码是把编码的信源集合表示为实数轴上的0-1之间的一个间隔。这个集合中的每个元素都要用来缩短这个区间。消息越长，编码表示它的间隔就越小，表示这一间隔所需的二进制位数就越多。