重点多媒体技术及应用考试14章复习大纲Word文档格式.docx

1、1.1.3 多媒体技术的应用1、教育培训直观生动，说服力强，学习效果好。教学内容丰富，传递的信息量大。更能培养学生的想象力和创造力。2、多媒体通信多媒体视频点播系统（VOD） 交互式电视（ITV）计算机支持的协同工作（CSCW）多媒体会议系统 多媒体家电产品 3、娱乐 网络电视、电影和动画、交互控制 4、电子出版物 电子书、电子杂志、多媒体光盘5、军事 作战指挥、作战模拟、仿真训练1.1.4 多媒体的关键技术 1多媒体数据存储技术2多媒体数据压缩/解压缩技术3虚拟现实技术 利用计算机生成一种模拟环境，创建了一种适人化的多维信息空间。4多媒体数据库技术 多媒体数据库应支持多种媒体的集成管理和综合

2、描述，支持同一媒体的多种表现形式，支持复杂媒体的表示和处理，能对多种媒体进行查询和检索。5多媒体通信技术 音频和视频的网络宽带快速传输技术仍将是多媒体技术的研究热点 。6多媒体信息检索技术 Web图像、声音、视频的快速检索1.2 多媒体硬件系统 1扫描仪 可将静态图像输入到计算机里的图像采集设备，工作过程： 1）扫描仪的光源发出均匀光线照到图像表面； 2）经过A/D转换，把当前扫描线的图像转换成电平信号； 3）步进电机驱动扫描头移动，读取下一行图像数据； 4）经过扫描仪的CPU处理后，图像数据暂存在缓冲区中； 5）按照先后顺序把图像数据传输至计算机并存储起来。 平板式扫描仪 手持式扫描仪 滚筒

3、式扫描仪 1） 分辨率（ dpi，每英寸扫描的像素点数） 水平分辨率垂直分辨率 水平分辨率（光学分辨率）：由扫描仪的传感器以及传感器中的单元数量决定，分辨率越高，扫描的图像越清晰。 垂直分辨率（机械分辨率）：是步进电机在平板上移动时所走的步数。2） 色彩位数：决定扫描仪对颜色的区分能力。 一般的扫描仪至少有30位色彩位数，能表达230种颜色 高档扫描仪拥有36位色彩位数，能表达约687亿种颜色。3） 灰度：决定图像亮度的层次范围 灰度越高图像层次越丰富，目前可达256级灰度。4） 扫描速度：在指定的分辨率和图像尺寸下的扫描时间。5） 扫描幅面：扫描仪支持的幅面大小，如A4、A3、A1和A0。2

4、数码相机 利用电子传感器把光学影像转换成电子数据的照相机。（1）数码相机的工作原理 将数码照相机的镜头对着被拍摄的物体，按动快门，图像便会被分成红、绿、蓝三种光线，然后投影在CCD（电荷耦合器件）上，CCD把光线转换成电荷，其强度随被捕捉影象上反射的光线强度而改变，然后CCD把这些电荷送到模/数转换器，对光线数据编码，存储在闪存卡中（2）数码相机的性能指标（包括传统的镜头大小、快门速度、光圈大小以及闪光灯工作模式） 1）分辨率：分辨率越高，打印的照片尺寸越大。1024*768可打印5寸照片 2）颜色深度：24位或36位，可以生成真彩色的图像。 3）存储能力及存储介质：决定了相机可拍摄照片的数量

5、。 4）数据输出方式：串行口输出，高档相机提供IEEE-1394高速接口。 5）连续拍摄：两张照片之间需要等待的时间间隔越短，连续拍摄的能力越强。3刻录机 内置式1.2.2 多媒体接口设备1声卡（1）功能录音与放音：通过麦克风或LINE IN通道进入，首先经过混音芯片进行采样、A/D转换、混合等一系列处理，再通过主芯片的处理，录制成波形文件。波形信号经过主芯片进行处理和计算，再传到混音芯片进行D/A转换，转换好的模拟信号经过功放的放大处理后由音箱输出。编辑与合成处理：对声音文件添加各种特效，如回声、淡入淡出等。MIDI接口：与外部电子乐器之间进行通信，实现对电子乐器的控制和操作。（2）组成音频

6、信号处理芯片：处理输入的音频信号，它控制采样频率和采样精度。音效合成芯片： 控制输出音频信号的高低音和各种音效。数模转换电路：进行模/数和数/模转换。2视频采集卡（1） 模拟采集卡 接口：PCI接口（32位） 至少有一个Video In接模拟视频设备 高性能采集卡：AV接口 和 S-Video。 注：不能直接采集射频信号和伴音信号。 功能：接收模拟视频信号，对该信号进行采集、量化成数字信号，然后压缩编码成数字视频序列。 一般的视频采集卡： 存储成AVI文件 高档的视频采集卡：存储成MPEG文件（2）数字采集卡（或1394卡）IEEE 1394：视频传输的串行接口标准相当于一个数据传输接口，不能

7、采集模拟视频由苹果公司首创，也称为Firewire（火线）特点：数据传输速率快。数字采集卡主要有以下三类： 带有硬件CODEC（编解码器）的1394卡 速度快、质量高， 价格昂贵 带有软件CODEC的1394卡 价格低，但速度慢 OHCI 1394卡（开放主机控制器接口） 是PC的标准接口卡，价格低，品种多3显卡（1）作用 将主机的输出信息转换成字符、图形和颜色等信息，传送到显示器上显示。显卡一般插在主板的PCI扩展插槽中，现在有些主板上集成了显卡。（2）显卡的输出接口 VGA 视频图形阵列接口：将转换好的模拟信号输出到CRT或者LCD显示器 DVI 数字视频接口：视频信号无需转换，信号无衰减

8、或失真。 DVI-D 接口：只能输出数字信号 DVI-I 接口：可输出模拟或数字信号 HDMI 高清晰多媒体接口：将多媒体数字信息输出到液晶电视机或数字投影仪。1.2.3 多媒体存储设备（2）CD盘的结构1）盘片的结构 由保护层、反射激光的铝反射层、刻槽和聚碳酸脂衬垫组成。激光唱盘分3个区：导入区、导出区和声音数据记录区。外径为120 mm中间孔的直径为15mm厚度为1.2mm重量为1418克记录数据的区域为35.5mm2）光道的结构 CD盘光道是螺旋型的，光道长度大约为5公里，角速度不同，线速度恒定，内外光道的记录密度相同，随机存储特性较差，控制比较复杂。（3）光盘上信息记录的原理（1）CD

9、-ROM 凹坑的边缘来记录1，而凹坑和非凹坑的平坦部分记录0 。（2）CD-R 在反射层下多了一个记录层，涂有特殊性质的有机染料，在激光的作用下会发生变化，从而记录数据。由于记录层感光染料的变色过程是不可逆转的，所以CD-R只能一次性写入数据。（3）CD-RW 可擦写光盘，目前主要有磁光盘和相变光盘两种。 磁光盘：由磁介质组成，铁磁介质在外磁场的作用下具有一定的方向性，这种方向性在激光束的热力作用下可发生翻转，方向的正负代表了二进制的和，这种可翻转特性使信息是可擦除的。 相变光盘：利用激光使记录介质在结晶态和非结晶态之间的可逆相变结构来记录数据和擦除数据。相变型兼容性好，目前市场上的CD-RW

10、基本上都属于相变型光盘。2DVD数字视频光盘（Digital Video Disc，DVD）存放视频节目 采用更短波长的激光源加大光学读出头的数值孔径（NA）加大光盘的数据记录区域 采用两个面来记录数据采用新的数据编码和调制算法等手段提高存储容量。3蓝光光盘（Blu-ray Disc，简称BD盘）由一片厚度为1.1mm的记录层和厚度仅为0.1mm的透明保护层复合而成。采用波长为405nm蓝紫色激光，所以称为蓝光光盘。进一步减小了信息记录凹凸坑的长度，缩短了光道间距，提高了记录密度。通常单层蓝光光盘的容量在25GB左右，最高可达200GB。4存储卡（或闪存卡） 利用闪存（Flash Memory

11、）技术来存储信息，一般作为小型数码产品的存储介质。1.3 多媒体软件系统1多媒体操作系统 具备对多媒体数据和多媒体设备的管理和控制功能。2多媒体驱动程序 完成多媒体设备的初始化，控制多媒体设备的操作 。3多媒体素材制作软件 完成各种图像、图形、动画和声音等素材的制作。4多媒体创作软件 （1）编程语言：V B、VC+和Delphi （2）多媒体创作工具5多媒体播放软件6多媒体转换软件多媒体素材制作软件1.3.2 多媒体应用系统的设计流程 需求分析，脚本设计多媒体制作，多媒体集成和调试，作品包装第2章 音频信息处理2.1 音频处理基础本节要点声音的基本特征音频的数字化数字音频文件格式数字音频处理技

12、术2声音的基本特征（1）声波信号的物理特征 周期（T）：声波的两个波峰或波谷之间的相对时间。 频率（f）：周期的倒数（f=1/T），即每秒波峰或波谷出现的次数。 幅度：从声波信号的基线到波峰的距离，幅度越大声波的强度也越大。通常也用声压、声强或声功率来表示声音的强弱。（2）声音信号的心理学特征 人们感知到的声音特征称为心理学特征 音调：由发声物体的振动频率决定，振动越快（即频率越大），音调越高，振动越慢，音调越低。 音色：这是一个主观评价声音的量，声音的音色取决于声音的频谱结构，一般高次谐波越丰富，音色越明亮并具有穿透力。 响度：人耳对声音强弱的感觉程度，主要取决于振幅和声压。通常振幅越大声音

13、越响，其次人耳距离声源越远，声音越小。 （3）声音质量的评价 声音质量与带宽有关，频率范围越宽，声音质量越高。1）声音质量分级：按照声音信号的频率范围将声音质量分为5级。3音频信号的表示（1）音频信号：通过麦克风等设备转换成的电信号。规则音频信号：带有语音、音乐和音效的有规律的音频信号，承载了一定的信息。 语音：语言的载体，有丰富的语言内涵，是人类交流的信息载体。 音乐：是一种规范的符号化的声音。 音效：自然界中各种声音效果，如掌声、雷鸣声，爆破声等。不规则音频信号：不包含任何信息的声音，比如噪声。（2）音频信号的表示 1）音频信号的数学表示1. 音频信号数字化 声音信号在时间上是连续的，在幅

14、度上也是连续的，属于模拟信号。 （1）采样 声音信号在时间上的离散化，即每隔一段时间抽取一个信号样本。采样频率：每秒采样的次数。奈奎斯特理论（Nyquist theory）：采样频率不低于声音信号最高频率的两倍，这样就能把数字声音还原成原来的声音，称为无损数字化。 f s = 2 f max 电话话音信号的最高频率约为3.4kHz，所以采样频率取为8kHz。（2） 量化 声音信号在幅度上的离散化 也就是采样过程中对每一个采样点的幅度值用数字量来表示。如果幅度的划分是等间隔的，称为线性量化，否则为非线性量化。采样精度：即量化的位数，位数越多量化等级数也越多，所能表示的声波幅度的动态范围也越大，当

15、然需要的存储空间也越大。（3） 编码 就是用一组二进制码组来表示每一个有固定电平的量化值，或者说将量化值转换成二进制码组。 典型的音频编码方法：脉冲编码调制法（PCM）。（4）数字音频的数据量 数据量 = 采样频率* 采样精度* 采样时间* 声道数 / 8 （字节数） 单声道：一次只产生一组声波数据， 立体声：一次产生两组声波数据。例2.1 计算一分钟未压缩的高保真立体声数字声音数据的大小。 60 * （ 44100 * 16 * 2 ） / 8 = 10.09 MB 一首未经压缩的4分钟的歌曲文件的大小约为40MB，那么一个容量为512MB的MP3播放器也只能播放12首这样的歌曲。2. 数字

16、音频压缩标准（1）电话质量的语音压缩标准（2）调幅广播语音压缩标准 G.722（3）宽带音频压缩标准3. 数字音频文件的格式1WAV文件：波形文件，微软开发，需要的存储量大，多用于存储简短的声音片段和旁白。2MIDI文件：记录的是生成音乐的指令，MIDI文件短小。由于MIDI记录的并不是真正的声音，所以不同的声卡，不同软波表，不同硬件音源的音色是不相同的，相同的MIDI文件在不同的设备上播放也会有不同的效果。MIDI文件适合作为背景音乐来播放。3MP3文件：是MPEG音频第3层的简称，有损压缩，压缩比达12:1。MP3利用人耳的掩蔽特性，削减音频中人耳听不到的成分，同时尽可能地维持原来的声音质

17、量。4RA文件：属于Real Media的音频部分，采用流式传输方式，可以在非常低的带宽下提供足够好的音质让用户能在线聆听。5WMA 文件：Windows Media的音频部分。无损压缩，支持多声道编码。6AC3文件：又叫杜比数码环绕立体声，压缩比10:1，提供的环绕声系统由5个全频域声道和1个超低音声道组成，称为5.1声道，一般作为DVD的伴音。2.1.3 数字音频处理技术1. 数字音频技术 结合数字技术和计算机技术而实现传统音频处理的技术 （1） 特点 1）处理长样本文件的能力，录音时间只受硬盘本身大小的限制。 2）随机存取编辑 3）无损编辑 （2）应用1）声音剪辑和CD刻录。2）日常音乐

18、录制。3）大规模音乐录音和混音。4）影视音乐的制作与合成。5）多媒体音乐制作与合成。2. 智能语音处理技术2）语音识别系统分类对说话人说话方式的要求孤立字（词）语音识别系统连接字语音识别系统连续语音识别系统。对说话人的依赖程度特定人语音识别系统非特定人语音识别系统词汇量大小小词汇量语音识别系统中等词汇量语音识别系统大词汇量语音识别系统无限词汇量语音识别系统。（2） 语音合成技术 利用计算机合成语音的技术，使计算机具有类似人的说话能力。 语音合成的三个层次 从文字到语音 从概念到语音 从意向到语音 语音合成技术的特点清晰度、自然度、表现力、复杂度 语音合成的应用文语转换、语音查询2.2 音频处理

19、软件 Adobe Audition 本小节介绍的要点Audition的安装Audition软件的功能Audition界面的组成声音文件的导入录音单轨状态下的编辑了解界面的各个组成部分及其作用重点 声音文件的管理 水平和垂直标尺的含义以及如何更改 电平显示刻度 -60dB 0dB补充：为什么数字音量的最大标记为0dB1、多轨编辑模式二、音频信号的获取 1、直接导入文件 2、提取视频文件中的音频部分 VCD上的dat文件直接将扩展名改为mpg 如何提取 “笑脸.mpg”中的伴奏注意：左声道：伴奏 右声道：原唱 3、单轨状态下录音（1）录音前声卡的设置 “选项 | Windows 录音控制台 ” 注

20、意控制录音电平（2）“文件|新建波形”（3）单击“录音”请观察自己录制的人声其左右声道的波形是否一样?4、 多轨状态下录音（1）保存会话文件 会话文件保存了导入的文件以及添加的效果，在多轨下的编排等信息。（2）导入伴奏 注意控制伴奏的音量（3）按下“R”，轨道进入录音状态（4）单击“ ”开始录音三、音频的编辑1、单轨状态下（1）波形的选取 注意：单独选择左声道或右声道（2）波形的剪切、复制与粘贴混合粘贴（3）波形的删除删除静音区（4）波形的反转与倒转的区别 反转：相位的反转 倒转：达到逆向播放的效果（1）音量旋钮：可提升或降低当前轨道的音量大小 一般降低背景音乐所在轨道的音量，提升旁白所在轨道

21、的音量（2）声相旋钮：可控制声音在左耳与右耳之间的均衡输出（3）输入：默认为立体声，如果选择“无”，则该轨道不能进行录音（4）输出：默认为主控，如果选择“无”，则该轨道不会发出声音，相当于静音（1）工具的选择 混合工具：左键拖曳选中波形，右键拖曳移动波形 时间选择工具：左键拖曳选中波形，右键拖曳不起作用 移动/复制剪辑工具：左键移动波形，右键移动或复制 刷选工具：左键拖曳可以播放拖曳处的波形。（2）分割与合并 分割：将波形切开成2段 合并：将两个波形片段合并为一个整体（3）锁定 锁定音频的绝对时间，只能在上下轨道上移动，不能左右移动（4）编组 编组则可以使多个音频片段的相对位置固定，移动时可整

22、体移动 五时间伸展 用于改变声音播放的速度或音高（1）“查看|启用剪辑时间伸展” 用鼠标直接拖曳波形下角的斜线处（2）“剪辑|剪辑时间伸展属性” 直接设置时间伸展量（3） “效果 | 时间/音调 |伸展（处理）” 童声处理：Helium 男声 女声 : Raise Pitch 女声 男声: Low Pitch1、单轨状态下添加效果 作用于选定的波形 如果不选，默认为全选 2、多轨状态下添加效果 作用于整个轨道上的所有波形片段人声处理的一般步骤录音降噪标准化处理压限加混响七、消除人声1、采用VST插件直接消除 “效果|幅度|通道混音器”，选择预设 “Vocal Cut” “效果|滤波器|提取中置

23、声道”，选择预设“Karaoke（Drop Vocal 20dB）”2、将双声道转换为单声道 “编辑|转换采样类型” 比较 未添加任何效果的人声消除 添加了混响的人声消除 思考 为什么有的人声可以完全消除， 有的不能完全消除?第3章 图像处理技术与应用3.1 图像基础知识图形与图像图像的基本属性色彩与颜色模型图像的数字化图像文件的格式1图形与图像 矢量图（图形）:用计算机指令来表示一幅图，如画点、画线、画曲线、画圆、画矩形等。 优点:任意缩放不变形 缺点:不适合描述复杂图形及真实世界的照片 位图（图像）:由像素点组成，每个像素点用若干二进制位表示其颜色、亮度和饱和度等属性。 优点：适合表现自然

24、界真实的景象 缺点：所需存储空间比较大2图像的基本属性（1）像素：组成图像的基本单位，图像数字化过程中的最小采样点。（2）显示分辨率：显示屏上能够显示出的像素数目。 图像分辨率：构成图像的横向和纵向的像素点的数目。 例如：显示分辨率为：640480 图像分辨率为：320240，图像只占显示屏的1/4 。1024768，图像不能完整地显示在一屏上。（3）像素深度：每个像素点所用二进制的位数。 决定了彩色图像的每个像素点可能有的颜色数，或者确定灰度图像中每个像素点可能有的灰度等级数。一幅彩色图像的每个像素点用R，G，B三个分量表示，且每个分量用8位，那么一个像素点共用24位表示，像素深度就是24。

25、 每个像素点可以有 224（约1600多万）种颜色中的一种。3色彩与颜色模型（2）色彩的三要素 色相（色调）：色彩的外在表现，如红色、黄色、蓝色等。 亮度（明度）：人眼感觉到的颜色明亮程度。 饱和度（色度）：色彩的纯度，即颜色的深浅程度。（4）颜色模型和色彩空间颜色模型：描述和表示颜色的一种抽象数学模型。计算机处理图像：RGB模型印刷彩色图像：CMYK模型彩色电视信号传输：YUV或YIQ模型色彩空间：用特定的颜色模型可以生成的颜色范围。Lab颜色模型：固定的色彩空间，与设备无关；RGB、CMYK、HSB和HSL等颜色模型：与设备有关，不同设备可能具有不同的色彩空间。每个色彩空间虽然RGB值相同

26、，但颜色的显示效果不同。 RGB模型 任何一种颜色都可用红绿蓝按不同的比例混合得到。组合红绿蓝三种光波以产生特定颜色的方法称为相加混色，是编辑图像的最佳颜色模型。颜色RGB RGB等量相加得到灰色； R（255）+G（255）+B（255）=白色 R（0）+G（0）+B（0）=黑色 R（128）+G（128）+B（128）=中灰色 RG 等量相加得到黄色； RB 等量相加得到品红色； GB 等量相加得到青色；互补色：彼此最不一样的颜色。黄色的互补色是蓝色绿色的互补色是品红色红色的互补色是青色 CMYK模型 CMYK代表印刷上用的四种颜色，是最佳的色彩打印模式。 颜色来自于光线照射到颜料上以后未被颜料吸收的部分光线，这种产生色彩的方式称为相减混色。C（Cyan） 代表青色M（Magenta） 代表洋红色Y（Yellow） 代表黄色