多媒体原理与系统设计复习总结.docx

多媒体原理与系统设计复习总结.docx

《多媒体原理与系统设计复习总结.docx》由会员分享，可在线阅读，更多相关《多媒体原理与系统设计复习总结.docx（11页珍藏版）》请在冰豆网上搜索。

多媒体原理与系统设计复习总结

多媒体原理与系统设计

第一章多媒体技术概述

1.相关基本概念

1）媒体：

信息传输、存储和呈现的载体

2）新媒体：

艺术与现代数字媒体技术结合的新型媒体形态

3）媒体分类：

a）感觉媒体：

作用于感觉器官的信息形态

b）表示媒体：

以模拟或数字编码形态出现的感觉媒体

c）显示媒体：

（显示器）

d）存储媒体：

（光盘）

e）传输媒体：

（光纤）

4）多媒体（技术）：

融合了两种以上感觉媒体的协同应用系统和技术，以帮助人们获得更丰富的应用体验

5）超媒体：

（媒体的媒体）通过超链接技术构成的多媒体系统

6）多媒体技术的特点：

a）媒体形式的多样性

b）媒体技术的集成性

c）媒体应用的交互性

2.应用场景

●多媒体电子消费领域

●现代教育技术领域

●通信领域

●军事领域管理与决策领域

●表演与会展领域

●信息可视化领域

●物联网工程领域

●Web应用系统

3.多媒体技术的体系结构

第二章数字音频基础

1.声音的相关概念

1）声音的基本物理属性：

频率、振幅

2）声音的三要素：

音高、音色、音强

3）模拟音频（AnalogousAudio）：

用连续的电流或电压表示的音频信号

4）数字音频（DigitalAudio）：

通过采用和量化技术获得的离散性（数字化）音频数据

5）采样频率：

单位时间内采集的样本数，是采样周期的倒数

●CD-Audio采样频率为44.1kHz

●一般网络和移动通信采样频率：

8kHz

6）量化深度：

表示一个样本的二进制的位数（样本的比特数）

2.声卡的结构及工作原理

功能模块：

a）DSP：

DigitalSignalProcessor（数字信号处理器）

●Sampling（采样）

●Quantization（量化）

●Codeanddecode（编/解码）

●D/A

b）Synthesizer：

合成器

c）ROM/RAM：

波表

d）Mixture：

混声器（过滤、去噪、切换单/双声道）

3.数字音频编码

1）音频编码：

将模拟音频转换成数字音频里并以某种格式存储的技术或过程

2）PCM编码：

即通过脉冲编码调制的方式生成数字音频数据的技术或格式

a）PCM的均匀量化：

量化阶跃值是常数的PCM量化

b）非均匀量化：

量化阶跃值为变量的PCM量化（又称非线性量化）

c）μ律压扩：

有μ洗漱调节的对数函数型非线性量化PCM编码

d）A律压扩：

由A系数调节的分段函数型线性与非线性组合量化构成的PCM编码

3）增量调制编码（DM）：

通过增量起伏来记录模拟音频信号实际变化过程的数字音频编码（数据量很小，用离散的跳跃信号去仿真（模拟）去逼近输入信号的变化）

DM算法描述：

y0=0；

y[0]=0；

x[0]=1；

for（ithsamplingnotend）

{

if（x[i-1]==1）

y[i]=y[i–1]+∆；

else

y[i]=y[i-1]-∆；

if（yi>y[i]）x[i]=1

elsex[i]=0;

}

第三章音频数据处理程序设计

1.音频数据格式分析

波形音频文件格式：

存储数字音频样本序列的格式文件，该文件直接记录的音频的波形

WAVE波形音频文件：

使用最广泛，遵从RIFF格式标准

●文件结构：

RIFFWAVEChunk、FormatChunk、FactChunk、DataChunk

●wav数据的bit格式形式：

✓单声道8bit量化、双声道8bit量化

✓单声道16bit量化、双声道16bit量化

2.音频回放与编程接口

1）使用PlaySound函数

2）使用MCI函数

3）基于DirectShow开发包的应用程序：

目标是简化在Windows平台上创建数字媒体的任务，通过将应用程序从数据传输、硬件区别、同步中隔离出来

诸多挑战：

a）多媒体流包含大量需要被快速处理的数据

b）音频和视频必须同步

c）数据来源很多：

本地、计算机网路、广播、摄像机

d）数据格式繁多：

Audio-VideoInterleaved（AVI）

AdvancedStreamingFormat（ASF）

MotionPictureExpertsGroup（MPEG）

DigitalVideo（DV）

e）应用程序并不能预见终端设备上的硬件

4）基于MediaFoundation开发包的应用程序

3.基于MF的音频转码程序设计

第四章无损数据压缩编码

1.熵编码

1）算术编码（ArithmeticCoding）

2）行程编码：

可用索引+索引对象（重复对象）的方式来表示

2.字典编码

1）第一类字典编码:

用指向早起曾经出现过的字符串的指针来表示当前被编码字符串

算法：

LZ77算法、LZSS算法（LZ77的改进版）

2）第二类字典编码：

从输入的数据流中创建一个短语词典，后续数据流中若出现词典中的短语，则可用该短语在词典中的索引表示该短语，而不需要输出短语本身

算法：

LZ78算法

第五章数字图像基础

1.色彩及其模型

1）色彩的概念

2）色彩的三特性

a）亮度：

色光的明暗程度，由色光所含的能量决定

b）色调：

颜色的类别

c）饱和度：

色调深浅的程度

3）色彩模型：

对三维色彩空间中的可见光子集的一个描述

4）RGB模型：

用红、绿、蓝三种基本颜色表示其他颜色的模型

RGBA模型：

A表示Alpha通道（一般用作不透明度参数，0%表示完全透明，100%表示完全不透明）

5）CMYK模型：

用物质吸收光的数量表示色彩的方式（青C，品M，黄Y，黑K）

6）HSV模型：

a）色相（H）：

色彩的基本属性

b）饱和度（S）：

色彩的纯度

c）亮度值（V）：

颜色的明亮程度

2.数字图像的概念

1）数字图像：

用二维像素矩阵表示的图像

2）像素：

图像平面中特定位置的一个点，具有一定的颜色属性

3）二值图像：

像素值仅仅为两种颜色的图像

4）灰度图像：

像素值分布在RGB色彩空间中的灰度线上的数字图像

5）色彩图像：

由三幅原色图像（红、绿、蓝）融合而成的图像

6）真彩图像：

像素值直接表示了颜色属性的彩色图像

7）伪彩图像：

像素值不直接表示颜色值本身而表示了颜色在调色板中索引的彩色图像

8）图像分辨率：

图像在水平和垂直方向上的像素数的乘积

3.图像的存储格式

1）BMP文件格式

2）BMP文件的数据存储格式

a）非压缩格式：

b）压缩格式：

●BI_RLE_8编码：

一个字节表示一个像素，二个字节为一个编码单元

●BI_RLE_4编码

4.图像压缩技术

JPEG的格式

第六章图像处理程序设计

1.图像的基本操作

1）利用系统函数显示图像

2）利用打点函数显示图像

2.滤波与合成

1）卷积运算

2）高斯模板

第七章数字视频基础

1.模拟电视信号分析

1）模拟电视系统的主要概念：

a）扫描：

逐行扫描、隔行扫描

b）电视制式

c）彩色模型

2）模拟电视信号分析

a）电视信号的调制过程

b）复合电视信号

c）分量电视信号

d）S-Video信号

2.模拟视频信号的数字化

1）数字化方法

a）先分离再采样

b）先采样再分离

c）采样频率

d）每行有效样本数

e）采样格式

f）视频图像的公共交换格式

3.数字视频数据格式

1）YUV文件格式

2）AVI文件格式

第八章数字视频编码

1.视频编码原理

1）视频数据分层

2）视频图像的类型

a）frame：

采用帧内编码的图像

b）P-frame：

采用单向预测编码的图像

c）B-frame：

采用双向预测编码的图像

3）P/B图像的处理过程

4）块匹配标准

a）绝对差

b）均方差

c）平均绝对差

5）最佳匹配宏块搜索算法

a）二维对数法

b）三步法

c）对偶搜索法

2.H.261

3.H.263

1）支持更多格式

2）运动向量的模式不受限制

3）基于语法的算术编码

4）高级预测模式

5）P/B帧模式

4.MPEG-1/2

1）MPEG-1采用了I、B、P的帧分类

2）MPEG-1帧内量化表与帧间量化表不同

3）MPEG-2采用分场压缩技术

4）MPEG-2的DCT系数行程编码之子形扫描方式

5.MPEG-4

1）MPEG-4的基本概念

a）视频对象：

视频图像序列中的同一个物理对象

b）视频对象区：

位于一个图像中的视频对象

2）MPEG-4的编码方法

a）帧视频对象编码

b）任意视频对象的编码

c）轮廓编码

d）纹理编码

3）MPEG-4面向对象的表示与交互式框架

第九章MPEG音频

1.听觉系统的感知特性

1）对响度的感知

2）对音高的感知

3）掩蔽效应

2.MPEGAudio的心理声学模型

3.MPEGAudio编解码系统

1）系统结构

2）部件分析

a）多相滤波器组：

将输入信号分层32个频率子带

b）编码器

c）心理声学模型

d）心理声学模型如何作用于编码器：

计算所谓信掩比，通过SMR来调节量化深度

3）MPEGAudio的编码分层：

层1、层2、层3（MP3）

第一十章光学存储媒体

1.基本技术

1）光盘的构造

2）光盘驱动器的构造

3）通道编码

2.激光数字唱盘CD-DA：

RedBook

1）帧、扇区和区的概念

2）CD-DA的数据率与容量计算

3.CD-ROM：

黄皮书

4.CompactDiskWriteOnce

第十一章网络组播技术

1.组播的概念

1）广播：

将源端数据发送到一个网络中的所有主机的传播方式。

广播使用广播地址

2）单播：

将源端数据发送到网络中的某个特定主机的传播方式。

单播使用特定主机地址

3）组播：

将源端数据发送到网络中的一组主机的传播方式。

组播使用组地址

2.组播的应用：

远程会议、Web缓存更新…

1）组播与广播、单播的比较

a）广播（Broadcast）:

●将一个数据拷贝发送到网络中的所有主机

●实现简单（Simple）,但是效率不高（inefficient）

●即使主机对该数据不感兴趣也必须处理它

●因此占用了主机的CPU资源

●会产生广播风暴“broadcaststorms”

b）多个重复的单播（ReplicatedUnicast）：

●发送者依次向各接收主机发送相同的数据

●发送者必须事先知道每个接收主机的地址

●通讯量在发送方过于集中，

●但比较可靠（Reliability=>per-receiverstate,separatesessions/processesatsender）

3.IP组播的体系结构

4.IP组播模型：

RFC1112

5.IP组播地址

6.IP组播地址到链路层组地址的映射

7.群组关系管理协议

8.组播路由

第十二章视频会议系统

1.视频会议系统的概念

1）基本定义：

●视频会议系统：

利用通信设施（如卫星模拟传输线路、电话网、有线电视传输网、计算机网络、互联网）传输文本、音频和视频数据，实现分布式会议功能的多媒体应用系统

2）用途：

●各类不同规模的远程会议

●远程教育

●远程协同工作

3）视频会议系统的一般组成:

●会议终端

●会议控制器

●多点控制单元（MCU）

2.传输拓扑结构分析

1）全互联结构

2）星形结构（基于汇聚点的传输方式）

3）网络层源根组播结构

3.一种桌面会议系统的应用

基于IPMulticast的多点视频会议系统