多媒体音频及音频处理.docx

1、多媒体音频及音频处理第五章 多媒体音频及音频处理本章提要 声音媒体的有关概念 模拟声音信息的数字化处理 MIDI与音乐合成 数字音频格式及格式转换 音频卡（声卡） 音频处理软件Cool Edit Pro 2.0 语音识别技术音频（声音）是表达思想和情感的一种必不可少的媒体，也是多媒体信息中一个重要组成部分。声音的种类有很多，从人的说话声、乐声到风声、雨声，当它能与文字、图像等结合，一起传递信息时，计算机世界才会变得如此丰富多彩。5.1 音频信息及数字音频的产生5.1.1 多媒体中的音频信息自然界中的声音是由于物体的振动产生的，通过空气传递振动，最后这种机械运动被传递到人的耳膜而被人感知。我们下

2、面以音叉为例，具体说明一下声音的产生和传播过程。当一个音叉受到敲击振动时，叉枝会左右摆动。当叉枝向外摆动时，叉枝会挤压周围的空气使周围空气形成一个密部，相反，当叉枝向内摆动时，会引起周围的空气拉动而形成一个疏部。空气这样密部与疏部交替运动形成一种波（声波）会向周围发散传播出去，从而形成声音的传播。传播过程如图5-1所示。这种声音的传播运动最后传递给人的耳膜并通过听小骨传递给听觉神经产生了人的听觉。听觉是人类感知自然的一种重要手段，所以音频也就成为多媒体范畴中一个重要部分。从听觉角度讲，声音媒体具有三个要素：音调、音强和音色（1）音调：与声音的频率有关，频率越快，音调越高。所谓声音的频率是指每秒

3、中声音信号变化的次数，用Hz表示。例如，20Hz表示声音信号在1秒钟内周期性地变化20次。并不是所有频率发出的声音信号都能够被人们感觉到，人的听觉范围大约为2020000Hz，这个频率范围内的信号被称为音频或声音，多媒体技术主要研究的是这部分音频信息的使用；频率范围小于20Hz的信号被称为亚音频，这个范围内的信号人们一般感受不到。比如，大气压的变化周期很长，以小时或天数计算，人们几乎感觉不到这种气压信号的变化，更听不到这种变化所带来的声音：频率范围高于20kHz的信号被称为超音频或超声波，超声波具有很强的方向性，并且可以形成波束，利用这种特性，人们制造了超声波探测仪、超声波焊接设备等；另外，人

4、的发声器官可以发出803400Hz频率范围的声音，但人们平时说话的频率范围在3003000Hz之间。了解这些知识很重要，它可以指导我们更有效地处理音频信息。（2）音强：又称为响度，它取决于声音的振幅。振幅越大，声音就越响亮。（3）音色：在介绍音色之前，先给出几个有关的概念。 纯音：一般的声音由几种振动频率的波组成，若该声音只有一种振动频率就叫做纯音； 复音：由许多纯音组成，复音的频率用组成这个复音的基音频率表示，一般的乐音都是复音； 基音：是复音中频率最低部分的声音； 泛音：在一个复音中，除去基音外，所有其余的纯音都是泛音。音色则是由混入基音的泛音所决定的，每个基音又都有其固有的频率和不同音强

5、的泛音，从而使得每个声音具有特殊的音色效果。比如，每个人讲话的声音以及钢琴、提琴、笛子等各种乐器所发出的不同声音，都是由音色不同造成的。声音的传播是以声波形式进行的。由于人类的耳朵能够判别出声波到达左、右耳的相对时差、声音强度，所以能够判别出声音的来源方向。同时又由于空间作用使声音来回反射，从而造成声音的特殊空间效果。这也正是人们在音乐厅与在广场上聆听音乐感觉效果不一样的原因之一。因此，现在的音响设备都在竭力模拟这种立体声和空间感效果。声音的质量与声音的频率范围有关，即频率范围越宽，声音的质量就越好。表5-1是几种常见的声音频宽。表5-1 几种常见的声音频宽声音类型频宽电话语音2003400H

6、z调幅广播507000Hz调频广播2015000Hz宽带音响2020000Hz衡量声音质量单凭声音频宽判断有时比较困难，主观打分则是一种比较快捷、简单的方法。它的具体操作过程与近几年在电视节目中流行歌手大奖赛评分方法类似。首先挑选一些有代表性的人物，聆听需要评测的各种声音，每个人根据感觉给出分数，最后的平均分就是相对应的声音效果的评价结果。实际上，不同的应用对象，声音质量的衡量标准也不尽相同。对于语音来说，通常用可懂度、清晰度和自然度来衡量；对于音乐来说，就要求具有一定的保真度、立体感和音响效果。声音是一种基于时间的媒体。没有时间就没有声音，因此，我们说声音具有过程性，需要有一个时间段才能表现

7、，这也就是我们常用音乐作为伴音的原因，它可以很好地起到渲染气氛的作用。由于时间性，声音数据具有很强的前后相关性，数据量较大，且实时性要求较高。5.1.2 数字音频的产生采样量化模拟音频电信号二进制序列图5-2 模数转换过程图自然界的声音经过麦克风后，机械运动被转化为电信号，这时的电信号由许多正弦波组成，其中正弦波的频率取决于声音中含有的频率。对于计算机来说，处理和存储的只可以是二进制所表示的数，所以需要在计算机处理和存储声音之前把这些电信号转换为二进制数。这个转换过程在电子技术中称为模数转换（A/D）。模数转换的过程可以分成两个部分：第一部分是采样，第二部分称为量化，经过这个过程（如图5-2所

8、示）处理后的音频电信号就变成了可以被计算机存储和处理的二进制序列,这个过程在计算机中是在声卡中完成的。 话音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。在时间上“连续”是指在一个指定的时间范围里声音信号的幅值有无穷多个，在幅度上“连续”是指幅度的数值有无穷多个。我们把在时间和幅度上都是连续的信号称为模拟信号。 在某些特定的时刻对这种模拟信号进行测量叫做采样（Sampling），由这些特定时刻采样得到的信号称为离散时间信号。采样得到的幅值是无穷多个实数值中的一个，因此幅度还是连续的。而对于固定位数的二进制数只能表示有限的几个值，所以要把这些可能的幅值为无穷的采样数值取值的

9、数目加以限定，这种由有限个数值组成的信号就称为离散幅度信号，这个过程就叫作量化，这样处理以后的势必会带来误差，这个误差就是量化误差。例如，假设输入电压的范围是0.0V1.5V，并假设量化后二进制数为四位，这样只有16个采样值可以选取，它的取值只限定在0、0.1、0.2，1.5共16个值。如果采样得到的幅度值是0.323V，它的取值就应算作0.3V，如果采样得到的幅度值是0.56V，它的取值就算作0.6，这种数值就称为离散数值，得到离散数值过程被称为量化。我们把时间和幅度都用离散的数字表示的信号就称为数字信号。模拟声音信号数字化的过程如图5-3所示。 图5-3 模拟声音信号的数字化声音其实是一种

10、能量波，因此也有频率和振幅的特征，频率对应于时间轴线，振幅对应于电平轴线。采样的过程就是抽取某点的幅度值，很显然，在一秒中内抽取的点越多，获取得频率信息更丰富，为了复原波形，一次振动中，必须有2个点的采样，人耳能够感觉到的最高频率为20kHz，因此要满足人耳的听觉要求，则需要至少每秒进行40k次采样，用40kHz表达，这个40kHz就是采样频率，即每秒钟需要采集多少个声音样本。所以在声音信号的数字化中采样频率是一个重要概念。目前通用的标准采样频率有：8kHz、11.025Hz、22.05kHz、15kHz、44.1kHz和48kHz，我们常见的CD，采样率为44.1kHz。光有频率信息是不够的

11、，我们还必须获得该频率的能量值并量化，用于表示信号强度，即采样精度，指每个声音样本需要用多少位二进制数来表示，它反映出度量声音波形幅度值的精确程度。一个二进制位有0和1两种可能，显然量化电平数为2的整数次幂，我们常见的CD位16bit的采样大小，即2的16次方。举个简单例子：假设对一个波进行8次采样，采样点分别对应的能量值分别为A1-A8，但我们只使用2bit的采样大小，结果我们只能保留A1-A8中4个点的值而舍弃另外4个。如果我们进行3bit的采样大小，则刚好记录下8个点的所有信息。采样频率和采样精度的值越大，记录的波形更接近原始信号。把上述模数转换过程得到离散的电平值用二进制数表示出来并通

12、过一定算法压缩以后以不同形式存储在磁盘上，形成不同格式音频文件。声道数是指所使用的声音通道的个数，它表明声音记录只产生一个波形（即单音或单声道）还是两个波形（即立体声或双声道）。虽然，立体声听起来要比单音丰满优美，但需要两倍于单音的存储空间。数据量（bytes/s）8采样频率（Hz/s）量化位数（bit）声道数采样频率、采样精度和声道数对声音的音质和占用的存储空间起着决定性作用，如表5-2所示。我们希望音质越高越好，磁盘存储空间越少越好，这本身就是一个矛盾。必须在音质和磁盘存储空间之间取得平衡。数据量与上述三要素之间的关系可用下述公式表示：表5-2 采样频率、采样精度、声道数声音质量采样频率（

13、KHz）采样精度（bit）单声道/双声道数据量（Mb/min）电话音质8810.46AM音质11.025810.63FM音质22.051625.05CD音质44.116210.09DAT音质4816210.995.2 MIDI与音乐合成以前，如果提起音乐和计算机，你会认为这是两个完全不相干的领域，但是随着计算机技术的飞速发展及其应用领域的不断扩展，音乐与计算机奇妙地携手走到了一起。现在可以很方便地使电子乐器和多媒体计算机相互结合，从而给人们提供了一种快捷、独特的制作方式，它更加强调音色的非常规化、电子化、空间感和对比度、使电脑音乐日益形成一种崭新的音乐风格。5.2.1 什么是MIDI在前一节中

14、讲述的波形声音文件，包含对声音信号进行采样、量化得到的各采样点的数值序列。这种形式的文件数据量大，要想从中分离出某个音符十分困难，并且由于这种记录音乐的方式不是人演奏各种乐器的自然过程，所以，要让作曲家们接受这种形式其难度可想而知。这时，人们开始设想一种新的声音数据的表现形式，其原则是能够让乐器与计算机直接连接，使作曲家作曲的过程与他们惯用的方法一致，这样就产生了MIDI音乐。乐器数字接口（Musical Instrument Digital Interface，MIDI）是指数字乐器与计算机连接的接口，即在数字乐器与计算机相连接时所使用的。以直接插入在计算机端口上的一个小部件，通过它可以使数

15、字乐器与计算机相互“沟通”信息。 MIDI的特点是其文件内部记录的是演奏乐器的全部动作过程，比如，音色、音符、延时、音量、力度等信息，所以其数据量相当小。由此可见，MIDI不属于数字音响的范畴，如果我们把数字音响比作录了某个人小提琴独奏的磁带，那么MIDI就是该独奏的乐谱，尽管乐谱本身并不产生任何实际声音，但它却定义了演奏的速度、音符及该独奏声音的大小。如图5-4所示，就是一段MIDI音乐，它以乐谱的形式展示出来，而乐谱实际上就是描述演奏过程的命令序列。为了使数字乐器与计算机之间形成良好地默契，各个厂商都需要为每种音色、每个音符、节拍、力度等动作的各项属性数字化，即编号。比如，将音色Acous

16、tic Piano编号为00，将音符C3编号为00，将8分音符编号为60。对于一个原声钢琴8分音符的C3音，在MIDI文件中对应“000060。细心的读者可能会问：如果各个厂商对各个动作及属性定义的编号不一样，利用一个厂商设备制作出来的音乐是否可以在另一个厂商的设备上演奏?图5-4 MIDI音乐我们的回答是：会出现很多问题。这是MIDI技术一个亟待解决的问题。于是，在80年代，为了使各个厂商生产的设备可以被不同的计算机接收与处理，由几家电子乐器厂商共同制定了一个MIDI接口标准，这就是我们常说的“GM（General MIDI）标准”。这个标准主要由两部分组成：一是规定了与设备相连的硬件标准，

17、包括乐器间的物理连接方式，连接两个乐器所使用的MIDI缆线；二是规定了MIDI数据的格式，主要包括硬件上传输信息的编码方式。无论各厂商如何开发自己的产品，其基本设计必须参照这套MIDI标准。5.2.2 MIDI合成器合成器是利用数字信号处理器DSP或其他芯片来产生音乐或声音的电子装置。利用合成器产生MIDI乐音的主要方法是FM合成法和波表合成法。 1. FM合成法 FM合成法是20世纪80年代初由美国斯坦福大学的John Chowning发明的，称为“数字式频率调制合成法”，简称FM合成法。FM合成法生成乐音的基本原理是，用数字信号来表示不同乐音的波形，然后把它们组合起来，再通过数模转换器（D

18、AC）生成乐音播放。 在乐音合成器中，数字载波的波形有很多种，不同型号的FM合成器所选用的波形也不同。各种不同乐音的产生是通过组合各种波形参数并采用各种不同的算法实现的。FM合成器的算法包括确定用什么样的波形作为数字载波波形、用什么样的波形作为调制波形、用什么样的波形参数去组合并产生所希望的乐音。例如改变数字载波频率可以改变乐音的音调，改变它的幅度可以改变它的音量。选择的算法不同，载波器和调制器的相互作用也不同，生成的音色也不同。 FM合成器的13个声音参数和算法共14个控制参数，以字节的形式存储在声音卡的ROM中。播放某种乐音时计算机就发送一个信号，这个信号被转换成ROM的地址，从该地址中取

19、出的数据就是用于产生乐音的数据。FM合成器利用这些数据产生的乐音是否真实，它的真实程度有多高，取决于可用的波形源的数目、算法和波形的类型。2波表合成法 使用FM合成法来产生各种逼真的乐音是相当困难的，有些乐音几乎不能产生。目前的声卡一般采用乐音样本合成法，即波表合成法。这种方法就是把真实乐器发出的声音以数字的形式记录下来，播放时根据命令生成各种音阶的音符，产生的声音质量比FM合成方法产生的声音质量要高很多。乐音样本的采集相对比较直观，例如，当音乐家在真实乐器上演奏音乐时选择44.1kHz的采样频率、16比特的量化位数的精度进行采样，便可得到相当于CD-DA的声音质量。 与FM合成不同，波表合成

20、是采用真实的声音样本进行回放。声音样本记录了各种真实乐器的采样波形，并保存在声卡上的ROM或RAM中。例如创新的Sound Blaster AWE32是第一块广为流行的波表声卡。该卡采用了EMU8000波表处理芯片，提供16bit MIDI通道和32bit的复音效果。波表合成的声音比FM合成的声音更为丰富和真实，但由于需要额外的存储器作为音色库，因此成本也较高，而且音色库越大，所需的存储器就越多，相应地成本也就越高。 波表合成可以有软硬之分，软波表原理跟硬波表一样，都是采用了真实的声音样本进行回放。只是硬波表的音色库是存放在声卡的ROM或RAM中，而软波表的音色库则以文件的形式存放在硬盘里，需

21、要时再通过CPU进行调用。由于软波表是通过CPU的实时运算来回放MIDI音效，因此软波表对系统要求较高。5.2.3 MIDI音乐创作软件MIDI的发展，近几年来市场上不断出现不同功能的电脑音乐创作软件，这些软件大体上可以分为以下三类：一类是专为作曲及编曲而设计的，比如Cakewalk、Cubase、Mastertracl Pro等；还有些是专为制作和打印五线谱而设计的，比如Encore，Finale等；另外一些些是专为音乐教育而设计的，比如Piano、Music lesson等，品种非常多。有了这些软件的帮助，人们在学习作曲、编曲、制作和编辑五线谱以及制作唱片等各方面都产生了前所未有的变化。如

22、图5-5就是MIDI创作软件Cakewalk Pro Audio 9.0 的界面。图5-5 Cakewalk Pro Audio 9.0 软件界面5.3 数字音频格式数字音频的不同表示形式，导致了不同的文件格式，下面我们介绍几种常见的音频文件格式：（1）PCM（脉冲编码调制）编码格式如果把上述模数转换过程得到离散的电平值用二进制数表示出来并把二进制数直接记录下来，形成的多媒体声音文件我们把它称为PCM编码。也就是说：PCM是一种将模拟音频信号变换为数字信号的编码方式。主要经过3个过程：抽样、量化和编码。抽样过程将连续时间模拟信号变为离散时间、连续幅度的抽样信号，量化过程将抽样信号变为离散时间、

23、离散幅度的数字信号，编码过程将量化后的信号编码成为一个二进制码组输出。PCM编码的最大的优点就是音质好，最大的缺点就是体积大。我们常见的Audio CD就采用了PCM编码，一张光盘的容量只能容纳72分钟的音乐信息。（2）WAV格式WAV是微软公司开发的一种声音文件格式，也叫波形声音文件，是最早的数字音频格式，由于Windows本身的影响力，这个格式已经成为了事实上的通用音频格式。WAV格式符合 PIFF Resource Interchange File Format规范。所有的WAV都有一个文件头，这个文件头音频流的编码参数。WAV对音频流的编码没有硬性规定，除了PCM之外，还有几乎所有支持

24、ACM规范的编码都可以为WAV的音频流进行编码。WAV格式支持许多压缩算法，支持多种音频位数、采样频率和声道，采用44.1kHz的采样频率，16位量化位数，跟CD一样，对存储空间需求太大不便于交流和传播。在Windows平台下，基于PCM编码的WAV是被支持得最好的音频格式，所有音频软件都能完美支持，由于本身可以达到较高的音质的要求，因此，WAV也是音乐编辑创作的首选格式，适合保存音乐素材。因此，基于PCM编码的WAV被作为了一种中介的格式，常常使用在其他编码的相互转换之中，例如MP3转换成WMA。（3）MP3编码格式MP3是MPEG（MPEG：Moving Picture Experts G

25、roup) Audio Layer-3的简称，是MPEG1的衍生编码方案，1993年由德国Fraunhofer IIS研究院和汤姆生公司合作发展成功。MP3可以做到12:1的惊人压缩比并保持基本可听的音质，mp3之所以能够达到如此高的压缩比例同时又能保持相当不错的音质是因为利用了知觉音频编码技术，也就是利用了人耳的特性，削减音乐中人耳听不到的成分，同时尝试尽可能地维持原来的声音质量。（4）mp3PRO 编码格式mp3PRO 编码是美国汤姆森多媒体公司（Thomson Multimedia SA）与佛朗赫弗协会（Fraunhofer Institute）发布了一种新的音乐格式版本，这种格式与之前

26、的mp3相比最大的特点是能在低达64kbps的比特率下仍然能提供近似CD的音质（mp3是128K）。该技术称为SBR（Spectral Band Replication 频段复制），这是一种新的音频编码增强算法。它提供了改善低位率情况下音频和语音编码的性能的可能。这种方法可在指定的位率下增加音频的带宽或改善编码效率。SBR最大的优势就是在低数据速率下实现非常高效的编码，与传统的编码技术不同的是，SBR更像是一种后处理技术，因此解码器的算法的优劣直接影响到音质的好坏。它在原来mp3技术的基础上专门针对原来mp3技术中损失了的音频细节进行独立编码处理并捆绑在原来的mp3数据上，在播放的时候通过再合

27、成而达到良好的音质效果。（5）WMA格式WMA（Windows Media Audio）是Windows Media Audio编码后的文件格式。WMA格式是以减少数据流量但保持音质的方法来达到更高的压缩率目的，其压缩率一般可以达到1:18。WMA支持防复制功能，她支持通过Windows Media Rights Manager加入保护，可以限制播放时间和播放次数甚至于播放的机器。WMA同样也可以支持网络流媒体播放。（6）ASF格式ASF（Audio Steaming Format）是一种支持在各类网络和协议上的数据传输的标准。它支持音频、视频及其他多媒体类型，而WMA只包含音频的ASF文件。

28、ASF格式在录制时可以对音质进行调节，同一格式，音质好的可与CD媲美，压缩比较高的可用于网络广播。由于微软的大力推广，这种格式在高音质领域直逼MP3，并且压缩速度比MP3提高1倍；在网络广播方面可与Real公司相竞争。（7）RA、RM、RMX格式：RA（RealAudio）、RM（RealMedia，RealAudio G2）、RMX（RealAudio Secured）这几个文件类型就Real Media面向音频方面的。它是由Real Networks公司开发的，特点是可以在非常低的带宽下（低达28.8kbps）提供足够好的音质。大部分音乐网站都是采用了这三种格式，这三种格式完全针对的就是网

29、络上的媒体市场，支持非常丰富的功能。最大的特点就是这三种格式都可以根据听众的带宽来控制自己的码率，在保证流畅的前提下尽可能提高音质。RA可以支持多种音频编码，包括ATRAC3。而且和WMA一样，RA不但都支持边读边放，也同样支持使用特殊协议来隐匿文件的真实网络地址，从而实现只在线播放而不提供下载的播放方式。因此，这几种文件格式都属于网络流媒体格式。（8）MIDI格式 这是记录MIDI音乐的文件格式。与波形文件相比较，它记录的不是实际声音信号采样、量化后的数值，而是演奏乐器的动作过程及属性，因此，数据量很小。这种声音文件可以利用Windows提供的“媒体播放器”进行播放。（9）OGG编码格式：O

30、gg Vorbis是一种音频压缩格式，类似于MP3等现有的通过有损压缩算法进行音频压缩的音乐格式。但是不同的是，Ogg Vorbis格式是完全免费、开放源码且没有专利限制的。Ogg Vorbis是高质量的音频编码方案，Ogg Vorbis可以在相对较低的数据速率下实现比MP3更好的音质。Ogg Vorbis这种编码也远比90年代开发成功的MP3先进，它可以支持多声道，也就是说：可以对所有的声道进行编码，而不是MP3只能编码2个声道。和MP3一样，Ogg Vorbis是一种灵活开放的音频编码，能够在编码方案已经固定下来后还能对音质进行明显的调节和新算法的改良。Ogg Vorbis是一个音频编码框

31、架，可以不断导入新技术逐步完善，并且OGG也支持VBR。Ogg Vorbis几乎得到所有的音频编辑器的支持，播放可以使用Winamp播放。现在Ogg Vorbis已经是Winamp标准配置之一。（10）VOC格式：VOC格式是DOS系统下面的音频文件格式标准，它是随声霸卡一起产生的数字声音文件，与WAV文件的结构相似，可以通过一些工具软件方便地互相转换。它是创新公司发明的音频文件格式。由于Windows平台不提供对VOC格式的直接支持，所以VOC格式现在已经很少见到了。（11）MOD格式：Module（简称mod）是数码音乐文件，由一组samples（乐器的声音采样）、曲谱和时序信息组成，告诉

32、一个mod播放器何时以何种音高去演奏在某条音轨的某个样本，附带演奏一些效果比如颤音等。mod起源于Amiga计算机，当时的文件扩展名是MOD，为了区分具体的类型和整个结构体系，通常使用mod来表示整个Module格式体系。（12）AIFF格式：AIFF格式是Macintosh平台上的标准音频格式，属于QuickTime技术的一部分。这一格式的特点就是格式本身与数据的意义无关，因此受到了Microsoft的青睐，并据此搞出来WAV格式。AIFF虽然是一种很优秀的文件格式，但由于它是Macintosh平台上的格式，因此在PC平台上并没有得到很大的流行。（13）VQF格式：VQF格式是由YAMAHA和NTT共同开发的一种音频压缩技术，它的压缩率能够达到1:18，因此相同情况下压缩后VQF的文件体积比MP3小30%50%，更便利于网上传