语音识别综述Word格式文档下载.docx
《语音识别综述Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《语音识别综述Word格式文档下载.docx（7页珍藏版）》请在冰豆网上搜索。
第四，识别的语音中有背景噪声或其他干扰。
因此原有的模板匹配方法已不再适用。
实验室语音识别研究的巨大突破产生于20世纪80年代末：
人们终于在实验室突破了大词汇量、连续语音和非特定人这三大障碍，第一次把这三个特性都集成在一个系统中，比较典型的是卡耐基梅隆大学（CarnegieMellonUniversity）的Sphinx系统，它是第一个高性能的非特定人、大词汇量连续语音识别系统。
这一时期，语音识别研究进一步走向深入，其显著特征是HMM模型和人工神经元网络（ANN）在语音识别中的成功应用。
HMM模型的广泛应用应归功于AT&
TBell实验室Rabiner等科学家的努力，他们把原本艰涩的HMM纯数学模型工程化,从而为更多研究者了解和认识，从而使统计方法成为了语音识别技术的主流。
统计方法将研究者的视线从微观转向宏观，不再刻意追求语音特征的细化，而是更多地从整体平均（统计）的角度来建立最佳的语音识别系统。
在声学模型方面，以Markov链为基础的语音序列建模方法HMM（隐式Markov链）比较有效地解决了语音信号短时稳定、长时时变的特性，并且能根据一些基本建模单元构造成连续语音的句子模型，达到了比较高的建模精度和建模灵活性。
在语言层面上，通过统计真实大规模语料的词之间同现概率即N元统计模型来区分识别带来的模糊音和同音词。
另外，人工神经网络方法、基于文法规则的语言处理机制等也在语音识别中得到了应用。
20世纪90年代前期，许多著名的大公司如IBM、苹果、AT＆T和NTT都对语音识别系统的实用化研究投以巨资。
语音识别技术有一个很好的评估机制，那就是识别的准确率，而这项指标在20世纪90年代中后期实验室研究中得到了不断的提高。
比较有代表性的系统有：
IBM公司推出的ViaVoice和DragonSystem公司的NaturallySpeaking,Nuance公司的NuanceVoicePlatform语音平台，Microsoft的Whisper,Sun的VoiceTone等。
其中IBM公司于1997年开发出汉语ViaVoice语音识别系统，次年又开发出可以识别上海话、广东话和四川话等地方口音的语音识别系统ViaVoice'
98。
它带有一个32,000词的基本词汇表，可以扩展到65,000词,还包括办公常用词条，具有“纠错机制”，其平均识别率可以达到95%。
该系统对新闻语音识别具有较高的精度，是目前具有代表性的汉语连续语音识别系统。
（2）国内研究历史及现状
我国语音识别研究工作起步于五十年代，但近年来发展很快。
研究水平也从实验室逐步走向实用。
从1987年开始执行国家863计划后，国家863智能计算机专家组为语音识别技术研究专门立项，每两年滚动一次。
我国语音识别技术的研究水平已经基本上与国外同步，在汉语语音识别技术上还有自己的特点与优势，并达到国际先进水平。
中科院自动化所、声学所、清华大学、北京大学、哈尔滨工业大学、上海交通大学、中国科技大学、北京邮电大学、华中科技大学等科研机构都有实验室进行过语音识别方面的研究，其中具有代表性的研究单位为清华大学电子工程系与中科院自动化研究所模式识别国家重点实验室。
清华大学电子工程系语音技术与专用芯片设计课题组，研发的非特定人汉语数码串连续语音识别系统的识别精度，达到94.8%（不定长数字串）和96.8%（定长数字串）。
在有5%的拒识率情况下，系统识别率可以达到96.9%（不定长数字串）和98.7%（定长数字串），这是目前国际最好的识别结果之一，其性能已经接近实用水平。
研发的5000词邮包校核非特定人连续语音识别系统的识别率达到98.73%，前三选识别率达99.96%；
并且可以识别普通话与四川话两种语言，达到实用要求。
中科院自动化所及其所属模式科技（Pattek）公司2002年发布了他们共同推出的面向不同计算平台和应用的“天语”中文语音系列产品——PattekASR，结束了中文语音识别产品自1998年以来一直由国外公司垄断的历史。
二、语音识别系统的分类
语音识别系统可以根据对输入语音的限制加以分类。
如果从说话者与识别系统的相关性考虑，可以将识别系统分为3类：
（1）特定人语音识别系统：
仅考虑对于专人的话音进行识别；
（2）非特定人语音系统：
识别的语音与人无关，通常要用大量不同人的语音数据库对识别系统进行学习；
（3）多人的识别系统：
通常能识别一组人的语音，或者成为特定组语音识别系统，该系统仅要求对要识别的那组人的语音进行训练。
如果从说话的方式考虑，也可以将识别系统分为3类：
（1）孤立词语音识别系统：
孤立词识别系统要求输入每个词后要停顿；
（2）连接词语音识别系统：
连接词输入系统要求对每个词都清楚发音，一些连音现象开始出现；
（3）连续语音识别系统：
连续语音输入是自然流利的连续语音输入，大量连音和变音会出现。
如果从识别系统的词汇量大小考虑，也可以将识别系统分为3类：
（1）小词汇量语音识别系统。
通常包括几十个词的语音识别系统。
（2）中等词汇量的语音识别系统。
通常包括几百个词到上千个词的识别系统。
（3）大词汇量语音识别系统。
通常包括几千到几万个词的语音识别系统。
随着计算机与数字信号处理器运算能力以及识别系统精度的提高，识别系统根据词汇量大小进行分类也不断进行变化。
目前是中等词汇量的识别系统到将来可能就是小词汇量的语音识别系统。
这些不同的限制也确定了语音识别系统的困难度。
三、语音识别的几种基本方法
一般来说,语音识别的方法有三种：
基于声道模型和语音知识的方法、模板匹配的方法以及利用人工神经网络的方法。
（1）基于语音学和声学的方法
该方法起步较早，在语音识别技术提出的开始，就有了这方面的研究，但由于其模型及语音知识过于复杂，现阶段没有达到实用的阶段。
通常认为常用语言中有有限个不同的语音基元，而且可以通过其语音信号的频域或时域特性来区分。
这样该方法分为两步实现：
第一步，分段和标号
把语音信号按时间分成离散的段，每段对应一个或几个语音基元的声学特性。
然后根据相应声学特性对每个分段给出相近的语音标号
第二步，得到词序列
根据第一步所得语音标号序列得到一个语音基元网格，从词典得到有效的词序列，也可结合句子的文法和语义同时进行。
（2）模板匹配的方法
模板匹配的方法发展比较成熟，目前已达到了实用阶段。
在模板匹配方法中，要经过四个步骤：
特征提取、模板训练、模板分类、判决。
常用的技术有三种：
动态时间规整（DTW）、隐马尔可夫（HMM）理论、矢量量化（VQ）技术。
1、动态时间规整（DTW）
语音信号的端点检测是进行语音识别中的一个基本步骤，它是特征训练和识别的基础。
所谓端点检测就是在语音信号中的各种段落（如音素、音节、词素）的始点和终点的位置，从语音信号中排除无声段。
在早期，进行端点检测的主要依据是能量、振幅和过零率。
但效果往往不明显。
60年代日本学者Itakura提出了动态时间规整算法（DTW：
DynamicTimeWarping）。
算法的思想就是把未知量均匀的升长或缩短,直到与参考模式的长度一致。
在这一过程中，未知单词的时间轴要不均匀地扭曲或弯折，以使其特征与模型特征对正。
2、隐马尔可夫法（HMM）
隐马尔可夫法（HMM）是70年代引入语音识别理论的，它的出现使得自然语音识别系统取得了实质性的突破。
HMM方法现已成为语音识别的主流技术，目前大多数大词汇量、连续语音的非特定人语音识别系统都是基于HMM模型的。
HMM是对语音信号的时间序列结构建立统计模型，将之看作一个数学上的双重随机过程：
一个是用具有有限状态数的Markov链来模拟语音信号统计特性变化的隐含的随机过程，另一个是与Markov链的每一个状态相关联的观测序列的随机过程。
前者通过后者表现出来，但前者的具体参数是不可测的。
人的言语过程实际上就是一个双重随机过程，语音信号本身是一个可观测的时变序列，是由大脑根据语法知识和言语需要（不可观测的状态）发出的音素的参数流。
可见HMM合理地模仿了这一过程，很好地描述了语音信号的整体非平稳性和局部平稳性,是较为理想的一种语音模型。
3、矢量量化（VQ）
矢量量化（VectorQuantization）是一种重要的信号压缩方法。
与HMM相比,矢量量化主要适用于小词汇量、孤立词的语音识别中。
其过程是：
将语音信号波形的k个样点的每一帧，或有k个参数的每一参数帧，构成k维空间中的一个矢量，然后对矢量进行量化。
量化时，将k维无限空间划分为M个区域边界，然后将输入矢量与这些边界进行比较，并被量化为“距离”最小的区域边界的中心矢量值。
矢量量化器的设计就是从大量信号样本中训练出好的码书，从实际效果出发寻找到好的失真测度定义公式，设计出最佳的矢量量化系统，用最少的搜索和计算失真的运算量，实现最大可能的平均信噪比。
核心思想可以这样理解：
如果一个码书是为某一特定的信源而优化设计的，那么由这一信息源产生的信号与该码书的平均量化失真就应小于其他信息的信号与该码书的平均量化失真，也就是说编码器本身存在区分能力。
在实际的应用过程中，人们还研究了多种降低复杂度的方法，这些方法大致可以分为两类：
无记忆的矢量量化和有记忆的矢量量化。
无记忆的矢量量化包括树形搜索的矢量量化和多级矢量量化。
（3）神经网络的方法
利用人工神经网络的方法是80年代末期提出的一种新的语音识别方法。
人工神经网络（ANN）本质上是一个自适应非线性动力学系统，模拟了人类神经活动的原理，具有自适应性、并行性、鲁棒性、容错性和学习特性，其强的分类能力和输入-输出映射能力在语音识别中都很有吸引力。
但由于存在训练、识别时间太长的缺点，目前仍处于实验探索阶段。
由于ANN不能很好的描述语音信号的时间动态特性，所以常把ANN与传统识别方法结合，分别利用各自优点来进行语音识别。
四、语音识别系统的结构
一个完整的基于统计的语音识别系统可大致分为三部分：
（1）语音信号预处理与特征提取;
（2）声学模型与模式匹配;
（3）语言模型与语言处理、
（1）语音信号预处理与特征提取
选择识别单元是语音识别研究的第一步。
语音识别单元有单词（句）、音节和音素三种，具体选择哪一种，由具体的研究任务决定。
单词（句）单元广泛应用于中小词汇语音识别系统，但不适合大词汇系统，原因在于模型库太庞大，训练模型任务繁重，模型匹配算法复杂，难以满足实时性要求。
音节单元多见于汉语语音识别，主要因为汉语是单音节结构的语言，而英语是多音节，并且汉语虽然有大约1300个音节，但若不考虑声调，约有408个无调音节，数量相对较少。
因此，对于中、大词汇量汉语语音识别系统来说，以音节为识别单元基本是可行的。
音素单元以前多见于英语语音识别的研究中，但目前中、大词汇量汉语语音识别系统也在越来越多地采用。
原因在于汉语音节仅由声母（包括零声母有22个）和韵母（共有28个）构成，且声韵母声学特性相差很大。
实际应用中常把声母依后续韵母的不同而构成细化声母，这样虽然增加了模型数目，但提高了易混淆音节的区分能力。
由于协同发音的影响，音素单元不稳定，所以如何获得稳定的音素单元，还有待研究。
语音识别一个根本的问题是合理的选用特征。
特征参数提取的目的是对语音信号进行分析处理，去掉与语音识别无关的冗余信息，获得影响语音识别的重要信息，同时对语音信号进行压缩。
在实际应用中，语音信号的压缩率介于10-100之间。
语音信号包含了大量各种不同的信息，提取哪些信息，用哪种方式提取，需要综合考虑各方面的因素，如成本，性能，响应时间，计算量等。
非特定人语音识别系统一般侧重提取反映语义的特征参数，尽量去除说话人的个人信息；
而特定人语音识别系统则希望在提取反映语义的特征参数的同时，尽量也包含说话人的个人信息。
线性预测（LP）分析技术是目前应用广泛的特征参数提取技术，许多成功的应用系统都采用基于LP技术提取的倒谱参数。
但线性预测模型是纯数学模型，没有考虑人类听觉系统对语音的处理特点。
Mel参数和基于感知线性预测（PLP）分析提取的感知线性预测倒谱，在一定程度上模拟了人耳对语音的处理特点，应用了人耳听觉感知方面的一些研究成果。
实验证明，采用这种技术，语音识别系统的性能有一定提高。
从目前使用的情况来看，梅尔刻度式倒频谱参数已逐渐取代原本常用的线性预测编码导出的倒频谱参数，原因是它考虑了人类发声与接收声音的特性，具有更好的鲁棒性（Robustness）。
也有研究者尝试把小波分析技术应用于特征提取，但目前性能难以与上述技术相比，有待进一步研究。
（2）声学模型与模式匹配
声学模型通常是将获取的语音特征使用训练算法进行训练后产生。
在识别时将输入的语音特征同声学模型（模式）进行匹配与比较，得到最佳的识别结果。
声学模型是识别系统的底层模型，并且是语音识别系统中最关键的一部分。
声学模型的目的是提供一种有效的方法计算语音的特征矢量序列和每个发音模板之间的距离。
声学模型的设计和语言发音特点密切相关。
声学模型单元大小（字发音模型、半音节模型或音素模型）对语音训练数据量大小、系统识别率，以及灵活性有较大的影响。
必须根据不同语言的特点、识别系统词汇量的大小决定识别单元的大小。
以汉语为例：
汉语按音素的发音特征分类分为辅音、单元音、复元音、复鼻尾音四种，按音节结构分类为声母和韵母。
并且由音素构成声母或韵母。
有时，将含有声调的韵母称为调母。
由单个调母或由声母与调母拼音成为音节。
汉语的一个音节就是汉语一个字的音，即音节字。
由音节字构成词，最后再由词构成句子。
汉语声母共有22个，其中包括零声母，韵母共有38个。
按音素分类，汉语辅音共有22个，单元音13个，复元音13个，复鼻尾音16个。
目前常用的声学模型基元为声韵母、音节或词，根据实现目的不同来选取不同的基元。
汉语加上语气词共有412个音节，包括轻音字，共有1282个有调音节字，所以当在小词汇表孤立词语音识别时常选用词作为基元，在大词汇表语音识别时常采用音节或声韵母建模，而在连续语音识别时，由于协同发音的影响，常采用声韵母建模。
基于统计的语音识别模型常用的就是HMM模型λ（N,M,π,A,B），涉及到HMM模型的相关理论包括模型的结构选取、模型的初始化、模型参数的重估以及相应的识别算法等。
（3）语言模型与语言处理
语言模型包括由识别语音命令构成的语法网络或由统计方法构成的语言模型，语言处理可以进行语法、语义分析。
语言模型对中、大词汇量的语音识别系统特别重要。
当分类发生错误时可以根据语言学模型、语法结构、语义学进行判断纠正，特别是一些同音字则必须通过上下文结构才能确定词义。
语言学理论包括语义结构、语法规则、语言的数学描述模型等有关方面。
目前比较成功的语言模型通常是采用统计语法的语言模型与基于规则语法结构命令语言模型。
语法结构可以限定不同词之间的相互连接关系，减少了识别系统的搜索空间，这有利于提高系统的识别。
五、语音识别所面临的问题
1、就算法模型方面而言，需要有进一步的突破。
目前能看出它的一些明显不足，尤其在中文语音识别方面，语言模型还有待完善，因为语言模型和声学模型正是听写识别的基础，这方面没有突破，语音识别的进展就只能是一句空话。
目前使用的语言模型只是一种概率模型，还没有用到以语言学为基础的文法模型，而要使计算机确实理解人类的语言，就必须在这一点上取得进展，这是一个相当艰苦的工作。
此外，随着硬件资源的不断发展，一些核心算法如特征提取、搜索算法或者自适应算法将有可能进一步改进。
可以相信，半导体和软件技术的共同进步将为语音识别技术的基础性工作带来福音。
2、就自适应方面而言，语音识别技术也有待进一步改进。
目前，象IBM的ViaVoice和Asiaworks的SPK都需要用户在使用前进行几百句话的训练，以让计算机适应你的声音特征。
这必然限制了语音识别技术的进一步应用，大量的训练不仅让用户感到厌烦，而且加大了系统的负担。
并且，不能指望将来的消费电子应用产品也针对单个消费者进行训练。
因此，必须在自适应方面有进一步的提高，做到不受特定人、口音或者方言的影响，这实际上也意味着对语言模型的进一步改进。
现实世界的用户类型是多种多样的，就声音特征来讲有男音、女音和童音的区别，此外，许多人的发音离标准发音差距甚远，这就涉及到对口音或方言的处理。
如果语音识别能做到自动适应大多数人的声线特征，那可能比提高一二个百分点识别率更重要。
事实上，ViaVoice的应用前景也因为这一点打了折扣，只有普通话说得很好的用户才可以在其中文版连续语音识别方面取得相对满意的成绩。
3、就强健性方面而言，语音识别技术需要能排除各种环境因素的影响。
目前，对语音识别效果影响最大的就是环境杂音或嗓音，在公共场合，你几乎不可能指望计算机能听懂你的话，来自四面八方的声音让它茫然而不知所措。
很显然这极大地限制了语音技术的应用范围，目前，要在嘈杂环境中使用语音识别技术必须有特殊的抗嗓（NoiseCancellation）麦克风才能进行，这对多数用户来说是不现实的。
在公共场合中，个人能有意识地摒弃环境嗓音并从中获取自己所需要的特定声音，如何让语音识别技术也能达成这一点呢？
这的确是一个艰巨的任务。
此外，带宽问题也可能影响语音的有效传送，在速率低于1000比特/秒的极低比特率下，语音编码的研究将大大有别于正常情况，比如要在某些带宽特别窄的信道上传输语音，以及水声通信、地下通信、战略及保密话音通信等，要在这些情况下实现有效的语音识别，就必须处理声音信号的特殊特征，如因为带宽而延迟或减损等。
语音识别技术要进一步应用，就必须在强健性方面有大的突破。
4、多语言混合识别以及无限词汇识别方面：
简单地说，目前使用的声学模型和语音模型太过于局限，以至用户只能使用特定语音进行特定词汇的识别。
如果突然从中文转为英文，或者法文、俄文，计算机就会不知如何反应，而给出一堆不知所云的句子；
或者用户偶尔使用了某个专门领域的专业术语，如“信噪比"
等，可能也会得到奇怪的反应。
这一方面是由于模型的局限，另一方面也受限于硬件资源。
随着两方面的技术的进步，将来的语音和声学模型可能会做到将多种语言混合纳入，用户因此就可以不必在语种之间来回切换。
此外，对于声学模型的进一步改进，以及以语义学为基础的语言模型的改进，也能帮助用户尽可能少或不受词汇的影响，从而可实行无限词汇识别。
5、多语种交流系统的应用：
最终，语音识别是要进一步拓展我们的交流空间，让我们能更加自由地面对这个世界。
可以想见，如果语音识别技术在上述几个方面确实取得了突破性进展，那么多语种交流系统的出现就是顺理成章的事情，这将是语音识技术、机器翻译技术以及语音合成技术的完美结合，而如果硬件技术的发展能将这些算法进而固化到更为细小的芯片，比如手持移动设备上，那么个人就可以带着这种设备周游世界而无需担心任何交流的困难，你说出你想表达的意思，手持设备同时识别并将它翻译成对方的语言，然后合成并发送出去；
同时接听对方的语言，识别并翻译成已方的语言，合成后朗读给你听，所有这一切几乎都是同时进行的，只是机器充当着主角。
任何技术的进步都是为了更进一步拓展我们人类的生存和交流空间，以使我们获得更大的自由，就服务于人类而言，这一点显然也是语音识别技术的发展方向，而为了达成这一点，它还需要在上述几个方面取得突破性进展，最终，多语种自由交流系统将带给我们全新的生活空间。
六、语音识别技术的前景和应用
在电话与通信系统中，智能语音接口正在把电话机从一个单纯的服务工具变成为一个服务的“提供者”和生活“伙伴”；
使用电话与通信网络，人们可以通过语音命令方便地从远端的数据库系统中查询与提取有关的信息；
随着计算机的小型化，键盘已经成为移动平台的一个很大障碍，想象一下如果手机仅仅只有一个手表那么大，再用键盘进行拨号操作已经是不可能的。
语音识别正逐步成为信息技术中人机接口的关键技术，语音识别技术与语音合成技术结合使人们能够甩掉键盘，通过语音命令进行操作。
语音识别技术发展到今天，特别是中小词汇量非特定人语音识别系统识别精度已经大于98%，对特定人语音识别系统的识别精度就更高。
这些技术已经能够满足通常应用的要求。
由于大规模集成电路技术的发展，这些复杂的语音识别系统也已经完全可以制成专用芯片，大量生产。
在西方经济发达国家，大量的语音识别产品已经进入市场和服务领域。
一些用户交机、电话机、手机已经包含了语音识别拨号功能，还有语音记事本、语音智能玩具等产品也包括语音识别与语音合成功能。
人们可以通过电话网络用语音识别口语对话系统查询有关的机票、旅游、银行信息，并且取得很好的结果。
调查统计表明多达85%以上的人对语音识别的信息查询服务系统的性能表示满意。
可以预测在近五到十年内，语音识别系统的应用将更加广泛。
各种各样的语音识别系统产品将出现在市场上。
人们也将调整自己的说话方式以适应各种各样的识别系统。
在短期内还不可能造出具有和人相比拟的语音识别系统，要建成这样一个系统仍然是人类面临的一个大的挑战，我们只能一步步朝着改进语音识别系统的方向一步步地前进。
至于什么时候可以建立一个像人一样完善的语音识别系统则是很难预测的。
就像在60年代，谁又能预测今天超大规模集成电路技术会对我们的社会产生这么大的影响。
升级会员 