语音信号处理第3版第1讲.ppt

1、n课程简介课程简介总学时：总学时：48，理论课学时：，理论课学时：38，实验课学时：，实验课学时：10，学分：，学分：3 适用于通信工程、电子信息工程等专业适用于通信工程、电子信息工程等专业 先修课程先修课程：信号与系统、数字信号处理、概率统计信号与系统、数字信号处理、概率统计 期末考试期末考试 （开开卷，占卷，占8 80%0%）实验考核实验考核（实验完成情况、实验报告撰写情况，占（实验完成情况、实验报告撰写情况，占1010%）平时考核平时考核（课堂表现、自主学习情况，占（课堂表现、自主学习情况，占1 10 0%）n课程考核方式课程考核方式 语音信号处理语音信号处理是一门综合性学科，涉及的领域

2、非常广泛：是一门综合性学科，涉及的领域非常广泛：声学、语音学、信号处理、数学、人工智能、模式识别，甚至声学、语音学、信号处理、数学、人工智能、模式识别，甚至心理学、生物学等。心理学、生物学等。n教材及主要参考资料教材及主要参考资料教材：教材：赵力赵力.语音信号处理（第语音信号处理（第3 3版）版）,北京：机械工业出版社北京：机械工业出版社,2016.5,2016.5主要参考资料：主要参考资料：张雪张雪.数字语音处理及数字语音处理及MATLABMATLAB仿真仿真,北京：电子工业出版社北京：电子工业出版社,2010,2010 何强何强 何英何英.MATLAB.MATLAB扩展编程扩展编程,北京：

3、清华大学出版社北京：清华大学出版社,2002,2002n主要软件及工具箱主要软件及工具箱 MatLab,Cool Editor,Visual Studio 2008/2010MatLab,Cool Editor,Visual Studio 2008/2010 Voice Box,HTK,Speech SDK Voice Box,HTK,Speech SDK等工具箱等工具箱n主要研究机构主要研究机构国外：国外：卡耐基梅隆大学，剑桥大学，爱丁堡大学，谢菲尔卡耐基梅隆大学，剑桥大学，爱丁堡大学，谢菲尔德大学，华盛顿大学，加州大学，哥伦比亚大学，麻省理工德大学，华盛顿大学，加州大学，哥伦比亚大学，麻省

4、理工学院，帝国理工学院，学院，帝国理工学院，IBMIBM，微软、，微软、NuanceNuance等等国内：国内：科大讯飞，清华大学，中科院声学所和自动化所，科大讯飞，清华大学，中科院声学所和自动化所，哈工大，东南大学，华南理工大学等哈工大，东南大学，华南理工大学等n本课程的主要内容本课程的主要内容 绪论绪论 2 2 语音信号处理基础知识语音信号处理基础知识 2 2 矢量量化技术矢量量化技术 2 2 语音信号分析语音信号分析 4 4 语音信号特征提取技术语音信号特征提取技术 4 4 语音增强语音增强 4 4 语音识别语音识别 4 4 说话人识别说话人识别 4 4 语音编码语音编码 4 4 语音合

5、成与转换语音合成与转换 4 4 语音信息隐藏语音信息隐藏 4 41.1 概述1.2 语音识别发展概况1.3 语音编码发展概况1.4 语音合成发展概况1.5 语音处理的其他分支第第第第1 1 1 1章章章章 绪论绪论绪论绪论l噪声噪声环境下境下语音音处理系理系统性能急性能急剧下降下降l说话人人发音方式、口音音方式、口音变化等将化等将导致系致系统性能下降性能下降l 训练和和测试数据差异数据差异较大大时，系，系统性能将下降性能将下降ll车载语音：音：汽汽车导航、空航、空调、车窗、影音等的窗、影音等的语音控制音控制l呼叫中心：呼叫中心：交互式交互式语音音应答的答的补充、服充、服务质量量评估、增估、增强

6、强安全性等安全性等l 移移动终端：端：语音秘音秘书、语音播音播报、语音音输入法、入法、语音听写系音听写系统l教育和教育和娱乐：语音教具、音教具、语音（普通音（普通话）评测、智能、智能语音家音家电和玩具和玩具l 公共安全及服公共安全及服务：语音音监听与跟踪、家庭服听与跟踪、家庭服务、宾馆服服务、旅行社服、旅行社服务系系统、订票系票系统、医、医疗服服务、银行服行服务、股票、股票查询服服务等等l卡耐基梅隆大学、卡耐基梅隆大学、剑桥大学、大学、爱丁堡大学、丁堡大学、华盛盛顿大学、大学、清清华大学、中科大、中科院大学、中科大、中科院 等一直从事等一直从事语音音处理研究理研究l 2011年苹果公司推出年苹

7、果公司推出Siri(Iphone4S的的语音控制功能音控制功能)l 2010年科大年科大讯飞推出新一代推出新一代“语音云音云”平台平台l 2011年年腾讯公司推出公司推出QQ云云语音面板音面板l Nuance,Google,微微软,IBM,百度百度,盛大盛大,华为等等也投入巨也投入巨资为什么要学习和研究为什么要学习和研究语音信号处理语音信号处理技术？技术？第第第第1 1 1 1章章章章 绪论绪论绪论绪论1.1 1.1 1.1 1.1 概述概述概述概述 语音是最自然、最有效、最方便的人机（人与人）交互手段音是最自然、最有效、最方便的人机（人与人）交互手段 国内外各大公司（研究机构）一直从事国内外

8、各大公司（研究机构）一直从事语音信号音信号处理研究理研究 语音信号音信号处理技理技术用途非常广泛用途非常广泛 语音信号音信号处理技理技术远未成熟，需未成熟，需进一步改一步改进语音信号音信号处理技理技术始始终与当与当时信息科学中最活信息科学中最活跃的前沿学科保的前沿学科保持密切的持密切的联系，并且一起系，并且一起发展展比如：机器学比如：机器学习、小波分析、模式、小波分析、模式识别、神、神经网网络、人、人工智能等工智能等人的言语过程人的言语过程 想说说出传输接收理解语音合成语音编码语音识别说话人识别计算机计算机第第第第1 1 1 1章章章章 绪论绪论绪论绪论1.1 1.1 1.1 1.1 概述概述

9、概述概述语音识别语音识别和和语音合成语音合成是实现人机语音通信，建是实现人机语音通信，建立一个有听和说能力的口语系统所必需的两项立一个有听和说能力的口语系统所必需的两项关键技术。使电脑具有类似于人一样的说话能关键技术。使电脑具有类似于人一样的说话能力，是当今时代信息产业的重要竞争市场。力，是当今时代信息产业的重要竞争市场。第第第第1 1 1 1章章章章 绪论绪论绪论绪论1.1 1.1 1.1 1.1 概述概述概述概述v语音信号处理的主要分支语音信号处理的主要分支 语音识别语音识别 Speech Recognition 语音合成语音合成 Speech Synthesis 语音编码语音编码 Spe

10、ech Coding 对对模模拟拟的的语语音音信信号号进进行行编编码码，将将模模拟拟信信号号转转化化成成数数字字信信号号，从从而而降降低低传传输输码码率率并并进进行行数数字字传传输输。分分为为波波形形编编码码、参量编码参量编码（音源编码）和（音源编码）和混合编码混合编码。利利用用计计算算机机和和一一些些专专门门装装置置模模拟拟人人，制制造造语语音音的的技技术术。TTSTTS（文文语语转转换换）技技术术隶隶属于语音合成。属于语音合成。语音识别语音识别原理框图原理框图让让机机器器通通过过识识别别和和理理解解过过程程把把语语音音信信号号转转变变为为相相应应的的文文本本或或命命令令的的技技术术。主主要

11、要包包括括特特征征提取提取、模式匹配模式匹配及及模型训练模型训练技术。技术。语音信号处理发展概况：语音信号处理发展概况：起步很早、尚未完全成熟起步很早、尚未完全成熟17911791年，年，Wolfgang von KempelenWolfgang von Kempelen构建了构建了语音机器语音机器18351835年，年，Charles WheatstoneCharles Wheatstone改进了语音机器改进了语音机器第第第第1 1 1 1章章章章 绪论绪论绪论绪论B.H.Juang#&Lawrence R.Rabiner.Automatic Speech Recognition A Bri

12、ef History of the Technology Development,20041.1 1.1 1.1 1.1 概述概述概述概述18701870年代，年代，电话电话发明之争发明之争第第第第1 1 1 1章章章章 绪论绪论绪论绪论1.1 1.1 1.1 1.1 概述概述概述概述安东尼奥安东尼奥梅乌奇梅乌奇Antonio Meucci (1808 1889)亚历山大亚历山大格拉汉姆格拉汉姆贝尔贝尔Alexander Graham Bell (1847-1922)伊莱沙伊莱沙格雷格雷Elisha Gray1835-1901 对于大多数人来说，每当提到电话的发明，一定会联想到对于大多数人来说

13、，每当提到电话的发明，一定会联想到贝尔贝尔。然而，一个叫然而，一个叫伊莱沙伊莱沙格雷格雷的人就曾与贝尔展开过关于电话专利的人就曾与贝尔展开过关于电话专利权的法律诉讼。格雷与贝尔在同一天申报了专利，由于比贝尔权的法律诉讼。格雷与贝尔在同一天申报了专利，由于比贝尔晚一点申报（晚一点申报（只晚了只晚了2 2个小时左右个小时左右），最终败诉。），最终败诉。事实上，事实上，梅乌奇梅乌奇于于1860年代就已对电话机进行了原创性的发明创造，比年代就已对电话机进行了原创性的发明创造，比贝尔和格雷早贝尔和格雷早10多年。由于经济困窘等原因，多年。由于经济困窘等原因，19世纪世纪70年代，年代，梅乌奇梅乌奇并并没

14、有赢得与贝尔的电话机专利争夺战。在其逝世没有赢得与贝尔的电话机专利争夺战。在其逝世113年后，美国议会认定年后，美国议会认定梅乌奇梅乌奇为电话机的发明者。真理得以昭然，为电话机的发明者。真理得以昭然，梅乌奇梅乌奇实至名归。实至名归。谁是电话的真正发明者？A block schematic of Homer Dudleys VODERB.H.Juang#&Lawrence R.Rabiner.Automatic Speech Recognition A Brief History of the Technology Development,2004第第第第1 1 1 1章章章章 绪论绪论绪论绪论

15、1.1 1.1 1.1 1.1 概述概述概述概述19391939年，年，H.DudleyH.Dudley研制成功第一个研制成功第一个声码器声码器l打破了以前的打破了以前的“波波形原则形原则”，提出了一，提出了一种全新的语音通信技种全新的语音通信技术，即术，即提取参数加以提取参数加以传输，在收端重新合传输，在收端重新合成语音成语音。l其后，产生其后，产生“语音语音参数模型参数模型”的思想的思想1 1942942年，年，BellBell实验室发明了实验室发明了语谱仪语谱仪19481948年，美国年，美国HaskinHaskin实验室研制成功实验室研制成功“语图回放机语图回放机”19521952年，

16、年，BellBell实验室研制成识别十个英语数字实验室研制成识别十个英语数字识别器识别器19561956年，年，OlsonOlson和和BelarBelar等人研制出等人研制出语音打字机语音打字机19601960年代以后，随着计算机技术的发展，语音信号处年代以后，随着计算机技术的发展，语音信号处理技术获得了长足的进步，计算机模拟实验取代了硬理技术获得了长足的进步，计算机模拟实验取代了硬件研制的传统做法。各种突破性的思想不断涌现件研制的传统做法。各种突破性的思想不断涌现 第第第第1 1 1 1章章章章 绪论绪论绪论绪论1.1 1.1 1.1 1.1 概述概述概述概述19601960年，年，DenesDenes等人用计算机实现自动语音识别，等人用计算机实现自动语音识别，引入了时间归正算法引入了时间归正算法改进匹配性能改进匹配性能19701970年代起，人工智能技术开始引入到语音识别年代起，人工智能技术开始引入到语音识别中。美国国防部中。美国国防部ARPAARPA组织了有组织了有CMUCMU等五个单位参加等五个单位参加的一项大规模语音识别和理解研究计划的一项大规模语音识别和理解研究计划197