基于语音疲劳度检测算法研究分析.docx
《基于语音疲劳度检测算法研究分析.docx》由会员分享，可在线阅读，更多相关《基于语音疲劳度检测算法研究分析.docx（24页珍藏版）》请在冰豆网上搜索。
基于语音疲劳度检测算法研究分析
摘要
（1）
ABSTRACT
（1）
第1章引言
（2）
第1.1节本课题研究背景
（2）
第1.2节方案简介
（2）
第2章语音信号识别地理论基础（3）
第2.1节语音信号产生地声学基础（3）
第2.2节语音信号产生地数字模型（4）
第2.3节语音信号地预处理（5）
第2.4节语音信号地时域分析（7）
第3章语音疲劳度地特征参数提取方案（9）
第3.1节LPCC特征参数（9）
第3.2节MFCC特征参数（10）
第4章概率神经网络（11）
第5章实验方案及讨论结果（13）
第5.1节实验语音信号地录制（13）
第5.2节实验方案（13）
第5.3节实验结果与讨论（14）
第6章总结与展望（16）
附录（主要程序）（18）
参考文献（21）
致谢（22）
基于语音地疲劳度检测算法研究
摘要
疲劳是一种自然现象，是人体地一种自我调节和保护功能•检测疲劳状态对于当今社会
从事各行各业都有积极意义•本课题提出了一种基于语音特征参数和概率神经网络地语音疲劳度识别模型•通过训练不同时段地语音样本来构成语音源库，并建立综合识别系统•实
验结果表明本方法能够反应其当时地疲劳程度，MFC参数融入了人耳地听觉特性，故从测
试结果来看，其优于LPC参数.b5E2RGbCAP关键词：
语音、疲劳度、线性预测倒谱系数、梅尔频率倒谱系数、概率神经网络
ResearchofDetectingFatigueArithmeticinSpeechEanqFDPw
ABSTRACT
Fatigueisanaturalphenomenonwhichisthehumanbodyakindofself-regulationandprotection.Detectionoffatiguestateshaspositivesignificaneeinalloccupationintoday'ssociety.Thisissuepresentsafeature-basedparametersandtheprobabilisticneuralnetworkspeechrecognitionmodeltodetectingfatigue.Throughtrainingatdifferenttimesofvoicesamplestoformthevoicesourceandtoestablishacomprehensiveidentificationsystem.Experimentalresultsshowthatthismethodcanreflectitsdegreeoffatigueatthetime,MFCCparametersofthehumanearintotheauditorycharacteristics,andthereforetheresultsfromthetestpointofview,it'sbetterthantheLPCCparametersDXDiTa9E3dkeywodrs:
SpeechFatique、LPCC、MFCC、PNN
第一章引言
第1.1节本课题研究背景
疲劳是一种自然现象，是人体地一种自我调节和保护功能•有资料表明，高速公路发
生地交通事故中，有一半以上由于长时间疲劳驾驶或所见目标单调使司机注意力不集中、甚至打瞌睡等原因造成地.为减少这方面地事故，疲劳度测试就具有十分重要地意义.疲劳也往往成为脑与心脏疾病地诱因，如通过简单地方法实时检测自己地身体状态，对于预防疾病，减少人为地事故也具有积极地意义.RTCrpUDGiT
疲劳度地检测方法可以概括为客观和主观两个方面.国内主要采取主观评测地方法，主
要依据自我活动记录表、睡眠情况记录表、个人行为记录表等来测评被试者地疲劳程度，虽然主观评价方法使用简单，但很难量化疲劳地等级和程度，又因各人地理解有明显地差异，其结果往往不能令人满意.5PCzVD7HxA
国外则主要采取客观测评地方法，有基于行为特征地检测地视网膜检测、头部位置检测、视线方向检测等和基于生理参数地检测地脑电图信号检测、心电图信号检测、脉搏跳动检测、唾液检测、其它生理信号检测等•这些方法虽然说能从一定程度上了解人地疲劳状态，但是对每个人疲劳地心理、生理属性还不是特别清楚，疲劳状态下地变化规律很难总结归纳•目前大多数检测算法因其检测条件地限制和复杂环境地影响，检测效果不能完全令人满意.性价比是亟待解决地一个问题，如果成本太大则难以广泛应用.jLBHrnAILg
通过声音判断人地疲劳程度是一种更为简便快捷地疲劳度检测方式，能够在不影响正常工作下面，让被检测者对着麦克风说话，将其语音集入电脑，再通过声波地变化进行计算，得到测算值.XHAQX74J0X
第1.2节方案简介
通过声音检测，可以很方便可以很方便地了解大脑地疲劳水平.这对于诸如驾驶员等长时间处于紧张状态地人员来说，意义更加重大.LDAYtRyKfE
本课题采用方法如下：
1、通过语音采集得到原始数据参数，通过录音笔进行录制，组员每人每天分别在白
天10点,晚上10点,白天4点，晚上4点，录下语音，录制地语音以wave格式保存.zzz6ZB2Ltk
2、采用语音信号地基本参数来对疲劳语音特征进行研究，主要包括LPCCMFC（等，发现对疲劳度影响最大地特征.dvzfvkwMI1
3、采用基于贝叶斯决策理论地概率神经网络来进行模式识别，对特征进行训练，随
后对未知语音信号进行模式识别，得到所需概率参数.rqyn14ZNXI
4、系统地各种算法由MATLAB^程实现，完成了特征参数地提取和训练工作，建立疲劳度检测系统.
5、完成分析测试报告，提出进一步改进方案.
第二章语音信号识别地理论基础
第2.1节语音信号产生地声学基础
图2.1是人类语音通信过程中几个重要地环节，从说话人地想法开始到听话人地理解，需要经过说话和听话两个人语义和语法地处理、音位地编码和解码过程，此外最重要地就是人类发声器官和听觉器官地机理.只有深入研究这两个方面，才能建立反映真实情况地物理模型和数字模型.EmxvxOtOco
图2.1人类语音通信过程
人发声过程如图2.2所示.人通过口、鼻吸气，使自己地肺叶充满空气，肺是胸腔内一团有弹性地海绵状物质，可以存储空气•当人发声时，肺部地空气被压缩，经气管到喉部.声带是位于喉咙中间地两条白色韧带，一般声带地长度为10mm-14mr当发声时，气流
穿过两条声带间地缝隙，声带自然闭合靠拢，成水平状；当气流被阻断时，声带间就产生缝隙，从而产生一股准周期地脉冲，使声带产生振动•当激励源不是声带地脉冲，而由空
气湍流产生地情况下，发出地音就称为“清音”，这时激励源类似于白噪声，最后通过声
道地气流通过口唇或者鼻腔向外发出.SixE2yXPq5
第2.2节语音信号产生地数字模型
为了简化问题，根据语音产生器官地组织结构，结合信号处理理论，提出了如图2.3
所示地语音信号产生地数字模型.6ewMyirQFL
图2.3语音产生地数字模型
如图所示，语音信号地数字模型分为激励模型、声道模型、辐射模型三个部分
1、激励模型U（z）
激励模型表示发音器官中地声门子系统，包括负责产生气流地肺和气管以及产生振动地声带，分清音和浊音两种情况.kavU42VRUs
发浊音时，气流冲击声带产生振动，使声门处形成准周期性地脉冲串，并用它去激励声道.此时地脉冲波类似于斜三角形地脉冲，其声门脉冲模型为：
y6v3ALoS89
G（z）二
其中g1和g2取值接近于1,模型极点靠近单位圆，相当于一个低通滤波器.
发清音时，声带松弛而不振动，空气湍流通过声门直接进入声道，这时激励信号就可
以简化为随机白噪声，实际中可以用均值为0、均方差为1地白色分布序列来表示.M2ub6vSTnP
2、声道模型H（Z）
对于声道地建模，经典地语音信号处理技术主要有两种观点，一是把声道看成是由多
个不同截面积地管子串联而成地系统，导出“声管模型”；二是把声道视为一个谐振腔，导出“共振峰模型”.0YujCfmUCw
现在应用最广泛地声道模型是离散化地声管模型，把声道看成是由多个不同截面积
地管子串联而成地系统.假设在一个“短时”期间声道形状无变化时，而且声波在声道内是沿管轴无损传播地平面波.则由P个短管组成地声道模型地传递函数可以表示为一个P阶
地全极点函数：
eUts8ZQVRd
aiZ^
H（z）二〒
'aizH
i=0
其中P为全极点滤波器地阶数，玄=1,厲（1汨乞p）为声道模型参数，它随着调音运动在
定限制内不断变化.一般而言P地取值范围为8-12，每一对极点对应着一个共振峰，H（z）
个人收集整蹙__仅供参考学习_
决定了声道系统地频率特性•一般而言在10ms-30m范围内认为这些声道参数保持不变，这也是语音信号短时分析地理论依据之一.sQsAEJkW5T
3、辐射模型R（z）
声道地终端是口和唇，从声道输出地是速度波，而语音信号是声压波，两者地倒比称为辐射阻抗，可以用它来表示口唇地辐射效应•研究证明，辐射模型可以简化为：
GMsIasNXkA
R（z）=1-rz—1
r取值约等于1,R（z）类似一个一阶地高通滤波器.
语音信号地系统传递函数S（z）就可以用声门激励系统、声道系统和辐射系统传递函数地乘积表示.
S（z）=U（z）*H（z）*R（z）
其中激励函数U（z）分为发浊音和清音两种情况.
第2.3节语音信号地预处理
在对语音信号进行各种后续处理之前，为了防止混叠失真和噪声干扰，必须用一个低通滤波器进行防混叠滤波，滤除高于1/2采样率地信号成分.TIrRGchYzg
由于语音信号地平均功率谱受口鼻辐射地影响，需要对信号进行高频提升（6db/倍
频），便于进行频谱分析和声道函数分析，因而需要将信号进行预加重处理.7EqZcWLZNX
预加重滤波器形式为：
R（z）=1-uz‘，u取值范围为0.93-0.97之间.预加重后地语音信号还能有效滤除低频干扰，尤其是50Hz地工频干扰，同时还能达到消除直流漂移、抑制随机噪声和提升清音部分能量地效果.当语音信号在分析处理之后需要语音合成地时候，还需要进行去加重处理以恢复原来地语音信号.lzq7IGf02E
预加重滤波器地幅频响应如图2.4所示.
Frequency
图2.4预加重滤波器地幅频响应
分帧地时候会采取0-50%重叠地方式，前一帧与后一帧之间交叠地部分称为帧移，有
了帧移地话，帧与帧之间就能够平滑过渡，如图2.5所示.zvpgeqJ1hk
第k-1帧
V►
第k帧
►
第k+1帧
帧移帧长
图2.5分帧示意图
随后对取出地一帧信号S（n）进行加窗w（n）处理，即Sw（n）=S（n）*w（n）,在加窗地时候,
不同地窗口和窗长地选择将影响到语音信号分析结果，窗函数w（n）通常有矩形窗
（Rectangle）和汉明窗（Hamming）两种.Nrpojac3vi
矩形窗地表达式为：
f10兰n兰L—1
w（n）二
10else
汉明窗地表达式为：
汉明窗可以有效地克服频谱泄露现象，所以在处理中一般都选择汉明窗
第2.4节语音信号地时域分析
语音信号地时域特征参数直接从时域信号计算得到，反应了语音信号时域波形地特征，如短时能量、短时平均幅值、短时过零率、短时自相关系数和短时平均幅度差等.1nowfTG4KI
1、语音信号地短时能量E（n）表达式为：
N42N-1
E（n）_、lw（m）x（n'm）lx2n（m）
m=0m=0
2、语音信号地短时平均幅值M（n）表达式为：
N4N4
M（n）|w（m）x（n'm）||xn（m）|
m=0m-0
3、语音信号地短时平均过零率Z（n）表达式为：
N4
、|sgn[Xn（m）]-sgn[Xn（m-1）]|
mT
当发浊音时，能量集中在低频段，而当发清音时能量多数集中在高频段，短时平均过零率可以从一定程度上表示频率地高低，因此在浊音段有较低地过零率，在清音段有较高地过零率，据此就可以初步判断清浊音.fjnFLDa5Zo
图2.6语音9地波形图、短时能量和过零率
如图所示，信号短时能量在信号浊音段比较突出，而过零率在清音段比较突出.在孤
立词识别过程中，必须对一连串语音进行分割，以确定一个词地语音信号，所以要找出一个词地起点和终点.需要对语音进行端点检测.tfnNhnE6e5
在实际应用中正是利用信号地这两种特点来进行端点检测，用地比较多地是一种双门限地方法.
图2.7为图2.6语音采用以上算法地端点检测结果，可以看出上述算法能准确找到语音地起始点和终点.
第三章语音疲劳度地特征参数提取方案
第3.1节LPCC特征参数
线性预测分析技术由维纳在1947年首次提出，其基本思想是：
语音地当前样点值都可以用若干过去地样点值来线性表示.各加权系数值地确定原则是要保证误差地最小均方值
A
要最小.设预测值为S（n），则HbmVN777sL
Ap
s（n）=、ais（n-i）
i:
i
其中p为预测阶数，ai为加权系数，即lpc（系数.预测误差e（n）用来表示真实值与预测值之间地差异
Ap
e（n）=s（n）_s（n）=s（n）as（n_i）
i二
此时定义A（z）为预测误差滤波器
模型能够用来表示声道模型，而线性预测系数a：
恰能够反映出声道特性，从而能够用于语
音识另廿.V7l4jRB8Hs
本课题中采用地是自相关，从表中可以看出自相关虽然由于加窗而引入误差，从而对
精度有一定影响，但它地计算量最小且稳定性能够得到保证，是一种简单高效地算法，具
体算法（Levinson-Durbin算法）如下：
83icPA59W9
i二
Rn（i）-'a（i4）Rn（^j）
jm
E（iJ）
En
巩1七）审
从以上推导可以看出LPC係数能够用于模拟全极点声道模型，但同时存在一个问题，那就是在实际中从原始语音中获取LPC係数时，它既包含所需要地声道信息，但同时无法
避免混杂了语音信号产生过程中地激励信息.mZkklkzaaP
而倒谱分析正好能够解决这一问题，提高参数地稳定性•所谓倒谱就是利用同态处理
方法，对语音信号求离散傅里叶变换（DFT，然后取绝对值地对数进行反变换（IDFT）得到地，如图3.1所示.AVktR43bpw
冲激响应部分
语音S（n）
——>DFT
倒谱C（n）
>LOG||>IDFT”声道响应部分
图3.1语音倒谱参数提取过程
第3.2节MFCC特征参数
LPCC模型是基于声道模型而提出地，因此参数地稳定性取决于语音地平稳性和鲁棒性而MFCC参数是将人耳地听觉特性和语音地产生机制相结合而产生地一组特征参数.ORjBnOwcEd
人耳具有一些特殊地功能，正是这些特殊地功能能够使人耳在嘈杂地环境中还能够正常地分辨出各种语音，其中耳蜗起了关键地作用.耳蜗实质上相当于一个滤波器组，滤波地作用是在对数频率上进行地，在1KH以下为线性尺度，而在1KH姒上则为对数尺度，这就意味着人耳对低频信号更加敏感.而语音信息大多数都集中在低频部分，高频部分绝大多数都是外界噪声地影响，总之突出了低频信息有利于屏蔽噪声地干扰，提取稳定性很高地语音特征参数.2MiJTy0dTT
根据这一原理，从心理学实验得到了类似于耳蜗作用地一组滤波器，这就是Mel滤波
器组.Mel频率和线性频率地转换关系和图示如下：
gIiSpiue7A
fmel=2595log10（1f/700）
图3.2线性频率和MeI频率比较
如图所示，对频率轴划分不均匀是MFC区别于LPC地主要特点，将频率变换到Mel域
后，Mel带通滤波器组地中心频率是按照Mel频率刻度均匀分布，如图3.3所示,每个滤波器
地三角形地两个底点分别是相邻两个滤波器地中心频率.设通带内共有M地滤波器组，则每
个滤波器Hm（k），1乞M地求解方法为：
uEh0U1Yfmh
24个三角滤波器组
图3.3Mel滤波器组（M=24）
在实际应用中，MFC系数计算示意图如图3.4所示，具体计算过程如下:
图3.4MFCC计算示意图
第四章概率神经网络
概率神经网络（ProbabilisticNeuralNetwork）是由D.F.Specht博士在1990年提出,
是径向基函数网络地变形，适合用于解决分类问题.概率神经网络地结构如图4.1所示.第i个结点地输出为：
IAg9qLsgBX
a1i二RW1j-P*b1j
式中R称为径向基函数或者特性函数，一般为高斯函数.图中地模块C表示竞争传递
函数，其功能是找出其输入矢量n2中各元素地最大值，并且使与最大值对应地神经元输出为1,其它类别地神经元地输出为0.这样网络得到地分类结果能够达到最大地正确概率:
WwghWvVhPE
a2二Compet（W2*a1）
图4.1概率神经网络结构图
概率神经网络地设计思想主要是基于贝叶斯决策理论.它采用贝叶斯规则来估计后验
类别概率P（q|x），即未知向量x属于所有可能类别C地概率.由贝叶斯规则可以知道，该
概率与先验概率q和概率密度函数fi（X）地乘积成正比.asfpsfpi4k
先验概率~i为未知向量属于每个类别i地比例，一般来说可用训练集中每个类别样本出现频率来估计:
ki
概率密度函数fi（x）由下式表示:
fi（X）p/2_
“J£exp[（x-x讥O]
（2^Y^kik^2
其中x是属于类别i地第j个训练样本，ki是类别i中训练样本地数量，匚是平滑参数,p是各样本地维数.
PN地训练就是完成以下工作：
产生一个特征节点，把这个特征节点和目标类地求和
节点连接起来，并且把输入向量赋值给权向量•可以推导出，在Nt类别地问题中，要创建
N个求和节点，每一个对应一个目标类.ooeyYZTjjl
第五章实验方案及结果讨论
第5.1节实验语音信号地录制
语音信号通过一个麦克风，用录音设备录制获得，语音采集通过Cooledit软件完成，
录制地语音以wave格式保存.语音信号地特性是11025Hz16bit，单声道.BkeGuInkxI
以元音［a:
］和［o:
］作为实验对象，每个数字语音分别在上午4:
00、10:
00和下午4:
00、10:
00四个时段各录制40个，共320个数字语音作为实验地数据源.PgdO0sRlMo
第5.2节实验方案
实验流程图由图5.1所示.将预处理地语音信号分别提取LPCC和MFC（参数，先从每个语音地前10个样本中提取参考模板，疲劳强度从低到高为1-5级，如图5.2所示，然
后放入神经网络进行训练，随后把320个语音样本输入神经网络进行测试，得到实验结果.3cdXwckm15
图5.1实验流程图
1-*5
图5.2疲劳强度示意图
第5.3节实验结果与讨论
一、采用LPCC参数实验结果
采用LPCC参数和PNN吉合方式地实验结果如图5.3、5.4所示，实验参数如表5.1、
5.2所示.
T—预期结果—实验均值
图5.3LPCC法测试元音［a:
］结果图
图5.4LPCC法测试元音［0：
］结果图
表5.1LPCC法测试元音［a:
］数据
测试样本
预期结果
实验均值
相对误差
方差
凌晨四点
5
3.6641
P-0.2672
0.4348
上午十点
1
1.381
-0.5397
0.1219
下午四点
2
1.9902
:
-0.0049
0.1785
晚上十点
4
2.4051
-0.3987
0.3766
表5.2LPCC法测试元音［0：
］数据
测试样本
预期结果
实验均值
相对误差
方差
凌晨四点
5
P4.5269
P-0.0946
0.1525
上午十点
1
1.0198
-0.6601
0.0124
下午四点
r2
:
2
:
0
0
晚上十点
4
4.0025
0.000625
0.00025
、采用MFC（参数实验结果
采用MFC（参数和PNN吉合方式地实验结果如图5.5、5.6所示，实验参数如表5.3、
5.4所示.
图5.5MFCC法测试元音［a:
］结果图
十预期结果
-■-实验均值
*预期结果-■-实验均值
图5.6MFCC法测试元音［0：
］结果图表5.3MFCC法测试元音［a:
］数据
测试样本
预期结果
实验均值
相对误差
方差
凌晨四点
5
4.7151
P-0.057
P0.1768
上午十点
1
1.2393
0.2393
0.2588
下午四点
2
1.9683
P-0.0158
r0.1515
晚上十点
4
3.9014
-0.0247
0.4467
表5.4MFCC法测试元音［0：
］数据
测试样本
预期结果
实验均值
相对误差
方差
凌晨四点
5
4.8149
-0.037
0.0941
上午十点
1
1.0435
0.0435
0.0076
下午四点
2
2
0
01
晚上十点
4
4.0143
0.0036
0.0023
三、讨论
从以上实验结果中可以看出，通过概率神经网络地计算，四个时段录制地同一个语音存在一定地区分度，能够反应其当时地疲劳程度，MFC（参数融入了人耳地听觉特性，故从
测试结果来看，其结果优于LPCC参数，并且［0：
］音地结果比［a：
］更好.h8c52WOngM
第六章总结与展望
本课题主要采用两种典型地语音特征参数LPCCffiMFC（和概率神经网络地方法对两个基本元音［a:
］和［o:
］进行测试，从测试结果来看，元音［o:
］相对于［a:
］识别结果更优，对于实际测试地准确率保证更占优势，同时MFCC方法相对于LPCC方法，各项指标更有利于提高识别准确率•v4bdyGious
对于今后进一步工作地思考，主要从以下几个方面进行思考：
1、与频谱图结合，从
图像上寻找区分度；2结合语音基音、共振峰等多种各种参数进行综合判别；3、进行所
有元音地测试，找到最利于判别地发音和词组；4、优化概率神经网络，使之更为适应疲
劳度检测；5、隐马尔科夫模型HMM地介入.J0bm4qMpJ9
附录（主要程序）
clearall
display^开始计算参考模板……'）;
pause
（1）;
directoryname='speech/a/';
fname仁'AM4/';
fname2='AM10/';
fname3='PM4/';fname4='
升级会员 