电子科技大学数字信号处理DSP课程设计钢琴音符识别.docx
《电子科技大学数字信号处理DSP课程设计钢琴音符识别.docx》由会员分享，可在线阅读，更多相关《电子科技大学数字信号处理DSP课程设计钢琴音符识别.docx（14页珍藏版）》请在冰豆网上搜索。
电子科技大学数字信号处理DSP课程设计钢琴音符识别
资料范本
本资料为word版本，可以直接编辑和打印，感谢您的下载
电子科技大学数字信号处理DSP课程设计-钢琴音符识别
地点：
__________________
时间：
__________________
说明：
本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容
2014级数字信号处理课程设计报告
题目：
钢琴音符识别
姓名：
邱晨曦
学号：
2014010909008
答辩时间：
2016/12/9
一.题目要求：
（1）播放和记录一段钢琴音乐中的音符；
（2）记录到音符以后，找到音符所对应的现代标准钢琴的钢琴键，并分析结果。
二.课程设计思路：
涉及到的知识点：
快速傅里叶变换、钢琴音频信号的时域和频域的特性、能熵比的概念、频率校正、频率与音符的转换关系。
方案分析：
预处理部分：
直接用audioread函数读出来的原始数据。
优点：
准确率较高；
缺点：
数据量较大，采样频率为44kHz，远大于奈奎斯特采样率。
以11kHz的采样率重新采样，并转换为单声道。
优点：
数据量小了很多，易于处理；
缺点：
牺牲了部分的准确率，但对于音符的判断影响可以忽略。
B.端点检测算法：
<1>.双门限法：
1.计算短时能量（高门限）和过零率（低门限）；
2.选取一个较高的门限，语音信号的能量包络大部分都在此门限之上，进行一次初判，语音起止点位于该门限与短时能量包络交点所对应的时间间隔之外；
3.根据噪声能量，确定一个较低的门限，并从初判起点往左，从初判终点往右搜索，分别找到能零比曲线第一次与门限相交的两个点，两点之间段就是用双门限方法所判定的语音段；
4.以短时平均过零率为准，从低门限点往左右搜索，找到短时平均过零率低于某阈值的两点，为语音的起止点；
图1：
双门限法示意图
说明：
算法中的阀值是根据实验过程调节的。
该算法在实际应用的过程中发现：
在语音信号频率分布较为集中的时候，端点检测出来的结果比较准确，但当语音信号频率分布比较分散的时候，很难通过控制固定的阀值来检测到每个音符；
<2>.自相关法：
由于两种信号的自相关函数存在极大的差异，可以利用这种差别来提取语音端点。
根据噪声的情况，设置两个阈值和，当相关函数最大值大于时，便判定是语音；当相关函数最大值大于或小于时，则判定为语音信号的端点。
该算法同样存在当语音信号频率分布较广的时候，阀值比较难控制的问题。
<3>.基于谱熵的端点检测：
基于谱熵语音端点检测方法是通过检测谱的平坦程度，来进行语音端点检测的，为了更好进行语音端点检测，采用语音信号的短时功率谱构造语音信息谱熵，从而对语音段和噪声段进行区分。
检测思路：
对语音信号进行分帧加窗；
计算每一帧的谱能量；
计算出每一帧中每个样本点的概率密度函数；
计算出每一帧的谱熵值（由信息论知识知道，熵值在自变量服从均匀分布的时候，熵值达到最大值，所以噪声的熵值是比较大的，而钢琴音符的熵值是比较小的，由此区别了噪声和音符）；
设置判决门限；
根据各帧的谱熵值进行端点检测。
在实验过程中发现：
依然存在当语音信号频率分布较广时，阀值不太好控制的问题。
因此对该方法进行改进，引入，能熵比的概念：
谱熵值类似于过零率，能熵比的表示为。
由于噪声和信号的能熵比差别很大。
因此在能熵比的图像中，每一个“尖刺”就代表了一个特定频率的语言信号。
图2：
能熵比图中的“尖刺”
在检测过程中，依然不能通过简单的设置阀值的办法来进行端点检测，原因是语音频率分布较广时，每个音符的能熵比变化范围差别较大，如下图所示，有的“尖刺”完全在门限之上，而有的则完全在门限之下。
图3：
88阶全音的能熵比图
因此，采用检测能熵比中的“低谷点”（该点比左右两边的一定数目的点的能熵比都小）的方法。
语音信号一定位于两个低谷点之间的部分，再对低谷点进行适当的左右移动作为语音信号的起止点。
如下图所示：
图4：
标记起止点的能熵比图
（绿色为起始点，红色为截止点）
设计框架和流程：
用audioread函数读入钢琴音乐，并用sound函数播放；
2.为了方便处理，对信号以11.025kHz的频率进行重新采样，并统一转换成单声道的信号；
3.因为语言信号可以在短时间内认为是平稳的，因此对语音信号进行分帧的处理，设置帧长320，为了减小误差，两帧之间设置重叠部分，因此帧移取80；
4.计算每一帧的能熵比；
5.找到能熵比中的“低谷点”（该点比左右两边的一定数目的点的能熵比都小）；
6.如果两个低谷点之间的距离大于miniL（认为持续长度超过一定长度的为音符，最小长度miniL可自行设置）。
则低谷点右移sr（即shiftright,数值可自行调节）帧作为一段信号的起始点，将低谷点左移sl（即shiftleft,数值可自行调节）帧作为截止点[注：
采用该方法的优点是通过调节相关参数能适应多种情况，缺点是检测环境发生较大变化时，需要重新设置参数]；
7.将找到的语音段转换成未分帧时对应坐标的语音段，并对每段做快速傅里叶变换；
8.找到每段快速傅里叶变换中的最大值以及最大值所对应的横坐标（fft点），将横坐标转换成相应的频率，得到的频率即为该段音符的频率；
9.利用比值法进行频率的校正，窗函数选择矩形窗；
10.根据检测到的频率确定音符，计算公式为：
，为第几个按键，再通过查表得到对应音符；
11.分析结果。
三.具体设计过程：
部分代码（测试部分缺省）：
主函数部分：
[x,fs]=audioread（'钢琴音频.WAV'）;
formatshort;
wlen=320;inc=80;%分帧的帧长和帧移
overlap=wlen-inc;%帧之间的重叠部分
sound（x,fs）;%播放音乐
x=calsample（x,fs）;%为了方便处理，重新以11025Hz的频率采样，并转换成单声道
x=x-mean（x）;%消去直流分量
x=x/max（abs（x））;%幅值归一化
y=Enframe（wlen,inc,x）';%分帧
fn=size（y,2）;%取得帧数
time=（0:
length（x）-1）/11025;%计算时间坐标
frameTime=frame2time（fn,wlen,inc,11025）;%计算各帧对应的时间坐标
sr=2;sl=13;miniL=33;%配置左右移动的帧数和要求的最短帧数
[voicesegment,vos,Ef]=get_segment（y,fn,sr,sl,miniL）;%获得语音段
[real_f,ft,ax]=get_f（x,voicesegment,vos,wlen,inc）;%检测频率的结果
fori=1:
length（real_f）
real_f（i）=roundn（real_f（i）,-4）;
end
fori=1:
length（real_f）
real_node（i）=get_node（real_f（i））
end
%**********************************绘图部分********************************
subplot211;
stem（real_f）;
title（'频率检测结果'）;xlabel（'音符/个'）;ylabel（'频率/Hz'）;
subplot212;
stem（real_node,'r'）;
title（'音符检测结果'）;xlabel（'音符/个'）;ylabel（'对应按键'）;
figure
（2）;
subplot211;
plot（Ef）;
title（'能熵比图及语音起止点'）;xlabel（'帧数/个'）;ylabel（'能熵比'）;
fori=1:
length（voicesegment）
text（voicesegment（i）.begin,Ef（voicesegment（i）.begin）,'o','color','g'）
text（voicesegment（i）.end,Ef（voicesegment（i）.end）,'o','color','r'）
end
subplot212,plot（time,x,'k'）;title（'语音信号端点检测结果'）
axis（[0max（time）-11]）;ylabel（'幅值'）;
fork=1:
vos%标出有话段
nx1=voicesegment（k）.begin;
nx2=voicesegment（k）.end;
nxl=voicesegment（k）.duration;
fprintf（'%4d%4d%4d%4d\n',k,nx1,nx2,nxl）;
subplot212
line（[frameTime（nx1）frameTime（nx1）],[-11],'color','r','linestyle','-'）;
line（[frameTime（nx2）frameTime（nx2）],[-11],'color','r','linestyle','--'）;
end
其中的用到的子函数：
1.calsample.m（调整采样率和声道）
functionsample=calsample（sampledata,FS）
temp_sample=resample（sampledata,1,FS/11025）;%调整采样频率
[~,n]=size（temp_sample）;
if（n==2）%转换成单声道
sample=temp_sample（:
1）;
else
sample=temp_sample;
end
end
2.Enframe.m（分帧函数）
functionf=Enframe（len,inc,x）%对读入的语音进行分帧，len为帧长，
%inc为帧重叠样点数，x为输入语音数据
fh=fix（（（size（x,1）-len）/inc）+1）;%计算帧数
f=zeros（fh,len）;%设置一个零矩阵，行为帧数，列为帧长
i=1;
n=1;
whilei<=fh%帧间循环
j=1;
whilej<=len%帧内循环
f（i,j）=x（n）;
j=j+1;
n=n+1;
end
n=n-len+inc;%下一帧开始位置
i=i+1;
end
3.frame2time.m（坐标刻度转换）
functionframeTime=frame2time（frameNum,framelen,inc,fs）
frameTime=（（（1:
frameNum）-1）*inc+framelen/2）/fs;%求对应的时间坐标
4.get_segment.m（端点检测，确定音符段）
function[voicesegment,vos,Ef]=get_segment（y,fn,sr,sl,miniL）
ifsize（y,2）~=fn,y=y';end%把y转换为每列数据表示一帧语音信号
wlen=size（y,1）;%取得帧长
fori=1:
fn
Sp=abs（fft（y（:
i）））;%FFT取幅值
Sp=Sp（1:
wlen/2+1）;%只取正频率部分
Esum（i）=sum（Sp.*Sp）;%计算能量值
prob=Sp/（sum（Sp））;%计算概率
H（i）=-sum（prob.*log（prob+eps））;%求谱熵值
end
hindex=find（H<0.1）;
H（hindex）=max（H）;
Ef=sqrt（1+abs（Esum./H））;%计算能熵比
Ef=Ef/max（Ef）;%归一化
[x1,y1]=get_max（Ef）;%找到能熵比中的“高峰点”
[x2,y2]=get_min（Ef）;%找到能熵比中的“低估点”
voicesegment
（1）.begin=x1
（1）-8;%由于仅仅靠低谷点无法检测出第一个音符起始位置，因此将高峰点的第一个值左移8帧作为第一个音符的起始点
voicesegment
（1）.end=x2
（1）-sl;%将第一个低谷点作为第一个音符的截止点
voicesegment
（1）.duration=voicesegment
（1）.end-voicesegment
（1）.begin+1;%一个音符的持续帧数
j=1;
fork=2:
length（x2）%将找到的低谷点作为音符的起止点
ifx2（k）-x2（k-1）>=miniL%剔除持续帧长度小于miniL的音符段
j=j+1;
temp1=x2（k-1）+sr;%将低谷点右移sr个帧，作为一个音符的起始点
voicesegment（j）.begin=temp1;
temp2=x2（k）-sl;%将低谷点左移sl个帧，作为一个音符的截止点
voicesegment（j）.end=temp2;
voicesegment（j）.duration=voicesegment（j）.end-voicesegment（j）.begin+1;%音符持续帧数
end
end
vos=length（voicesegment）;%返回音符个数
end
5.get_max.m（找到高峰点）
function[max_x,max]=get_max（x）
l=length（x）;%获得数组的长度
max=[];
max_x=[];
j=1;
fori=20:
l-15%找到“峰值点”
if（x（i）>x（i-1））&&（x（i）>x（i-2））&&（x（i）>x（i-3））&&（x（i）>x（i-4））&&（x（i）>x（i-5））...
&&（x（i）>x（i-6））&&（x（i）>x（i-7））&&（x（i）>x（i-8））&&（x（i）>x（i-9））&&（x（i）>x（i-10））...
&&（x（i）>x（i-11））&&（x（i）>x（i-12））&&（x（i）>x（i-13））&&（x（i）>x（i-14））...
&&（x（i）>x（i-15））&&（x（i）>x（i-16））&&（x（i）>x（i-17））...
&&（x（i）>x（i+1））&&（x（i）>x（i+2））&&（x（i）>x（i+3））&&（x（i）>x（i+4））&&（x（i）>x（i+5））...
&&（x（i）>x（i+6））&&（x（i）>x（i+7））&&（x（i）>x（i+8））&&（x（i）>x（i+9））&&（x（i）>x（i+10））...
&&（x（i）>x（i+11））&&（x（i）>x（i+11））&&（x（i）>x（i+12））&&（x（i）>x（i+13））&&（x（i）>x（i+14））...
&&（x（i）>x（i+15））&&（x（i）>x（i+16））...
&&（x（i）>0.1）
max_x（j）=i;%找到后赋值给返回参数
max（j）=x（i）;
i=i+1;
j=j+1;
else
i=i+1;
end
end
end
6.get_min.m（找到低谷点）
function[min_x,min]=get_min（x）
l=length（x）;%获得数组的长度
min=[];
min_x=[];
j=1;
fori=100:
l-10%寻找低谷点
if（x（i）&&（x（i）&&（x（i）&&（x（i）&&（x（i）&&（x（i）&&（x（i）&&（x（i）&&（x（i）min_x（j）=i;%找到后赋值给返回值
min（j）=x（i）;
i=i+1;
j=j+1;
else
i=i+1;
end
end
end
7.get_f.m（确定频率）
function[real_f,ft,ax]=get_f（x,voicesegment,vos,wlen,inc）
fori=1:
vos%横坐标转化，将起止点坐标的单位由帧转换成点
ax（i）.begin=（voicesegment（i）.begin-1）*inc+1;
ax（i）.end=（voicesegment（i）.end-1）*inc+wlen;
ax（i）.duration=ax（i）.end-ax（i）.begin+1;
temp=x（ax（i）.begin:
ax（i）.end）;%获得语音段
ft{i}=fft（temp）;%做快速傅里叶变换，并将结果保存在元胞矩阵中
ft{i}=abs（ft{i}）;%将得到的fft去模值
[fm（i）,fm_x（i）]=max（ft{i}）;%找到每个语音段对应的fft中的最大值及最大值对应的横坐标
real_f1（i）=fm_x（i）*11025./ax（i）.duration;%进行频率转换，将横坐标乘以分辨率得到真实频率
real_f（i）=Specorrm（x（ax（i）.begin:
ax（i）.end）,11025,ax（i）.duration,real_f1（i）-10,real_f1（i）+10）;
%利用比值法进行频率修正，窗函数选择矩形窗
end
8.Specorrm.m（频率校正）
functionZ=Specorrm（x,fs,N,nx1,nx2）
%x是被测信号,fs是采样频率N为FFT的长度，nx1和nx2被测信号频率的区间，nx2>nx1
[nx,mx]=size（x）;
ifmx==1,x=x';end%转换成行矩阵
[nx,mx]=size（x）;
M=fix（N/2）+mod（N,2）;
xf=fft（x）;
%xf=xf（1:
M）*2/N;
ddf=fs/N;%频率分辨率
n1=fix（nx1/ddf）;%将频率转换成fft对应的点
n2=round（nx2/ddf）;
A=abs（xf）;%取fft的模值
[Amax,index]=max（A（n1:
n2））;%找到fft点n1到n2之间幅值的最大值
index=index+n1-1;%移动到n1和n2中间
%比值法
%加矩形窗
indsecL=A（index-1）>A（index+1）;%满足条件则为1，不满足则为0
df=indsecL.*A（index-1）./（Amax+A（index-1））-（1-indsecL）.*A（index+1）./（Amax+A（index+1））;
Z=（index-1-df）*ddf;%修正后的频率
end
9.get_node.m（确定音符）
functionnode=get_node（f）
node=12*log2（f/440）+49;
node=round（node）;%四舍五入确定对应按键
end
生成的图与数据等LINKExcel.Sheet.12"C:
\\Users\\pc\\Desktop\\端点检测结果.xlsx""Sheet1!
R2C1:
R38C4"\a\f5\h\*MERGEFORMAT
对数据的分析：
红色标记出检测错误的音符。
上表为检测结果的统计及误差统计。
大部分误差都小于1%，平均误差为0.82%，误差较小.音符检测发生一个错误，正确了为97.14%，很好地完成了任务。
四.总结：
收获
小组分工情况
小组就邱晨曦一个人，邱晨曦负责全部工作。
LINKExcel.Sheet.12"工作簿1""Sheet1!
R1C1:
R36C8"\a\f5\h\*MERGEFORMAT
参考文献：
谢明，丁康：
离散频谱的一种新校正方法，重庆，载重庆大学学报：
1995年3月第8卷第2期47~54
升级会员 