基于多小波分析的多层感知器驾驶行为识别技术.docx

基于多小波分析的多层感知器驾驶行为识别技术.docx

《基于多小波分析的多层感知器驾驶行为识别技术.docx》由会员分享，可在线阅读，更多相关《基于多小波分析的多层感知器驾驶行为识别技术.docx（13页珍藏版）》请在冰豆网上搜索。

基于多小波分析的多层感知器驾驶行为识别技术

采用多小波变换和多层感知分类器的驾驶姿势识别技术

摘要

开发了以人为中心的驾驶员辅助系统（HDAS）实现自动检测和识别驾驶行为,提出了一种基于GHM的有效的驾驶姿势特征识别方式，利用多小波变换和多层感知器识别了四种预定义的驾驶姿势。

从SEU创建的驾驶姿势数据库提取的特征，通过与IKSVMs、kNN分类器和Parzen分类器相比，选用MLP分类器对驾驶姿势进行层实验和交叉验证试验。

实验结果表明,基于GHM多小波变换和MLP分类器的特征提取,与IKSVMs,kNN分类器和Parzen分类器相比，使用softmax激活函数将激活层和双曲正切函数的隐层能提供最佳的分类性能。

实验结果还表明,在四个预定义的分类中手机是最困难的一个,在维持和交叉验证实验中分别为83.01%和84.04%。

这些结果表明以人为中心的驾驶辅助系统（HDAS）采用GHM多小波变换和MLP分类器来提取特征实现，自动检测和识别驾驶行为的方法是有效的。

1、驾驶姿势数据采集和规范化

在驾驶姿势数据收集工作使用罗技C905CCD相机。

通过10个男司机和10女司机采集驾驶姿势数，汽车在自然条件下的室外停车场，随着环境的变化改变灯光的强度。

已经建立好的数据库有四种的驾驶姿势数据，即把握方向盘，变速杆操作，吃一块蛋糕和打电话。

图1显示了驾驶姿势数据样本组成的80组驾驶姿势图片,每一张图片都有480×640像素的分辨率。

图一、四种驾驶姿势。

（a）把握方向盘，（b）变速杆操作，

（c）吃一块蛋糕，（d）打电话

为了解决驾驶姿势数据采集图像的光照变化问题，采用提高图像质量的办法。

称为同态滤波器（HOMOF）,即为著名的标准化方法。

利用HOMOF,图像首先转换为对数,注重频域分析。

然后通过逆傅里叶变换反向转换到时域,并采取适当的指数运算。

对驾驶图像感兴趣的对象主要是类似皮肤颜色的区域，如驾驶员的头部，右手和左手。

这是一个事实，人的肤色无论种族都有非常相似的色性能，在一定的光照条件下肤色检测可以是相当强大。

彩色像素为肤色和非肤色可以通过在RGB空间进行标准化分类工作。

一个RGB的坐标（R，G，B）为每个原色0和255之间的值被标准化到坐标（R0，G0，B0），可以利用下列关系：

标准化的颜色（r0，g0，b0）被归类到肤色，如果它位于这个区域，则可以用下面的方法来标准化RGB空间。

图2显示了四个肤色分割的HOMOF图像预处理结果。

图二、肤色分割处理结果

2、用多小波变换提取特征

基于机器视觉的人体姿态识别具有挑战性，主要是由于人体的动作和空间位置变化的复杂，由于需要采用鲁棒性来评价车辆在行驶过程中的光照条件使得这一问题更加复杂了。

在本节中，我们展示了利用司机裸露的皮肤，以及司机的头部和左右手的空间位置来建立驾驶员的姿态特征。

在一般小波的情况下，可以允许一个多分辨率的分析{Vn}，n∈N,L2（R）是一个有有限函数生成的拓展函数φ（t）=（φ0（t）,φ1（t）,…,φm-1（t））T，m∈N和t是一个时间变量，然后利用下面的多尺度函数φ（t）T验证2尺度方程。

其中0≤cφ≥m-1,并且L1[c]是一个m×m阶实数低通矩阵。

多分辨率结构给出了V1=V0＋W0，其中W0在V1中与V0正交。

我们可以基于W0构建一组正交基φ（t）=（φ0（t）,φ1（t）,…,φm-1（t））T，通过以下公式转换得到。

其中L2[c]是通过实系数矩阵{L1[c]}得到的一个m×m阶实数高通矩阵。

其中0≤n1，n2≤n-1并且z是一个矩阵变量。

方程式（3）和（4）通过傅里叶变换转化为ψ（2ω）=L1（ejω）ψ（ω）和φ（2ω）=L2（ejω）φ（ω），J∈Z，其中ω是角频率变量。

此外，我们假设数列{L1（c），0≤c≤m-1}和{L2（c），0≤c≤m-1}是有限，因此ψ（t）和φ（t）会得到有力的支持。

我们还假设通过矩阵史密斯—巴恩韦尔正交条件验证L1（z），这样的尺度函数及其整数形式转化为V0的标准正交基。

因为，由于S（t）∈V0，我们可以得到

从V0=V-1＋W-1，我们可以得到

然后，我们可以用下面的步骤推到出系数之间的的关系

从分析中，我们可以得到

Geronimo等人构建了一个最著名的多小波,称为Geronimo-Hardin-Massopust（GHM）多小波具有两个重要的特性。

即正规化的整数可以转化拓展为一两个逼近的函数。

GHM多小波变换需要用分辨率为2n1×2n2（n1，n2∈N）像素的图像以及利用肤色分割把图像从新缩放到的256×256像素相同的维度。

图3显示了一个利用GHM多小波变换把图像分解到1，2，3不同等级的例子。

利用GHM多小波变换的细节系数矩阵，把每个图像分解到水平3，采用一阶和二阶的统计手段计算驾驶姿势特征向量的平均值和标准差，在本文中给出了一种1×（256×23+1）维的驾驶姿势特征向量的提取。

图三、GHM多小波图像分解

3、多层感知器的分类

在模式分类中，最常用的神经分类器是前馈反向传播多层感知器（MLP）。

MLP使用反向传播算法，是检测和识别过程的标准算法。

MLP在的解决随机问题方面研究也很有用，这往往许一个非常复杂的问题，通过适当的近似得到近似解。

在本文中，以利用三层MLP分类器分类驾驶姿势，其结构如图4所示。

图四、三层分类感知器结构

在输入的层中，X=（x1…,xi…,xp）T是特征向量的驾驶姿势，而p是特征向量的维数。

在隐藏的层中，W=（w11…,xij…,xqp）T,1≤i≤p,1≤j≤q,是隐层的权向量和q是隐层神经元数目。

U=（u1…,uj…,up）T是隐层加权向量，H=（h1…,hj…,hp）T是隐层输出值向量。

在输出层中，W=（w11…,xrj…,xoq）T,1≤r≤0,是权重向量和o是分类数。

U=（u1…,ur…,uo）T是输出层的加权向量，Y=（y1…,yr…,yo）T是驾驶姿势类别。

在三层，σh和σ0分别是在隐的层和输出层的激活传递函数。

四个激活传递函数常用应用在模式分类中，如下。

线性激活函数

Logistic激活函数

Softmax激活函数

双曲正切激活函数

线性激活函数只在整个实数范围内产生了正数。

Logistic函数是一种常见的S形曲线，用Verhulst给定其名称和尺度，根据公式（13）输入数据（0，1）。

Softmax激活函数由Bridle提出，所有的输出值介于0和1之间，它们的和是1，这是一个概括的多变量逻辑函数。

双曲正切函数被定义为双曲正弦和余弦函数之间的比率。

在我们设计的多层感知器结构中，与采用双曲正切函数的隐层和输出层相比，分别采用了其他三个的激活函数，即线性激活函数、Logistic激活函数和Softmax激活功能。

莱文伯格—马夸特（LM）算法，由莱文伯格和唐纳德·马夸特发明，被列为最有效的MLP小型和中型训练算法之一。

LM算法的基本思想是，它会执行一个联合的训练过程：

在一个复杂的曲率范围内，LM算法切换到最陡下降法（SD）算法，直到局部曲率是恰当的二次近似。

然后它近似为高斯-牛顿（GN）算法，可以大大加快收敛速度。

LM算法的权值更新律如下

其中l是目前的训练时间，Wl是当前的权重矩阵，Wl+1是下一个重量，Jl是电流的雅可比矩阵，El是最后的总误差，I是单位矩阵，μ是组合系数。

采用LM算法设计培训过程如下：

1）用初始权值评价总误差；

2）根据公式16调整权重，进行更新；

3）用新的权重评估总误差；

4）如果当前的总误差是由于更新增加，从而提高组合系数μ的10倍。

返回步骤2并尝试再次更新；

5）如果当前的总误差是由于更新下降，从而降低组合系数μ的10倍；

6）转到步骤2与新的权重，直到当前的总误差小于规定值。

4、其他分类方法相比较

SVMs是一种检测识别模型与联想学习算法，可以分析数据和识别模式，用于分类和回归分析。

kNN是一种基于空间中最近的训练对象进行分类的方法。

Parzen分类器估计概率密度为每个类使用一种基于存储的训练样本的非参数方法。

这三个分类器都是经常被运用在模式分类中，并且我们采用它对驾驶姿势进行研究，将在本文中与我们设计的多层感知器的分类器进行比较。

5、实验

两个标准的实验程序，分别命名为层的方法和交叉验证方法，通过与IKSVMs、kNN分类器和Parzen分类器相比，来验证的提取特征的方法和多层感知器的分类器。

MLP分类器设计成三层结构,即一个输入层、一个隐藏层和一个输出层。

输入层神经元的数目是2049,根据驾驶姿势的GHM多小波变换提取特征向量的维数。

根据驾驶姿势的分类，隐藏层中有20个的神经元，输出层有4个神经元。

隐藏层的初始权值和输出层是从零的均值和方差的各向同性高斯分布和归一化绘制，使用Nguyen和Widrow的方法来实现标准化。

LM算法训练MLP分类器，并使用“早停”机制用来克服过度拟合的问题。

在训练过程中，最大的数量和组合系数分别为1000和0.01。

在层的方法，从SEU驾驶姿势数据集（如图5所示）的图像中提取一定数量的特征向量预留作测试，而其余的是供训练。

在k-折叠交叉验证的方法中，把驾驶姿势的数据划分为k个子集。

第k个数据集是保留测试和其余k-1的子数据集都用于训练。

图五、驾驶姿势数据库

5.1、层实验

层实验是基于特征向量的驾驶姿势随机分成训练数据集（从SEU驾驶姿势数据集的图像中提取80％的驾驶姿势特征向量）和测试数据集（从SEU驾驶姿势数据集的图像中提取20%的驾驶姿势特征向量）。

使用层的实验方法，测试数据集被用于估计泛化误差。

我们通过SEU的数据集随机重复100次层实验，记录分类的结果。

在第一个层的实验中，在输出层训练和测试同样适用于使用三种不同的激活函数的多层感知器（即，线性激活函数，Logistic激活函数和Softmax激活函数），双曲正切激活函数适用于隐藏层中。

同时比较分类性能，以及对驾驶姿势的分类率，结果如图6（a）和图6（b）所示，这是SEU驾驶姿势数据库中随机重复100次训练和测试数据的平均分类的结果。

多层感知分类器使用线性激活函数，Logistic激活函数和Softmax激活函数在输出层中，平均分类精度分别87.81%、88.69%和89.25%。

从图6，很明显的多层感知分类器，在输出层使用Softmax激活函数和在隐藏层适用双曲正切激活函数的，在第一个层实验中提供了最佳的性能。

在第二次的层实验中，相同的训练和测试集被应用于多层感知器和其他三种分类器，在输出层使用Softmax激活函数和在隐藏层使用双曲正切激活函数。

在第二次的层实验中，相同的训练集和测试被应用于多层感知器，在输出层使用Softmax激活函数和在隐藏层使用双曲正切激活函数并且同时比较了其他三种分类器，即IKSVMs分类器、kNN分类器和Parzen分类器的分类性能。

使用IKSVMs分类器、Parzen分类器、kNN分类器以及MLP分类器在输出层使用Softmax激活函数和在隐藏层使用双曲正切激活函数的分类结果显示在图7中,分别为83.31%,87.63%,87.38%和90.5%。

从图7中可以看出，在第二层实验中MLP分类器在使输出层用Softmax激活函数和在隐藏层使用双曲正切激活函数,在四种分类器中有最高的分率。

图六、三种激活函数在层实验中的分类性能

（a）、分类率的条形图（b）、分类率的箱型图

图七、MLP和其他三种方法在层实验中的分类性能

（a）、分类率的条形图（b）、分类率的箱型图

为了进一步评价的实际和预测中获得的有关信息分类性能，通常是使用混淆矩阵。

混淆矩阵的每一列代表了实际测得信息，每一列中的数值等于实际测得像元在分类图象中对应于相应类别的数量；混淆矩阵的每一行代表了遥感数据的分类信息，每一行中的数值等于遥感分类像元在实测像元相应类别中的数量。

对角线表示正确的分类，而非对角条目表示不正确的。

在层实验中，混淆矩阵详细总结了GHM多小波变换的特征提取和MLP分类器的性能,在输出层使用Softmax激活函数和在隐层使用双曲正切激活函数,如表1所示。

混淆矩阵的行和列表达姿势抓住方向盘,换挡操作,吃一块蛋糕和讲打电话。

相应的分类精度是93.27%、92.82%、87.59%和83.01%。

混淆矩阵的层实验中很明显看出在四类姿势中，打电话的分类是最困难的。

表一、GHM多小波变换和多层感知分类器在层实验中的混淆矩阵实验结果

5.2、交叉验证实验

k-折叠交叉验证方法是另一种常用的技术，以m个实例为一组和随机分成m/k个大小为k的子集。

对于每一个折叠,分类器测试一个折叠和训练k-1折叠。

在以下实验中,使用10-折叠交叉验证。

提取80套驾驶姿势特征向量的图像数据库被随机分为10个大小相等的子集。

其中9/10的被训练,然后测试剩下的一个,依次往下进行测试。

第一次交叉验证实验，比较MLP分类器使用三种不同的激活函数（即，线性激活函数，Logistic激活函数和Softmax激活函数）在输出层和隐藏层中，双曲正切激活函数，其处理同样在上面。

从驾驶姿势数据集图像中提取100组特征向量，随机划分为10组，并且进行100次交叉验证实验进行。

100次交叉验证实验的平均分类精度在展示在条形图8（a）和箱型图8（b）中。

在输出层使用三种不同的激活函数（即线性激活函数，Logistic激活函数和Softmax激活函数）和在隐藏层中使用双曲正切激活函数，MLP分类器的平均分类精度分别是88.38%，89.42%，和90.44%。

这再次表明，MLP分类器，在隐藏层中使用双曲正切激活函数，在输出层使用Softmax激活函数，在第一个交叉验证实验有较好的分类性。

在第二个交叉验证实验中,使用10倍交叉验证被应用于MLP分类器。

在输出层使用Softmax激活函数和隐藏层双曲正切激活函数,和其他三个分类器（IKSVMs,kNN分类器和Parzen分类器）的分类性能同时比较。

在输出层使用Softmax激活函数和双曲正切激活功能的隐藏的图层，采用IKSVMs、kNN分类器和Parzen分类器和MLP的分类率的结果显示在图9中分别是84.64%、89.56%、89.43%和90.61%。

从图9可以看出，在输出层使用Softmax激活函数和在隐层使用双曲正切激活功能的，显示在第二个交叉验证实验中在四个分类器中多层感知器提供最佳的分类性能。

图八、在交互验证实验中三种激活函数的分类性

（a）、分类率的条形图（b）、分类率的箱型图

图九、MLP和其他三种分类器在交叉验证实验中的分类性能

（a）、分类率的条形图（b）、分类率的箱型图

表二、GHM多小波变换和多层感知分类器在交叉实验中的混淆矩阵实验结果

在第二个交叉验证实验中，在输出层使用Softmax激活函数和在隐层使用双曲正切激活函数，利用GHM多小波变换和多层感知分类器提取的详细的性能特征汇总到混淆矩阵，如表2所示。

四类的精度分别是97.78%、91.74%、89.09%和84.04%。

在交叉验证实验中，在四种姿势中最难识别分类的是打电话。

5.3、讨论

Nguyen-Widrow重量初始化是一种分配初始值的神经网络,这种技术是一种最有效的神经网络权重的初始化方法。

在我们设计的多层感知分类器，隐层和输出层的初始权值从零均值和单位差各向同性高斯分布，使用Nguyen-Widrow权值初始化方法。

下面的实验就表明了Nguyen-Widrow权值初始化方法对四个驾驶姿势分类结果理论分析正确性的影响。

从驾驶的姿态数据集随机抽样一个训练数据集（80%的驾驶姿势特征向量）和其他行为作为测试数据集（20%的特征向量的驾驶姿势）。

使用同一训练数据集和测试数据集，分类实验与初始化100次的多层感知器分类器的权重进行100次使用Nguyenwidrow重量初始化。

100次的Nguyenwidrow重量初始化的实验的结果如图10所示。

从图10可以看出最具实验性的精度已经超过86%，只有一个是低于86%，可视为异常结果。

为了消除异常数据对实验结果的影响，可以使用n次实验均值，在我们100的实验中，实验结果的平均值是93.31%，表明在输出层使用Softmax激活函数和在隐层中使用双曲正切激活函数，在驾驶姿势分类中Nguyenwidrow重量初始化在我们设计的多层感知分类器是有效的。

与目前其他国家驾驶行为监测的研究文献相比，本文有三个突出的方面本文的第一个突出点是我们提出了一个使用GHM多小波变换有效提取驾驶姿势特征的方法的。

第二个突出点是三层的MLP分类器，即输入层，隐层和输出层，利用四个预先定义的驾驶姿势分类。

第三个突出点是层实验和交叉验证实验的创建，实验结果表明，我们所提出的特征提取方法的有效性，我们设计了三层MLP分类器，在隐藏层使用双曲正切激活函数和在输出层采用Softmax激活函数。

层实验和交叉验证的混淆矩阵实验结果表明，打电话是四种驾驶姿势中最困难的一类的研究。

我们所提出用于识别驾驶员姿势识别方法的最大优点是，通过使用高识别率的视觉传感器实现四个具体类的驾驶姿势的识别。

我们的研究是有限的,当司机穿着类似皮肤的颜色的衣服，驾驶姿势识别系统将检测不仅是司机的两只手和脸，而且皮肤颜色类似衣服的地区。

而且当司机穿着不一样颜色的手套，我们的驾驶姿势识别系统将错过两只手的地区。

在未来，我们将继续研究在恶劣条件下的驾驶姿势的检测方法。

6、结论

为了自动识别驾驶员的行为特征,我们提出了一个有效的基于GHM多小波变换的三层MLP分类器特征提取方法。

在隐层使用双曲正切激活函数和在输出层采用Softmax激活函数，利用四种预定义的驾驶姿势,与IKSVMs，kNN分类器和Parzen分类器比较。

从数据集提取驾驶姿势特征提,层实验和交叉验证实验表明,通过GHM多小波变换特征提取，在隐层使用双曲正切激活函数和在输出层采用Softmax激活函数,与IKSVMs，kNN分类器和Parzen分类器相比，MLP三层分类器提供了最好的分类性能。

实验结果还表明,打电话是四个预定义姿势中最困难的一个，在层实验和交叉验证实验中分类精度为83.01%和84.04%。

结果表明MLP分类器在驾驶姿势特征提取方面和HDAS对驾驶员驾驶行为描述方面的有效性。