行人检测和行人跟踪文档格式.docx

1、基于形状的方法包括：基于明确人体模型的方法，基于模板匹配的方法，基于统计分类的方法。基于明确人体模型的方法指根据人体结构的知识，构造一个明确的 2D 或 3D 参数模型，通过提取图像的底层特征来求解模型, 从而识别行人。基于模板匹配的方法通过存储一些灰度或者轮廓模板来表示行人，识别的时候只需要度量模板与输入窗口的距离就可以识别行人。基于统计分类的方法通过机器学习从一系列训练数据中学习得到一个分类器，用该分类器来表示行人，然后利用该分类器对输入窗口进行识别。基于统计模型的方法主要包括两个步骤：特征提取和分类器设计. 特征提取的目的是降低数据的维数，得到能反映模式本质属性的特征，方便后面的分类；分

2、类器设计属于机器学习领域的范畴，其目的是得到一个计算复杂度较低，并且推广性较好的分类器. 针对行人识别问题，可根据分类器的设计方法将现有的基于统计分类的方法分为基于神经网络（NN） 的方法，基于支持向量机 （SVM） 的方法和基于 Adaboost 的方法1。1 贾慧星，章毓晋.车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述.自动化学报.2007.33 行人检测常用的研究方法行人检测包括了行人目标的分类和行人的跟踪等方面, 涉及到计算机视觉、模式识别和人工智能领域的许多核心课题, 是一个具有挑战性的困难问题。目前, 在许多文献中提出了多种关于行人检测的方法, 常用的方法有基于运动特性的方法

3、、基于形状信息的方法、基于行人模型的方法、立体视觉的方法、神经网络方法、小波和支持向量机的方法等。 基于形状信息的方法由于行人探测是在车辆运动的状态下进行的, 这样会带来摄像机的运动, 从而背景图像也会相应发生变化。基于形状信息的行人检测方法回避了由于背景变化和摄像机运动带来的问题, 主要是依靠行人形状特征来识别行人, 因此基于形状的行人检测方法能识别出运动和静止的行人。意大利帕尔玛大学的Alberto B roggi 教授在AR 2GO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在图像中找到感兴趣区域, 然后提取垂直边缘, 选择具

4、有高垂直对称性的区域。通过计算边缘的熵值去掉图像中始终一致的区域。在剩下的具有对称性的候选区域中, 寻找目标侧向和底部边界画出矩形方框, 通过包含行人头部模型匹配定位行人头部。在市区试验表明, 当视野中有完整的行人存在时能得到较好的效果, 在10 40m 的范围内都可以正确地进行识别, 并且可以较好地适应复杂的外界环境。德国DaimlerO Chrysler研究中心的Gavri la开发的行人检测系统在城市交通助手UTA 中进行了试验。盖系统主要分为两步, 首先是在等级模板匹配过程中应用行人轮廓特征来有效锁定候选目标。然后在模式分类中根据丰富的亮度信息运用径向基函数来验证候选目标。基于形状信息

5、的行人检测方法存在两大难点: 一是行人是非刚性的, 形状信息具有多样性, 算法要考虑很多基本的信息, 导致计算量增大; 二是行人在行走的过程中, 由于会产生遮挡现象, 这就无形中增加了基于形状信息行人检测的难度。 基于运动特性的方法运动是探测场景图像中感兴趣区域重要信息, 基于运动特性的行人检测就是利用人体运动的周期性特性找到行人。德国DaimlerO Benz研究中心B 1Heisele的研究是基于行人与像平面平行的方向行走时腿部运动特征,从彩色序列图像中识别出行人。首先将每幅图像分割成区域图像并对象素按颜色P位置特征空间进行聚类,通过在连续图像中匹配相应的类, 并对各类进行跟踪。然后利用快

6、速多项式分类器估计基于类形状特征的时间变化来初步选择可能属于人腿的类。最后通过时空接受域延时神经网络将属于行人腿的类进行分离。Lipton通过计算运动区域的残余光流来分析运动实体的刚性和周期性, 非刚性的人的运动相比于刚性的车辆运动而言具有较高的平均残余光流, 同时它也呈现了周期性的运动特征, 据此可以将人区分出来。大多数基于运动方法运用行人独有的运动节奏特征或运动模式来探测行人, 而且能在运动摄像机情况下探测到运动目标, 但是应用基于运动的行人检测还有一定的局限性: （ 1） 首先为了提取运动节奏特征要求行人脚或腿是可见的; （ 2） 识别时需要连续几帧序列图像, 这样延误了行人的识别, 增

7、加了处理时间;（ 3） 不能识别静止行人。 基于模型的方法基于模型的行人检测方法是通过定义行人形状模型, 在图像的各个部位匹配该模型以找到目标。行人模型主要有线性模型、轮廓模型以及立体模型等。线性模型是基于人运动的实质是骨骼的运动, 因此可以将身体的各个部分以直线来模拟。美国马里兰大学的V1Philomin 等首先应用背景减除法从静止CCD获得的图像中自动分割出行人边缘轮廓, 得到行人的统计形状模型。然后建立线性点分布模型, 利用主分量分析简化维数, 找到8维变形模型空间。基于轮廓模型的跟踪是利用封闭的曲线轮廓来表达运动目标, 并且该轮廓能够自动连续地更新。例如美国明尼苏达大学的 O1Maso

8、ud利用静止的单目CCD对序列灰度图像进行行人跟踪, 主要用于在交叉路口行人跟踪控制。立体模型主要是利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节, 这种模型要求更多的计算参数和匹配过程中更大的计算量。如 K1Rohr利用通用圆柱模型来描述行人, 目的是想利用该模型来产生人的行走的三维描述。利用轮廓模型进行跟踪有利于减少计算的复杂度, 如果开始能够合理地分开每个运动目标并实现轮廓初始化的话, 既使在有部分遮挡存在的情况下也能连续地进行跟踪, 然而初始化通常是很困难的。 小波变换和支持向量机从20 世纪80 年代后期开始逐步发展起来的小波分析克服了傅立叶分析的不足, 具有良好的空间局部分

9、析功能和多分辨分析功能, 并且具有良好的重构性和滤波特性。美国M1Oren介绍了可训练的目标探测方法, 用来探测静止图像中的相关人。由于人体是一个非刚性的目标, 并在尺寸、形状、颜色和纹理机构上有一定程度的可变性。行人检测主要是基于小波模板概念, 按照图像中小波相关系数子集定义目标形状的小波模板。系统首先对图像中每个特定大小的窗口以及该窗口进行一定范围的比例缩放得到的窗口进行Harr小波变换, 然后利用支持向量机检测变换的结果是否可以与小波模板匹配, 如果匹配成功则认为检测到一个行人。最近他们又结合基于样本的方法对系统做了改进, 对人体的每个组成部分进行相应的小波模板的匹配, 之后对这些分量的

10、匹配结果进行总的匹配评价。首先将图像进行水平方向、垂直方向以及对角线方向进行Haar 小波变换, 然后扫描与行人相关的模型, 最后用支持向量机统计推理进行识别。为了避免重叠现象, 系统按照一定等级利用多个分类器分别对手臂、头部和腿进行分类。基于小波变换和支持向量机的方法需要按不同尺度搜索整幅图像来找到行人, 这样计算量很大。为了实现对行人进行实时检测与跟踪, 需要减少小波特征, 降低支持向量机的维数。 立体视觉立体视觉的基本原理是从两个 （或多个） 视点观察同一景物, 以获取在不同视角下的感知图像, 通过三角测量原理计算图像像素间的视差来获取景物的三维信息。由于单目视觉不能准确的获得前方车辆的

11、距离信息, 而且在复杂场景内由于噪音的干扰不能有效的识别行人, 而立体视觉由于能够获得图像的深度信息, 因此在行人检测领域中得到一定的应用。意大利帕尔玛大学的A1Broggi 和美国坦克及机动车辆司令部M1Del Rose 等利用立体视觉技术进行预处理在一般非结构化环境下定位行人位置。系统首先将采集到的左、右图像进行边缘提取、二值化和形态水平膨胀, 然后将左幅图像的每行与右幅图像每行进行匹配, 计算左右特征图像中相应行的相关性用来计算他们之间的偏移量。最后找到两幅图像中相应成分的偏移量, 右幅图像偏移相同偏移量与左幅图像相应的行人区域进行特征匹配, 根据垂直直方图和水平直方图确定行人区域的边界

12、。也有一些行人检测系统常用立体视觉来寻找感兴趣区域, 以便后续模式分类或利用立体视觉根据对称性用来验证步骤探测到的定人区域。如美国梅隆大学的Liang Zhao和E1Thorpe首先对经过图像进行拉普拉斯运算, 利用区域相关性计算视差映射图; 然后视差值可以按照不同等级进行搜寻。通过距离阈值从视差图像中排除背景目标, 然后采用形态相近算子去除噪声并平滑前景图像区域。最后将所有探测到的可能含有行人目标的方框区域输入到训练神经网络进行行人识别。 神经网络人工神经网络在行人识别技术中的应用主要是对利用视觉信息探测到的可能含有行人区域进行分类识别。如Liang Zhao和E1Thorpe首先利用立体视

13、觉进行目标区域分割, 然后合并和分离子目标候选图像成满足行人尺寸和形状约束的子图像, 最后将所有探测到的可能含有行人目标的方框区域输入到神经网络进行行人识别。B1Heisele将每幅图像分割成区域图像并对像素按颜色P位置特征空间进行聚类, 利用快速多项式分类器估计基于类形状特征的时间变化来初步选择可能属于人腿的类。最后通过时空接受域延时神经网络将属于行人腿的类进行分离。 行人检测所用传感器行人检测技术的关键是及时、准确、可靠地获取环境信息, 因此高性能的传感器必不可少。目前各国行人检测技术采用的传感器主要有机器视觉 （立体视觉、单目视觉）、红外成像传感器、微波雷达、激光等, 这些传感器可对周边

14、环境进行非接触探测, 以获取车辆周边的行人等障碍物以及它们的距离、速度等信息。 机器视觉机器视觉技术是目前智能车辆领域发展最快的技术之一。与其它传感器相比, 机器视觉具有检测信息量大、能够遥测等优点。视觉技术在智能车辆研究领域已经有比较成功的应用, 以上介绍的各种行人检测方法都是利用机器视觉提供的丰富信息进行行人探测与跟踪, 所有这些视觉处理方法都要考虑到由于行人外形、衣着等因素造成的行人视觉图像信息的复杂性。现在制约着视觉技术在行人检测方法中的应用的关键因素就是视觉技术的数据处理量大, 容易导致系统的实时性问题。要解决这一难题, 国外有些研究机构主要从两方面着手: 一是采用高性能的硬件, 二

15、是提出新的视觉处理算法。 红外成像传感器为了适应在比较黑暗的环境中较好地对行人进行检测, 红外成像技术就自然成为一种比较好的方法,因为用红外技术可以克服普通机器视觉很难解决的行人检测中光照对检测效果的影响。红外成像依据的是物体的温度和其发出热量的数量, 它最大的优点就是不受光照改变的影响。美国马里兰大学的Nanda与 Davis介绍了一种基于红外图像概率模板的实时行人检测算法, 首先根据行人目标比背景物体的发热量高, 利用样本行人像素点的亮度均值和标准差计算得到行人亮度阈值, 对可能包含行人的区域进行分割。概率模板的建立是对高度相同但姿态和方位不同的行人红外图像经过阈值归一处理后的模板, 最后

16、利用这个模板对图像中的目标区域进行匹配以确定是否存在行人。但是由于路边街灯以及行人成群等因素, 系统的误警率比较高。红外摄像机可以用在白天或黑天, 而且由于没有颜色或强烈的纹理结果使得行人识别更加容易。同样, 阴影的影响问题也大大减少。环境高温或强烈的太阳照射, 尤其是在炎热的夏天, 会减弱行人与周围物体的温度差别, 从而改变人体发出的热量。相反,在外界环境温度低的情况下, 衣服很容易屏蔽人体反射能量, 这样只能感知人体的某些部位。 微波雷达雷达技术可以得到车辆周围的深度信息, 易于解决机器视觉技术在深度信息方面的难题, 而且不受天气、阳光等的影响。利用雷达可以可靠地提供车辆周围 （尤其是远距

17、离） 的车辆、行人等障碍物的深度信息。利用微波雷达传感器进行车辆周围近距离障物探测在一些特殊条件下 （如恶劣天气可见度低或恶劣环境影响如路面结冰、下雪或灰尘等） 有很多优势。由于人体内含有大量的水份, 微波雷达能可靠地探测到行人和其他的道路参与者。采用微波雷达技术进行行人探测算法主要是基于对行人特殊反射特征的估计。将行人从其他障碍物进行分离主要是在估计雷达信号中这些典型的人体反射信号。 激光测距传感器从20 世纪70 年代开始, 激光测距传感器就开始用于机器人领域, 主要用来检测障碍物、获取环境三维信息等。德国乌尔姆大学的K1Ch1Fuerstenberg 与 IBEO汽车传感器公司研究开发的

18、 IB EO 激光扫描器可有180b的视场角, 并安装在车辆前方的正中央, 这样传感器就能扫描到所有相关的目标。传感器的测量在40m范围内至少能达到5%的反射率, 方位角分辨率为015b。一次扫描包含360b的测量距离, 测量精确到? 5cm （ 1R ） , 扫描频率为 20Hz, 这样就能在车辆横向和纵向方向上准确地跟踪所有目标物体。嵌入式数字图像处理单元运行相应的目标识别和跟踪算法, 系统能同时跟踪20个目标物体。激光扫描器能够准确、快速地测量目标物体的轮廓。通过物体的轮廓, 就可以将目标进行分类, 如行人、自行车、轿车、卡车等。2顾柏园，王荣本，余天洪，等 基于视觉的前方车辆探测技术

19、研究方法综述 J 公路交通科技，2 0 0 5 ，2 2（ 1 0 ） ：1 1 41 1 9 行人检测系统框架 如图1.1所示，行人检测分为以下几个步骤：预处理阶段，首先通过传感器获得车辆前方的图像信息，对这些信息做预处理（如降噪、增强等）；分类检测阶段，用图像分割、模型提取等一些图像处理技术在图像中选取一些感兴趣的区域（Regions of Interest，ROIs），即行人的候选区域，然后对ROIs进行进一步的验证，用分类等技术方法判断候选区域中是否包含行人；决策报警阶段，对含有行人的区域进行跟踪，得到行人的运动轨迹，提高检测精度和速度的同时，也能对行人是否会和车辆发生碰撞进行判断，对

20、可能发生碰撞的情况，进行报警或者其他避免碰撞的操作。传感器 许多种类的传感器都被运用到行人检测系统中，常用的传感器有普通的光学摄像头、红外摄像头以及雷达、激光扫描仪等。不同的传感器有着不同的性能，普通的光学摄像头和红外摄像头能捕捉高分辨率的图像，但同时也带来处理信息量较大的问题。而雷达、激光等扫描仪能够精准地测量距离，不过其分辨率受到较大限制。表1.1列出了不同传感器的优缺点分类算法 在行人检测系统中，分类检测阶段是最为重要的一个阶段。由于行人检测系统是一个实时系统，因此系统中的检测算法应具有很高的实时性，那些使用复杂图像处理的算法便不再适用；而开放的检测场景，如道路状况不断变换、天气以及光照

21、也随机变化，行人的服饰和姿态多变等，使得模板匹配的方法无法很好的应用于行人检测问题中。场景3D建模的方法由于前提假设的限制，其性能和速度无法达到实用的要求。如今主要的研究方法还是在行人检测中引入各种各样的分类器，主要是因为分类算法具有较好的鲁棒性，而且合理的选择训练样本和特征，结合结构合理的分类算法，可以较好地克服许多不利条件，如行人多样性、场景多样性、光照环境多样性等的影响。因此，在当前情况下，分类检测是行人检测技术研究中的一种主流的方法。 常用于行人检测的分类器有：支持向量机（SVM）、各种类型的神经网络（NN）以及其他基于统计的学习分类器（如Adaboost、串联分类器）等，如表1.2所

22、示。很多类型的分类器都被用到了行人和非行人物体的区分当中。分类器的输入是从图像中提取的像素值或特征值，输出则是这个物体是否为待测物体的一个判断。很多情况下，给出的是这个物体为待测物体的概率值。分类器通常由一系列正负样本训练得来。训练之后，分类器对未知样本进行处理，通过特征向量位于决定边界的哪一边，确定该样本中是否含有待测物体。分类器的好坏主要取决于三个方面：特征、分类算法和样本，只有合理地结合这三者才能得到性能最优的分类器。目前，这三方面都有一些进展，这为我们设计出高效的分类器提供了很好的基础。分类器性能一般从三个方面来评价，检测率高，误报率低，检测速度快。三方面相互限制，实际应用中需要找到一

23、个平衡点。由于分类器的性能好坏是整个行人检测系统性能好坏的决定因素，所以非常有必要结合行人检测问题本身的特点来专门为其设计合理、高性能的分类器，而不是直接套用其它领域的一 些现有算法。 行人分类检测问题具有以下的特点： 1） 由于每帧图像中的待检测区域数量庞大，而行人检测的应用对实时性要求很高，因此对分类器的检测速度要求也很高；2） 在实际场景中，行人对象和非行人对象存在严重的不均衡性，行人对象所占比例很小； 3） 为了保证样本的多样性，分类器训练时使用的正负样本数量较大并且和实际情况中正负对象的比例大致相同，这样就导致正负样本在数量上的不平衡，需要针对这种不平衡数据设计高效的分类算法； 4）

24、行人检测系统在使用过程中不能一直报虚警，因此要求分类器在检测率在可接受的前提下，误报率尽可能的低。目前行人检测系统中广泛使用的一些分类器虽然都有各自的优势，但也有明显的缺点。首先，SVM分类器和神经网络等单分类器不能解决样本不均衡的问题、分类速度慢且检测能力不能满足要求；其次，简单的串联分类器将多个单分类器链状排列，待检测目标只有通过前一个分类器的判断后才能被下一个分类器检测，一个目标要被确定为行人，需要经过所有分类器的检测。虽然这种串联组合分类器具有较低的误报率，但它的检测率确随着串联层数的增加而递减，较低的检测率大大降低了基于串联组合分类器的行人检测系统的使用性。此类工作的一个典型代表是v

25、iola训练出一个串联组合分类器;最后，并联分类器由于其综合评判的分类机制，使其不能满足分类速度的要求行人检测技术研究方法 模型方法 基于模型的方法分为基于人体结构模型和人体运动模型两类方法。根据人体结构特征，构建人体模型，通过提取图像底层特征确定模型参数，并以此识别行人。而所要提取底层特征的图像是基于丰富的图像库的，从而保证模型识别的有效性和准确性。该方法在识别行人的同时可以推断出行人的姿态，有利于驾驶员及时做出相应的决策，确保驾驶过程更加安全、便捷。但是该方法所需要的准确模型的构建非常困难。Sun等人将人体分成头部、躯干和左右腿四个部分，并以此构建人体模型，而Yasuno6等人通过将人体分

26、为头部和躯干两个部分来构建模型。而根据行人的运动姿态构建模型，并据此识别行人。Curia根据人体步态的周期性建立人体步态模型，如图2.4所示。通过对目标图像与的纹理、轮廓等分析，验证是否与模型相匹配，从而判断是否为行人。形状轮廓的方法 基于形状的行人识别方法，是指分析目标的灰度、边缘、纹理等信息，通过和所构建的形状库比较从而对目标进行识别。该方法的优点是简单易行，缺点是要构建大量的形状库，并且有可能出现错误分类。Gavrila等人提出了基于人体轮廓的识别方法，首先构建人体轮廓库，然后在对目标识别时，通过将窗口与轮廓库中的轮廓进行比对从而识别行人。 Gavrila构造了约2500个轮廓用于对行人

27、的匹配，由于数量较多，采用了分层搜索的方法，从而实现了快速准确的匹配。在匹配时，通过计算待检测窗口与轮廓模板之间距离变换（Distance transform，DT）图像之间的Chamfer距离，来度量两者之间的距离，距离小则判断目标为行人，从而达到对行人识别的目的，。立体视觉的方法 通过两个或两个以上的摄像机采集图像，从而获得目标图像的立体信息，并对其进行分析整理，从而识别出行人的方法是基于立体视觉识别行人。立体视觉方法的优点是可以获得比一个摄像机更多的图像信息，不仅如此，基于立体视觉的方法还可以通过计算，得到目标图像中的深度信息，这些深度信息有利于对行人的识别。Zhao10通过两个已标定的

28、摄像机采集图像，通过分析采集到的每对图像，得到图像的深度信息并对深度图像进行分割，最后采用神经网络的方法识别行人。Grubb11则通过两个摄像机之间的视差图中确定行人可能存在的区域，通过SVM分类器最终识别目标行人， 多传感器融合方法 通过多种传感器对目标进行探测，可以获得多种信息，有利于更加准确的对行人进行检测。现有的有光学传感器与红外传感器的融合、光学传感器与雷达传感器的融合等。Torresan12等人采用光学摄像头和红外摄像头信息融合的方法对行人检测，通过红外摄像头可以获得目标的深度信息，从而可以更加准确的对目标进行跟踪。雷达传感器在行人检测中可以较准确的得到距离、速度等信息。Fuers

29、tenberg等人提出基于雷达信息和图像信息的行人检测方法。由于雷达传感器识别准确、快速，因此将成为行人检测研究的前沿。Fardi等人设计了一个基于红外摄像头和激光雷达的系统，将二者信息融合后用于行人检测。除此之外，为了获得更加丰富的信息，还可以采用更多的传感器，融合各种信息，从而实现准确、稳定、快速行人检测。3 樊龙夫.智能交通行人检测系统的分类技术研究.2010. 2各种行人检测算法基于凸包裁剪的行人视频检测算法为了解决行人群体视频检测的难题，提出一种基于凸包裁剪的行人视频检测算法。该算法采甩局部凸包技术搜索行人外部轮廓，利用凹点挖掘技术裁剪轮廓曲线，建立相应规则排除非头部线段，通过最小二乘拟合法对头部曲线进行快速椭圆检测。实验结果表明，该 算法能准确地检测出重叠或连通的头部，排除非头部物体 ，且处理速度快，实际应用价值高。目前，对人体进行检测的特征部位主要有 3处：人脸，头部和躯干（ 包括肢体与肤色） 。人脸检测只能应用于人脸以一定的角度对视摄像机,躯干检测只能应用于无遮挡的情况，而头部检测是在遮挡不严重时可通过调整拍摄角度来检测行人的最佳途径。对头部进行检测主要是对头部的轮廓进行检测，常见的头部轮廓模型有高斯模型、椭圆模型和曲线模型。本文采用椭圆模型对头部