基于实时视频监测的汽车安全驾驶智能化集成化辅助系统.docx
《基于实时视频监测的汽车安全驾驶智能化集成化辅助系统.docx》由会员分享，可在线阅读，更多相关《基于实时视频监测的汽车安全驾驶智能化集成化辅助系统.docx（39页珍藏版）》请在冰豆网上搜索。
基于实时视频监测的汽车安全驾驶智能化集成化辅助系统
课题类型：
探索导向类
申请受理编号：
SQ2007AA11Z127227
国家高技术研究发展计划（863计划）
专题课题申请书
技术领域名称：
现代交通技术领域
专题名称：
综合交通运输系统与安全技术
申请指南技术方向：
交通安全新技术
课题名称：
基于实时视频监测的汽车安全驾驶智能化集成化辅助系统
申请人：
杨泽红
依托单位：
清华大学
基于实时视频监测的汽车安全驾驶智能化集成化辅助系统
清华大学计算机系 （杨泽红）
对该课题申请所涉及主要研究内容的熟悉程度：
很熟悉
比较熟悉
一般
评议内容
评分
一、研究目标和内容的重要性与必要性（10分）
所涉及到的关键技术或产品是否重要？
研究内容是否符合国家重大技术需求？
主要研究内容是否符合本专题指南的技术方向？
二、研究内容的创新性与前沿性（40分）
研究内容是否具有突出的原始性创新内容？
研究内容是否体现了新的原理、方法的创新内容？
研究内容是否具有突出的集成创新内容？
研究内容是否体现了集成应用或集成产品的创新内容？
研究内容是否处于国际或国内技术发展前沿？
研究内容如果成功能否在国际或国内产生较大影响？
研究内容是否在国内已有相同或接近的成果？
研究内容是否有望获得发明专利等知识产权？
三、技术实力与研究基础（20分）
课题申请负责人是否能够胜任课题组长？
课题组人员构成和时间投入是否合理？
课题组现有研究基础是否处于国内领先行列？
课题依托单位（及协作单位）的支撑条件是否较强？
四、研究目标和研究方案的可行性（20分）
预期研究目标是否明确、集中？
技术经济指标是否具体、适度？
对国内外技术发展趋势是否把握？
主要技术的知识产权分析和对策是否恰当？
技术路线和研究方法是否合理、可行？
依托单位和协作单位的分工合作是否合理？
五、预期成果及前景（10分）
课题预期成果是否可取得一定的经济社会效益？
课题预期成果是否具有较大的市场（潜在的市场）前景？
课题成果是否能对相关技术发展起到带动作用？
课题研究是否可实现预期的人才、队伍培养目标？
综合评议得分
综合评价结论
根据分项评议意见，对该课题申请进行综合评价，给出总体结论性意见。
评价结论意见：
同意立项（A）
不同意立项（C）
总体评议意见：
（对该课题申请给出综合评价意见，阐述同意立项或不同意立项的理由，说明需要说明的有关问题。
本部分内容为必填内容，文字不超过300字。
）
窗体底端
课题名称
基于实时视频监测的汽车安全驾驶智能化集成化辅助系统
行业领域
交通运输
预计完成年限
3
课题密级
公开级
预期成果类型
新装置、计算机软件、论文论著
申请（负责）人信息
姓名
杨泽红
性别
男
出生日期
1968-11-2
职称
高级职称
最高学位
硕士
从事专业
信息与电子科学类
所在单位
清华大学计算机系
依托单位信息
单位名称
清华大学
单位性质
大专院校
所在地区
北京市
单位主管部门
教育部
组织机构代码
400000624
单位成立时间
1911-4-29
协作单位信息
单位名称
单位性质
组织机构代码
课题经费来源预算
（万元）
总经费
100
申请863计划资助
100
其他国家级资助（包括部门匹配）
0
地方政府匹配
0
银行贷款
0
自有资金
0
其它资金
0
经费备注
序号
姓名
性别
出生日期
职称
职务
专业
为本课题工作时间（人月）
课题组中职务
（组长、副组长或成员）
在课题中分担的任务
所在单位
1
包德沛
男
1981年11月
其他人员
无
信息与电子科学类
24
成员
视频检测技术和特征抽取
清华大学
2
于扬
男
1982年7月
其他人员
无
信息与电子科学类
24
成员
通信技术和远程传输方案
清华大学
3
温庆华
男
1984年12月
其他人员
无
信息与电子科学类
36
成员
路况检测和视频压缩存储设计
清华大学
4
丁力
男
1982年6月
其他人员
无
信息与电子科学类
24
成员
面部视频处理和特征抽取
清华大学
5
谈黎
男
1973年5月
其他人员
无
信息与电子科学类
24
成员
嵌入式技术和平台系统
清华大学
6
杨泽红
男
1968年11月
高级职称
无
信息与电子科学类
24
组长
总体方案、规划并组织实施
清华大学
7
林晓玮
女
1983年8月
其他人员
无
信息与电子科学类
36
成员
系统框架设计和远程服务器方案实现
清华大学
8
叶榛
女
1945年11月
高级职称
无
信息与电子科学类
24
副组长
负责人脸状态检测及安全模型
清华大学
9
丁冬花
女
1946年11月
高级职称
无
信息与电子科学类
24
副组长
负责路况检测技术及路况模型
清华大学
课题参加总人数 9 人。
其中：
高级职称 3 人，中级职称 0 人，初级职称 0 人，无职称 6 人；
其中具有：
博士学位 0 人，硕士学位 3 人，学士学位 6 人，其他 0 人；合计：
投入 240 人月
2.1课题组长、副组长资历情况（从事过的主要研究任务及所负责任和作用，主要研究成果、发明专利和获奖情况，在国内外主要刊物上发表论文情况，完成其他科技计划课题情况，特别是近五年取得的与本申请课题相关的研究成果情况，字数要求1000字以内）
课题组长杨泽红，男，副教授。
1991年和1995年分别获清华大学计算机系计算机应用专业学士学位和硕士学位。
在计算机应用和人工智能领域从事工作十几年，主要研究内容集中在模式识别及应用、虚拟现实技术与系统、智能控制技术与系统、机器人视觉技术、多媒体应用系统、嵌入式系统等方面。
先后负责或参与了7项863项目，2项95攻关和十余项其它合作项目，负责2项863项目。
发表论文60余篇，获得发明专利3项。
获教育部和北京市科技进步奖各1项，清华大学校级奖2项。
近五年完成的与本申请课题相关的研究成果如下：
（１）负责十五863项目“开放式结构的模块化、标准化、网络化通用控制器研究”，已经顺利完成并验收。
相关内容包括嵌入式技术、系统集成技术和框架研究。
（２）作为主要骨干参与研究的863项目“虚拟现实实验系统”获北京市科技进步三等奖。
（３）作为主要骨干参与研究的攻关项目“基于DSP控制器整机开发”获教育部科技进步二等奖。
（４）作为负责人，先后组织了“高速路车牌识别系统”、“NX-EH301型彩色摄像机控制系统”、“DVR基础平台系统”、“多媒体视频压缩标准和算法分析研究”、“清华中型组足球机器人系统”、“汽车驾驶员视线检测方法研究”等与本课题相关的研究，并取得了相应的成果，是本课题研究的重要基础。
副组长叶榛，女，1970年毕业于清华大学，现为清华大学计算机系教授。
曾从事控制理论的教学及计算机辅助设计，机器人仿真的研究工作，作为骨干参加过相关科研项目五项及两项计算机控制工程。
近年来从事临场感及虚拟现实的研究工作，负责过863项目"基于视觉临场感的机器人遥操作关键技术研究"，虚拟现实应用项目"基于虚拟现实的轮机模拟器"，"基于宽带虚拟现实技术的智能小区信息系统"及航天863项目一项，发表有关论文20余篇。
副组长丁冬花，女，1970年毕业于清华大学，现为清华大学计算机系副教授。
曾从事控制系统CAD、计算机控制课程设计的教学及机器人仿真的研究工作。
作为骨干参加《农药杀虫双生产》两项计算机控制工程。
目前主要研究领域为智能移动机器人THMR、人机交互、导航算法、局域最佳控制、面向工程的计算机控制系统等。
2.2课题组长、副组长目前承担863计划和其它国家科技计划课题情况（包括人员姓名、承担课题名称、课题经费数、课题起止时间、所属科技计划名称等信息）
姓名
承担课题名称
课题经费数（万元）
课题开始时间
课题结束时间
所属科技计划
其他说明事项：
所承担的十五期间的863项目和国家科技计划项目都已经完成，并通过验收。
目前没有承担国家科技项目。
2.3课题组长及课题组主要成员是否曾就相同或类似课题863计划和国家其他科技计划提出申请（如有，请说明申请人姓名、申请科技计划名称、申请课题名称、申请时间、申请结果等情况，并说明与本课题申请的关系）
3.1、课题简介（简要说明课题的目的意义、主要研究内容、预期目标等，字数要求1000字以内）
课题目的和意义：
随着中国向汽车社会快速迈进的步伐，汽车技术特别是汽车安全技术受到越来越受多的重视。
除了传统汽车行业中对汽车安全起决定作用的机电控制、汽车电子、机械零件、发动机等关键技术之外，各种辅助性技术也成为汽车安全驾驶的一个有效补充。
基于IT技术的汽车安全驾驶辅助系统就是一个研究热点。
利用IT行业的研究成果，为汽车安全驾驶提供辅助性的支持，从而增强汽车在安全方面的人性化特征，达到辅助驾驶安全的目的。
所以，基于实时视频的汽车安全驾驶智能化集成化辅助系统对汽车行业发展和社会进步具有实际意义。
本课题研究的主要内容包括三个方面：
第一，研究基于实时视频技术的驾驶员脸部特征模型，探索反映驾驶员安全驾驶的状态特征，并开发基于脸部状态检测的驾驶员安全驾驶辅助提醒子系统；第二，研究基于实时视频技术的路况检测模型和视频备份技术，探索影响驾驶安全的路况模型因子以及短时视频存储方案，并开发基于实时路况检测的安全驾驶辅助提醒及路况视频备份子系统；第三，研究基于无线通信技术的实时图像（或视频）传输方案，探索适合车载系统的实时视频发送和接收技术、存储和管理技术、转发技术，并开发基于智能手机的汽车安全实时图像（或视频）监测子系统。
简言之，本课题研究的主要内容是：
基于实时视频的集成了驾驶员的驾驶状态监测、路况监测及手机无线监测三个主要功能子系统的为汽车安全驾驶服务的智能化辅助系统。
课题预期目标是：
研究并开发出集成驾驶员驾驶状态监测、路况监测及短时备份、基于智能手机的无线远程实时监测等三大功能为一体的汽车安全驾驶辅助系统。
该系统以集成化的方式对汽车安全驾驶的三个方面问题提供辅助性解决方案，可以理解为汽车安全辅助的“黑匣子”。
具体包括：
第一，通过监测驾驶员在驾驶过程中的头部状态特征（如眼、嘴、头等），对不合理的或具有安全隐患的驾驶员状态给出友好提醒，以达到安全驾驶目的；第二，通过监测汽车行驶的路况状态，对一些具有安全隐患的环境状态或危险道路给出友好提示，达到不同路况的安全驾驶目的，同时对实时路况的短时备份保存，可以在发生交通事故时得到现场状况的实时记录，也可作为交警处理事故的依据之一；第三，基于智能手机的无线远程监测功能，可以让车主在任何有手机信号的地方接收到汽车的监测图像，以检测汽车停放安全，即使汽车被盗，也可以通过手机获取盗窃者正在驾驶时的图像信息和行驶路况信息，辅助案件的侦破，从而起到加强汽车停放安全的目的。
3.2课题主要研究技术的国内外发展现状与趋势，课题主要研究技术国内外专利授权情况
文献搜寻和检索发现，包含本课题提出的面向汽车安全驾驶的具有以上三个主要功能的集成化研究和应用开发尚未出现。
但是，针对其中每个方面的独立研究已经非常普遍，并形成了很多局部技术热点。
下面分别介绍这些主要的局部技术的国内外发展现状与趋势，以及专利申请情况。
课题主要研究技术的国内外发展现状与趋势
（一）驾驶员的驾驶状态监测方面的发展现状与趋势
驾驶员的安全驾驶属于汽车的主动安全范畴，是汽车安全的一个重要方面。
关于驾驶员主动安全性的研究由来已久，并成为一个长期的研究热点。
从国内外发展现状来看，驾驶员主动安全性研究主要包括以下几个方面：
第一，驾驶员主动安全性因素及评价模型研究；第二，驾驶员主动安全性模型及完整性研究；第三，驾驶员的疲劳状态检测及其对主动安全影响的研究。
其中，第一和第二方面非常复杂，涉及到汽车物理模型、驾驶员的驾驶模型、驾驶心理模型、驾驶员的生理反应、生物物理量的个体差异等，目前主要进行方法和模型的基础研究。
如：
有些学者把驾驶员主动安全性辨识分成熟练程度和疲劳程度两个独立的部分进行评价，利用模糊神经网络对驾驶员主动安全性因素进行了定量分析。
有些研究者从生物学的角度，基于人体主观心里感受和客观生物物理测量，对驾驶员的驾驶舒适度进行了系统研究，为驾驶员主动安全性研究提供了一个重要评价指标。
另外还有人从智能控制的角度，以驾驶安全为目的，为驾驶员的驾驶过程进行建模分析，提出了人车结合的智能化交互控制系统，以提高汽车驾驶的主动安全性。
所以，第一和第二方面不是本课题的研究范畴。
第三方面是在大家共同认为“疲劳状态是主动安全性的一个重要影响因子”的基础上，对疲劳状态进行深入的研究，是目前研究的最大热点。
研究人员利用各种测量技术和评价模型，从多种角度对驾驶员的疲劳状态及其评价模型进行了全方位的研究，取得了丰富的成果。
并且，部分成果已经在实际的系统中得到了一定的应用。
而疲劳状态模型、疲劳检测及评价体系构成了研究的主体，也是本课题的主要内容之一。
在国外，早期的驾驶疲劳测评始于20世纪80年代，主要是从医学角度出发，借助医疗器件进行。
此后，在众多专家和学者的努力探索下，出现了不少崭新的思想和方法，其中最具代表性的有：
1996年，美国Knipling,Wang和Kanianthra等人测量开闭、运动和眼睛的生理学表现形态来研究机动车驾驶员的疲劳问题。
他们认为利用眼睛来判断疲劳是非常恰当的，并且也是行之有效的方法。
Dinges认为，PERCLOS（单位时间内眼睛闭合时间所占的百分率）能相当准确地反映疲劳状态。
1999年4月，美国联邦公路管理局（FederalHighwayAdministration）的技术论坛上发表题为“OcularMeasuresofDriverAlertness”的文章，首先提出了把PERCLOS作为预测机动车驾驶员驾驶疲劳的可行方法。
JohnStern博士是研究眼睛部位运动状态与驾驶疲劳之间的关系的权威人士。
由他领导的美国联邦公路管理局和汽车联合会资助的研究所，通过开发专用的照相机、脑电图仪和其他仪器来精确测量眼睛瞳孔的直径变化、眨眼频率和头部运动，以此来研究驾驶疲劳问题。
弗吉尼亚大学的精神生理学教授WaltWierwille博士提出的疲劳测量（psychophysiologicalfatiguedetectiondevicesandmeasures）方法是采用PERCLOS作为疲劳测量指标。
目前，PERCLOS方法已被公认为最有效的、车载的、实时的驾驶疲劳测评方法。
2000年以来，随着IT技术和汽车技术的发展，驾驶员疲劳状态的研究得到了进一步的发展。
经过世界各国开展的驾驶员疲劳车载电子测量系统的研究开发工作（尤其美国的研究发展较快），出现了一批具有代表性的应用系统：
（1）美国研制的打瞌睡驾驶员侦探系统。
采用多普勒雷达和复杂的信号处理方法，可获取驾驶员烦躁不安的情绪活动、眨眼频率和持续时间等疲劳数据，用以判断驾驶员是否打瞌睡或睡着。
该系统可制成体积较小的仪器，安装在驾驶室内驾驶员头顶上方，完全不影响驾驶员正常的驾驶活动。
（2）转向盘监视系统。
一种监测转向盘非正常运动的传感器系统，适用于各种车辆。
转向盘正常运动时传感器系统不报警，若转向盘4s不运动就会发出报警声直到转向盘继续正常运动为止。
该系统固定在车内录音机旁，转向盘下面的杆上装有一条磁性带，用以监测转向盘的运动。
（3）路面警告系统。
一种设置在高速公路上用计算机控制的红外线监测系统，当行驶车辆摆过道路中线或路肩时，向驾驶员发出警告。
（4）反应时测试仪。
根据驾驶员对仪器屏幕上随机出现的光点的反映（光点出现时敲击键盘）速度测试驾驶员的反应时，用以判断其疲劳程度。
（5）日本成功研制了电子清醒带。
使用时固定在驾驶员头部，将其一端的插头插入车内点烟器的插座，装在带子里的半导体温差电偶使平展在前额部位的铝片变凉，使驾驶员睡意消除，精神振作。
（6）美国华盛顿大学通过自行开发的专用照相机、脑电图仪和其他仪器来精确测量头部运动、瞳孔直径变化和眨眼频率，用以研究驾驶行为等问题。
研究结果表明：
一般情况下人们眼睛闭合的时间在0.2～0.3秒之间，驾驶时若眼睛闭合时间达到0.5秒就很容易发生交通事故。
（7）宾夕法尼亚大学智能交通实验室采用PERCLOS作为精神生理疲劳程度的测量指标，测量的参数是在单位时间内（1分钟）眼睛闭合程度超过80%以上的时间占总时间的百分比，在设计原理上进行了创新，提供一个很好的跟踪人眼的测量方法，充分利用人眼的基本生理特点，即视网膜对不同波长的红外光能够反射量的不同。
它是最早报道的能自动测量和跟踪被测者的睁闭眼情况，并且能检测到疲劳现象出现的系统，它连续跟踪测量眼睑的睁闭，并且根据相应的阈值提醒可能发生的瞌睡。
精神生理疲劳程度的测量还采用脑电图仪、头动探测器等，但是公认最有效的方法是PERCLOS法。
（8）2000年1月明尼苏达大学计算机科学与工程系的成功开发了一套驾驶员眼睛的追踪和定位系统，通过安置在车内的一个摄像头监视驾驶员的脸部，实现以下功能：
①用快速简单的算法确定驾驶员眼睛在脸部图像中的确切位置和其他脸部特征；②通过追踪多幅正面脸部特征图像来监控驾驶员是否驾驶员疲劳；③追踪多幅侧面脸部特征图像来估算驾驶员是否驾驶员疲劳。
同年3月，他对上述系统进行了改进，改用红外线彩色摄像头并加滤波器滤除图像的噪声和非脸部的图像，使搜索脸部图像的次数减少，加快了系统处理图像的速度。
采用灰度模式匹配方法追踪输入图像序列来搜寻并确定眼睛区域，然后用同样的模式匹配方法来确定眼睛是睁开还是闭合，若搜索失败，系统可自动重新开始搜索。
（9）日本先锋公司最近开发出防止驾驶员开车打瞌睡的系统。
它可通过心跳速度的变化，监测司机驾驶员是否打瞌睡，在睡意来临15分钟前提醒司机注意，防止发生事故。
这一系统的核心技术之一是贴在转向盘上的纸状心跳感应器，司机驾驶员握转向盘时可以握住它。
感应器每隔15秒检测一次司机的心跳速度。
一般说来，人在打瞌睡之前，心跳速度下降。
对心跳速度的检测可以大体判断司机是否打瞌睡。
另外，该系统还安装有汽车内置感应器，可以检测汽车速度的变化和转向盘操作频率的变化，汽车导航设备还可以检测汽车是否蛇行。
这一系统把上述情况综合起来分析，就可大体上判断司机是否有睡意。
一旦确认司机很快有睡意袭来，它就通过改变音乐等方式提醒司机。
先锋公司还研究了通过测量眨眼频率和车体摇晃频率监测司机是否瞌睡的系统。
（10）测量头部位置的传感器。
设计安装在司机座位上方，每个传感器都能输出司机头部距离传感器的位置，利用三角代数算法就可以计算出头在X、Y、Z三维空间中的位置，也能够实时跟踪头部的位置，同时利用各个时间段头部位置的变化特征，可以表现出司机处于清醒还是瞌睡状态。
该传感器物理特点基于传感器电极的屏蔽之间的电容，通过人这个高导体可以改变电极之间的电容，通过测量电压计算头部与传感器之间的距离。
当人进入电容区域时，临近的电容改变同距离之间的关系是，利用3个传感器，就可以利用三角代数计算出头的X、Y、Z坐标。
并在此基础上，对司机的头部位置进行实时跟踪，并且根据头部位置的变化规律判定司机是否瞌睡，发现点头的动作和瞌睡有非常好的相关性。
在国内，从20世纪60年代开始对驾驶疲劳进行实验性的研究。
1998年，深圳长途汽车公司的周鹏应用人体生理学、现代神经学、电子工程学分析了驾驶员疲劳事故隐患的起因，提出了消除疲劳事故隐患必须消除司机开车时的异常疲劳和大脑麻痹。
根据这一思想他研究了佩戴于司机小腿部与手腕部的“司机疲劳事故预防器”。
1999年，张殿业、金键等对机车司机工作过程中的身体状态、疲劳程度提出了测试方法与评价模式。
2000年，石坚、吴远鹏、卓斌等通过传感器测量驾驶员驾驶时方向盘、踏板等运动参数来判别驾驶员的安全因素，发现方向盘操纵情况与驾驶员的疲劳程度具有一定的联系，方向盘较长时间不动，说明驾驶员在打瞌睡。
2001年，李增勇，王成焘从人机工程学角度综合防治分析研究了造成驾驶疲劳的环境因素，并从汽车人机界面设计方面提出防止和缓解驾驶疲劳的有效措施。
2001年，郑培、周一鸣提出了脸部活动图像识别的人脸皮肤色彩高斯模型，通过眼睛灰度模式匹配，成功地实现了驾驶员驾驶疲劳的测评，构建了基于PERCLOS的机动车驾驶员驾驶疲劳的实验测评系统。
该系统初步具备了实时、非接触式检测的特性。
2002年，杨渝书、姚振强从人机工程学角度对驾驶疲劳的产生因素进行了分析，对驾驶疲劳的定量评价进行了实验研究。
从发展趋势来看，国内外关于驾驶员的驾驶状态监测研究将沿着以下两个方面进行：
（１）在基础性研究方面，结合心理学、生理学、人体运动学、物理学、人机工程学、行为科学等诸多学科，探索影响驾驶安全的新的因素及其检测方法，逐步完善驾驶员的安全驾驶状态模型，为汽车安全驾驶提供理论依据和方法上的突破。
（２）在应用基础研究方面，以非完备的驾驶状态模型为核心，研究具有一定应用价值的驾驶状态模型和状态检测技术，开发出应用模型和实验系统，甚至实际应用系统。
随着相关学科的研究发展，新的成果可以不断加入进来，促使应用基础研究逐步满足实际应用的需要。
而在应用基础研究方面，驾驶员的疲劳状态模型成为一个公认的有效的具有应用价值的一个内容。
其次，反映驾驶员在驾驶过程中是否精力集中的一些状态逐步被大家发掘和认可，如驾驶过程中打手机、聊天、吃东西、视线摇摆等都会对驾驶安全带来影响。
还有，在状态检测方面，随着IT技术的飞速发展，基于实时视频的检测技术相比传统的生理检测（如脑电图、心电图）也体现出了良好的发展潜力。
目前，许多国家意识到驾驶员疲劳造成的交通事故，已成为一个严重的社会问题，因而加大了对其研究力度，并取得了一定的成效。
特别是在澳大利亚，该国的交通事故发生率近年来已呈下降趋势；而美国把驾驶疲劳的研究提到了立法高度，以保证开展驾驶疲劳研究的合法性、有效性和持续性。
近几年来，我国在机动车辆驾驶中驾驶疲劳测评方法的研究在理论上虽然已取得了一些成绩，但至今还没有研究出实用的产品，同发达国家相比还有相当大的差距。
因此，在我国，加大对其研究力度势在必行。
（二）汽车驾驶的路况监测方面的发展现状与趋势
汽车驾驶的路况状态是世界各国大力发展的智能交通系统（ITS）中非常重要的环境因素，也是交通安全的一个重要因素。
据统计，仅在美国，每年约有300万SVRD（SingleVehicleRoadwayDeparture）的交通事故发生，占所有交通事故的16.5%。
这些事故往往是由于驾驶者疲劳或心不在焉造
升级会员 