基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统.docx
《基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统.docx》由会员分享，可在线阅读，更多相关《基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统.docx（19页珍藏版）》请在冰豆网上搜索。
基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统
湖南省大学生研究性学习和创新性实验计划
项 目 申 报 表
项目名称:
基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统
学校名称
长沙理工大学
学生姓名
学号
专业
性别
入学年份
张鹏飞
201250080121
计算机科学与技术
男
2012
金晓康
201250080114
计算机科学与技术
男
2012
李旭东
201350080324
计算机科学与技术
男
2013
谭晶晶
201350080323
计算机科学与技术
男
2013
黄珊
201350080203
计算机科学与技术
女
2013
指导教师
张建明
职称
副教授
项目所属
一级学科
520
学生曾经参与科研的情况
本学生团队的五名组员分别来自长沙理工大学2012级和2013级，年级组成结构合理，组员学习成绩优良，喜欢钻研，有较强的创新能力与动手能力，特别是对新鲜事物敏感，善于提出问题，对科学研究和创新性实验具有浓厚的兴趣。
团队成员自学能力很强，学有余力，均希望通过参加大学生研究性学习和创新性实验计划项目夯实计算机科学专业基础，同时进一步提高实际动手能力和创新能力，为以后的学习深造和工作就业打下良好的基础。
我校计算机与通信工程学院已将“嵌入式系统软硬件开发”作为计算机科学与技术专业的重点培养方向之一，该专业是国家级特色专业、教育部“卓越工程师教育培养计划”试点专业。
小组成员均为计算机科学与技术专业学生，在硬件技术方面有良好的基础，开设了大学物理、计算机电路、数字逻辑与数字系统、计算机组成原理等课程；在软件方面，我们已经学习了C语言、C++语言、汇编语言、Java语言，在程序的数据结构、算法分析与设计上有了一定的基础，了解了计算机网络原理与应用技术，初步具备了将软硬件协同工作结合起来的条件。
小组成员在张建明老师的带领下，初步了解了树莓派的性能和使用，购置了树莓派及其专用的摄像头、HDMI转VGA电缆、USB接口键盘鼠标、保护罩、SD卡、5V稳压电源、SD卡读写器等设备。
目前，已进行了基本的调试与实验，已完成基于XBian（树莓派专用XBMC系统）的树莓派TV及其基于智能手机的遥控器，如图1。
图1基于树莓派的网络电视和网络投影仪
目前正积极学习和研究基于树莓派开源硬件平台与多种无线通信网络的嵌入式智能视频监控系统，这对于我们来说还是一项全新的挑战。
指导教师承担科研课题情况
张建明，男，1976年12月出生，湖南益阳人，博士，长沙理工大学计算机与通信工程学院副教授、硕士生导师、院长助理，湖南省普通高校青年骨干教师，CCF/ACM会员。
担任IEEE/IFIPEUC2012程序委员会成员，IEEEWCNC2013下设“移动云计算与联网研讨会”TPC成员，MobiQuitous2013、mCloud2013、CloudID2013的TPC成员。
攻读博士期间从事无线传感器网络中的数据压缩、数据挖掘、安全汇聚方面的研究，参加了国家863专题项目（2006AA01Z227）“异步无线传感器网络环境下的数据压缩关键技术”、国家自然科学基金项目（60973127）“机会网络小波多分辨数据收集方法研究”等课题的研究。
目前主要研究方向为稀疏表示、视觉传感器网络、图像处理与模式识别等。
已主持并完成湖南省科技计划项目1项（基于视觉传感器网络的道路灾害监测与预报技术），湖南省建设厅科技计划项目1项（无线传感器网络及其在工程结构健康监测中的应用研究），可信系统与网络湖南省重点实验室开放基金1项，湖南省教育厅一般科研项目2项。
目前正主持湖南省教育厅优秀青年项目“基于人类视觉特性的图像稀疏表示与重建方法研究”，核心参与湖南省交通厅科技计划项目“基于机器视觉的渡运安全智能监管系统关键技术研究”。
已参与完成国家自然科学基金项目2项，参与获得湖南省科技进步三等奖2项。
已在《InternationalJournalofDistributedSensorNetworks》、《ElsevierNeurocomputing》、《ElsevierComputerCommunications》、《EURASIPJournalonWirelessCommunicationsandNetworking》、《WileyInternationalJournalofCommunicationSystems》、《软件学报》、《通信学报》、《系统仿真学报》等各级各类刊物和国际学术会议上发表论文26篇，其中EI收录论文20篇，SCI收录论文7篇。
项目研究和实验的目的、内容和要解决的主要问题
1、实验目的
机器视觉是人类视觉的扩展和延伸。
随着研究的不断深入，新的描述方式、求解手段的不断探索和创新以及微处理器性能的快速提高，机器视觉的研究必将会迎来一个更加繁荣的时代，机器视觉技术与产品将会被广泛地应用于更为复杂的场合。
近年来，随着国民经济快速增长、社会迅速进步和国力不断增强，银行、电力、交通、安检以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增，要求越来越高，视频监控在生产生活各方面得到了非常广泛的应用。
虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但现有的视频监控系统通常只是录制视频图像，提供的信息是没有经过解释的视频图像，只能用作事后取证，没有充分发挥监控的实时性和主动性。
为了能实时分析、跟踪、判别监控对象，并在异常事件发生时提示、上报，为政府部门及时决策、正确行动提供支持，视频监控的“智能化”就显得尤为重要。
由人盯着监视屏幕，人总有疲劳限度的。
研究表明，监控操作人员盯着电视墙屏幕超过10分钟后将漏掉90%的视频信息。
由于人工筛选数据的低效率和低可靠性，视频监控系统不能局限于被动地提供视频画面，要求集成智能算法，能够自动识别不同的物体，发现监控画面中的异常情况，实现不再要人去盯、用计算机代替人进行监控，即实现“自动监控”或“智能监控”。
智能视频监控是基于机器视觉对视频信号进行处理、分析和理解，在不需要人工干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，能在异常情况发生时及时发出警报或提供有用信息，从而有效地协助安全监管人员处理危机，并最大限度地降低误报和漏报现象，成为应对突发事件的有力辅助工具。
下面介绍本项目研究成果的一个典型实际应用。
湖南省共有2573个渡口，3468条渡船，渡口数量稳居全国第一。
水运交通事故导致的人员伤亡、财产损失、环境污染、以及社会和政治影响不容忽视。
最近几年，湖南省连续发生多起较大以上的水运交通安全事故，给人民生命财产安全造成了极为重大的损失。
为解决渡口码头运营安全管理中的实际问题，用现代科技去替代“人海战役”，我们通过与湖南省水运管理局的反复沟通和到渡口码头调研，将重点研究从技术上保障自动识别督查客渡船“六不发航”制度中的“超载不发航”、“乘客不穿救生衣或不带浮具不发航”。
超载判断是通过基于图像或视频的乘客检测与跟踪技术来实现的。
由于现有架设在岸边的摄像头受气候、光照变化、乘客上下船时有互遮挡、雨伞和帽子的干扰、目标距离等因素影响，不少情况下采集到的视频质量一般，先天不足对乘客检测和跟踪是个挑战。
在客渡船船舱顶部加装摄像头，获取船内图像，这样采集图像的质量受外界影响小，有利于提高识别准确率。
2、内容
基于指导老师在嵌入式系统、图像处理和模式识别领域的积累，针对各种智能监控系统的实际需求，我们研发的基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统可安装在汽车、船舶、地铁等交通工具内部，更加准确的自动识别所监视区域内部的情况。
我们研发的基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统，摄像头现场采集图像，树莓派现场分析理解图像进行人员检测和计数，无线网络将识别结果传送给监控中心计算机。
只有出现违章情况时，如客车超载、客渡船乘员超载和未穿救生衣等，才将监控区域的图像传送给监控中心服务器并将违章代码传送到相关人员手机上，减少了传输数据量。
通过嵌入式系统的使用，可以在现场进行乘员检测与计数、行人检测与姿态估计等，第一时间发现违章现象，从而进行有效监管，具有较高的实用价值。
3、要解决的问题
（1）了解树莓派的硬件结构，熟悉其性能，掌握如何构建基于树莓派的应用系统硬件，掌握如何利用板载的GPIO通用接口、I2C总线接口、SPI总线接口、串口等外部设备接口扩展树莓派的功能。
了解常见的外设外围电路。
（2）基于安装在监控现场的通用USB摄像头或树莓派专用CSI摄像头，设计开发运行在树莓派上的图像和视频采集程序模块，并能设置摄像头的帧频、视频压缩格式和图像参数等。
（3）基于
（2）中采集的图像，研究行人检测与跟踪、乘员检测和计数、救生衣检测和计数等算法。
算法运行在树莓派上，能够理解图像的内容，能准确定位到人和救生衣。
采用开源的计算机视觉函数库（Python可使用SimpleCV库、C/C++使用OpenCV库），实现这些程序模块。
（4）采用TCP/IP协议或Socket编程，将（3）中的图像内容分析结果传回的远程监控中心电脑或监控人员手机。
若监控现场出现异常现象，则将现场图像也传回，起到取证的作用。
（5）设计实现运行在监控中心电脑或监控人员手机上的程序，接收来自树莓派的采集图像并实现屏幕显示和文件保存，实现远程智能视频监控。
国内外研究现状和发展动态
1、树莓派开源硬件平台及无线通信扩展模块
目前，我们可以看到不少硬件创业的成功案例。
Pebble智能手表是由硅谷创业公司PebbleTechnology公司设计的一款兼容iPhone和Android手机的智能手表，用户可以直接通过Pebble手表查看iOS设备中的iMessage短信，可以显示来电信息，也可以上网浏览，实时提醒用户邮件、短信、微博和社交网络信息。
美国知名科技媒体《商业内幕》将Pebble手表称为“2014年度最具创新力的十大设备”之一。
JawboneUp智能手环是一种可以跟踪用户的日常活动、睡眠情况和饮食习惯等数据的腕带设备，由著名的蓝牙耳机和扬声器厂商Jawbone发布。
JawboneUp手环、Pebble手表等智能可穿戴设备，它们可与用户的智能手机同步，实现软件与硬件的结合，符合普适计算和移动互联网的发展潮流。
软硬件整合是近年信息产业特别是消费类电子产品领域的热门话题。
通过硬件创新与软件整合的概念有很多，但是如何将创意变为现实，是一个难题。
许多大公司均选择硬件闭源，从而形成的技术壁垒与专利版权，阻碍着小规模创新者和创业者的发展。
开源硬件，指与自由及开放源代码软件相同方式设计的计算机和电子硬件，这让创业者可以更轻松地将创意转化为现实。
树莓派作为一种开源硬件平台，其原理图和PCB布局可供公众下载。
树莓派[1]（RaspberryPi）是一款基于Linux系统的只有一张信用卡大小的单板机计算机，是由英国的树莓派基金会所开发，最初目的是以低价硬件及自由软件刺激在校学生学习编程和计算机科学教育。
树莓派配备了ARM架构处理器、512MB内存，售价仅为35美元，是目前非常流行的开源硬件平台，可以广泛应用于电子产品项目开发[2]。
2012年，英国南安普敦大学的计算机工程师们使用64个树莓派构建了一个廉价“超级计算机”。
64块树莓派采用如乐高积木一般的方式累加而成，使用MPI（MessagePassingInterface）标准通过高速以太网实现连通。
该“超级计算机”拥有64块处理器，具备1TB的存储空间（每块树莓派装备了一张16GBSD卡），总造价在2500英镑以下，命名为Iridis-Pi，取自该校的另外一台超级计算机Iridis（全欧洲WinServer运行最快的计算机）。
这意味着，未来的计算机系统将向着更加轻量化的方向发展，而嵌入式系统也将因此获得更大的发展空间与机会。
图2树莓派GPIO引脚图
2013年，浙江大学开创国内先河，将树莓派引进课堂，这样既能让学生学习编程，也能学习硬件，还能锻炼动手能力[3]，具体是在《嵌入式系统》课程中翁恺老师[4]做的这个改革。
我们认为，树莓派体积小、价格低，可以作为各种创意电子产品的通用开发平台。
另外，通过GPIO接口（如图2）与各种物理传感器相连接，对树莓派进行扩展，具有巨大的物联网应用潜力。
树莓派的功能还在逐步完善当中。
树莓派刚开发出来时，是一款基于ARM的微型电脑主板，以SD卡为硬盘，卡片主板周围有两个USB接口和一个网口，可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口，以上部件全部整合在一张仅比信用卡稍大的主板上，具备所有PC的基本功能。
只需接通电视机和键盘，就能执行如电子表格、文字处理、玩游戏、播放高清视频等著多功能。
RaspberryPiB款只提供电脑板，无内存、电源、键盘、机箱或连线。
今年，树莓派计算机系列新增两种无线连接产品，如图3。
这两种新模块分别采用Wi-Fi和小功率射频技术构建而成，为移动设备等要求低成本、低功耗、小型化解决方案的应用提供无线接口能力。
图3两种无线连接产品（左：
WiFi；右：
射频）
Edimax公司的无线nanoUSB适配器是最新的Wi-Fi模块，通过树莓派USB端口中插入的微型适配器，来提供符合IEEE802.11b/g/n无线协议的高速Wi-Fi功能[]。
该适配器支持的传输速率高达150Mbps，比标准的11g连接快三倍，是大批量数据传输的理想之选。
这种智能适配器根据距离和CPU负载来调节传输输出，可在无线功能闲置状态下将功耗降低20%到50%。
它可采用Wi-Fi保护设置（WPS）进行配置，提供一个简单、安全的无线网络。
LPRS公司的Connect2Pi，也使用USB无线设备与树莓派之间实现“即插即用”连接，但采用的是低功耗射频收发器技术，可与任何支持串行通讯的设备（例如另一台树莓派）之间提供双向链路。
频率、带宽、输出功率和数据传输率均可配置，保证多台设备通讯时相互之间以及与其他射频设备之间不存在干扰。
由于采用射频技术，因此与Wi-Fi或蓝牙等其他无线协议相比，覆盖范围大幅提高（最大200米，具体取决于地形），而功耗却大幅降低。
主机设备在与覆盖范围以内的其他主机之间收发数据时，每数据包中的数据最高可达180字节，对于“传感与控制”应用尤其有用。
设备有433MHz和868MHz两种型号，并包含一体化SMA天线。
另有该产品低功耗射频模块套件，配有双收发器而非单收发器。
参考文献：
[1]树莓派官网.http:
//www.raspberrypi.org/
[2]极客以折腾不息的树莓派玩法.
[3]浙江大学开设树莓派课程.
[4]翁恺BA5AG.
[5]InstallingtheEdimaxEW-7811UNwirelessadapteronRaspberryPi.http:
//elinux.org/RPi_edimax_EW-7811Un
[6]刘学勇.精通LinuxC编程.清华大学出版社,2009.
[7]JasminBlanchette等著,闫锋欣等译.C++GUIQt4编程（第2版）.电子工业出版社,2013.
2、室内行人计数
室内场所人数统计是当今智能视频系统研究中一个十分活跃的新领域[1]。
该技术能够被应用在不同的公共室内场所，发挥不同的作用。
在程序化的工作场合中[2]人数统计可预测人群流量，提高建筑设施或者公共设施的利用率，如可通过了解等候电梯的人数，提高电梯利用率，减少用户的等候时间；又如在商场、超市等公共室内场所中[3]，通过统计前来访问的人数，可以知道某种新货品是否受顾客欢迎，将此信息反馈给经营者和管理者，把不受欢迎的货品下架，将受欢迎的货品保留，既可减少调查人员的工作量，又提高了运营质量和速度。
因此，室内场所人流自动统计技术有着十分广泛的用途。
当前国内外人流自动计数的方法主要分为以下几种：
（1）基于形状特征的人流检测计数。
鉴于行人行走情况下姿势千变万化，因此基于形状特征的行人计数相对比较困难，关键是如何把重叠的行人目标分割开来。
ChenThouho[4]利用HIS颜色空间中衣服颜色差异较大的特征表现将重叠行人进行分割提取并计数。
另外，由于行人人头近视为椭圆形状，ZhangLijiang[5]使用Adaboost算法对运动区域的人脸部分进行检测，确定人脸的位置来统计人数。
XuHuazhong[6]构建了一个头肩模型，结合SVM对采样样本进行学习，从而对行人数目进行检测。
Duda[7]提出了一种基于Hough变换的圆形检测法，把行人头部近似为圆形，进行人流检测计数。
（2）基于肤色特征的人流检测计数。
Chen[4]使用一个新的基于区域颜色分析的方法来解决行人计数中的重叠问题，如在HIS颜色空间中，用一个特殊的颜色矢量标记每一个行人，然后对行人进行跟踪计数。
该方法对于颜色差异较大的情况较为准确，但是近似颜色的行人重叠情况无法解决。
ZhangZui[8]基于高斯模型结合XYZ和HSV颜色空间构建了一个相似度函数来检测不同行人的发色和肤色，最后得到人头位置信息统计人数。
该方法对于正面行走的行人检测比较有效，但是对于背面或是戴帽、面部遮挡情况束手无策。
张争珍等人[9]基于YCgCr颜色空间对肤色进行聚类，得到肤色范围，从而对行人进行人脸检测，通过人脸检测判别行人数目。
黄等人[10][13]提出了基于RGB颜色空间混合肤色模型的复杂背景彩色图像的快速人脸检测算法来统计人数。
ZhangXiaoning[11]等人提出一种基于HSV颜色空间的肤色模型算法，对肤色进行了有效的检测来统计人数。
ZhaoMin[12]等人提出了一种YCgCr颜色空间的发色特征模型，以此对行人进行头部检测统计人数，该方法在一定程度上可以准确检测行人头部信息，但是对于戴帽情况，则严重失效。
上海交大的杨杰等[14]结合肤色模型和运动分析，对行人脸部进行检测和识别统计数目，取得了较好的准确度，但是只能检测正面的行人人脸信息，条件受到限制。
（3）基于模型学习的人流检测计数。
2005年，Dala和Triggs提出了基于梯度直方图HOG特征的行人检测算法[15][16]，该算法是一种基于统计学习的行人检测算法，采用SVM检测构架，取得了非常好的检测效果。
ZhuQiang[17]和Laptev[18]等人在HOG特征基础上分别利用线性SVM和加权Fisher鉴别分析作为弱分类器，将HOG特征和Adaboost分类器相结合，在保持了检测率的情况下提高了检测速度。
参考文献：
[1]周金芝.公共室内场所人数统计研究[D].淮北师范大学,2011.
[2]衣淑凤.基于小波变换和神经网络的人数统计方法研究[D].北京工业大学,2004.
[3]毛以芳.室内复杂环境下基于彩色图像序列的运动人体识别[D].西华大学,2004.
[4]ThouhoChen,TsongyiChen,ZhixianChen.Anintelligentpeople-flowcountingmethodforpassingthroughagate[C].IEEEConferenceonRobotics,AutomationandMechatronics,2006:
1-6.
[5]LijiangZhang,YingliLiang.Afastmethodoffacedetectioninvideoimages[C].The2ndInternationalConferenceonAdvancedComputerControl,2010:
490-494.
[6]XuHua-zhong,PeiLv,LeiMeng.Apeoplecountingsystembasedonhead-shoulderdetectionandtrackinginsurveillancevideo[C].InternationalConferenceonComputerDesignandApplications,2010:
Vol.1,394-398.
[7]R.O.Duda,P.Hart.UseoftheHoughtransformationtodetectlinesandcurvesinpictures[J].CommunicationsoftheACM,1972,15
（1）:
11-15.
[8]ZuiZhang,HaticeGunes,MassimoPiccardi.AnaccuratealgorithmforheaddetectionbasedonXYZandHSVhairandskincolormodels[C].The15thIEEEInternationalConferenceonImageProcessing,2008:
1644-1647.
[9]张争珍,石跃祥.YCgCr颜色空间的肤色聚类人脸检测法[J].计算机工程与应用,2009,45（22）:
163-165.
[10]黄建筑,冯桂,夏丽娟.基于混合肤色模型的快速人脸检测算法[J].微型机与应用,2010,29（18）:
48-52.
[11]ZhangXiaoning,JiangJue,LiangHuzhi,etal.SkincolorenhancementbasedonfavoriteskincolorinHSVcolorspace[J].IEEETransactionsonConsumerElectronics,2010,56（3）:
1789-1793.
[12]MinZhao,SunDihua,HeHengpan.Hair-colormodelingandheaddetection[C].The7thWorldCongressonIntelligentControlandAutomation,2008:
7773-7776.
[13]XiZhao,EmmanuelDelleandrea,LimingChen.Apeoplecountingsystembasedonfacedetectionandtrackinginavideo[C].The6thIEEEInternationalConferenceonAdvancedVideoandSignalBasedSurveillance,2009:
67-72.
[14]JieYang,XufengLing,YitanZhuetal.Afacedetectionandrecognitionsystemincolorimageseries[J].MathematicsandComputersinSimulation,2008,77（5-6）:
531-539.
[15]NavneetDalal,BillTriggs.HistogramsofOrientedGradients
升级会员 