基于计算机视觉的教室节能系统.docx

1、基于计算机视觉的教室节能系统基于计算机视觉的教室灯节能装置一、设计背景当今社会资源短缺，但是电能的浪费仍然很严重，尤其是在高校等一些公共场所。据内蒙古工业大学调查分析发现，许多学生白天在天气情况良好的情况下，将教室内的灯打开，而走的时候却不关闭。两三个人上自习时，却把教室的灯全打开，造成了很大程度的浪费。经过最后统计，5个教学区一个月浪费电能15416.4度，折合人民币18512.6元。学校1学年（10个月）仅电费就要花掉300多万元，而1年仅教学楼就浪费18万元之多。所以及时有效的解决人走灯亮，人少灯多的问题为当务之急【1】。二、方案设计2.1 方案分析与论证针对教室等一些公共场所照明灯电能

2、的大量浪费的现象，目前的解决方法主要有2种：（）、利用远红外智能控制开关技术，将人体的温度作为检测目标，当人进入其探测区域时，红外传感器将人体与空间温度的差值传递给信号处理系统，从而实施对控制电路的驱动与否，实现对控制对象的具体控制。优点是实现了室内无人灯自灭的效果；其缺点是，1.当环境温度接近人体温度时，灵敏度急剧下降；2.对静止物不能探测，因此，在高要求的学习、办公场合，如人员相对静止时间，超过开关延时计数时间，智能开关则会自动关闭，引起照明器具频闪，影响学生学习【2】。（）、利用光优先技术，根据光照调节，其功能表现在教室自然光或空间照度达标时，不管室内有无人员，必须5秒钟内强制性地关闭照

3、明，不支持强迫开启，以达到节能效果。这种技术的缺点就在于：1.它没有考虑教室节能的主体因素人的作用，没有人的时候它也可能开灯；2.测试空间范围太大，如果室内一部分（例如：向阳面）光照达标，却无法自动关灯，未能做到最大程度上的节能【2】。 正是针对上述两种技术的缺陷，我们确定一套节能方案，利用计算机视觉技术根据教室内人数和位置对亮灯的区域及时做出调整，同时配备可以支持人工控制的按键装置，达到了在相当大的程度上节省电能的实际效果。22系统方案设计图2.1 整体方案设计流图本装置在物理组成上包括四部分，主控处理器、信息采集器、键盘输入器、模式选择器。首先我们对此装置进行数据信息的初始化，根据此装置所

4、应用的场所的实际情况将其分成四个控制区域（A区、B区、C区、D区）。然后应由用户（老师或管理员）通过模式选择器自行选择人工开灯和自动开灯两种模式中的一种。在人工控制模式下，由用户利用键盘输入器自行控制灯具的亮灭状态。系统设定人为模式会持续一段合理时间（此时间数据由用户自行输入，例如大学上课时间一般应启用人工开灯模式，此数据设为110分钟较为合理）。在自动控制模式下，我们先根据光照传感器采集的信息来判定当前光照情况，如果此照度已经达到国家标准，我们不支持灯具开启；若未达到国家标准，我们便采用数字摄像头OV9650对教室内的信息进行图像采集。然后我们使用ARM9芯片S3c2440在基于嵌入式Lin

5、ux操作系统上移植的OpenCV视觉识别技术对采集到的图像进行人体目标识别，当系统显示发现人体目标时，将通过Zigbee无线数据传输技术控制继电器自动开启A区的灯具，然后系统将每隔一段时间对室内信息进行采集分析，返回目标个数及其所在位置，直到系统检测到A区目标个数达到设定值时我们将开启B区，以同样过程依次开启C区和D区，在此过程中如果检测到某区域的目标个数为零，将自动关闭此区域灯具，做到灯因人而开，最终达到节能的目的。三、硬件系统设计与介绍本系统选用三星公司的ARM9芯片S3c2440作为处理器，图像采集部分采用数字摄像头OV9650，数据传输部分及终端控制部分选取支持ZiGbee协议同时内嵌

6、8051内核的CC2430。图3.1 系统硬件结构3.1 基于S3c2440的硬件平台为了确定人体目标在教室的相对位置，需要对采集的图像进行快速准确的分析，这要求系统有较快的处理速度，同时需要一些支持图像处理的算法。这里选用三星公司的ARM920T内核的芯片S3c2440，其包含MMU内存管理单元，可以运行嵌入式Linux操作系统，还有专用的CAMERA接口。由于运行嵌入式Linux操作系统时，Linux内核与其文件系统需要大量的存储空间，所以这里需要外扩大量的外部存储空间。这里同时选取NAND Flash和NOR Flash，因为程序不可能在NAND Flash运行，这里再选择SDRAM 与

7、之相配【3】。图3.2 SDRAM 与S3C2440接口电路NAND Flash具有体积小，存储单元密度高，写入和擦除速度快且最高可达一百万次，制造过程简单，价格较低等优点。NOR FLASH的特点是可以再片内运行程序，但其写入和擦除速度慢，价格相对较高。故这里选择NOR FLASH存储系统启动代码，NAND FLASH作为主要存储器件。图3.3 NAND FLASH 与s3c2440接口电路图3.4 NOR FLASH 与S3C24440接口电路SDRAM与FLASH相比具有掉电不保存数据的缺点，但其读写速度远高于FLASH存储器件。当系统启动后将FLASH中的程序代码及相关数据映射到SDR

8、AM中，提高运行速度。3.2 图像采集模块本系统基于计算机视觉技术，需要根据室内图像信息，得到室内人数及位置以做出正确的分析和处理，最终控制灯的亮灭。这里选择OV9650 COMS型影像传感器的数字摄像头模组，通过S3C2440的CAMERA接口实现教室内图像信息的采集。CMOS型摄像头模组是先进、节能、小巧的高精度相机的内置式组件，该数字摄像头模组把实现优质VGA影像的CMOS影像传感器与高度集成的影像处理器、嵌入式电源和高质量的透镜组结合在一起，输出JPEG图像或视频图像。同时支持8/10位数字传输JPEG图像和YCbCr接口。由于具有高度集成的特点，该数字摄像模组不再需要配备任何外部器件

9、，实现起来电路简单【4】。图3.5 OV9650数字摄像头接口电路3.3 Zigbee无线数据传输当对室内信息处理完毕后要将控制命令发给控制终端，实现灯的开启与熄灭。这里采用TI公司支持Zigbee协议的CC2430芯片，实现控制命令的无线传输，避免了在室内布线的繁琐。ZigBee模块中RF（射频）收发器采用射频收发模块采用UZ2400芯片，微处理器采用8051芯片。RF收发器是ZigBee设备的核心，任何ZigBee设备都要有RF收发器。它与用于广播的普通无线收发器的不同之处在于体积小，功耗低，支持电池供电的设备。它主要进行信号的调制与解调、发送和接收等。微处理器通过SPI总线与RF收发器相

10、连，主要用于处理射频信号、控制和协调各部分器件的工作，通过串口与外部设备之间进行通信。ZigBee模块还包括存储器、晶振、天线、串口等器件【5】，如图3.6所示。图3.6 Zigbee无线通信模块 图3.7 CC2430最小系统图3.4 执行控制模块由于这里需要用5V弱电来控制220V强电开启或熄灭日光灯，所以这里采用控制继电器的方式，控制日光灯。由于CC2430芯片中集成了8051核，可以利用它来控制继电器实现。这样既节省了成本又提高了使用率。具体实现方式如下：1、正常工作模式在正常模式下终端控制系统，接收上位机发送过来的控制命令，控制相应的继电器导通或关闭，实现灯的开启与熄灭。2、非正常模

11、式当上位机出现异常时，例如：没有控制命令发送。则通过矩阵键盘可以人为地控制此终端，实现灯的开启与熄灭。图3.8 继电器控制电路图3.9 按键及光照检测电路四、软件设计我们需要对采集的图像进行快速准确的分析，但是在裸机条件下实现的难度较大而且开发周期长，所以在这里我们选用在Linux系统下调用OpenCV开源计算机视觉库中相应的算法的方案来实现。为了保证应用软件的正常运行，首先要构建软件的运行环境即移植嵌入式Linux操作系统和OpenCV开源计算机视觉库。这里Linux内核选择2.6.12版本，OpenCV选择1.0.0版本。4.1 移植嵌入式Linux系统介绍Linux是一款高性能、源代码开

12、放且应用成熟的操作系统。其体积小、可裁减等特点使其可以作为嵌入式操作系统使用。在这里使用的是Linux2.6.12内核，通过对其源代码的修改及重新修改，使其能够工作在这里使用的硬件平台上。当代码修改完成后，编译Linux2.6.12内核源码，使其生成压缩的内核映像zImage。然后构建文件系统，当文件系统制作完成后，利用mkyaffsimage工具生成文件系统生成系统镜像文件。最后利用JTAG将bootloader到FLASH中，再利用DNW软件工具将压缩的内核映像文件zImage和文件系统的镜像文件分别下载到FLASH相应的分区中。完全下载完毕后重新上电，系统开始运行【6】。如下图所示：图4

13、.1 Linux系统移植流程图4.2 软件设计介绍 在主控部分使用嵌入式Linux操作系统，并移植OpenCV开源计算机视觉库，通过机器学习使系统自动识别摄像头采集到的图像信息中的人体对象目标，并返回当前图像中的目标个数及其相对的位置。图4.2 主控端软件设计框图图4.3主控端应用程序设计流程图4.2.1 系统信息初始化 由于教室有上课和自习两方面功能，一般上课时应该由人工控制相应灯具的启闭状态，自习时需要系统根据光照程度和室内人数自动控制灯具启闭。人工控制模式要求我们为用户（老师或者是管理员）配备一个模式选择器，他们应该根据自身教室的要求通过键盘输入器控制相应的灯区，系统设定人为模式会持续一

14、段合理时间（此时间数据由用户自行输入，例如大学上课时间一般应启用人工开灯模式，此数据设为110分钟较为合理）。自动控制模式要求在初始化时给定区域坐标以便系统自动分区。由于用户应用此设备的场所以及摄像头的摆放位置不同会导致相对坐标不同，这将直接影响到实际确定人体位置的效果，所以在初次启用此设备前，用户需要对其做简单的测试工作，以确定实际区域位置与图像中像素点对应的坐标值，以供此设备获取相对坐标，对控制区域进行自动分区工作。相对坐标的确定方法如下：（1）、测试工作：支配三名人员分别坐在教室的第一排、中间一排和最后一排，启动摄像头，拍摄图片。（2）、获取相对坐标：处理器获取图片信息，根据测试人员所在

15、的位置进行记录，获得其像素坐标(设为：（x1,y1）（x2,y2）（x3,y3）)。（3）、自动分区：本图像大小为800600，分区时以四条直线：x=400;y=y1;y=y2;y=y3为分界线，以中间分成的四区域为检测控制区域。如图4.6所示：（）图4.4 自动分区效果图4.2.2 室内信息采集在由用户选定人工控制模式和自动控制模式中的一种后，如果是人工控制模式则应由用户利用键盘输入器自行控制灯具的亮灭状况，如果是自动控制模式，我们将根据光照传感器采集的信息来判定当前光照情况，如果此照度已经达到国家标准，我们关闭灯具开关，否则我们便采用数字摄像头OV9650对教室内的信息进行图像采集。（1）

16、 照度数据采集根据国家建筑物照明标准（图 4.7），多媒体教室的照度标准值是300lx。将光照传感器采集回来的信息通过AD转换，来判断当前教室的各个区域是否达到国家标准，如果达标将关闭此区域灯具控制开关。如果不达标则对此区域进行图像的采集。图4.5 国家建筑物照度标准 （2）图像采集在光照强度不达标的情况下我们将来气图像采集模块，在此模块我们将摄像头驱动程序同内核源码一起编译，编写应用程序通过系统调用加载摄像头驱动，对摄像头进行初始化，之后开始图像信息的采集，取得多帧或单帧图像信息，为识别教室中的人体目标提供原始图像。图4.6 图像采集流程图fd = open(/dev/v4l/video0,

17、 O_RDONLY); /rd&wr if(fd0) ; if(ioctl(fd, VIDIOCGCAP, &vc)0);vc.maxwidth, vc.maxheight, vc.minwidth, vc.minheight); vw.width = FIXED_SOURCE_WIDTH; /fixed in this application vw.height = FIXED_SOURCE_HEIGHT; /fixed in this application if(ioctl(fd, VIDIOCSWIN, &vw)0) ; if(ioctl(fd, VIDIOCGWIN, &vw)0)

18、; if(!image_width|!image_height) ; ; if(ioctl(fd, VIDIOCSCAPTURE, &vcp)0) ; if(ioctl(fd, VIDIOCSPICT, &vp)0); if(ioctl(fd, VIDIOCGPICT, &vp)0); if(mmap_camera) ; if(!mmap_camera) ; if(tcgetattr(0, &tio)0) ; if(ioctl(fd, VIDIOCCAPTURE, VIDEO_START)0)/读串口数据到buf P1_0=P1_0; #if defined(ZAPP_P1) /ZTOOL_P

19、1 SPIMgr_AppFlowControl(SPI_MGR_ZAPP_RX_READY);/恢复流，不然不能接收新数据#endifaddr=*uart_buf*256+*(uart_buf+1);zb_SendDataRequest( addr, SENSOR_REPORT_CMD_ID, 0, (uint8 *)NULL, 0, AF_ACK_REQUEST, 0 );/无线发出去）HalUARTWrite( 0, uart_buf, rxlen );/返送到串口，调试用osal_mem_free(uart_buf); /释放4.2.5终端控制在执行控制部分利用CC2430内部嵌套的MC

20、S51内核进行相应的控制，在上课时间进入人工模式，学生可以通过按键打开相应的日光灯；在非上课时间进入自动控制模式，根据当前情况判断是否告知主控部分开启自动检测，开启检测后根据接收到的数据打开相应区域的日光灯，给学生提供照明。图4.14 终端控制程序设计流程图五 功能演示及效果分析 5.1功能演示在进行实验检测后，我们将此装置运用到实际自习室进行效果分析，下面是实际自习环境下处理的图片。5.1.1白天检测实况白天有日光入射情况下，当白日日光达标时，我们将关闭此装置，当日光强度不足时开启此装置，我们拍摄了一组相片，通过系统检测，得到的效果图如下： 图 5.1 近距离拍摄实测效果图 图5.2稍远距离

21、实测效果图图5.3 光线稍暗实测效果图 由以上三张不同拍摄角度与距离图片的实际检测效果来分析，我们发现在近距离拍摄时检测效果最好，并且效果和角度以及光线关系不明显。 5.1.2 晚上检测实况由于晚上室内初始没有光照，我们在门处安装红外检测装置，检测是否有人进入，当检测到有人进入时，我们自动开启靠近门的一区灯，此装置会每隔一段时间自动检测区域人数，当检测到此区域人员已满时，我们自动开启相邻区域，当检测到此区域无人时，我们便关闭相应灯，已达到在最大限度上节能的目的。5.2效果分析六、作品特点1、本作品充分考虑了决定室内灯具启闭的主体因素人的作用，真正实现了灯因人而开的目的，在很大程度上避免了浪费。

22、2、本作品采用的是计算机视觉技术，其运用效果不受外界环境的影响，比远红外智能开关技术有很高的优越性，检测效果更准确。3、本作品提供两种模式供用户选择：人为开灯模式和自动开灯模式。既可以让此装置自动根据室内信息（光照和人数）自动启闭灯具，也可以由用户通过键盘装置人工控制灯具的启闭。方便了用户对本装置的使用。4、数据传输方面使用无线传输方式，避免了布线的繁琐。七、前景展望 现阶段各高校均面临着教室电能浪费的这一问题，虽然随着科技的发展，各大高校均采用LED灯来代替普通荧光灯或者利用光敏、声敏电阻等控制灯强或利用红外技术或者是光优先技术来节能，但是这些方法在一定程度上都存在很大的改进空间。本系统在综

23、合地考虑上述技术优点和缺陷的基础上运用嵌入式Linux操作系统设计的一种高效方便的节能系统。本作品以大学教室为实验对象，为方便用户使用，我们设定由用户（老师或者是管理员）来选择自动开灯模式和人为开灯模式中的一种。人为开灯模式，在此模式下用键盘输入器上的相应按键来控制相应位置灯区的亮灭状态，系统设定人为模式会持续一段合理时间（此时间数据由用户自行输入，例如大学上课时间一般应启用人工开灯模式，此数据设为110分钟较为合理）；在非上课时间时切换到自动开灯模式，在此模式下装置自动根据室内光照强度、人数的多少和位置及时有效地控制室内灯的亮灭个数和亮灯的位置。在很大程度上节省了电能（具体数据）。将来此装置

24、也可以推广到其它需要节能的公共场所，根据人的个数和位置控制灯具的亮灭，空调、暖气等的开启与关闭。有一点不足就是在S3C2440芯片内部没有FPU浮点运算单元，使得主控器运算起来有些慢，但由于我们应用此技术的场所（教室）人员流动频率也较低，所以在实际应用时也没有太大的影响，当然这也有待提高的一点。我们正生活在以节能环保为主题的社会里，随着整个社会经济的不断加强，本系统将会被大力推广。参考文献：【1】李玉波，“内蒙古工业大学青年志愿者调查：白耗电能1年掏走学校18万”，中国青年报，2006年6月14日【2】北京宇通盛世照明安装工程有限公司博客，【3】OK2440-III用户手册V4.0，2010年

25、4月【4】OV9650 Color CMOS SXGA CameraChip，OmniVision Technology， 2004年 12月【5】ZigBee技术实践教程，北京航空航天大学出版社，2009年6月【6】韦东山 ，嵌入式Linux应用开发完全手册， 人民邮电出版社 ， 2008年08月【7】于仕琪，刘瑞祯 译 ，学习OpenCV，清华大学出版社 ，2010年1月【8】Rafael C. Gonzalez，Richard E. Woods 著，阮秋奇， 阮宇智 等译，数字信号处理（第二版），电子工业出版社 ， 2009年6月【9】谭学科， 基于ARM和OpenCV的增强现实平台研究（硕士论文）， 大连理工大学 ， 2008年12月【10】P.Viloa and M.J.Jones, “Rapid Object Detect Using a Boosted Cascade of Simple Feature”, IEEE CVPR(2001)【11】建筑照明设计标准GB-50034-2004，2004年目 录第一章 总论 51.1项目概要 51.2可行性研究报告编制依据 81.3综合评价 8第二章 项目背景及必要性 112.1项目建设背景 112.2项目建设的必要性 13第三章 建设条件 163.1项目区概况 163.2项目建设条件优劣势分析 21