基于嵌入式Linux的网络视频实时监控系统.docx

1、基于嵌入式Linux的网络视频实时监控系统第34卷第9期2008年9月电子工蠢师ELECTRONIC ENGINEERV01.34No.9Sep.2008基于嵌入式Linux的网络视频实时监控系统漆源,程恩,庄子明(厦门大学水声通信与海洋信息技术教育部重点实验室,福建省厦门市361005摘要:介绍一种基于嵌入式Linux的网络视频实时监控系统。该系统采用客户/服务器结构,应用MPEG-4硬编码压缩方案和RTP/RTCP协议,通过TCP/IP协议进行网络通信。实现了用户对单/多个网络摄像头的同时监控,还可进行远程控制和管理,并具有运动检测和报警联动功能。关键词:网络视频监控系统;嵌入式Linux

2、;远程监控中图分类号:TP2770引言传统视频监控系统存在集中监控路数少、距离有限、布线复杂等缺点。目前流行的网络摄像头具有独立完成网络传输功能,不需要另外接人计算机,故能实现简单的IP方式组网,是传统模拟监控所无法实现的。而采用这种远程视频监控系统易存在传输速度受限、系统稳定性差等缺点。本文针对远程的可视化监测要求,以嵌入式微控制器多媒体SoC(片上系统芯片Z228为核心,按照特定的功能需求,采用SDRAM 和立体声编码解码器及网络接口芯片等,开发出最小应用单板系统,实现了一种以嵌入式服务器为基础的网络视频监控系统,经验证,本系统视频清晰、通信时延较小、成本低、稳定性强、可扩展性好。适合银行

3、、住宅小区、幼儿园的远程监控,是多媒体监控领域未来的发展方向。1系统的应用方案本系统中,网络摄像头利用以太网接lYl/WiFi模块接人有线/无线网络,用户通过网络用PC、手机或PDA(个人数字助理等个人终端监控远程画面。本系统由前端网络摄像服务端和远程客户监控端2部分组成,利用多播技术实现了在以太网络及无线网络多对多的监控,可在客户端和服务端之间传送音视频码流和控制信息。客户端设计了基于不同平台的3种客户端软件,可完成设定运动检测区域及灵敏度并且联动发送照片到指定邮箱、设定用户权限、使视频时间与网络或用户本地时间同步,定制图像质量参数等功能。每个网络摄像服务端具有网段内唯一IP地址,通过网络连

4、接方便对该设备(IP地址进行控制管收稿日期:2008-03-24;修回日期:2008-0421。基金项目:国家自然科学基金(60672046。理,也可通过IP地址识别、管理、控制该摄像服务端所连接的视频源,故其组网只是简单的IP网络连接,新增一个设备只需要增加一个IP地址,极大地方便了原来由模拟系统的网络升级改造和其他网络需求情况。在系统内,视频采用MPEG-4标准编解码,音视频数据和控制信息都通过TCP/IP网络协议传输,服务器端和客户端的媒体数据传输协议除了支持RTP(实时传输协议/RTCP(实时传输控制协议,也支持RawTCP、RawUDP这2种非常简单的传输方式。在嵌入式的视频监控系统

5、应用结构中,系统的主芯片采用嵌入式微控制器多媒体片上系统芯片Z228为核心,Z228采用了ARM9系列中ARM926EJ处理器内核。这里利用Z228搭建嵌入式Linux操作系统平台,完成视频采集、MPEG-4编码、音频压缩、音视频同步和网络传输等功能。在本系统中,视频处理和Web 服务器集成为服务端,由安装在现场的嵌入式网络摄像机从CMOS摄像头获得原始的视频信号,通过视频编码器,将模拟视频数字化,并硬件压缩成MPEG-4视频数据,然后通过以太网接口或WiFi模块连接到In. temet;监控客户端连接到计算机网络上,获得从嵌入式视频监控模块传过来的MPEG-4视频数据进行解码,授权用户直接通

6、过IE浏览器或者下载专用软件即可观看摄像机的视频图像,还可以对系统进行配置。该系统支持多个客户端同时监控,并且支持单个客户端同时收看多达16个不同的监控画面,用户对每一个画面都能进行单独操作。2软件实现2.1软件架构该系统的软件结构可分为网络摄像服务端、客户监控端和传输信道3部分。由远程客户监控端通过传输信道向网络摄像服务端发送控制信息,并且接受服务器端的反馈信息和媒体数据。其软件结构见图1。75.计算机与自动化技术电手工蠢师2008年9月程控制服务器媒体服务传输信道控制通道媒体通道RTP/RTCP协议传输客白端J远端应用I公共模块腔制端应用l图1IPCAM软件结构网络摄像服务端主要功能有:提

7、供配置接口,支持多路模拟音视频输入,对其进行采样和压缩编码;通过LAN/WAN/Internet向远程客户端传送音视频编码数据和通知控制命令,反馈服务器端消息;图像运动检测并向客户端发送报警信号;内置嵌入式Web服务器,设置网络摄像机的网络和音视频信息。远程客户监控端的主要功能有:控制和配置服务器端,并且接收媒体数据和通知消息;通过网络向网络摄像机发送控制命令,包括与网络摄像机要求建立连接,调节图像参数等;接收多路网络摄像机的发送的音视频编码数据,解码播放,并保存在本地硬盘上;接收报警信号,并报警录像;回放查询保存的音视频数据。客户监控端支持3种不同的模式:基于Windows浏览器的监控终端、

8、基于Windows操作系统的单路/多路监控终端、基于WinCE的嵌入式监控终端。传输信道分为控制通道和媒体通道2部分。其中,控制通道传输音视频控制信息,比如客户端获取服务器端的媒体类型、客户端设置服务器端的相关音视频属性等;媒体通道是由服务器端传输大量的音视频数据给客户端,比如一帧一帧的视频数据。在服务器端和客户端,大量的音视频数据是通过TCP/IP网络协议传输的,运输层协议采用的是注重数据传输实时性的RTP,此协议提供的服务包括时间载量标识、数据序列、时戳、传输控制等,用于Internet上针对多媒体数据流的一种实时交互应用的传输协议,RTP与RTCP一起得到数据传输的一些相关的控制信息,一

9、起提供流量控制和拥塞控制服务,用于传输通用格式,其目的是提供时间信息和实现流同步。RTP和RTCP 配合使用,能以有效的反馈和最小的开销使传输效率最佳化,因而特别适合传送网上的实时数据。2.2服务器端软件网络摄像服务器端分为媒体服务器和远程控制服务器2部分。远程控制服务器负责接收控制命令,反馈服务器状态,并进行网络配置;媒体服务器负责处理和传输媒体数据。具体软件结构图如图2所示。媒体服务器提供个媒体源,每个媒体源赋予唯76一的整数编号,编号取值为0一N一1。客户端可以接收从媒体服务器传来的媒体数据,但是不可以直接对媒体服务器进行配置。客户端只能通过远程控制服务器对媒体服务器进行配置,如果客户端

10、不需要对媒体服务器进行控制,甚至都可以不与远程控制服务器进行通话,而是直接从媒体服务器接收数据。传输通道塑协议,_。一远程控制服务器删l垫塑塑塑I随型型睦刨=盐蕉:J唑图2服务器端软件结构远程控制服务器通过远程控制协议与客户端之间进行交互,远程控制协议定义了远程控制协议服务器与客户端之间的交互过程与数据格式。远程控制服务器在某一端口启动侦听,由客户端向服务端发起TCP 连接。客户端向服务端发出一个个的命令包,服务器端每收到一个命令包,即会回复一个反馈命令包。除了命令和反馈之外,服务器端还会不定期发出通知消息命令包,对这些通知消息,客户端无需进行应答。其中,查询过程和反馈过程基于UDP的单播/广

11、播/多播技术,连接与数据交换过程基于TCP协议。2.3客户端软件这里重点介绍基于Windows的监控终端,可分为基于IE浏览器和基于Windows系统2种。前者通过服务器端提供的Web应用接口,用CGI程序通过远程管理器进行设备管理,并通过远程控制协议进行通信,然后通过应用ActiveX控件的Web页面提交用户输人数据到远端Web服务,实现控制功能,这种基于网络浏览器的方式重点考虑的是用户权限和安全问题,因此,用户身份验证是一个很重要的环节。后者应用微软的Vc+工具开发,用户可直接下载使用。其具体软件结构如图3所示。VCH编写的基于MFC的多路监控客户端软件的基本要求是要同时监控多个摄像服务器

12、,设定是否运动检测,当有报警产生时可以针对该服务器进行单独处理,如进行录像拍照等。可实现1/4/9/16画面的视频监控,同时,为了观察方便还应支持单个的全屏显示、当前时间同步等功能。其软件实现构架见图4。多路监控软件的底层是对各种显示界面的控制,如多路监控、单路监控及全屏显示;上层是对客户端的控制,比如控制显示窗口的大小、位置、录像控制等。其中ClientViewer是整个系统的一个核心模块,它对 基于嵌入式Linux的网络视频实时监控系统作者:漆源, 程恩, 庄子明, QI Yuan, CHENG En, ZHUANG Ziming作者单位:厦门大学水声通信与海洋信息技术教育部重点实验室,福

13、建省厦门市,361005刊名:电子工程师英文刊名:ELECTRONIC ENGINEER年,卷(期:2008,34(9引用次数:0次参考文献(5条1.吕丽刚.谢晓竹远程视频监控中的目标检测和多播传输期刊论文-微计算机信息 2007(152.赵方鹏.杨建华.赵忠.刘文涛基于嵌入式Linux的网络视频监控系统期刊论文-测控技术 2007(53.何小海.王正勇数字图像通信及其应用 20064.康宗明.谢时根.谢攀.张利基于网络的嵌入式远程图像监控系统分析与设计期刊论文-电视技术 2002(85.KUROSE J F.ROSS K W Computer networking:A top-down ap

14、proach featuring the Internet 2005相似文献(10条1.学位论文冯苗基于嵌入式Linux的网络视频监控系统的研究与实现2007众所周知,人类通过视觉获取的信息约占其获取总信息量的70%,视觉信息具有直观、可靠等优点。近年来,随着计算机网络、通信技术和多媒体技术的飞速发展,整个世界对网络视频方面的投入逐年加大,视频监控系统已广泛的应用于日常生活、工业生产、国家安防中,它在经历了第一代模拟视频监控系统、第二代数字化本地视频监控系统后,正向着视频数字化、监控网络化与智能化的方向发展。目前,第三代数字化网络视频监控系统,以网络为依托,分布广阔、可实现对大量视频数据实时地

15、、远距离地传输,能为远程管理者提供直观、快捷、有效的信息。本文在总结分析前人的研究成果的基础上,将嵌入式技术、视频技术和网络技术有效地结合在一起,提出了基于嵌入式平台的网络视频监控系统的设计方案。与基于PC机的视频监控系统相比,该系统具有成本低、耗电少、使用方便、易于升级与扩展等优点。它利用IP网络实现远程视频监控,把摄像头采集到的视频信号经过压缩模块压缩后,通过数据总线传入web服务器,用户在客户端通过浏览器观看web服务器上的摄像头视频图像,从而使得监控无处不在,不再受距离等方面的限制。本文采用先进的基于.ARM9 S3C2410微处理器的硬件平台,采用2.6.14内核的嵌入式Linux作

16、为服务器端软件的开发平台,全部采用开源软件进行服务器端软件的开发。全文分为六章,第一章介绍了视频监控系统的发展及应用,第二章嵌入式网络视频监控系统的设计,第三章介绍了嵌入式Linux操作系统向目标平台的移植,第四章介绍了网卡CS8900A、USB摄像头驱动程序的编写与移植,第五章介绍了视频监控程序的实现和系统的测试,最后一章对系统进行了总结与展望。2.期刊论文郭耸.洪炳镕.陈凤东.GUO Song.HONG Bing-rong.CHEN Feng-dong基于嵌入式Linux和Web 服务器的网络视频监控系统-哈尔滨商业大学学报(自然科学版2005,21(6给出一种基于嵌入式计算机技术的网络视

17、频监控系统,并在此基础上,重点讨论嵌入式Linux技术、图像压缩技术和嵌入式Web服务器技术.接着,应用网络视频监控系统进行目标识别与跟踪,实验结果证明了系统的有效性和可靠性.3.学位论文吕明成基于嵌入式Linux的网络视频监控系统的研究2006近年来,随着网络和多媒体技术的飞速发展,和网络视频相关的应用越来越多。在视频监控技术领域出现了利用Internet实现远程视频监控的趋势,即实现随时随地的监控功能,不再受距离等方面的限制。这里面的核心部分就是一个可以直接连入以太网的视频采集设备,提供实时的图像采集、压缩和传输的功能。本文就是根据这方面的应用需求,进行这样一种通用的网络视频采集设备的研究

18、。1.对视频监控系统的背景、国内外现状和未来的发展方向进行了深入的探讨。在此基础之上,论述了基于嵌入式Linux网络视频监控系统的组成原理和关键技术以及一般嵌入式Linux系统的开发方法。2.提出了嵌入式微处理器+嵌入式Linux操作系统+嵌入式Web服务器的视频监控设计模式。深入研究了该模式下嵌入式系统的实现方法,根据研究目标建立了系统的开发环境,包括交叉编译环境的建立、BootLoader的设计、嵌入式Linux的移植等等。3.在视频采集方面,本文采用了基于USB接口的通用摄像头视频信号采集方法,使设备的硬件设计更加简单,成本大为降低,可维护性大大增强。同时,对Linux下的USB摄像头驱

19、动和V4L标准进行了深入的研究,提出了V4L标准的改进方案,通过大量的实验证明,改进后的算法大大提高了采集效率。4.视频服务器方面,在深入研究了嵌入式服务器构成原理的基础上,提出了以嵌入式Web服务器为核心,以JavaApplet为载体的服务器设计方案,实现了视频图象的远程传输和播放。4.学位论文梁瑞宇基于嵌入式linux的水利防汛视频监控系统2006本课题是南通市水利局委托项目。随着国民经济的迅猛发展,水利工程在国民经济中所起的作用越来越大,防汛更是直接影响国民经济发展的一个重要方面。本课题基于ARM平台,采用嵌入式设计方式,实现实时监控,解决了人工方式存在的观测数据误差大,系统维护难等问题

20、。本文在总结分析前人的研究成果的基础上,将先进的嵌入式技术、视频技术、网络技术有效地结合在一起,提出了一种嵌入式网络视频监控系统的设计方案。文章主要采用嵌入式处理器S3C44B0X、视频编/解码芯片ZR36060、TCP/IP协议栈芯片W3100A作为硬件平台,嵌入式uClinux操作系统做为软件平台。文章的研究重点为:系统的硬件平台设计;uClinux在S3C44B0X处理器上的移植;FPGA技术在系统中的应用。利用FPGA技术,可以控制整个系统,方便调试,并且提高了系统的保密性。系统在ADS和linux软件平台下开发并在硬件上得到实现,经完善后达到预期效果,并运用到水利工程现场。本系统还可

21、应用在相近行业的视频监控领域。5.期刊论文赵方鹏.杨建华.赵忠.刘文涛.ZHAO Fang-peng.YANG Jian-hua.ZHAO Zhong.LIU Wen-tao基于嵌入式Linux的网络视频监控系统-测控技术2007,26(5介绍一种网络视频监控系统实现方案,系统以嵌入式Linux和嵌入式微控制器S3C2410为核心平台,通过嵌入式平台建立的Web服务器将USB摄像头采集来的视频信号,经过网络传输,完成对测控现场和测试设备的网络视频监控任务.详细介绍了在上述嵌入式平台上USB设备的驱动开发以及如何在嵌入式Linux下实现视频采集,并完成了在该嵌入式平台上的应用程序的移植.6.学位

22、论文陈双基于ARM和嵌入式Linux的网络视频监控系统的设计与研究2008随着社会的发展,网络视频监控系统已经成为日常生产生活中的重要辅助设备,应用十分广泛。当前视频监控系统正逐步由模拟化走向数字化,随着视频压缩技术和网络技术的发展,开发新一代的基于计算机网络和多媒体MPEG-4压缩算法的视频监控系统已成为整个行业技术发展的主要方向之一。人们有时会采用DSP与MPEG-4算法结合的方案来实现,也有的部门采用了片上系统(SOC,但这些不但编程极度复杂,而且成本也过高。本文提出并研究设计了一种基于ARM微处理器S3C2410、MPEG-4专用压缩芯片MPG440、以嵌入式Linux为操作系统的视频

23、监控系统方案,不仅开发便捷、成本低廉,而且实时性较好,适应范围广。首先,采用软硬件协同设计的思想提出了系统的总体设计方案,系统的整体架构分为摄像头、云台控制器、网络视频服务器以及客户端PC机等四大部分。第二,以三星公司的S3C2410芯片和DAVICOM公司的DM9000以太网接口芯片为硬件核心,对整个系统进行了模块化的硬件电路的设计。根据S3C2410的特点及系统整体需求,完成了电源复位模块、晶振模块、存储器接口模块、视频数据处理模块、以太网接口模块、云台控制模块等的硬件选型与电路连接。其中,在云台控制模块等的电路设计中充分体现了优化设计的技巧,并重点对网络接口部分和视频数据处理部分进行了详

24、细的硬件设计与说明。阐述了整个系统的工作流程。第三,从应用需求出发,选择嵌入式Linux操作系统作为本系统的软件平台,搭建了交叉式的开发环境,对bootloader进行了选择,并给出了加载步骤。完成了对嵌入式Linux内核的选择及移植。第四,采用基于任务的设计方法对服务器端的软件进行了总体设计,主要包括共用程序库、config配置文件、日志文件以及多个任务等。并对运行于客户端的软件设计进行了简要说明。第五,由于数字视频传输的实时性能和通过网络传输以后客户端接收的视频图像质量在本系统中至关重要,所以本文对传输信道和网络协议进行了优化选择,并详细阐述了IP组播技术、流媒体传输协议等在图像传输过程中

25、的具体应用。7.期刊论文洪耀球.石娜.戴小媛嵌入式Linux系统下的网络视频监控系统-景德镇高专学报2009,24(4介绍了一个基于嵌入式Linux 的网络视频监控系统的设计与实现问题,重点阐述其嵌入式服务器软硬件部分的设计思想和体系架构,对其中涉及的若干关键技术进行了较为详细的介绍,最后完成应用程序向目标平台的移植,并最终实现视频监控调试和运行.8.学位论文董新宇基于嵌入式Linux的网络视频监控系统设计与实现2005快速发展的嵌入式系统技术,与网络技术相结合,产生了众多的应用.包括基于嵌入式系统的网络视频监控技术.目前,视频监控正向着数字化、网络化发展.即从模拟系统发展到应用数字技术的模拟

26、系统,再到全数字的基于网络的监控系统.新的视频监控技术将带来更好的易用性、更高的灵活性以及远程监控、硬盘存储等新功能.实现基于网络的视频监控系统的关键是一种嵌入式设备,它应该能够采集视频数据并通过网络进行传输.在本课题中,IPCAM将实现这一功能,IPCAM的开发是本课题的核心工作.嵌入式系统的开发基于嵌入式硬件平台和嵌入式操作系统.Linux操作系统近来取得了较大的进步.在嵌入式领域,嵌入式Linux成为了主流的操作系统.嵌入式Linux可以应用于多种平台,是源代码开放的自由软件,自身支持强大的网络功能并拥有众多的软件资源.正是嵌入式Linux的发展才使开发IPCAM这类高性能、低成本嵌入式

27、设备成为可能.本课题中采用了以ARM7芯片为CPU的嵌入式硬件平台,该平台和摄像头一起构成了IPCAM的硬件平台.针对ARM7这类没有MMU(内存管理单元的系统,采用了uClinux作为操作系统.uClinux完成系统的基本功能,如设备驱动和网络接入等.而系统的主要功能,即图像数据的采集和传输,由应用程序ipcam完成.ipcam运行于uClinux操作系统之上,是用多线程程序,采用C/C+语言开发.本文将讲述基于网络的视频监控系统的组成和工作原理、视频采集工作原理、IPCAM的软硬件平台以及软件开发.其中将重点介绍ipcam的工作原理和实现方法.包括摄像头操作、数据读取、图像压缩、Web S

28、erver以及用户连接处理等.9.学位论文秦培龙基于ARM的嵌入式视频服务器设计与实现2008视频监控系统是一种先进的、防范能力强的综合系统。它通过遥控摄像机及其辅助设备(镜头、云台等直接观看被监控场所的一切情况,同时可以把监控场所的图像内容传送到监控中心,进行实时远程监控。随着计算机、网络以及图像处理、传输技术的迅猛发展,视频监控技术也得到飞速发展,视频监控进入了全数字化的网络时代,传统的模拟视频监控系统和基于PC机的数字视频监控系统已不能满足现代社会发展的需要,基于嵌入式技术的网络视频监控系统成为视频监控系统发展的新趋势,具有广阔的应用前景和实用价值。本文在总结分析前人研究成果的基础上,深

29、入系统地研究了基于ARM和Linux的嵌入式系统开发技术,给出了基于ARM的嵌入式视频服务器的总体设计方案和功能规划,包括硬件结构和软件结构,基于B/S(Browser/Server服务机制的客户端软件设计大大降低了客户端的软硬件要求。然后,介绍了嵌入式Linux交叉编译环境的搭建和嵌入式软件的开发过程,通过BootLoader的配置烧写和Linux内核的移植编译,搭建了嵌入式视频服务器运行开发的软件平台。最后详细分析了嵌入式视频服务器软件部分各个功能模块的设计思路及其关键代码实现,用Liflux vide04linux APIs实现了视频图像的采集,视频数据网络传输采用了基于UDP协议的IP

30、组播方式,而视频图像显示模块则采用了自行设计实现的基于IPicture COM接口的ActiveX控件,便于维护、更新和升级。本文设计的基于ARM的嵌入式视频服务器安装设置方便,远程客户端用户通过IE浏览器可直接访问服务器,实时视频图像传输流畅,无明显抖动,具有良好的稳定性、较高的性价比和一定的实用价值。10.期刊论文刘云.卢少同.周亮网络视频监控系统的设计与实现-安防科技2009(3介绍一种网络视频监控系统实现方案,系统以嵌入式Linux和S3C2410为核心平台,通过嵌入式平台建立的web/lgt务器将USB摄像头采集来的视频信号,经过网络传输给客户端.详细介绍了在上述嵌入式平台上USB设备的驱动开发以及如何在嵌入式Linux下实现视频采集,并完成了在该嵌入式平台上的应用程序的移植.本文链接:下载时间:2010年5月23日