基于linux系统的远程视频监控.docx

1、基于linux系统的远程视频监控毕业设计说明书基于linux系统的远程视频监控学生姓名： 学号： 学 院： 专 业： 指导教师： 2012年 6 月基于linux系统的远程视频监控摘要随着科学技术的不断发展，以及人对安全防范意识的逐渐加强，视频监控系统已经成为人们在生产、生活中必不可少的一个部分。特别是近年来，随着计算机技术的发展、宽带的普及、图像处理技术的提高，视频监控在越来越广泛地渗透到教育、娱乐、医疗、运动等各个领域。视频监测系统已经成为当今可视化领域的一个新的开发热点。视频监控系统正在向嵌入式、数字化、网络化方向发展。嵌入式视频监控系统充分利用大规模集成电路和网络的科技成果，实现了体积

2、小巧、性郁稳定、通讯便利的监控产品。本文以S3C2440为核心硬件平台开发了基于嵌入式的远程视频监控系统，并对关键技术进行了论述和研究。首先给出了系统总体软硬件设计方案，针对本系统硬件对vivi进行了修改和移植，对编译和移植Linux内核以及制作yaffs2文件系统也做了深入的研究，重点讨论了在嵌入式Linux操作系统下利用Linux提供的Video4LinuxAPI函数实现视频数据采集；接着研究了通过MJPEG-4压缩算法来压缩视频数据，并通过TCP/IP协议发送视频数据。最后着重论述了嵌入式Web服务器的设计，编写了视频监控浏览器界面程序，并最终实现了整个视频监控系统结构。本系统采用模块化

3、设计方法，使得设计更加简洁、高效，具有良好的扩展性和易用性，有利于系统升级。另外采用嵌入式的方法，系统成本较低。关键词：ARM，嵌入式Linux ，video4Linux，嵌入式web服务器Remote Video Monitoring System Based On Linux AbstractWith increasing development of science technology and the peopleS sense of safety precaution gradual strengthening，video Surveillance System has become

4、 all indispensable part of people in production and daily lifeEspecially in recent years,with the development of computer technology,broadband penetration and the improvement of Image processing technology,video surveillance IS becoming more and more widely infiltrated into education，entertainment，m

5、edical care and sports fieldsVideo monitoring system has become a new hot spot in the visual field The embedded of video monitoring system makes full use of large-scale integrated circuits and scientific and technological achievements of network, realizing compact, stable, convenient monitoring prod

6、ucts.In this paper, the embedded of remote video monitor system based on S3C2440 of core hardware platform has been successfully developed, and the key technologies have been researched and discussed. Firstly, the overall hardware and software system design are given; vivi has been modified and tran

7、splanted for the hardware. The transplantation of the compiler and production of Linux kernel, file system of Yaffs2 also be studied in detail. It is focused on gathering video data used Video4Linux API function and Webcam-Server works under the embedded Linux operating system. Secondly, video data

8、compression which used MJPEG algorithm is implement, and then the video data which based on TCP/IP protocol of the socket programming sent over in the network. Finally, the paper focuses on the realization of the embedded Web server design, compiling the home page program of video surveillance, and

9、acheived the all system of video monitoring.The modular design approach is used in the system which makes the design more compact, efficient, and ease to upgrade. the method of embedded for the system makes lower cost.Key Words:ARM, Embedded Linux, Embedded Web server,video4Linux目 录 1 绪论 11.1 引言 11.

10、2 研究背景、目标和意义 11.2.1 课题研究的背景 11.2.2 视频监控发展现状和趋势 21.2.3 研究意义 41.2.4 研究目标及内容 41.3 本文主要研究内容 51.4 本章小结 52 视频监控系统总体设计 62.1 嵌入式系统概况 62.2 视频监控系统硬件选型设计 62.2.1 ARM概述 62.2.2 S3C2440A体系结构 72.2.3 系统硬件选型设计 82.3 视频监控系统软件设计 92.3.1 软件总体框架 92.3.2 BootLoader选择 102.3.3 嵌入式操作系统的选择 112.3.4 嵌入式文件系统类型选择 122.3.5 CMOS摄像头驱动以及

11、视频监控应用软件的开发设计 132.4 本章小结 133 系统硬件平台的简单介绍 143.1 mini2440开发板主要硬件资源介绍17 143.2 主要芯片接口介绍 143.2.1 SDRAM 存储系统 143.2.2 FLASH 存储系统 153.2.3 CMOS CAMERA 接口 163.3 本章小结 164 嵌入式linux操作系统的构建 174.1 嵌入式交叉编译环境搭建 174.2 Bootloader移植 184.2.1 BootLoader基本概念 184.2.2 vivi代码结构分析 194.2.3 vivi启动过程 194.2.4 配置和编译vivi 204.3 嵌入式L

12、inux内核移植 224.3.1 Linux内核结构 224.3.2 Linux内核的移植 234.4 根文件系统建立 244.4.1 根文件系统结构 244.4.2 文件系统制作 264.5 Linux下调试技术 274.6 本章小结 285 服务器端应用软件平台的设计 295.1 CMOS摄像头设备驱动程序设计 295.1.1 Linux设备驱动程序概述 295.1.2 设备驱动与文件系统关系 305.1.3 驱动程序的模块化设计 315.1.4 S3C2440的摄像头接口 325.1.5 OV9650的操作 355.2 基于Video4Linux的视频采集模块 375.2.1 Video

13、4Linux概述 375.2.2 视频编程所涉及的数据结构 375.2.3 视频采集程序的实现 385.3 视频数据压缩 425.3.1 JPEG图像压缩原理 425.3.2 数据压缩流程 425.4 网络发送视频流 445.4.1 SOCKET网络编程 445.4.2 视频数据发送 465.5 嵌入式Web服务器的设计 485.5.1 boa移植 495.5.2 CGI技术 505.6 本章小结 516 系统调试及运行结果 526.1 调试平台及硬件 526.2 系统调试过程 526.3 实验结果 546.3.1 远程显示图像 547 总结与展望 557.1 工作总结 557.2 研究工作展

14、望 55参考文献 56致 谢 58附录A OV9650芯片驱动程序 591 绪论1.1 引言 在信息时代的今天，随着人们对于系统性能和成本控制要求的不断提高，嵌入式系统以其优良的性价比和独特的便利性越来越赢得人们的青睬。网络技术的日新月异，更使得嵌入式系统不仅可以通过网络获得各种资源，而且也方便了网络的控制与维护与此同时，多媒体应用技术的飞速发展也使得多媒体信息已成为人类获取信息的主要载体，使得人们越来越多地在日常生活、学习和工作中使用多媒体手段来解决问题。尤其是视频监控系统，在银行、港口监控、城市交通管理、酒店安全保卫等各个领域都有着广泛的应用，由于以往各种系统的种种局限性，集成化的视频监控

15、系统仍然有着广阔的市场前景1。正是基于这样的需求背景，确定了本论文的研究内容-基于Linux系统在远程视频监控方面的应用。1.2 研究背景、目标和意义1.2.1 课题研究的背景视频监控系统是需要信息广泛交流的企业生产与管理的必备系统。比如，对于银行系统而言，通过监控系统，可以对一些突发事件进行回放，很容易找到事件的相关责任人；在制造企业中，可以通过监控系统实现无人生产等。随着国民经济的发展，视频监控系统的应用己经越来越广泛。目前视频监控系统主要在以下领域中使用2：(l)对机要部门的监视、控制和报警，如档案室、文件室、金库、博物馆等；(2)工厂、市场等的监视，如工厂生产过程、市场、展览厅、货场等

16、的监视；(3)对交通运输的监视，如公共交通、铁路车站、铁路调度等的监视；(4)用于安全报警，如防盗、防火等的报警；(5)家庭用户，随着人民生活水平的提高以及计算机的家庭普及率提高，家庭小型监控系统的需求量也变得越来越大。在计算机未被广泛应用以及数字视频等理论研究尚未成熟以前，传统模拟监控系统占据了监控领域的主要位置。传统的模拟监控，通常是利用录像机将镜头的画面录下来以备查，而录像机录下来的图像，一是清晰度不够，二是查询麻烦，而且录像带的保存也是问题，尽管有着种种不足，但因为前几年的技术限制，这种模式的监控系统还是被普遍使用。随着网络、通信和数字信息技术的不断进步，监控系统的组成模式也在快速变化

17、和发展中，当前网络技术与嵌入式系统技术的结合催生了全新的基于嵌入式web的监控系统。它向人们展示的是现代高科技的结晶，是网络技术与嵌入式系统技术的完美结合。基于嵌入式web监控系统由于把视频处理和web功能集成到一个体积很小的设备内，可以直接连入以太网，达到即插即看，省掉很多复杂的电缆，安装方便，用户无需专用软件。这些优点将使得基于嵌入式视频监控系统获得更广泛的应用3。1.2.2 视频监控发展现状和趋势近三十年来，视频监控系统的发展十分迅速，总体来看分为以下三代4 ：第一代是模拟监控时代。模拟监控技术发展较早，在20世纪90年代以前，系统以模拟设备为主。模拟视频监控系统一般由监控前端、传输设备

18、、控制设备以及显示设备几个部分组成。监控前端一般为模拟摄像机、声光电报警设备和雨刷等。传输设备一般为传输视频的同轴电缆，远距离传输可采用模拟光纤或者利用光端机进行传输。控制设备主要是视频切换矩阵，采用键盘进行切换和控制，将需要监控的图像在指定的显示设备进行显示。显示设备主要包括图像的监视器、报警指示设备等。这类系统主要应用于小范围内的监控，如大楼监控等。监控图像一般只能在控制中心查看。有线模拟视频监控无法联网，只能以点对点的方式监视现场，并且布线工程量极大。第二代是半数字时代。20世纪90年代视频监控进入数字化阶段，随着计算机和多媒体处理技术的发展，人们利用多媒体控制主机或硬盘录像主机(DvR

19、)进行数字化处理与存贮，将原来的磁带存储方式转变成数字存储录像，进行模拟数字转换并录像和显示，集合了录像机、画面分割器等功能，跨出数字监控的第一步，基于PC的多媒体监控系统由此产生。由于传输依旧采用传统的模拟视频电缆，所以就叫做第二代半模拟半数字本地视频监控系统。而该系统视频前端(如CCD等视频信号的采集、压缩)较为复杂，稳定性、可靠性不高，功耗高，结构复杂，价格高昂。PC机需专人管理，操作较为繁琐。图像传输仅局限在局域网内传输，传输距离明显受限，并且模拟视频信号的衰减严重，传输距离不能超过1000m，否则必须采用光纤传输，图像质量受环境干扰也较大5。第三代是全数字时代6。从2004年开始，随

20、着网络带宽的提高和成本的降低、硬盘容量的加大和中心存储成本的降低，以及各种实用视频处理技术的出现，视频监控步入了全数字化的网络时代。近两年随着远程监控系统被越来越多的应用于各个领域，对视频监控系统的要求也越来越高:操作简单、实时可靠、多功能、数字化、经济实用的视频监控系统的开发和设计正越来越多地受到人们的瞩目,基于嵌入式技术的网络化视频监控系统应运而生。目前市场上的数字视频监控系统主要有三种：一种是基于PC机的远程视频监控系统，现场放置插有视频卡的PC机，视频的压缩与解压缩由视频卡来负责完成。其优点在于能实现在网上互联互通及授权客户直接访问，便于构建系统及方便联网，缺点是实用性较差，系统稳定性

21、差，费用高，而且现场不能脱离PC机；另一种是通过在现场设置视频网络编码器，将模拟视频编码后上网传输，并在监控端设置的对应解码器上将网上传输的数字视频信号解码后进行监控。其优点在于现场不需要PC机支持，系统稳定性提高；随着技术的进步，市场上出现了一种新型的网络化远程视频监控，即基于嵌入式视频服务器技术的远程网络视频监控。现场采用的网络监控产品主要包括:网络摄像机、网络服务器、网络视频接入器等。网络视频服务器解决了视频流在网络上的传输问题，从图像采集开始进行数字化处理、传输，这样使得传输线路的选择更加多样性，只要有网络的地方，就提供了图像传输的可能，现场无需PC机支持。可采用流媒体技术实现视频在网

22、上的多路复用传输。经过授权的监控者均可随时随地对其进行访问和管理，充分利用了网络资源，是视频监控系统的发展趋势的代表。嵌入式远程视频监控系统的国内外研究现况如下7:在国外，视频监控业务主要为个人用户提供安全系统方案，基本定位在个人和住宅应用方面。国外研究的起步较早，并处于领先水平，己有成熟的嵌入式WEB摄像机产品。比如索尼公司的SVC-VLION，松下公司的KX-HCM130，三星公司的SNC-100P，瑞典的AXIx系列等，这些产品性能普遍较好，但是价格也很昂贵，国内用户大多无法承受。国内在这方面的研究起步较晚，但是很多公司都投入了很大的科研资金，经过这么多年的发展，国内的视频监控已经踏上了

23、一个台阶，尽管和国外相比还是有一定的差距，但是基本的要求以及功能实现可以与国外的相媲美了。国内的视频监控业务主要集中在行业应用，如公安、交通、金融、楼宇等领域，行业应用已成为国内视频监控市场的主要增长点。 目前，国内视频监控系统已经进入了一个高速的、全面发展的新时期，行业竞争日益激烈。尤其在当今的社会，平安城市建设已经成为社会治安防控体系的重头戏之一，也是构建“和谐社会”的重要举措。随着“3111”工程的深入开展，全国各地都在进行平安城市建设，有条件的地方和城市都在投资兴建城市社会治安视频监控系统，北京、上海、深圳、广州、昆明等城市都已经安装监控摄像头20万只以上8。广阔的市场前景伴随着各项新

24、技术的日益发展与成熟，这使得嵌入式视频监控系统的研究与开发具有重大的现实意义。1.2.3 研究意义 现在我们国家把信息安全放到越来越重视的位置，与此同时，信息安全建设对监控系统市场也提出了巨大需求，而且对产品的技术要求也越来越高。在许多安防场合，诸如电力、银行、交通、铁路、军事设施等安全性较高的企业生产与管理中，远程视频监控系统的应用，可方便地监测和控制突发事件的发生。当前的国内视频监控系统中存在以下几点问题： a大多数监控系统仍在采用第二代甚至第一代监控系统，系统硬件软件维护升级维护困难，成本也高； b监控范围小，不适应于远程管理尤其不适宜于在环境恶劣的情况下工作； c视频图像质量较差，影响

25、监控效果，用户界面也不友好，使用不方便。 基于ARM和Linux的远程监控系统正好克服了这些局限性9： I数字视频采用硬件编解码，大大提高了图像压缩质量和稳定性。 II数字视频通过计算机网络传输，距离基本不受限制，便于集中监控和控制。 III数字化存储成为可能，经过压缩的视频数据可存储在磁盘上，方便查询。1.2.4 研究目标及内容 本文研究的目标是：研究并开发一种基于ARM和Linux的视频监控系统。数字视频监控系统所包含的核心技术可以归纳为以下三个方面：数字视频编解码技术，高效大容量存储技术和网络技术因此研究方向主要集中在以下几个方面： MPEG-4视频压缩编码技术的研究。MPEG-4标准采

26、用基于对象的编码理念，将一幅场景分成若干在时间和空间上相互联系的视频音频对象。分别编码后，再经过复用传输到接收端，然后再对不同的对象解码，最后组合成所需的视频和音频。这样方便对不同的对象采用不同的编码方法和表示方法。 高效率实时网络视频传输技术。由于目前的网络不能为视频传输提供稳定的带宽保障，所以MPEG-4视频的实时传输面临很多困难，总结起来主要有：带宽限制，延迟和传输数据包的丢失及差错。 网络传输技术需要解决在局域网和广域网环境下的视频编码数据包的可靠传输问题，数据包定序，低延迟传输，音视频同步，低码率传输，实时解码软件技术等问题。同时，在多用户的网络环境里，还需要考虑应用组播协议，保证网

27、络传输的高效率。1.3 本文主要研究内容本课题的思路是结合视频监控的发展趋势，开发一套基于嵌入式ARM的远程视频监控系统，在嵌入式设备终端上主要完成CMOS摄像头驱动设计、视频图像采集、图像压缩、图像数据的网络发送、嵌入式Web服务器的设计，并通过客户端实时监控。本文主要内容:(l)嵌入式Linux平台的构建(2)CMOS摄像头驱动的开发(3)基于Video4Linux的视频采集程序的开发(4)基于TCP/IP协议的Socket编程，实现了视频数据的网络发送(5)嵌入式Web服务器的设计1.4 本章小结本章详细地对视频监控系统的历史背景到发展趋势，以及当前国内外发展现状的深入剖析，从而提出自己

28、对于嵌入式视频监控系统的要求，并结合本课题的要求，搭建起一个可行的视频监控系统。最后总结了本课题将要研究的重点内容以及需要实现的结果。2 视频监控系统总体设计2.1 嵌入式系统概况 嵌入式系统是以应用为中心、以计算机技术为基础、软硬件均可剪裁，满足应用系统对功能、可靠性、成本、体积、功耗等严格要求的专用计算机系统10。嵌入式系统是硬件和软件的有机结合体，并以硬件的形式表现出来。嵌入式系统以其体积小、实时性高、稳定性好、接口丰富等优点，成为工业控制领域和消费类电子的新热点。嵌入式系统是一种特殊的计算机系统，具有与通用计算机不同的特点11： i、嵌入式系统通常是面向特定应用的：嵌入式CPU与通用型

29、的最大不同就是嵌入式CPU大多应用在为特定用户设计的系统中，它通常都具有低功耗、体积小、集成度高等特点，能够把通用CPU中许多由板卡成的功能集成在芯片内部。 ii、嵌入式系统的硬件和软件都必须高效率地设计，力争在同样芯片面积上实现更高的性能，这样才能在具体应用中对处理器的选择更具有竞争力。 iii、为了提高执行速度和系统可靠性，嵌入式系统中的软件一般都固化在存储器芯片中，而不是存贮于磁盘等载体中。 iv、嵌入式系统本身不具备自举开发能力，即使设计完成以后用户通常也是不能对其中的程序功能进行修改，必须有一套开发工具和环境才能进行开发。 嵌入式系统硬件的发展也提出了对嵌入式操作系统的需求。随着计算

30、机技术和多媒体技术的发展，嵌入式系统已经广泛应用到科学研究、工业控制以及各种消费类电子产品当中。大量功能强大的RISC嵌入式处理器的出现，多媒体视频标准的推出都使得嵌入式系统向集成化，网络化，多媒体化发展。视频监控领域就是其发展的一个重要方向。2.2 视频监控系统硬件选型设计2.2.1 ARM概述ARM(Advanced RISC Machines)，既可以认为是一个公司的名字，也可以认为是对一类微处理器的通称，还可以认为是一种技术的名字。1991年ARM公司成立于英国剑桥，主要出售芯片设计技术的授权。目前，采用ARM技术知识产权(IP)核的微处理器，即我们通常所说的ARM微处理器，己遍及工业

31、控制、消费类电子产品、通信系统、网络系统等各类产品市场，基于ARM技术的微处理器应用约占据了RISC微处理器75%以上的市场份额，ARM技术正在逐步渗入到我们生活的各个方面。采用RISC架构的ARM微处理器一般具有如下特点： 体积小、低功耗、低成本、高性能； 支持Thumb(16位)/ARM双指令集，能很好的兼容8位/16位器件； 大量使用寄存器，指令执行速度更快； 大多数数据操作都在寄存器中完成； 寻址方式灵活简单，执行效率高； 指令长度固定。 目前常见ARM处理器系列有:ARM7系列、ARM9系列、ARM11系列、 SecureCore SC100、Strong ARM、XScale。在此

32、，我们主要讲解ARM7系列、ARM9系列。 ARM7系列：0.9MIPS/MHZ 、3级流水线、冯.诺依曼结构；其内核主要有ARM7TDMI和ARM720T；T支持16位THUMB指令，D支持在片调试，M增强型乘法器，产生全64位结果，I嵌入式ICE硬件提供片上断点和调试点支持。 ARM9系列:1.1MIPS/MHz 、5级流水线、哈佛结构；其内核主要有ARM920T、ARM922T和ARM940T。此外，ARM芯片还获得了许多实时操作系统(Real Time Operating System)供应商的支持，比较知名的有:Windows CE、Linux、VxWorks、Nueleus、uCOS、BeOS