视频监控毕业论文.docx

1、视频监控毕业论文目 录目 录 I摘 要 IIIAbstract IV第一章 绪论 11.1 研究背景及现状 11.1.1 研究背景 11.1.2 视频监控的现状 11.2 研究目的和意义 21.3 本论文主要工作 31.4 论文总体结构 4第二章 视频采集编码系统的硬件开发平台 52.1 硬件平台综述 52.2 硬件模块介绍 52.2.1 ARM11处理器介绍 52.2.2 摄像头介绍 82.3 内核、文件系统及各驱动移植 102.3.1 Linux内核的移植 102.3.2 Linux 文件系统移植 122.3.3 Linux设备驱动 132.3.3.1 Linux设备驱动的简介 132.3

2、.3.2 摄像头设备驱动 152.3.3.3 MFC模块的驱动 172.4 本章小结 19第三章 H.264视频编码标准 203.1 H.264标准概述 203.2 H.264编码新特性 203.2.1 帧内预测编码 203.2.2 帧间预测编码 213.2.3 整数变换和量化 223.2.4 熵编码 223.3 H.264码流结构分析 233.4 H.264网络传输适应性 233.5 本章小结 25第四章 视频采集与编码的软件设计 264.1 系统总体介绍 264.2 基于V4L的视频采集设计 274.2.1 V4L标准的介绍 274.2.2 V4L支持的数据结构及其用途 274.2.3 视

3、频采集流程 294.3 H.264编码设计 344.4 本章小结 37第五章 结束语 385.1 总结 385.2 工作展望 39参考文献 40致谢 42翻译 43译文 43H.264/AVC适合无线视频传输的特征及功能 43摘 要随着电子信息技术、网络技术、图像处理等技术的飞速发展，嵌入式无线视频监控技术应运而生。基于嵌入式技术的无线视频监控以其灵活性、高集成性、便捷性等诸多优点必将取代现有的有线视频监控。本文针对视频监控的实际需求，结合嵌入式技术、图像处理技术，设计并实现了一种可靠性高、成本低的基于ARM11的嵌入式视频采集及压缩系统，它是视频监控的前端，是无线视频监控的一个子系统。论文首

4、先描述了视频监控系统研究的背景，分析了国内视频监控系统的现状和发展趋势，并阐述了视频监控系统研究的目的和意义。然后，介绍了新一代视频压缩标准H.264的技术特点，详细阐述了H.264出色的压缩效率和良好的网络适应性，并进一步研究了H.264标准的编码特性和码流结构。最后，提出了嵌入式视频监控系统的软、硬件总体架构，并逐步对硬件平台和软件模块设计进行了选择和优化。其中，根据视频数据采集以及压缩处理的需要选择摄像头和微处理器，搭建好硬件平台。在软件设计方面，首先完成了嵌入式系统的交叉开发环境搭建，然后完成了在开发板上操作系统内核、文件系统和设备驱动的移植，最后完成了Linux下基于V4L的视频采集

5、和基于H.264的视频压缩编码。关键词：嵌入式系统，ARM11，S3C6410，V4L,H.264AbstractWith the development of electronic information technology, network technology and image processing technology, embedded wireless video monitoring technology appears.In the future,Wireless video monitoring system ,with many advantages such as a

6、gility,integration,convenience and so on,will replace existing wired video monitoring system inevitably.Aiming at actual demand of video monitoring,this paper designs and realizes a reliable and cheap embedded video capturing and compression system based on ARM11, with the combination of embedded te

7、chnology and image processing technology.This system is the front end of video monitoring and a subsystem of wireless video monitoring system.This paper firstly describes the background of video monitoring system study, analyzes the status and development trend of video monitoring system at home and

8、 mainly expounds the purpose and significance of video monitoring system study.Secondly, this paper introduces technical features of the newest video-coding standard-H.264, discusses higher coding efficiency and better adaptability to various networks of H.264 in detail,and makes a further study on

9、the feature and stream structure of H.264. Finally, this paper proposes the general frames of both software and hardware of embedded video monitoring system, and gradually chooses and optimizes the design of hardware platform and software modules. According to the need of picture capturing and video

10、 encoding, I choose appropriate camera and microprocessor to build a hardware platform.During the software design process,I firstly finish the building of cross-development environment, then the transplant of embedded Linux, and finally the development of Linux driver programs, and the development o

11、f video capturing application based on V4L and video encoding application based on H.264.Key Words: Embedded system, ARM11, S3C6410, V4L, H.264第一章 绪论1.1 研究背景及现状随着电子信息技术，多媒体技术及网络技术的快速发展，视频监控系统正在向集成化、数字化和网络化方向发展。嵌入式视频监控系统充分利用大规模集成电路和先进高效编码标准，以其体积小、性能稳定、通讯便利等优点正逐渐变广泛应用1。1.1.1 研究背景随着全球跨入数字化、网络化、全球一体化的信息

12、时代，人们之间的信息交流越来越频繁，方式越来越多样。从原始的纸笔书信，到传统的语音通信，再到新兴的数字通信，无不体现着人们对通信方式多样化的追求。而“百闻不如一见”，视觉是人类获取信息的最重要方式。在现代信息社会中多媒体信息已成为人类获取信息的最主要载体，同时也成为电子信息领域技术开发和研究的热点。通常多媒体系统传递的信息可以归结为数据、语音和图像三类。其中图像信息具有直观性强、信息量大等特点，因而图像的传送具有特别重要的地位。如今电子信息技术、计算机技术和通信技术正飞速发展，这为视频监控走入人们的日常生活提供了技术保证。视频监控在工业、军事和民用领域正发挥着不可忽视的作用。相对单一的图像来说

13、，连续的图像序列视频具有表达客观事物更加直观、生动、形象，信息内容更加丰富等优点2。然而视频数据的冗余度也更大，这给传输和存储带来了极大困难，例如：45分钟左右的CIF格式(35228825fps)的视频数据，未经压缩的数据量约为10GB，而一张VCD(容量为650MB)只能存放2.99分钟的数据节目；一部120分钟左右标清节目视频数据(72048030fps)，未经压缩的数据量约为100GB，需要用22张DVD碟片来储存这个节目。由此可见，如今任何数据带宽和硬盘都不可能支持未经压缩的视频业务，且日益成为人们有效地获取和使用视频信息的障碍之一。因此，必须对海量的视频数据进行高效地压缩编码，并以

14、压缩格式进行存储和网络传输，视频编码技术的研究也成为解决多媒体通信和存储问题的一个关键环节。1.1.2 视频监控的现状随着科技的发展和社会的进步，视频监控不断应用到社会的各行各业，日益受到人们的关注。视频监控系统的类别按信号类型不同可分为模拟监控和数字监控，按传输介质不同可分为有线监控和无线监控3。目前国内还较多地使用本地模拟图像监控系统，主要是由模拟摄像头构成的闭路监控系统。虽然本地模拟图像监控系统能够保证采集得到的图像清晰、不失帧，但在许多方面都存在着明显的局限：第一、传输距离小，只能实现本地监控，数据传输率很低，而且图像质量随传输距离的增加而明显下降；第二、系统的可扩展性差，由于电视或计

15、算机与摄像头的接口数目是有限的，因此扩展性差，无法形成复杂的监控网络；第三、后期处理能力不强，无法利用先进的数字图像处理技术，而且由于存储介质的限制，无法实现图像数据的大容量存储；第四、无法利用现有的网络，必须重新铺设专用线路，极大地浪费了资金。伴随着计算机技术、图像处理技术和网络技术的发展，出现了新型的基于嵌入式技术的有线网络数字视频监控系统。它有很多突出优点：系统提供友好的用户接口，采用多级权限控制，定制用户组，授权用户只能进行相应操作。用户可以通过浏览器访问，实时监控音视频信号、查看视频设备状态等。因此基于嵌入式技术的网络视频监控系统将有良好的应用与发展前景，它代替当前普遍应用的基于PC

16、的网络视频监控系统将成为必然趋势。随着无线技术的发展，数字监控系统在原有的以太网监控系统的基础上，抛弃了网络电缆，用无线方式进行数据传输，降低了布线的成本，增强了监控系统的灵活性和可扩充性。采用GPRS/CDMA等无线数据通信方式，克服了传统系统只能用于固定现场的监视，可以在有GPRS/CDMA服务的任何地方实施监控。但是无线网络传输有一个很重要的指标就是传输速率，像CDMA的峰值速率为153.6Kbps，实际使用时速率在70K-90Kbps，而GPRS实际使用时由于受网络资源等方面的影响速度仅为20K-30Kbps4,5,6,7。而且现在国内无线视频监控系统的视频处理部分还大多是采用JPEG

17、格式压缩，但是随着社会的发展，人们对监控系统的指标如视频图像的大小，输出码流的大小，传输方式和实时性等方面也提出了更高的要求，JPEG格式压缩已经满足不了一些监控场合，所以现在的监控系统开始转向采用MPEG4或者H.264进行视频压缩。采用的具体实现方案有以下几种：一是采用专用ASIC芯片来进行压缩，如台湾影玮电子推出的音视频编解码器VW2010等；二是采用DSP方案，可以采用TI新推出的达芬奇系列的DSP DM6424，它提供了MPEG4和H.264编解码库，但是收费非常昂贵；三是采用国内第三方提供的视频采集卡，如海康威视等公司开发的MPEG4视频采集卡等8,9。这样可以缩短开发周期，加快产

18、品的上市。但是这些方案都会带来一些缺点，如灵活性不够，成本高，不容易掌握核心技术等问题10。因此，在ARM11的嵌入式平台下，采用基于H.264的编码和无线传输的视频监控方案必将有良好的应用与发展前景。1.2 研究目的和意义2003年3月,ITU-T视频编码专家组(VCEG)和ISO/IEC MPEG(Motion Pieture Expert Group)组成的联合视频专家组正式公布了H.264视频压缩标准。H.264是新一代低比特率视频标准，与现有的任何标准相比，它有着更高的压缩性能，能够在较低带宽提供高质量的图像传输，对网络传输有更好地支持。具体讲，与MPEG-4相比，在相同视频质量下，

19、采用H.264标准能降低码率50%左右；在相同码率下，其信噪比明显提高。而且，H.264的授权费用更加合理，受到广泛的重视和欢迎，具有广阔的应用前景，比如实时视频通信、Intemet视频传输、视频流媒体服务等，它被认为是最具发展潜力的新一代视频压缩编码技术。基于此，本论文选用Samsung公司的以ARM11为核心的S3C6410处理器嵌入式平台，研究开发基于V4L的视频采集程序和H.264的编码程序，构建一个完整的视频监控前端，这是无线视频监控系统的一个主要部分。本课题的最终目标是成功研制出具有高性能、低功耗、便携式等优点，同时还具有高速无线发射和接收功能的无线视频监控仪。监控前端模块和终端模

20、块在较大的范围内(室外达到3000米)能进行无线通信实现视频传输功能。本文研究的内容是该课题的一个子课题。本论文研究的目的就是实现视频的高速采集，并利用S3C6410这个高性能ARM处理器之中的MFC（MULTI-FORMAT VIDEO CODEC）模块来实现对视频数据的高效压缩编码。具体而言就是在充分研究S3C6410处理器的体系结构和H.264编码算法的基础上，在保持良好的图像质量、压缩比和编码效率的同时，编写并优化视频采集和压缩的应用程序，以此来减少编码算法的运算量，提高编码效率，最终实现以 S3C6410为嵌入式平台的视频采集与压缩系统。本论文研究的意义在于将嵌入式技术应用到无线移动

21、视频监控网络环境中，即用双缓冲技术高速采集视频数据，并采用H.264进行数据的高效压缩，这保证了视频数据在带宽有限的无线网络中能够稳定传输。这将改变传统的有线视频监控模式，实现了用户能够不受任何时间和空间的限制进行远程无线视频监控。本论文正是对无线移动网络中视频监控的重要环节即视频采集与编码进行了相关的研究，为实现完整的无线视频监控系统奠定了基础。无线将会是未来的发展方向，无论是机场、办公楼、家庭，还是未来数字化校园的建设，无线网络和基于无线网络传输的各种应用将会是一种不可抵挡的趋势。本论文研究并设计了基于嵌入式的视频采集与压缩系统，使得视频采集速度慢，数据量巨大的难题迎刃而解，这将为无线视频

22、监控的发展作出巨大贡献。1.3 本论文主要工作本论文根据视频监控领域的发展趋势，打算开发一套基于H.264的无线视频监控系统。监控前端通过无线摄像头采集视频数据，用H.264算法压缩编码处理后，通过无线网卡传输到监控终端，再有H.264解码程序对收到的视频数据进行解码，实现实时无线视频监控。本论文完成的是基于ARM11的微处理器和USB数字摄像头的嵌入式视频采集与压缩编码模块的设计，即视频监控前端。本论文笔者的任务如下：研究以ARM11为核心的Samsung S3C6410处理器的体系结构，掌握其中需要用到的功能单元的使用方法，搭建好视频采集编码系统的硬件开发平台。查阅需要用到的芯片资料，了解

23、开发板的原理图，为设计出属于自己的视频监控平台等后续研究做准备，其中包括设计摄像头电路，核心控制电路等。熟悉Linux操作系统，掌握Linux下的常用操作命令。探索基于嵌入式Linux的软件开发流程，熟练运用各种Linux下的开发工具，搭建嵌入式系统软件开发环境。掌握Linux内核和文件系统的移植方法，掌握Linux下驱动程序的开发方法，加载系统所需的中星微zc301摄像头驱动程序和MFC模块的驱动程序。深入理解基于Linux的Video4Linux的接口函数（API），编写系统应用软件，开发出视频数据的高速采集程序。仔细研究新一代视频编码标准H.264/AVC的压缩编码算法，掌握S3C641

24、0处理器中MFC模块的使用，编写基于MFC的压缩编码应用程序，实现视频数据的高效压缩编码，为视频数据的稳定传输奠定基础。1.4 论文总体结构全文共分为五章，各章内容安排如下：第一章 绪论。介绍研究的背景，并对视频监控技术的现状及发展情况作简要的说明，提出研究的目的和意义，进一步明确研究目标以及所要完成的工作。第二章 视频采集编码系统的硬件开发平台。描述搭建的硬件平台，并根据系统性能要求完成系统的框架设计。详细介绍各硬件模块的结构和功能，搭建嵌入式开发的软件平台，主要包括Linux内核、文件系统及各驱动的移植。第三章 H.264视频编码标准。介绍新一代视频编码标准H.264/AVC，并对H.26

25、4编码新特性作详细说明，并深入分析H.264视频编码标准的码流结构及网络传输适应性。第四章 视频采集与编码的软件设计。软件部分采用模块化设计，借助交叉编译工具，开发基于V4L的视频采集程序和基于H.264的视频编码程序，实现视频数据的高速采集和高效压缩。第五章 结束语。对所完成的任务进行总结，并展望今后的研究。第二章 视频采集编码系统的硬件开发平台2.1 硬件平台综述本文采用嵌入式技术，以S3C6410为主控制器，控制数字摄像头zc301不断采集视频图像，然后压缩编码成视频流，为以后的传输研究作准备。系统整体结构如图2.1所示。 图2.1 系统整体框图该系统中主控CPU采用基于ARM1176J

26、ZF-S内核的S3C6410微处理器，通过在处理器上运行Linux操作系统，构建嵌入式平台，接收来自数字摄像头的视频信号，进行压缩编码，实现视频数据的高速采集和高效压缩。2.2 硬件模块介绍该视频采集与压缩系统是基于嵌入式平台的，硬件是整个设计的关键，只有完成硬件的设计，才能在构建好的硬件平台上完成软件的编写，实现预定功能11。硬件主要包括以下几个功能模块：微处理器及存储电路模块，电源、时钟和复位电路模块，外围接口电路模块等。由于本文是采用开发板实现，故仅对其中的重要模块ARM11处理器和数字摄像头进行介绍。 2.2.1 ARM11处理器介绍本文从应用领域、设计需求和开发的难易程度等因素进行考

27、虑，最终选用三星公司的高性能嵌入式微处理器S3C641012。下面分别介绍ARM处理器的优点和具用ARM11内核的S3C6410的特点。ARM处理器以其完整的体系结构发展系列，以及极小的体积、极低的功耗、极低的成本和极高的性能，并能及时根据嵌入对象的不同进行功能上的扩展的优势，从众多种类的嵌入式微处理器中脱颖而出。基于ARM技术的微处理器占据了32位RISC微处理器75%以上的市场份额，ARM技术正在逐步渗入到我们生活的各个方面。采用RISC架构的ARM微处理器一般具有如下特点：（1）支持Thumb (16位)/ARM (32位)双指令集，能很好的兼容8位/16位器件；（2）大量使用寄存器，指

28、令执行速度更快；（3）加载存储结构，数据处理的操作只针对寄存器的内容，而不直接对存储器进行操作；（4）简单的寻址模式，所有加载和存储的地址都只由寄存器的内容和指令域决定，执行效率高；（5）统一的和固定的指令域，简化了指令的译码；（6）每一条数据指令都对算术逻辑单元(ALU)和移位器进行控制，以实现对ALU和移位器的最大利用；（7）地址自动增加和自动减少的寻址模式实现了程序循环的优化；（8）多存储器加载和存储指令实现了最大数据吞吐量；（9）所有指令的条件执行实现了最快速的代码执行。目前，ARM处理器有ARM7，ARM9，ARM9E，ARM10，ARM11和SecurCore等系列。每个系列除了具

29、有ARM体系结构的共同特点以外，都有各自的特点和应用领域。S3C6410是韩国三星电子基于ARM1176JZF-S内核构建的高性能多媒体应用处理器，包括16KB的指令数据Cache，16KB指令数据TCM，通过AXI，AHB和APB组成的64/32bit内部总线和外部模块相连。它不仅具有强大的硬件编解码单元，完善的外设，而且拥有高达667MHZ的运行频率。即当ARM Core电压为1.1V的时候，可以运行到553MHz；在1.2V的情况下，可以运行到667MHZ。ARM11处理器是为了有效地提供高性能处理能力而设计的，其实ARM公司并不是不能设计出运行在更高频率的处理器，但是要同时保证处理器具

30、有超高性能、低功耗和小面积等特点就不是那么容易了。ARM11优秀的流水线设计是这些功能的重要保证。ARM11的多媒体处理能力和低功耗等特点使得ARM11处理器必将被广泛应用于各种无线产品和消费类电子产品中，包括PDA、数字电视、机顶盒、3G手机、MP4播放器等。而其高数据吞吐量和高性能的结合则非常适合网络处理应用。另外，在实时性和浮点处理等方面，ARM11也可以满足汽车电子应用的需求。S3C6410内部结构复杂，芯片内部集成了以下资源：1个LCD控制器（支持TFT-24bit真彩色带有触摸屏的液晶显示屏)，SDRAM控制器，NAND Flash控制器，支持4通道UART口，32通道DMA，4通

31、道具有PWM功能的计数器和1个内部时钟，全功能的SPI，IIC总线接口（支持2个I2C控制器），IIS数字音频总线接口，3个PLL，看门狗计数器，USB OTG（最高480Mbps），USB HOST，3通道MMC/SD控制器等。其内部结构如图2.2所示。图2.2 ARM11内部结构图ARM11内核是基于ARM新指令结构ARMv6指令集的体系结构架构的。ARMv6架构通过以下几点来增强处理器的性能：多媒体处理扩展，使MPEG4编解码加快一倍，音频处理加快一倍；增强的Cache结构，实地址Cache，减少Cache的刷新和重载，减少上下文切换的开销；增强的异常和中断处理，使实时任务的处理更加迅速

32、，使数据共享、软件移植更简单，也有利于节省存储器空间。2.2.2 摄像头介绍摄像头（CAMERA）作为一种视频输入设备，在过去被广泛的运用于视频会议、远程医疗及实时监控等方面。近年来，互联网技术的发展，图像传感器技术的成熟，使得摄像头的图像质量得到明显改善，同时摄像头的价格也大幅度下降。摄像头在人们的日常生活中扮演着越来越重要的角色。摄像头分为数字摄像头和模拟摄像头两大类。模拟摄像头可以将视频采集设备产生的模拟视频信号转换成数字信号，进而将其储存在计算机里。模拟摄像头捕捉到的视频信号必须经过特定的视频捕捉卡将模拟信号转换成数字信号，并加以压缩后才可以转换到计算机上运用。数字摄像头可以直接捕捉影像，然后通过串、并口或者 USB接口传到计算机里。现在市场上的摄像头主要以数字摄像头为主，而数字摄像头中又以接口简单的USB数字摄像头为主，以下主要介绍USB数字摄像头。USB数字摄像头的工作原理为：景物