MATLAB实时视频处理平台的开发和应用技术.docx

1、MATLAB实时视频处理平台的开发和应用技术基于MATLAB的实时视频处理平台的开发及应用摘 要图像处理着重强调在图像之间进行变换，包括：图像采集和获取、图像重建、图像变换、图像滤波、增强、恢复或复原、图像压缩编码等。其中图像增强是提高图像视觉质量的重要手段，所完成的工作包括去除图像噪声，增强图像对比度等。这里只介绍了频域增强技术。本文主要介绍了理想、巴特沃斯（Butterworth）、指数和梯形四种各自的低通和高通滤波器的基本原理和技术方法，通过实例分析了它们对图像进行增强处理后的结果并且比较了它们各自的优缺点。关键字：低通滤波器，高通滤波器，转移函数 英文题目ABSTRACTImage p

2、rocessing emphasized how to transform between images, including: image acquisition and procurement, image reconstruction, image converter, image filtering, enhance, restore or recovery, image compression, etc. Which image enhancement is to improve the Visual quality of the image as an important mean

3、s of work completed, including the removal of image noise, enhance image contrast, etc. Here only describes frequency enhancement technology.KEY WORDS: Low-pass filter, high pass filter, the transfer function目录前言 1第1章 数字图像处理 21.1数字图像处理 21.1.1基本概念 21.1.2应用目的 31.1.3发展概况 51.1.4研究内容 61.1.5今后需进一步研究的问题 71

4、.1.6基本特点 71.1.7主要优点 81.1.8主要应用 91.1.9遥感影像数字图像处理 10第2章 数字图像处理技术 112.1图像处理应用 112.1.1信号处理的基本术语 112.1.2图像数据压缩基础* 112.1.3图像数据压缩算法 * 142.1.4常用图形、图像文件 142.1.5静态图像压缩标准 162.1.6动态图像压缩标准 18第3章 MATLAB图像处理工具箱：Image Processing Toolbox 193.1图像和图像数据 193.2 图像处理工具箱所支持的图像类型 203.2.1真彩色图像 203.2.2 索引色图像 203.2.3灰度图像 213.2

5、.4 二值图像 213.2.5 图像序列 213.3 MATLAB图像类型转换 223.4 图像文件的读写 223.4.1 图形图像文件的读取 223.4.2 图形图像文件的写入 23第4章 MATLBA图像获取流程 244.1 安装并配置图像采集设备 244.2获取在图像采集工具箱中能唯一标识此图像采集设备的信息 244.3 创建视频输入对象 264.4 预览视频流 264.5 配置视频对象的属性 274.5.1图像采集对象的类型 274.5.2查看对象属性 284.5.3设置对象属性 304.6 清除工作 32结论 33谢 辞 34参考文献 35 前言MATLAB自1984年由美国Math

6、Works1公司推向市场以来，历经十几年的发展，现已成为国际公认的最优秀的科技应用软件。MATLAB既是一种直观、高效的计算机语言,同时又是一个科学计算平台。它为数据分析和数据可视化、算法和应用程序开发提供了最核心的数学和高级图形工具。根据它提供的500多个数学和工程函数，工程技术人员和科学工作者可以在它的集成环境中交互或编程以完成各自的计算。图像处理工具包是由一系列支持图像处理操作的函数组成的，所支持的图像处理操作有：几何操作、区域操作和块操作；线性滤波和滤波器设计；变换（DCT变换）；图像分析和增强；二值图像操作等。图像处理工具包的函数，按功能可以分为以下几类：图像显示；图像文件输入与输出

7、；几何操作；象素值和统计；图像分析与增强；图像滤波；线性二维滤波器设计；图像变换；领域和块操作；二值图像操作；颜色映射和颜色空间转换；图像类型和类型转换；工具包参数获取和设置等。由于图像操作很多，这里仅仅以图像的噪声消除和图像增强为例，来说明该工具包的基本使用方法。第1章 数字图像处理1.1数字图像处理1.1.1基本概念数字图像处理(Digital mage Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林

8、业、环境、军事、工业和医学等方面的应用需求的增长。20世纪20年代,图像处理首次应用于改善伦敦和纽约之间海底电缆发送的图片质量。到20世纪50年代,数字计算机发展到一定的水平后,数字图像处理才真正引起人们的兴趣。1964年美国喷气推进实验室用计算机对“徘徊者七号”太空船发回的大批月球照片进行处理,收到明显的效果。20世纪60年代末,数字图像处理具备了比较完整的体系,形成了一门新兴的学科。20世纪70年代,数字图像处理技术得到迅猛的发展,理论和方法进一步完善,应用范围更加广泛。在这一时期,图像处理主要和模式识别及图像理解系统的研究相联系,如文字识别、医学图像处理、遥感图像的处理等。20世纪70年

9、代后期到现在,各个应用领域对数字图像处理提出越来越高的要求,促进了这门学科向更高级的方向发展。特别是在景物理解和计算机视觉(即机器视觉)方面,图像处理已由二维处理发展到三维理解或解释。近年来,随着计算机和其它各有关领域的迅速发展,例如在图像表现、科学计算可视化、多媒体计算技术等方面的发展,数字图像处理已从一个专门的研究领域变成了科学研究和人机界面中的一种普遍应用的工具。图像处理工具箱提供一套全方位的参照标准算法和图形工具，用于进行图像处理、分析、可视化和算法开发。可用其对有噪图像或退化图像进行去噪或还原、增强图像以获得更高清晰度、提取特征、分析形状和纹理以及对两个图像进行匹配。工具箱中大部分函

10、数均以开放式 MATLAB 语言编写。这意味着可以检查算法、修改源代码和创建自定义函数。图像处理工具箱在生物测定学、遥感、监控、基因表达、显微镜技术、半导体测试、图像传感器设计、颜色科学及材料科学等领域为工程师和科学家提供支持。它也促进了图像处理技术的教学。1.1.2应用目的一般来讲，对图像进行处理(或加工、分析)的主要目的有三个方面:(1)提高图像的视感质量,如进行图像的亮度、彩色变换,增强、抑制某些成分,对图像进行几何变换等,以改善图像的质量。(2)提取图像中所包含的某些特征或特殊信息,这些被提取的特征或信息往往为计算机分析图像提供便利。提取特征或信息的过程是模式识别或计算机视觉的预处理。

11、提取的特征可以包括很多方面,如频域特征、灰度或颜色特征、边界特征、区域特征、纹理特征、形状特征、拓扑特征和关系结构等。(3)图像数据的变换、编码和压缩,以便于图像的存储和传输。不管是何种目的的图像处理,都需要由计算机和图像专用设备组成的图像处理系统对图像数据进行输入、加工和输出。数字图像处理研究的内容主要有：(1)图像获取和图像表现阶段主要是把模拟图像信号转化为计算机所能接受的数字形式,以及把数字图像用所需要的形式显示出来。(2)图像复原当造成图像退化的原因已知时,复原技术可用来进行图像的校正。复原技术是基于模型和数据的图像恢复,其目的是消除退化的影响,从而产生一个等价于理想成像系统所获得的图

12、像。(3)图像增强当无法知道与图像退化有关的定量信息时,可以使用图像增强技术较为主观地改善图像的质量。(4)图像分析对图像中的不同对象进行分割、特征提取和表示,从而有利于计算机对图像进行分类、识别、理解或解释。(5)图像重建由图像的多个一维投影重建该图像,可看成是特殊的图像复原技术。(6)图像编码和压缩对图像进行编码的主要目的是为了压缩数据,便于存储和传输。数字图像处理的工具可分为三大类:第一类包括各种正交变换和图像滤波等方法,其共同点是将图像变换到其它域(如频域)中进行处理(如滤波)后,再变换到原来的空间(域)中;第二类方法是直接在空间域中处理图像,它包括各种统计方法、微分方法及其它数学方法

13、:第三类是数学形态学运算,它不同于常用的频域和空域的方法,是建立在积分几何和随机集合论的基础上的运算。由于被处理图像的数据量非常大且许多运算在本质上是并行的,所以图像并行处理结构和图像并行处理算法也是图像处理中的主要研究方向。数字图像处理主要应用于下面一些领域：(1)通信包括图像传输、电视电话、电视会议。(2)宇宙探测随着太空技术的发展,需要用数字图像处理技术处理大量的星体照片。(3)遥感分航空遥感和航天遥感。遥感图像需要用图像处理技术加工处理并提取有用的信息。可用于地质、矿藏勘探和森林、水利、海洋、农业等资源的调查;自然灾害预测预报;环境污染监测;气象卫星云图处理以及用于军事目的的地面目标识

14、别。(4)生物医学领域中的应用X射线、超声、显微图像分析、计算机断层摄(即CT)分析和重建等。(5)工业生产中的应用主要有产品质量检测、生产过程的自动控制计算机辅助设计与制造等。(6)军事、公安、档案等其它方面的应用军事目标的侦察、制导和警戒系统、自动火器的控制及反伪装;公安部门的现场照片;指纹、手迹、印章、人像等的进一步处理和辨识;历史文字和图片档案的修复和管理;以及其它方面图像信息的显示、记录、处理和文字自动识别等。(7)机器人视觉作为智能机器人的重要感觉器官,进行三维景物的理解和识别。主要用于军事侦察、危险环境作业、装配工作识别和定位以及邮政、家政服务等。(8)视频和多媒体系统目前,电视

15、制作系统广泛使用图像处理、变形、合成技术。多媒体系统离不开静止图像和动态图像的采集、压缩、处理、存储和传输。(9)科学计算可视化数字图像处理和计算机图形学紧密结合,形成了科学计算的新型研究工具。1.1.3发展概况数字图像处理（Digital Image Processing）又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效

16、果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊者7号在1964年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动了数字图像处理这门学科的诞生。在以后的宇航空间技术，如对火

17、星、土星等星球的探测研究中，数字图像处理技术都发挥了巨大的作用。数字图像处理取得的另一个巨大成就是在医学上获得的成果。1972年英国EMI公司工程师Housfield发明了用于头颅诊断的X射线计算机断层摄影装置，也就是我们通常所说的CT（Computer Tomograph）。CT的基本方法是根据人的头部截面的投影，经计算机处理来重建截面图像，称为图像重建。1975年EMI公司又成功研制出全身用的CT装置，获得了人体各个部位鲜明清晰的断层图像。1979年，这项无损伤诊断技术获得了诺贝尔奖，说明它对人类作出了划时代的贡献。与此同时，图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就，

18、属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使图像处理成为一门引人注目、前景远大的新型学科。随着图像处理技术的深入发展，从70年代中期开始，随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像，实现类似人类视觉系统理解外部世界，这被称为图像理解或计算机视觉。很多国家，特别是发达国家投入更多的人力、物力到这项研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论，这个理论成为计算机视觉领域其后十多年的主导思想。图像理解虽然在理论方法研究上

19、已取得不小的进展，但它本身是一个比较难的研究领域，存在不少困难，因人类本身对自己的视觉过程还了解甚少，因此计算机视觉是一个有待人们进一步探索的新领域。 1.1.4研究内容数字图像处理主要研究的内容有以下几个方面： 1) 图像变换由于图像阵列很大，直接在空间域中进行处理，涉及计算量很大。因此，往往采用各种图像变换的方法，如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术，将空间域的处理转换为变换域处理，不仅可减少计算量，而且可获得更有效的处理（如傅立叶变换可在频域中进行数字滤波处理）。目前新兴研究的小波变换在时域和频域中都具有良好的局部化特性，它在图像处理中也有着广泛而有效的应用。2) 图像编

20、码压缩图像编码压缩技术可减少描述图像的数据量（即比特数），以便节省图像传输、处理时间和减少所占用的存储器容量。压缩可以在不失真的前提下获得，也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法，它在图像处理技术中是发展最早且比较成熟的技术。3) 图像增强和复原图像增强和复原的目的是为了提高图像的质量，如去除噪声，提高图像的清晰度等。图像增强不考虑图像降质的原因，突出图像中所感兴趣的部分。如强化图像高频分量，可使图像中物体轮廓清晰，细节明显；如强化低频分量可减少图像中噪声影响。图像复原要求对图像降质的原因有一定的了解，一般讲应根据降质过程建立降质模型，再采用某种滤波方法，恢复或重建原来的图

21、像。4) 图像分割图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。虽然目前已研究出不少边缘提取、区域分割的方法，但还没有一种普遍适用于各种图像的有效方法。因此，对图像分割的研究还在不断深入之中，是目前图像处理中研究的热点之一。5)图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性，一般图像的描述方法采用二维形状描述，它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。随着图像处理研究的深入发展，已经开始进行三维物体描述的研

22、究，提出了体积描述、表面描述、广义圆柱体描述等方法。 6) 图像分类（识别）图像分类（识别）属于模式识别的范畴，其主要内容是图像经过某些预处理（增强、复原、压缩）后，进行图像分割和特征提取，从而进行判决分类。图像分类常采用经典的模式识别方法，有统计模式分类和句法（结构）模式分类，近年来新发展起来的模糊模式识别和人工神经网络模式分类在图像识别中也越来越受到重视。 1.1.5今后需进一步研究的问题自20世纪60年代第三代数字计算机问世以后，数字图像处理技术出现了空前的发展，在该领域中需要进一步研究的问题主要有如下五个方面：1）在进一步提高精度的同时着重解决处理速度问题；2）加强软件研究，开发新的处

23、理方法，特别要注意移植和借鉴其他学科的技术和研究成果，创造新的处理方法；3）加强边缘学科的研究工作，促进图像处理技术的发展；4）加强理论研究，逐步形成处理科学自身的理论体系；5）时刻注意图像处理领域的标准化问题。 1.1.6基本特点（1）数字图像处理的信息大多是二维信息，处理信息量很大。如一幅256256低分辨率黑白图像，要求约64kbit的数据量；对高分辨率彩色512512图像，则要求768kbit数据量；如果要处理30帧/秒的电视图像序列，则每秒要求500kbit22.5Mbit数据量。因此对计算机的计算速度、存储容量等要求较高。（2）数字图像处理占用的频带较宽。与语言信息相比，占用的频带

24、要大几个数量级。如电视图像的带宽约5.6MHz，而语音带宽仅为4kHz左右。所以在成像、传输、存储、处理、显示等各个环节的实现上，技术难度较大，成本亦高，这就对频带压缩技术提出了更高的要求。（3）数字图像中各个像素是不独立的，其相关性大。在图像画面上，经常有很多像素有相同或接近的灰度。就电视画面而言，同一行中相邻两个像素或相邻两行间的像素，其相关系数可达0.9以上，而相邻两帧之间的相关性比帧内相关性一般说还要大些。因此，图像处理中信息压缩的潜力很大。（4）由于图像是三维景物的二维投影，一幅图象本身不具备复现三维景物的全部几何信息的能力，很显然三维景物背后部分信息在二维图像画面上是反映不出来的。

25、因此，要分析和理解三维景物必须作合适的假定或附加新的测量，例如双目图像或多视点图像。在理解三维景物时需要知识导引，这也是人工智能中正在致力解决的知识工程问题。（5）数字图像处理后的图像一般是给人观察和评价的，因此受人的因素影响较大。由于人的视觉系统很复杂，受环境条件、视觉性能、人的情绪爱好以及知识状况影响很大，作为图像质量的评价还有待进一步深入的研究。另一方面，计算机视觉是模仿人的视觉，人的感知机理必然影响着计算机视觉的研究。例如，什么是感知的初始基元，基元是如何组成的，局部与全局感知的关系，优先敏感的结构、属性和时间特征等，这些都是心理学和神经心理学正在着力研究的课题。 1.1.7主要优点1

26、. 再现性好数字图像处理与模拟图像处理的根本不同在于，它不会因图像的存储、传输或复制等一系列变换操作而导致图像质量的退化。只要图像在数字化时准确地表现了原稿，则数字图像处理过程始终能保持图像的再现。2处理精度高按目前的技术，几乎可将一幅模拟图像数字化为任意大小的二维数组，这主要取决于图像数字化设备的能力。现代扫描仪可以把每个像素的灰度等级量化为16位甚至更高，这意味着图像的数字化精度可以达到满足任一应用需求。对计算机而言，不论数组大小，也不论每个像素的位数多少，其处理程序几乎是一样的。换言之，从原理上讲不论图像的精度有多高，处理总是能实现的，只要在处理时改变程序中的数组参数就可以了。回想一下图

27、像的模拟处理，为了要把处理精度提高一个数量级，就要大幅度地改进处理装置，这在经济上是极不合算的。3适用面宽图像可以来自多种信息源，它们可以是可见光图像，也可以是不可见的波谱图像（例如X射线图像、射线图像、超声波图像或红外图像等）。从图像反映的客观实体尺度看，可以小到电子显微镜图像，大到航空照片、遥感图像甚至天文望远镜图像。这些来自不同信息源的图像只要被变换为数字编码形式后，均是用二维数组表示的灰度图像（彩色图像也是由灰度图像组合成的，例如RGB图像由红、绿、蓝三个灰度图像组合而成）组合而成，因而均可用计算机来处理。即只要针对不同的图像信息源，采取相应的图像信息采集措施，图像的数字处理方法适用于

28、任何一种图像。4灵活性高图像处理大体上可分为图像的像质改善、图像分析和图像重建三大部分，每一部分均包含丰富的内容。由于图像的光学处理从原理上讲只能进行线性运算，这极大地限制了光学图像处理能实现的目标。而数字图像处理不仅能完成线性运算，而且能实现非线性处理，即凡是可以用数学公式或逻辑关系来表达的一切运算均可用数字图像处理实现。 1.1.8主要应用图像是人类获取和交换信息的主要来源，因此，图像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。1）航天和航空技术方面的应用数字图像处理技术在航天和航空技术方面的应用，除了上面介绍的JPL对

29、月球、火星照片的处理之外，另一方面的应用是在飞机遥感和卫星遥感技术中。2）生物医学工程方面的应用数字图像处理在生物医学工程方面的应用十分广泛，而且很有成效。3）通信工程方面的应用当前通信的主要发展方向是声音、文字、图像和数据结合的多媒体通信。4）工业和工程方面的应用在工业和工程领域中图像处理技术有着广泛的应用。 5）军事公安方面的应用在军事方面图像处理和识别主要用于导弹的精确末制导，各种侦察照片的判读，具有图像传输、存储和显示的军事自动化指挥系统，飞机、坦克和军舰模拟训练系统等；公安业务图片的判读分析，指纹识别，人脸鉴别，不完整图片的复原，以及交通监控、事故分析等。6）文化艺术方面的应用目前这

30、类应用有电视画面的数字编辑，动画的制作，电子图像游戏，纺织工艺品设计，服装设计与制作，发型设计，文物资料照片的复制和修复，运动员动作分析和评分等等，现在已逐渐形成一门新的艺术-计算机美术。总之,图像处理技术应用领域相当广泛,已在国家安全、经济发展、日常生活中充当越来越重要的角色,对国计民生的作用不可低估。1.1.9遥感影像数字图像处理遥感影像数字图像处理的内容主要有：图像恢复。即校正在成像、记录、传输或回放过程中引入的数据错误、噪声与畸变。包括辐射校正、几何校正等；数据压缩。以改进传输、存储和处理数据效率：影像增强。突出数据的某些特征，以提高影像目视质量。包括彩色增强、反差增强、边缘增强、密度

31、分割、比值运算、去模糊等；信息提取。从经过增强处理的影像中提取有用的遥感信息。包括采用各种统计分析、集群分析、频谱分析等自动识别与分类。通常利用专用数字图像处理系统来实现，且依据目的不同采用不同算法和技术。第2章 数字图像处理技术2.1图像处理应用2.1.1信号处理的基本术语信号的数字化处理包括两个步骤，一个是信号在时间上的离散化，即采样；另一个是幅度上的离散化，即量化。数字化之后的信号，将全部变为0、1序列，这就使得信息的采集、存储、传输、复制、加工异常方便。采样也称抽样，是信号在时间上的离散化，即按照一定时间间隔t在模拟信号x(t)上逐点采集其瞬时值。它是通过采样脉冲和模拟信号相乘来实现的

32、 ，量化是对幅值进行离散化，即将振动幅值用二进制量化电平来表示 。2.1.2图像数据压缩基础*彩色空间及其变换RGB颜色模式 自然界中所有的颜色都可以用红、绿、蓝(RGB)这三种颜色的光（红光波长700 nm、绿光波长546.1 nm、蓝光波长435.8 nm ）按不同的强度叠加而成，这就是人们常说的三基色原理。当三基色等量相加时，得到白色；等量的红绿相加而蓝为0值时得到黄色；等量的红蓝相加而绿为0时得到品红色；等量的绿蓝相加而红为0时得到青色。当三基色按不同强度相叠加时，可得到任何一种颜色。任一颜色和这三种颜色之间的关系可用下面的式子来描述： 颜色R(红色的百分比)G(绿色的百分比)B(蓝色的百分比)任一颜色可以想象成RGB三维空间中的一个点，该点的坐标为（r，g，b），其中r、g、b分别为该颜色中红、绿、蓝三基色所占的百分比