机器人视觉识别系统研究大学课程设计.docx

1、机器人视觉识别系统研究大学课程设计西南科技大学城市学院毕业论文（设计）论文题目：机器人视觉识别系统研究系别：机电工程系专业：自动化毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作者签名：日期：指导教师签名：日期：使用授权说明本人完全了解XX大学关于收集、保存、使用毕业设计

2、（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名：日期：机器人视觉识别系统研究摘要现实生活和工业生产中，具有视觉识别系统的机器人的应用越来越多，本文目标是设计出一个基于嵌入式微处理器ARM（S3C2440）与CMOS构建的图像数据采集系统，完成高质量的图像数据采集功能及星形图形的识别。论文重点对图像数据采集系统总体方案进行了探索和设计，构造了一种基于ARMOV7725的图像采集系统

3、方案，通过ARM处理器、OV7725图像传感器、及LCD显示器构成整个图像采集系统的硬件部分，并通过相应的软件设计完成对整个系统的控制，最终实现图像数据采集和识别功能。关键词:图像采集识别 ARM处理器 OV7725Robot Vision Recognition SystemAbstractIn real life, and industrial production, a robot with a visual identification system used more and more and more, this goal is to design a microprocessor

4、-based embedded ARM (S3C2440) and CMOS image data acquisition system built to complete the high-quality The image data acquisition and star identification graphics.Paper focuses on the general scheme of image data acquisition system are explored and the design, construction which is based on ARM + O

5、V7725 image acquisition system, through the ARM processor, OV7725 image sensor, and LCD monitor system constitutes the entire image acquisition hardware, and through Completion of the appropriate software to control the whole system, and ultimately the image data acquisition and recognition.Keywords

6、: ARM processor OV7725 image acquisition Recognition第一章 绪论1.1背景进入21世纪以来，机器人的研究取得了长足的发展，从论文发表和成果报道来看，视觉识别机器人已成为机器人领域目前最引人注目的拘束热点。从2000年起，IEEE每年召开视觉识别机器人专题的学术会议（Int.conf.on Humanoid Robots），学术期刊Int.J.ofhumanoid Robotics也于2004年创刊。视觉识别机器人的研究论文也频见于机器人相关领域其它学术刊物，这些都表明视觉识别机器人座位机器人学的一个重要分支，已经受到学界的充分重视目前世界各国

7、都在发展，日本的视觉识别机器人研究在企业界的大力支持下发展较快，无论从羡慕数量或是研究成果看，都占据着明显的领先地位，此外，美英德韩也都在开展相关研究。.机器人视觉对于智能机器人就相当于眼睛和人的关系一样，为了使机器人实现智能化，则必须让机器人具有感知功能，是机器人能够“看到”周围世界，第一代工业机器人由于没有视觉系统，只能按照预先规定的动作往返操作，一旦工作环境变化，机器就不能胜任工作，因为无法感知周围环境和工作对象的情况，因此对于机器人来说，视觉系统是必不可少的，所以对于图像采集的研究和探索那是绝对不可少的。且随着科学技术的发展，更高速，更可靠，更低成本成为各种技术开发的要求。图像采集与处

8、理技术的应用越来越广泛，技术要求也越来越高，设计能实现图像采集与图像处理一体化，结构紧凑，并能有效降低成本的专用图像处理系统，将具有很大的市场应用前景，这种系统具有安装方便、配置灵活，便于携带等突出优点。计算机技术已经进入嵌入式产品时代，嵌入式产品将逐渐成为行业发展的主流，而作为这个时代的代表行产物ARM嵌入式微处理器的应用将更加广泛，ARM实业界领先的16/32位嵌入式RISC处理器技术供应商，占领了大约75%的市场。它可为一个完整系统的开发提供全面的技术支持，具有性能高，低成本和能耗省等特点，ARM嵌入式处理器采用PCA架构，支持大容量Fllash和ARM存储器，支持实时操作系统，ARM的

9、微处理器核心正迅速地在便携通信设备、手持设备、工业控制仪器仪表，信息家电及消费类电子等各个领域得到广泛的应用。1.2 意义近年来，随着电子技术、计算机技术、自动控制技术、多媒体技术的迅速发展，图像数据采集系统技术也取得了长足的发展。在智能仪器仪表和工业测控系统中图像采集占据着重要地位。传统的图像采集系统大多采用PCI图像采集卡进行图像采集和微型计算机软件进行图像处理或采用单片机作为控制核心的设计方案。采用PCI图像采集卡的设计方案致使系统体积庞大、成本高、携带不便，且因微型计算机总线插槽数目和采集卡通道数目有限，实现多点采集困难。而以单片机作为控制核心的设计方案由于单片机资源有限，实现图像采集

10、需要大量的系统资源和强大的运算处理能力，因此难以实现。从而提出了一种基于ARM处理器的实现图像数据采集的方案，此方案提高了系统图像数据的采集与处理能力，整个系统速度快、功耗低、体积小、易于升级维护近20年来由于微电子学的进步以及计算机应用的日益广泛，我国图像据采集系统技术也取得了巨大的进展，从技术背景上说，硬件集成电路的不断发展和创新是一个重要因素。各种集成电路芯片都在朝超大规模、全CMOS化的方向发展。微电子技术的不断发展尤其是微处理器的出现引发了图像采集结构的根本变革，出现了各种采用微处理器的图像采集系统新的设计思想和新的集成电路不断涌现，图像数据采集系统已进入了崭新的发展阶段，图像数据采

11、集系统广泛应用于我们的日常生活中，如我们用的摄像机、DV等。在工业控制方面，图像采集系统也起着重要的作用。我国图像数据采集系统研究成果很丰富，如基于FPGA的图像采集系统、基于USB总线的图像采集系统、基于ARM的图像采集系统等。并且这些图像采集系统大量应用于机械、电子、安防、化工、探测、侦查等领域。而基于ARM的图像采集系统在工业生产中的应用还不是很多。为此，本文特别采用基于ARM微处理器的图像采集和处理系统的解决方案，并对其可行性，实现方法以及相应的理论进行了深入的探讨，基于ARM嵌入式平台图像采集与处理系统具有体积小，成本低，稳定性高等优点，未来会在诸如只能交通移动机器人，只能产品检测，

12、医学仪器，视频监控系统，便携式多媒体设备等各种应用领域得到越来越广泛的应用。1.3 总结所以，综合各方面的因素，本文提出了基于嵌入式微处理器ARM（S3C2440）与OV7725（CMOS）构建的图像数据采集识别系统，完成高质量的图像数据采集功能及星形图形的识别。以下具体介绍该系统的软件硬件设计。第二章 系统方案设计2.1系统处理器选择目前，市面上常用的芯片有单片机、FPGA、DSP、ASIC、ARM9，以下分别介绍这几类芯片的优缺点：单片机：采用Atmel公司的AT89S52单片机作为主控制器。AT89S52是一个低功耗，高性能的51内核的CMOS 8位单片机，片内含8k空间的可反复擦些10

13、00次的Flash只读存储器，具有256 bytes的随机存取数据存储器（RAM），32个IO口，3个16位可编程定时计数器。且该系列的51单片机可以不用烧写器而直接用串口或并口就可以向单片机中下载程序。但是考虑到本系统要进行图像采集和OV7725传感器的检测以及LCD显示，若使用AT89S52可能在数据处理方面有一些不足，且占用CPU资源较多而使得单片机同时处理其他任务的速度和能力降低，这样图像采集起来速度太慢。FPGA：采用FPGA（可编程逻辑门阵列）作为主控制器，它可实现系统集成，基于实现宏函数的嵌入式阵列及实现普通功能的逻辑阵列，提供异步的“乘积项”或者“和项”构成的寄存器的置位/复位

14、信号，且还可以单独的可编程的输出电压摆率控制位。虽然他还具有高速，高可靠性，开发周期短，质量稳定。开发软件投入小、开发工具先进，可多次擦写等优点。但是本系统主要是对图像进行采集，不需要逻辑性很强的控制器，基于这一点也不选择此方案。DSP：采用DSP（数字图像处理）作为图像采集控制器，它是在原有通用CPU的基础上，发展改进硬件结构和指令集结构而来的。DSP能够更好的完成在数字信号处理的滤波、卷积和FFT中最重复出现的乘法器，地址产生器，使得DSP在相同时间内能够完成更过的操作，提高程序执行速度，精简指令，有利于DSP结构上的简化和成本的降低，总线结构，专用寻址单元，DSP中采用独立程序总线和数据

15、总线，能够同时取指令和取操作数，区别于传统CPU采用统一城乡和地址空间的冯.诺曼结构，共享程序和数据总线，专用寻址单元。DSP有地址产生器，与ALU并行操作，地址运算不额外占用CPU时间，片内存储器，存放参数和数据，解决了外部存储器的总线竞争和访问速度不匹配问题，访问速度快，缓解DSP数据瓶颈，流水处理，使得两个或更多不同的操作可以重叠执行，提高DSP程序执行效率。但是它控制系统比较复杂，实时图像处理比较复杂，基于本系统立志于简单高速考虑也放弃此种方案。ASIC：采用ASIC芯片，与通用集成电路相比，ASIC芯片具有体积小，重量轻、功耗低、可靠性高等几个方面的优势，而且在大批量应用时，可降低成

16、本，但ASIC得缺点在于设计周期长，非大批量应用场合，造价昂贵且功能单一，而且ASIC一旦投入应用，构建的系统灵活性差，新的技术和算法只能重新设计芯片来实现，这样导致ASIC芯片通用性较差。ARM9：ARM微处理器是一种高性能、低功耗的32位微处器，它被广泛应用于嵌入式系统中。ARM9代表了ARM公司主流的处理器，已经在手持电话、机顶盒、数码像机、GPS、个人数字助理以及因特网设备等方面有了广泛的应用。由于ARM处理器体积小、低功耗、使用0.13um的CMOS制造技术和记忆体编程器制造、有16K的指令快取、MU快取、强大的索引地址模式、且支持ARM处理器16-bit指令模式主频可以达到499M

17、HZ，提高了系统图像数据的采集与实时处理能力。综合上述几种芯片，我们从硬件、完成高质量的图像采集和实时处理能力、简单处理速度快速等几个方面考虑，选择ARM9作为本设计的系统处理器。2.2图像传感器的选择目前图像传感器类型有两种：一种是广泛使用的CCD（电荷藕合）图像传感器；另一种是CMOS（互补金属氧化物导体）图像传感器。这两种都是基于核心成像部件CCD和CMOS而区分的CCD中文译为电子耦合组件(charged coupled device)，它就像传统相机的底片一样，是感应光线的电路装置，可以将它想象成一颗颗微小的感应粒子，铺满在光学镜头后方，当光线与图像从镜头透过、投射到CCD表面时，C

18、CD就会产生电流，将感应到的内容转换成数码资料储存起来。CCD的尺寸其实是说感光器件的面积大小，CCD像素数目越多、单一像素尺寸越大，捕获的光子越多，感光性能越好，信噪比越低,收集到的图像就会越清晰。因此，尽管CCD数目并不是决定图像品质的唯一重点，我们仍然可以把它当成相机等级的重要判准之一。互补性氧化金属半导体CMOS（Complementary Metal-Oxide Semiconductor）和CCD一样同为可记录光线变化的半导体。CMOS的制造技术和一般计算机芯片没什么差别，主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带电）和 P（带+电）级的半导体，这两个

19、互补效应所产生的电流即可被处理芯片记录和解读成影像。同样，CMOS的尺寸大小影响感光性能的效果，面积越大感光性能越好。CMOS的缺点就是太容易出现杂点, 这主要是因为早期的设计使CMOS在处理快速变化的影像时，由于电流变化过于频繁而会产生过热的现象。由两种感光器件的工作原理可以看出，CCD的优势在于成像质量好，但是由于制造工艺复杂，只有少数的厂商能够掌握，所以导致制造成本居高不下，特别是大型CCD，价格非常高昂。 在相同分辨率下，CMOS价格比CCD便宜，但是CMOS器件产生的图像质量相比CCD来说要低一些。CMOS影像传感器的优点之一是电源消耗量比CCD低，CCD为提供优异的影像品质，付出代

20、价即是较高的电源消耗量，为使电荷传输顺畅，噪声降低，需由高压差改善传输效果。但CMOS影像传感器将每一像素的电荷转换成电压，读取前便将其放大，利用3.3V的电源即可驱动，电源消耗量比CCD低。CMOS影像传感器的另一优点，是与周边电路的整合性高，可将ADC与信号处理器整合在一起，使体积大幅缩小。综合考虑既满足功能要求又有较高的性价比，我们选用CMOS芯片的OV7725图像传感器。OV7725是一款高度整合的1/4英寸CMOS CameraChip(TM)传感器，在一个单芯片上提供一部VGA摄像头和影像处理器的全部功能。OV7725的一个独特性能是有很大的主光线角度，它能显著减小模块高度，而高度

21、是让相机能够装配进当前超薄笔记本电脑的关键因素。OV7725以OmniVision的OmniPixel2(TM)专利技术为基础，弱光环境中也能提供卓越的性能，在VGA模式下能够以60帧每秒(fps)或在QVGA模式下120fps运行。OV7725无铅、28引脚CSP2封装。2.3系统方案本图像数据采集系统由ARM处理器、CMOS图像传感器、存储器和电源模块构成。硬件总体结构图电源模块启动后，在ARM处理器的控制下 ,CMOS图像传感器片上采集到的数据经帧同步信号触发产生中断后被拷贝到 SDRAM。然后通过ARM处理器的处理由LCD显示出来，通过二值化识别出星形图形。第三章硬件设计3.1 S3C

22、2440处理器处理器概述三星公司推出的16/32位RISC微处理器S3C2440A, 为手持设备和一般类型应用提供了低价格、低功耗、高性能小型微控制器的解决方案。 S3C2440A采用了ARM920T的内核，0.13um 的CMOS 标准宏单元和存储器单元。其低功耗、简单、优雅、且全静态设计特别适合于对成本和功率敏感型的应用。它采用了新的总线架构Advanced Micro controller Bus Architecture (AMBA)。 S3C2440A的杰出的特点是其核心处理器(CPU)，是一个由Advanced RISC Machines 有限公司设计的 16/32位 ARM920

23、T 的RISC处理器。ARM920T 实现了MMU， AMBA BUS和 Harvard 高速缓冲体系结构构。这一结构具有独立的 16KB指令 Cache和 16KB数据 Cache。每个都是由具有 8字长的行组成。通过提供一套完整的通用系统外设， S3C2440A减少整体系统成本和无需配置额外的组件。S3C2440A集成的片上功能* 1.2V内核供电, 1.8V/2.5V/3.3V存储器供电，3.3V外部I/O供电，具备16KB的I-Cache和16KB DCache/MMU微处理器。* 外部存储控制器(SDRAM控制和片选逻辑)。* LCD 控制器（最大支持4K色STN 和256K色TFT

24、）提供1通道LCD 专用DMA 。* 4 通道DMA并有外部请求引脚。* 3 通道UART(IrDA1.0, 64字节Tx FIFO，和64字节Rx FIFO)。* 2 通道SPI 。* 1通道IIC-BUS接口（多主支持）。* 1通道IIS-BUS音频编解码器接口。* AC97 解码器接口。* 兼容SD主接口协议1.0版和MMC卡协议2.11兼容版。* 2 端口USB主机/1端口USB设备（1.1 版）。* 4 通道PWM定时器和1通道内部定时器/看门狗定时器。* 8 通道10 比特ADC和触摸屏接口。* 具有日历功能的RTC。* 相机接口（最大4096 4096像素的投入支持。 2048

25、2048像素的投入，支持缩放）。* 130 个通用I/O口和24通道外部中断源。* 具有普通，慢速，空闲和掉电模式。* 具有PLL片上时钟发生器。S3C2440 方框图S3C2440 方框图如图31所示图3-13.2 ARM处理器与OV7725图像传感器接口设计图像传感器接口电路是硬件设计的关键部分,如何有效地采集数据也是系统的关键问题。OV7725集成了SCCB ( Serial Camera Control Bus)控制接口以访问片内寄存器。该芯片内部功能寄存器地址从0X000X7C（其中不少是保留寄存器）。通过对片内寄存器的读写可以方便地对图像帧频、曝光时间、增益进行控制。各寄存器的功能

26、见参考文献。由于S3C2440处理器有一个专门的相机接口,所以CPU可以直接和CMOS图像传感器连接。图像传感器输出的数据及控制信号包括像素时钟( PCLK) 、水平参考(HREF)、帧同步(VSYNC)和数据总线(Y0Y7) ,分别和主处理器的相应信号相连。PCLK与HREF在处理器内部相遇后产生有效的像素时钟信号,在有效时钟信号的上升沿将数据锁定。OV7725和S3C2440接口电路如图32所示。图32 OV7725和S3C2440接口电路图3.3 ARM处理器与液晶屏接口液晶显示器LCD为英文Liquid Crystal Displayer的缩写，它是一种数字显示技术，可以通过液晶和彩色

27、过滤光源，并在平面面板上产生图像。与传统的阴极射线管CRT相比，LCD占用空间小、功耗低、辐射低、无闪烁、降低视觉疲劳等优点，本设计选用LCD作为显示设备。S3C2440处理器提供有LCD控制器，S3C2440的LCD控制器是由一个逻辑单元组成，它的作用是：把LCD图像数据从一个位于系统内存的video buffer传送到一个外部的LCD驱动器。LCD控制器使用一个基于时间的像素抖动算法和帧速率控制思想，可以支持单色，2位每像素(4级灰度)或者4位每像素(16级灰度)屏，并且它可以与256色(8BPP)和4096色(12BPP)的彩色STN LCD连接。它支持1BPP,2BPP,4BPP,8B

28、PP的调色板TFT彩色屏，并且支持64K色(16BPP)和16M色(24BPP)非调色板真彩显示。LCD控制器是可以编程满足不同的需求，如水平、垂直方向的像素数目，数据接口的数据线宽度，接口时序和刷新速率。本设计中所使用的液晶屏是TFT LCD屏。图3-3 S3c2440与LCD接口电路图3.4 本章小节本章主要对图像采集系统的硬件系统做了系统设计，同时给出了图像传感器与ARM处理器之间的接口电路图。并介绍了ARM处理器与液晶屏接口。这样硬件搭建完成，为下一步的软件开发做好了准备。第四章软件设计4.1 图像数据采集系统软件总体设计上面一章主要介绍了图像数据采集系统的硬件搭配，如何让硬件在我们的

29、控制下正常工作，实现图像数据采集的目标，便是本章要做的工作。软件设计的模块方框图如图41所示。图41 软件设计模块图S3C2440处理器初始化，通过GPIO模拟SCCB总线初始化OV7725图像传感器，使OV7725产生PCLK、HREF、VSYNC三个同步信号，S3C2440处理器初始化LCD显示器与相机接口，所有初始化完成后，处理器发出开始图像数据采集命令，VSYNC处于低电平时，开始图像数据采集，图像传感器随着三个同步信号，开始送出数据，并通过相机接口保存在SDRAM中，LCD通过LCD控制器以DMA方式在SDRAM中调出数据并显示在LCD上，当VSYNC处于高电平时，一帧图像数据采集完

30、毕，系统会产生一个中断，并由处理器判断其为何种中断，决定图像采集是否继续。为此，我们可把图像采集系统分为以下四个模块：ARM处理器初始化模块、相机接口模块、图像传感器模块和LCD显示模块。4.2 相机程序相机接口概述S3C2440A 中的CAMIF（相机接口）由7部份组成 多元仿真, 捕捉单位，预览缩放，编解码器缩放，预览DMA ，编解码器DMA 与SFR 。该CAMIF支持国际电联- R的BT.601/656 YCbCr 8位标准，最大输入尺寸4096x4096像素（ 2048x2048像素缩放）和两个缩放存在。预览缩放致力于创造小尺寸图像PIP（画中画），编解码器缩放致力于产生图像编解码器

31、有用的图像如平面型YCbCr 4:2:0或4:2:2 。两个主要的DMAs可以做镜相和旋转捕获的移动环境图像。这些特征在文件夹类型的手机中是非常有用的并且生成的测试图案在同步信号输入校准中是有用的，如 CAMHREF, CAMVSYNC. 此外，视频同步信号和像素时钟极性可以通过寄存器组在CAMIF处被转化。相机接口特征* 外部接口支持ITU-R BT. 601/656 8位模式* DZI (数字变焦) 能力*可编程极性视频同步信号*最大值支持 4096 4096像素输入不缩放（支持2048 2048像素输入缩放）*最大值支持4096 4096像素输出为编解码器路径*最大值支持 640 x 4

32、80像素输出为预览路径*镜头旋转（ X轴， Y轴和180 旋转）*画中画和图像编解码器输入图像形式（ 16/24位的RGB格式与YCbCr 4:2:0 / 4:2:2格式信号种类特点：支持 ITU-R BT.601/656 8bit 模式外部接口，具有 DZI（Digital Zoom in）功能；视频同步型号的极性可编程；在没有缩放比例（scaling）时，支持 40964096 像素的输入；在有缩放比例时，支持 20482048 像素的输入； CODEC path 时，支持 40964096 像素输出， PREVIEW path 时，支持 640480 像素输出；支持图像的镜像和旋转的方式。信