嵌入式系统在机器人视觉中的应用嵌入式课程设计报告书.docx

1、嵌入式系统在机器人视觉中的应用嵌入式课程设计报告书嵌入式系统在机器人视觉中的应用4.4 图像采集模块8五、机器人视觉的软件系统设计105.1 软件系统总体设计105.2 图像采集软件模块115.2.1 JPEG300 数码相机的时序与驱动115.2.2 图像采集驱动程序125.3 图像处理软件模块135.3.1 JPEG 图像压缩与解压缩135.3.2图像匹配算法155.3.3 图像处理模块的设计165.4 机器人运动控制软件模块16六、仿真调试分析17七、设计中的问题与解决方法17八、嵌入式系统学习心得18九、参考文献18 嵌入式系统在机器人视觉中的应用一、设计要求 嵌入式系统是以应用为中心

2、，以计算机技术为基础，并且软硬件可裁剪，适用于应用系统对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统。机器人视觉系统是嵌入式系统在机器人研究领域中的一项重要应用。本课程设计要开发一种通用的嵌入式系统平台, 进行操作系统的移植和图像匹配等算法的研究, 并将其应用于移动机器人的视觉导航。二、设计作用与目的2.1机器人视觉系统的发展历史与研究现状 机器人视觉是一门新兴的发展迅速的学科。从20 世纪60 年代开始，人们便着手研究机器人的视觉系统。一开始只能识别平面上的类似积木的物体。到了20世纪70年代，已经可以认识某些加工部件。由于视觉系统的信息量极大，处理这些信息的硬件系统十分庞大，花

3、费的时间也很长，所以无法应用于实际。 进入20世纪80年代后,随着人工智能、并行处理和神经元网络等学科的发展，促进了机器人视觉系统的实用化，机器人视觉的研究经历了从实验室走向实际应用的发展阶段。从简单的二值图像处理到高分辨率多灰度的图象处理，从一般的二维信息处理到三维视觉机理以与模型和算法的研究都取得了很大的进展。 各国的研究人员们设计出了各种各样的移动机器人视觉系统，并在各自的移动机器人平台上做了很多研究工作。美国CMU 大学的S.Thrun 等人研制的第二代博物馆导游机器人Minerva，基于双目视觉通过搜索并识别室天花板上的吊顶来实现室导航。加拿大 UBC 大学的Stephen 和Dav

4、id 通过特征跟踪来实现基于三目视觉的定位与地图构造。美国MIT的Margritt 基于全景视觉的路标识别来实现移动机器人定位。 尽管在目前硬件和软件技术条件下，机器人视觉功能还处于初级水平，但其潜在的应用价值引起了世界各国的高度重视。发达国家如美国、日本、德国、法国等都投入了大量的人力物力进行研究，近年来已经在机器人视觉的某些方面获得了突破性的进展，机器人视觉在实际车辆上的应用也已初现端倪，在车辆安全技术、自动化技术等应用中也越来越显示出其重要价值。2.2机器人视觉系统的研究目的与意义这次课题的研究目的是开发出一个较为通用的嵌入式系统平台，进行嵌入式操作系统的研究和移植，并将其应用于机器人视

5、觉导航中，从而实现智能机器人跟踪 简单场景中的静止目标。开发出这样一个系统，可以进行嵌入式操作系统、机器人视觉和导航技术，以与机器人的智能控制技术的研究。同人类视觉系统的作用一样，机器人视觉系统赋予机器人一种高级感觉机构，使得机器人能以“智能”和灵活的方式对其周围环境做出反应，目的是要通过图像定位、图像理解，向机器人运动控制系统反馈目标或自身的状态与位置信息。目前，机器人视觉相关研究工作已经在各个高校得到了广泛地开展，如何在机器人研究中采用新技术、新方法，提高科技创新能力，已经成为研究重点。研究成果可推广到其他小型和微型机器人的视觉引导、智能交通、视觉监控产品、智能玩具等领域，具有广阔的发展空

6、间和应用前景。三、系统设计方案3.1总体设计方案3.1.1嵌入式系统硬件平台的设计 重点理解嵌入式微处理器的特点和使用方法，完成以嵌入式微处理器为中心的硬件平台的设计与开发。具体来说，就是根据本课题的要求，完成嵌入式微处理器的选型、存储系统、图像采集模块和电机驱动模块的设计等。3.1.2嵌入式操作系统的研究和移植 主要研究uC/OS-II嵌入式操作系统的核结构特性，并完成其在S3C44B0X微处理器上的移植，从而搭建一个完善的嵌入式系统软件平台。选择uC/OS-II作为本次研究的重点，是由于它占用空间少，执行效率高，实时性能优良，并且针对新处理器的移植相对简单。3.1.3机器人视觉软件系统的设

7、计 机器人视觉软件系统的设计包括系统初始化软件模块、图像采集软件模块、图像处理软件模块、机器人运动控制软件模块、数据通信软件模块等。 此次课题设计采用的是嵌入式微处理器S3C44B0X、uC/OS-II操作系统。3.2系统基本工作原理3.2.1 机器人视觉系统极其组成机器人视觉是要通过图像定位、图像理解，向机器人运动控制系统反馈目标或自身的状态与位置信息。机器人视觉系统如图1.1 所示： 图1.1 机器人视觉系统 从功能上来划分，机器人的视觉系统由图像输入、图像处理、图像存储和图像输出四部分组成。 1、图像输入部分（负责获取外界物体的光信号，并将其转换为相应的电信号，进而转换为数字信号，一般包

8、括光源滤波、视觉传感、距离测定等） 2、图像处理部分（负责将获取的大量物体信息进行提取和处理，包括图像边缘的检测、连接、光滑和轮廓的编码，图像匹配等，并将处理后的数据传输给其他设备） 3、图像存储部分（主要担任数据的保存工作） 4、图像输出部分（主要是将物体的信息显示于屏幕上，同时将信息传送到机器人的主控系统，机器人根据所得信息便可进行相应的闭环控制)3.2.2 机器人视觉中的图像处理技术 机器人视觉中的图像处理技术包括图像数据编码和传输、图像增强与平滑、特征抽取、图像识别与理解、图像匹配等容。 1、图像数据编码和传输 图像数据编码一般采用预测编码，即将图像数据的空间变化规律和序列变化规律用一

9、个预测公式表示，变换压缩方法是将整幅图像分成小的（一般取88或1616）数据块，再将这些数据块分类、变换、量化，从而构成自适应的变换压缩系统。2、图像的增强与平滑 图像的增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。3、图像的特征抽取、识别与理解 目前用于图像识别的方法主要分为决策理论和结构方法。4、图像的匹配 现已提出了众多匹配算法，主要包括模板匹配算法、序贯相似性检测算法（SSDA）、幅度排序相关算法、FFT相关算法、分层搜索序贯判决算法等。序贯相似性检测算法（SSDA）是利用模板不在匹配点上时，累计误差增长很快；反之，则增长缓慢这一特性，从而较快的剔除不匹配点，减少运算量

10、，从而提高了搜索速度。任何一种匹配算法的总计算量都是由相关运算的计算量与搜索的位置之积所决定的，即：总计算量 （相关运算的计算量）（搜索位置数）因此，减少总的计算量有两种基本的方法：一种是减少相关运算的计算量，以采用粗精两级或多级匹配实现；另一种是减少搜索的位置数。四、系统硬件平台的设计4.1硬件系统的总体设计 系统的总体结构主要由嵌入式微处理器、存储系统、图像采集模块、电机驱动模块和数据通信模块等几个部分构成，系统的硬件结构框图如图4.1 所示。图4.1 系统的硬件结构框图我们选择以三星公司的 S3C44BOX 嵌入式微处理器为核心构建硬件系统。这是一款基于ARM7TDMI 核技术的32 位

11、RISC 处理器，配置了2MB的FLASH 存储器以与8MB 的SDRAM 存储器。 针对机器人视觉导航的特殊应用，在通用的硬件平台上，增加了相应的图像采集模块和电机驱动模块等外围器件。图像采集模块负责图像的采集，是机器人视觉的输入。电机驱动模块负责将图像处理后的结果转换成机器人的执行机构需要的电压和电流，实现对机器人本体中的电机进行伺服控制。 数据通信模块包括RS232 接口、USB 接口、以太网接口和 JTAG 接口。课题中主要使用RS232 接口进行嵌入式系统和PC 机的数据通信，完成将图像数据传输到PC 机上进行分析和系统调试的目的。4.2机器人视觉的ARM 系列微处理器的选择嵌入式微

12、处理器的选择是整个机器人视觉系统的核心。我们采用三星公司的S3C44BOX 微处理器，这是专为手持设备和一般嵌入式应用提供的高性价比和高性能的微控制器解决方案。该微处理器是基于ARM7TDMI 核技术的16/32位RISC 处理器，工作主频最高可达66MHz，具有功能强大的存控制器，可以方便地进行系统存的扩展。同时，该微处理器集成了一系列完整的通用外围器件。使系统的费用降至最低，消除了增加附加配置的需要，降低了硬件开发的难度。 4.3 存储系统的设计4.3.1 S3C44B0X 微处理器存储系统的特征 S3C44B0X 微处理器的存储系统具有以下一些主要特征 ： 1、支持数据存储的大/小端选择

13、（通过外部引脚进行选择）； 2、地址空间：具有8 个存储体，每个存储体可达32MB，总共可达256MB；3、对所有存储器的访问大小均可进行改变（8 位/16 位/32 位）； 4、8 个存储体中，Bank0Bank5 可支持 ROM、SRAM；Bank6、Bank7 可支持ROM、SRAM 和FP/EDO/SDRAM 等； 5、7 个存储体的起始地址固定，1 个存储体的起始地址可变（即Bank7 的存储起始位置根据实际系统配置而定）。 4.3.2 存储系统的配置机器人视觉系统中，需要保存嵌入式操作系统和应用程序。此外，还要保存图像采集模块获得的原始图像数据，以与图像处理模块进行图像处理时的中间

14、运算结果。因此，系统需要设计大容量的存，配置了2MB的FLASH 存储器以与8MB的SDRAM存储器，具体配置如下：表3.1 存储系统配置 1、Bank0 上的2MB FLASH 存储器用于保存嵌入式操作系统以与应用程序，相当于电子硬盘的功能。系统上电以后，PC 指针自动指向Bank0 的第一个单元，开始进行嵌入式系统初始化。系统初始化完成以后，便从 FLASH 存储器中将系统文件和用户应用程序复制到SDRAM 存中开始执行。 2、Bank6上的8MB SDRAM作为系统存，由于只有Bank6/Bank7 能支持SDRAM， 所以将SDRAM 接在Bank6 上。Bank1Bank5、Bank

15、7 中的部分存储体，作为系统外设的存储器映射之用，同时，为了便于系统扩展和升级，还有部分作为系统保留。 4.4 图像采集模块图像采集模块负责图像的采集，是机器人视觉的输入。图像采集系统包括：图像采集硬件、驱动软件和应用软件。硬件可提供图像捕获、定时和控制功能；驱动软件通过一个标准的 API 接口对硬件进行操作；应用软件可以将硬件和驱动软件结合到特定应用的解决方案中，完成特定的功能需求。 本次课题选用了万德数码技术开发的JPEG300 数码相机模块， JPEG300 数码相机将视频捕捉、视频压缩、8 位数据接口等功能集成在一块电路板上，可以满足各种嵌入式系统的要求。JPEG300 将原始图像压缩

16、为JPEG 格式，采用的是标准压缩算法。JPEG300的数据接口是8位I/O模式并行接口，数据输出速度约为22K字节/秒。JPEG300的数据输出速度是大致恒定的，因此其图像输出帧速取决于单帧图像的数据量，对于中等复杂图像，320240模式时约可达到3帧/秒的帧速，160128模式时约可达到6帧/秒的帧速。JPEG300 的接口引脚功能如表3.2 所示：表3.2 JPEG300 的接口引脚功能引脚功能说明如下： 1、CAPMODE 引脚用于设定采集模式， CAPMODE0，则输出图像分辨率为160128。 CAPMODE1，则输出图像分辨率为320240。 2、CAPEN 引脚用于允许或禁止J

17、PEG300 输出图像 CAPEN0，则禁止输出图像。 CAPEN1，则允许输出图像。 3、JPEGD0JPEGD7 并行数据输出8 位的图像数据 4、JPEGINT 从JPEG300 到微处理器的中断信号。JPEG300 数码相机与系统的接口如图3.4 所示。图4.4 JPEG300 数码相机与系统的接口4.5 电机驱动模块电机驱动模块负责将图像处理后的结果转换成机器人的执行机构需要的电压和电流。这一部分是嵌入式系统针对机器人导航而做的特殊设计。 机器人的运动本体和驱动模块采用积成电子系统开发的“未来之星机器人”，我们主要利用该机器人的驱动模块提供的开放式接口，与嵌入式系统的 PWM 接口进

18、行连接。驱动板上的控制接口主要分为两组，其中IN0、IN1、MOTOR1 为一组，IN2、IN3、MOTOR2为另一组。电机驱动模块的IN0信号线与S3C44BOX 微处理器的TOUT0 引脚连接，用来接收PWM0输出控制信号，实现电机1（机器人左轮）的转速控制；IN1信号线与S3C44BOX 微处理器的GPE4 引脚连接，通过程序控I/O口输出高电平或低电平，实现电机1（机器人左轮）的转向控制；同理，电机驱动模块的IN2 和IN3 信号线分别与S3C44BOX 微处理器的TOUT3和GPE7引脚连接，实现电机2（机器人右轮）的转速转向控制。 电机驱动模块与S3C44BOX 微处理器的接口如图

19、4.5 所示：图4.5 电机驱动模块与系统的接口五、机器人视觉的软件系统设计5.1 软件系统总体设计 机器人视觉的软件系统设计目标是，使得给定目标始终位于机器人图像视野的中央位置，保证稳定地跟踪给定目标。 基于机器人视觉系统的软件设计目标，对软件的结构进行了划分，机器人视觉系统的软件总体结构如图5.1 所示：图5.1 机器人视觉系统的软件总体结构图5.2 图像采集软件模块 这是机器人视觉的输入模块，负责驱动JPEG300 数码相机进行图像采集。为了正确的获得图像数据，需要对JPEG300 数码相机的时序进行分析。5.2.1 JPEG300 数码相机的时序与驱动 JPEG300 在电源供电后，部

20、有一个复位和初始化过程，约为1900ms。初始化完成后进入预备状态，JPEG300 循环检测采集使能 CAPEN 引脚。如果CAPEN1，表示可以进行图像采集，进而检测采集模式 CAPMODE 引脚，以确定图像分辨率，随后JPEG300 开始采集和压缩图像，并在图像数据总线JPEGD0JPEGD7 引脚上连续输出数据，每输出一个数据，就在数据传输中断 JPEGINT 引脚上产生一个中断信号，以通知S3C44B0X 微处理器读取数据。数据输出速度约为22K 字节/秒。 JPEG300 输出的是一个完整的 JPEG 文件，文件以“0xFF”、“0xD8”开始，并以“0xFF”、“0xD9”结束。S

21、3C44B0X 微处理器将接收到的“0xFF”、“0xD8”和“0xFF”、“0xD9”以与它们之间的数据按顺序保存下来，就得到了一个标准的JPEG 文件。S3C44B0X 微处理器还应该对接收的数据进行检查，当收到“0xFF”、“0xD9”时，表明文件结束，本次采集过程完成。随后，JPEG300 将重新回到预备状态。JPEG300只有在预备状态才会查询CAPEN引脚，只要发现CAPEN1就启动采集过程，即使随后CAPEN0，这个采集过程也会坚持完成，而不会终止。图5.2 JPEG300 数码相机时序图5.2.2 图像采集驱动程序图像采集驱动程序和中断服务程序流程如图5.3 所示：图5.3 图

22、像采集驱动程序和中断服务程序流程图 现对程序流程做简要说明： 1、S3C44B0X 微处理器与JPEG300 的I/O 接口初始化包括： GPC 口初始化，GPC6、GPC7 配置为输出口，初始化为低电平，上拉电阻全部有效；GPD 口初始化，GPD 口全部配置为输入口，初始化为低电平，上拉电阻全部有效；GPG 口初始化，GPG2 配置为功能口 INT2，作为外部中断信号的输入引脚，上拉电阻无效，上升沿触发。 2、S3C44B0X 微处理器中断使能 首先清除 INT2 的中断挂起状态，然后INT2 中断使能，准备接收JPEG300 的图像数据传输中断请求。 3、设置JPEG300 的采集模式，然

23、后使能数据采集 CAPMODE0，输出图像分辨率为160128； CAPEN1，允许输出图像数据。 4、S3C44B0X 微处理器接收JPEG300 采集的图像数据 驱动程序在这里等待JPEG300 产生的约 10K 次中断，即接收10K 大小的JPEG格式的图像数据，并将其保存到全局数组中，以备图像处理模块使用。JPEG300的中断服务程序负责中断数据的接收、中断信号的清除等操作。 5、JPEG300 的数据采集禁止 保持CAPMODE0 不变，输出图像分辨率为160128； CAPEN0，禁止输出图像数据。 6、S3C44B0X 微处理器的中断禁止 首先 INT2 中断禁止，然后清除INT

24、2 的中断挂起状态，禁止响应JPEG300的图像数据传输中断请求。 7、任务间同步 发送消息到图像处理模块，通知其进行图像处理，同时，图像采集驱动程序阻塞自己，等待图像处理模块完成图像处理后，发送过来的消息。 8、循环至第 2 步，直至达到指定的跟踪次数。5.3 图像处理软件模块这是实现机器人视觉的核心软件模块，需要完成的功能包括JPEG 图像解压缩、图像匹配等。 5.3.1 JPEG 图像压缩与解压缩 压缩编码大致分成三个步骤： 1、使用正向离散余弦变换(forward discrete cosine transform，FDCT)把空间域表示的图变换成频率域表示的图。 2、使用加权函数对D

25、CT 系数进行量化。 3、使用霍夫曼可变字长编码器对量化系数进行编码。 JPEG 解压缩主要包括以下三个步骤： 1、使用熵解码器对压缩图像数据进行解码； 2、对熵解码器生成的数据根据量化表进行逆量化处理，生成图像数据的频率域的表示； 3、对图像的频率域数据进行逆向离散余弦变换(Inverse discrete cosine transform，IDCT)，从而恢复出图像数据的空间域表示。 JPEG 算法框图如图5.4 所示：图5.4 JPEG 压缩、解压缩算法框图离散余弦变换(DCT)：对每个单独的彩色图像分量，把整个分量图像分成88 的图像块，并作为两维离散余弦变换DCT 的输入，通过DCT

26、 变换，把能量集中在少数几个系数上。图5.5 离散余弦变换 其中正向离散余弦变换(FDCT)使用下面的公式：(5.1) 它的逆变换(IDCT)使用下面的公式： (5.2)5.3.2图像匹配算法本系统中所采用的图像匹配算法是序贯相似性检测算法SSDA 算法，它是利用模板不在匹配点上时，累计误差增长很快；反之，则增长缓慢这一特性，从而较快的剔除不匹配点，减少运算量，从而提高了搜索速度。 设模板T在被搜索图S上平移，模板覆盖下的那块搜索图叫做子图，i,j是这块子图的左上角像素点在S 中的坐标，叫做参考点。算法描述如下：1、定义绝对误差值：(5.3) 其中： (5.4) (5.5) 2、取一个不变的阈

27、值。3、在子图中 随机选取像点，计算它同T 中对应点的误差 ，然后把这点的差值同其他点对的差值累加起来，直到累加 r 次误差超过则停止累加， 并记下累加次数r，定义SSDA 的检测曲面为(5.6) 4、把I (i, j ) 值最大的点定位匹配点，因为在这一点上需要很多次累加才能使总误差超过。 传统的 SSDA 算法是针对灰度图像的匹配，没有利用图像的颜色信息。针对彩色图像匹配的特点，对传统的SSDA 算法作了进一步的改进。 彩色图像的RGB 彩色空间采用三种基本颜色R（红）、G（绿）、B（蓝）的不同比例组合，合成所需要的任意颜色。在该模型中，红、绿、蓝三种基色分别用256 个阶调数值来度量，不

28、同阶调数值的这三种基色的组合，便形成了色彩丰富的颜色空间。对于彩色图像匹配，由于模板图像中 RGB 分量各自所占的比重不同，因此对图像匹配结果的影响也应该不同。模板图像中比重大的彩色分量应该在匹配过程中起相对重要的作用，而比重小的彩色分量在匹配过程中所起的作用相对较小。因此，定义不同颜色分量的权重系数, ,，分别表示每种颜色的像素值占整个图像像素值总和的比例。式中，模板大小为， , , 分别表示每个像素在不同颜色空间的的阶调值。(5.7) 然后，分别对模板图像和待匹配图像的RGB 彩色空间的每一维空间分别用SSDA算法进行计算，再定义整个彩色图像的SSDA 的检测曲面为：(5.8）从而，把 值

29、最大的点作为匹配点，这样充分利用了彩色图像的色彩信息，强调了模板图像中不同比重的颜色对匹配结果的贡献不同，提高了算法的效率和匹配的精确性。5.3.3 图像处理模块的设计图像处理模块的任务是，通过对图像采集模块获得的图像数据进行分析，得到给定目标相对于机器人视野中心位置的偏移值，从而给机器人运动控制软件模块提供指导机器人运动控制的依据。该模块的流程如图5.6 所示： 图5.6 图像处理模块流程图 5.4 机器人运动控制软件模块机器人运动控制软件模块采用基于分段控制思想的比例控制器，根据偏差值的大小，分为不同的控制段。在每一个分段，采用比例控制器，其控制规律为：(5.8） 式中， u(t) ：控制

30、器的输出，这里为PWM 信号； e(t) ：控制器的输入，这里为给定目标对于机器人视野中心的偏差值； Kp ：比例系数，根据分段的不同取值不同。 六、仿真调试分析静态图像偏移实验： 本课题的图像匹配跟踪算法是应用于嵌入式系统中的。我们首先在PC 机上，利用 VC+编写算法程序，对该算法进行修改调试，直至达到期望的目标功能后，再将其移植到嵌入式系统中，从而保证开发效率。在PC 机上，对JPEG300 数码相机采集到的给定目标有一定偏移量的图像序列进行处理分析，得到目标的偏移值，从而验证算法是否到达预期的功能。 经过计算，实时图像的匹配跟踪结果如表5.1 所示。其中，帧相关置信度表示模板图像与当前

31、匹配的目标图像的相似程度；目标当前坐标表示目标图像在当前实时图像中的位置；目标偏移量表示当前实时图中目标图像相对于上一帧实时图中目标图像的位移值。表6.1 图像匹配跟踪结果七、设计中的问题与解决方法本课题的研究成果只是初步实现了机器人视觉的功能，还有许多需要完善和改进的地方。在嵌入式系统硬件平台的设计上，可以选择运算速度更快、功能更强大，特别是选用带有 DSP 协处理器的微处理器。图像处理中的算法还可以深入研究，提出更快更好的适应嵌入式图像处理需要的算法，甚至可以考虑将图像处理算法“软件硬件化”，即将算法用专用的硬件逻辑实现（如FPGA），这样可以更进一步地提高系统的实时性。 开发过程中，采用了先将算法和程序在PC 机上仿真实现，调试验证无误后再移植到嵌入式系统中的方法，有效地解决了嵌入式软件开发调试困难的问题，提高了软件开发的效率。并且在开发过程中，采用模块化的思想，编写的软件层次结构清晰，各个模块具有高聚低耦合的特征，使整个系统具有良好的灵活性和开放性，便于进一步的扩展和升级。八、嵌入式系统学习心得 本课题设计的嵌入式系统应用于机器视觉导航的移动机器人中。实验结果表明，该系统能够稳定可靠的工作，实现了