论文基于嵌入式ARM的图像采集处理系统设计.docx

1、论文基于嵌入式ARM的图像采集处理系统设计摘要随着现代制造工业中微细加工技术的不断发展，对微细零件表面形貌测量的要求越来越高，具有较高横向及纵向分辨率的激光并行共焦显微系统可以突破光学衍射的极限要求,对物体表面进行无损检测及三维形貌重构。为了进一步实现光学系统的便携化、智能化需求，具有体积小、成本低、专用性强等一系列独特优点的嵌入式系统，无疑有着极好的应用前景。本文主要研制了一种基于ARM的便携式图像采集处理系统。论文主要以硬件设计和软件设计两大部分完成对系统的论述：硬件设计中，通过分析实际图像采集需求后总结设计的主要性能指标，确定了采集系统的主要控制平台和图像传感芯片，给出了总体的硬件设计方

2、案，并在此基础上完成了SCCB控制模块、图像数据捕获模块、串口调试模块等硬件接口模块的设计；软件设计中，完成了CMOS的驱动程序、图像数据采集的驱动程序、Bayer图像数据转换算法等软件设计工作，最后论述了静态图像采集系统相关调试、实验工作，结果表明此嵌入式图像采集系统基本达到预期目标，证明了设计的合理性和正确性。本系统一定程度上提高了低功耗微控制器图像采集的效率，将图像采集系统对硬件的依赖转化为设计人员的软件设计工作，相对于传统PC机+CCD的方案，不仅在体积、成本上具有明显优势，更体现出良好的柔性，便于今后的维护、优化。关键词：ARM，LPC2478,图像采集，便携式第一章 绪论 课题的研

3、究背景 课题来源随着现代制造工业的高速发展，特别是微细加工技术的不断进步，对零件的三维形貌进行快速准确的检测，逐渐成为现代仪器研究及测试方法的重要课题。在半导体技术、生物医学等领域，共焦显微术因其高精度、高分辨力、能够较容易对被测物三维形貌实现重构的特性从而得到较为广泛的应用。本论文来源于国家自然科学基金项目（NO.50775063），该项目研究的是微型器件三维形貌的测量系统。其中便利用共焦显微术【1】，实现了对微器件形貌的高精度、高分辨率及易实现成像数字化的测量。图1- 1 并行共焦测量原理图 图1- 2 光强位移曲线图并行共焦测量的原理图如图1-1所示。其中1为光源，2为微透镜阵列，3为分

4、光镜，4为CCD，5、6为凸透镜，7为微动台。光源发射的光在经过微透镜阵列分束后成为点光源阵列，通过透镜组成的远心光路在被测物面处成像，最后经由被测物面的反射，在CCD的像面成像（如图1-3），其中的点光源阵列面、被测物面及CCD像面彼此共轭。测量时，随着物面做Z向移动，成像于CCD像面的光斑大小发生改变，导致CCD上处在光斑区域中的感光像素所接受光强发生变化，因此可以得到该被测物点的光强变化曲线，如图1-2。曲线峰值所对应的横坐标值（值）即为该被测物点的正焦位置，把所有采样点的正焦位置找到后即可得到被测物面的表面形貌【2】。图1- 3 并行共焦局部图并行共焦显微系统用CCD接收光点阵列图像，

5、经过图像采集卡在PC机上显示。由于该系统体积大，不便于携带，满足不了一些在线检测需求，因此本学位论文的任务是为并行共焦显微系统研制一种体积微型化的图像采集系统。由并行共焦检测的方式及输出图像特征可知，需要设计的是一种能够采集黑白灰阶图像的静态数字图像采集系统。要达到微型貌测量的目的需要图像采集系统具有若干特性，具体归纳如下：系统结构简单、紧凑，便携性能好系统能够识别256或以上灰阶图像图像数据格式便于处理、显示系统采集时间不低于1帧/秒具有较大的存储空间本论文旨在设计一种具有上述特性的图像采集系统，可以对并行共焦光路输出的光强图像进行采集、显示，并具有较高的便携性、稳定性及可靠性。图像采集系统

6、内的图像传感模块和控制处理模块应具有一定的通用性，即图像传感器具有采集像素位深、数据格式、图像分辨率可选的多样化输出，控制处理部分具有可裁剪的多种总线接口模块。综上所述，所设计的便携式图像采集系统必须脱离PC机，因而采用了具有专用性、嵌入式、计算机性特点的嵌入式系统实现设计目标。本课题研究的基于ARM的便携式图像采集系统利用了嵌入式ARM平台多种功能接口、总线协议，掌握ARM微处理器的相关应用，为各种测试测量方法在便携式系统领域的应用打下坚实基础。 嵌入式系统概述1、嵌入式系统嵌入式系统被IEEE（国际电气和电子工程师协会）定义为“是一种用来控制、监视或者辅助仪器、机械操作的装置”。无论嵌入式

7、计算机技术如何发展，都改变不了其“内含计算机”、“嵌入到对象体系中”、“满足对象智能化控制要求”的技术本质，因此可以将嵌入式系统定义为：“嵌入到对象体系中的专用计算机应用系统”。嵌入式系统具有3个基本特点，即“计算机性”、“嵌入性”及“专用性”：“计算机性”是目标系统智能化、自动化控制的根本保证，内含微处理器的现代电子系统，方才能实现目标系统的计算机智能化控制能力；“嵌入性”则是专指起源于微型机、嵌入到目标对象系统进而实现对象体系智能控制的特性；“专用性”是指为了贴合对象控制需求或特定环境要求下的软硬件的裁剪性。嵌入式系统在很多产业中都得到了广泛的应用，包括消费电子、国防军事、工业控制等领域应

8、用的越来越广泛，从军用的导弹知道系统到民用的消费电子、智能家电、汽车，嵌入式系统无处不在。2、嵌入式处理器通用计算机处理器的系统拥有大量的应用编程资源、外设接口总线及先进的高速缓存逻辑，但也具有能源消耗大、产生热量高、成本尺寸大等不可回避的问题，因此诞生了为各种专用应用而设计的特殊目的处理器嵌入式处理器，主要分为以下四类：嵌入式微处理器：在应用中将微处理器装配在专门设计的电路板上，只保留和嵌入式应用有关的母板功能而换来系统体积和功耗的大幅减小，在功能上保留和标准微处理器一致的同时更在工作温度、抗电磁干扰、可靠性等方面得到增强。嵌入式微控制器：即单片机，就是将整个计算机系统集成到一块芯片中，一般

9、以某一微处理器内核为核心，芯片内部集成ROM、RAM、总线等必要功能和外设，是目前嵌入式系统工业的主流。嵌入式DSP处理器：对系统结构和指令进行了特殊设计，使其适合于执行DSP算法，编译效率较高，指令执行速度快，在数字滤波、FFT、谱分析等方面DSP算法大量进入嵌入式领域。嵌入式片上系统：将通用处理器内核作为SOC设计公司的标准库，用标准的VHDL等语言描述存储在器件库中，在定义出其整个应用系统并仿真通过后即可制作样品，大大优化了系统电路板体积、功耗和可靠性。1.2 图像采集技术的研究现状1.2.1 图像采集系统简介图像采集是将图像信息光电转化成便于计算机传输、存储的数字信号的过程。图像采集术

10、在现今应用最广泛的方向是视频应用，早在上世纪无声电影的出现便开启了视频应用的时代，近年来随着计算机技术、网络技术及图像处理、视频压缩等技术的不断发展很大程度上扩展了图像采集术在各种产业领域使用，并且面对多样化的应用方面出现了基于多种处理平台的图像采集系统。总的来说图像采集系统由光电转换和信号处理两大模块组成：光电转换模块：用来完成对成像光信号到电信号的转换，其中的主要转换器件从最早的光电二极管到现在的CCD、CMOS传感器的时代；CCD（电荷耦合器件）图像传感器，具有较高的信噪比和敏感度，功耗相对CMOS较大（3个以上电源电压），主要应用于消费级数码产品；CMOS（互补金属氧化物半导体）图像传

11、感器，原本是计算机系统内一种重要芯片，用来保存系统引导最基本的资料，后来被人们应用于影像传感器领域。前期无论在信噪比、动态范围等方面均不如CCD，主要应用于消费电子产业及高端图像传感领域。信号处理模块：根据系统应用级别、领域的不同而呈现多样化的趋势，如在工业检测方面多用AVR单片机，在民用级生产生活中多用图像采集卡和PC机，介于近年来嵌入式技术的快速发展，在工业领域、民生生活方面都有了广泛应用：DSP：高工作频率（500Mhz以上）、内含乘法器、在系统结构及指令进行特殊设计的DSP处理器在视频系统的应用尤其深入，不足之处则是相对较高的成本投入及较少的外设接口；FPGA：在ASIC（特定用途集成

12、电路）领域现今发展最为充分的平台，用标准VHDL硬件设计语言便可实现对任何芯片的仿真制造，特别善于对数字信号的逻辑处理；ARM：近年来随着工作频率和功能模块嵌入种类的不断提升，及特有的小体积、低功耗、接口丰富的特点在图像采集乃至视频监控领域崭露头角。1.2.2 嵌入式图像采集系统CMOS图像传感器内部集成了A/D，且随着近几年的不断发展，分辨率也不断提高，集成化程度高、功耗低、体积小的特点更使得CMOS模块在消费电子产业中的 、数码相机等大放异彩。结合了图像采集系统及嵌入式系统的利弊特点，人们逐渐将嵌入式技术应用于图像采集领域，充分将嵌入式技术的专用性、便携性等特征在图像采集方面得到体现，也带

13、来了图像采集技术在工业计量、生物医学、多媒体等多领域上的飞速发展。现今较为常用的嵌入式图像采集方案主要有以下3种：1、图像传感器 + FPGA + SRAM2、图像传感器 + DSP + SRAM3、图像传感器 + ARM + SRAM方案1利用FPGA（现场可编程门阵列）可以较为方便的实现图像采集中多种同步信号的逻辑处理；方案2中的DSP（数字信号微处理器）所具有的高运行速度、强大数据处理能力使之在图像采集领域最先得到发展；而相对于前面两个方案，ARM开始在图像采集领域并未得到很好的运用，但近几年尤其在工业检测、便携图像采集等方向越来越得到人们的重视，随着嵌入式制造工艺的飞速发展，ARM的工

14、作频率、数据处理能力也得到大幅提高，加上其含有丰富的接口模块，非常适合用于在工业监控、检测方面。1.3 课题研究的主要内容本设计的主要目的是构建基于ARM的图像采集系统，在满足共焦光路需求的前提下能够实现系统稳定的静态图像采集。论文研究的内容主要由硬件设计、软件设计、实验三大部分构成，具体如下：1、硬件设计：首先根据课题需要选择合适图像传感器件及嵌入式平台，其次完成具有图像数据缓冲、CMOS传感器控制及CMOS高频同步信号快速捕获的接口电路设计，最后完成便携系统与上位机的调试模块接口设计。2、软件设计：基于各个硬件模块完成相应的软件驱动设计，以完成ARM和CMOS的初始化、缓冲采集模块的驱动，

15、及原始图像数据阵列的插值转化。3、实验：首先测试系统硬件连接是否正确无误，其次分模块的加入驱动软件验证各功能模块是否能够实现预期功能，包括ARM对CMOS配置实验、数据SDRAM存储读写实验、图像采集有效像素点数实验、ARM采集与LCD显示速率匹配实验，最后对系统总体的静态图像采集进行错帧率实验，从而先分后总的验证系统图像采集工作的正确性、可靠性。第二章 系统硬件电路设计2.1 图像采集系统硬件总体架构图2- 1 系统工作流程图图2-1为本图像采集系统的工作流程图。并行共焦光学系统为系统光学成像源，图像捕获模块选用CMOS图像传感器OV7620，控制、处理显示模块选用ARM7开发板SMART2

16、400，软件开发、实验调试平台用PC机完成。由图可以初步了解嵌入式图像采集处理系统的整个流程：当光学系统成像完成，用CMOS图像传感器完成对图样的获取，图像数据经过缓冲后进入ARM开发板进行差值处理，进而直接在内部存储、显示。期间可通过串口连接到PC机进行调试、处理。系统总体结构框图如图2-2。图2- 2 系统总体结构框图2.2 系统核心器件概述2.2.1 基于ARM7TDMI的LPC2478开发板1 ARM简介ARM（Advanced RISC Machines）公司是一家知识产权（IP）供应商，与一般的半导体公司最大不同是ARM公司只通过转让设计方案，由合作伙伴公司生产各色芯片来实现企业价

17、值，自身并不向终端用户售卖实体芯片。ARM公司利用这种双赢的伙伴关系飞速成为了全球RISC微处理器标准缔造者，该模式同样使得用户大为受惠，当用户掌握一种ARM内核结构及开发手段边可以使用购买ARM公司的其他伙伴公司生产出的相同ARM内核的芯片。ARM架构是ARM公司面对市场设计首款低成本、低功耗的RISC微处理器，其具有非常高的性价比和代码密度以及出色的实时终端响应，并且芯片料件占用硅片面积极少，因此成为嵌入式系统的理想选择，应用范围充斥在消费电子、工业测量控制、医疗器件诊断等多种产业，带来了无可估量的价值。2 LPC2400系列ARM概述LPC2400系列ARM一款具有极高集成度并且以ARM

18、7TDMI-S为内核的微控制器，支持支持实时仿真和嵌入式跟踪，处理器时钟为72MHz。LPC2400系列ARM为多种类型的通信应用提供了一个理想的解决方案。它包括1个10/100以太网媒体访问控制器（MAC）、1个带4KB终端RAM的USB全速设备/主机/OTG控制器、4个UART、2路CAN通道、1个SPI接口、2个同步串行端口（SSP）、3个IIC接口和1个IIS接口。同时还带有1个4MHz的片内振荡器、98KB RAM（包括64KB局部SRAM、16KB以太网SRAM、16KB GPDMA SRAM和2KB电池供电SRAM）以及1个外部存储器控制器（EMC）来支持上述的各种串行通信接口。

19、这些特性使得本设备非常适用于通信网关和协议转换器。除此以外，还有许多串行通信控制器、多用途的时钟功能和存储器特性，包括有不同的32位定时器、增强型告诉GPIO。LPC2400系列ARM链接64个GPIO管脚到基于硬件的向量中断控制器（VIC），这表示了这些外部输入可产生边沿触发终端。所有的这些特性使LPC2400系列ARM特别适用于工业控制和医疗系统。LPC2400系列的主要特性有：ARM7TDMI-S处理器，运行频率高达72MHZ。512KB片上Flash程序存储器，具有在系统编程（ISP）和在应用编程（IAP）功能。Flash程序存储器位于ARM局部总线，可用于高性能的CPU访问。有双AH

20、B总线系统（Dual AHB System）。这使得某一外设资源的存取操作、程序执行操作可以和另一外设资源的存取操作和程序执行操作并行不悖，从而使得各高频外设能同时运转而不引起总线堵塞。EMC支持诸如RAM、ROM和Flash的异步静态存储器设备以及动态存储器设备（例如SDRAM）。先进的向量中断控制器（VIC），支持多达32个向量中断。仅LPC2470/78：LCD控制器，支持STN和TFT显示屏的显示有专用的DMA控制器可选择显示分辨率（最高可达1024768像素）。支持高达24位的真彩色模式串行接口：Ethernet MAC带有MII/RMII接口和相关的DMA控制器，这些功能位于独立的

21、AHB总线上USB2.0全速双端口设备/主机/OTG控制器，带有片内PHY和相关的DMA控制器4个带小数波特率发生功能的UART。其中1个带有Modem控制I/O，还有一个带有IrDA。除此之外，全部UART都带有FIFO3个I2C总线接口（1个开漏管脚，另外2个为标准输出管脚）CAN控制器，带有两个通道其他外设，包括10位AD、2个PWM模块、RTC等。3 LPC2400系列ARM体系架构LPC2400系列ARM是由支持仿真的ARM7TDMI-S CPU、用于紧密耦合并高速访问片内主要存储器的ARM7局部总线、连接到高速片内外设和外部存储器的AMBA(Advanced Microcontro

22、ller Bus Architecture) AHB4以及连接到其他片内外设功能的AMBA APB5构成的.LPC2400系列ARM始终按照小端字节顺序进行配置。LPC2400系列ARM具有两个AHB总线，这使得以太网模块的操作不受其它系统操作的干涉：第一个AHB成为AHB1，包含VIC（中断向量控制器）、GPDMA控制器和EMC；第二个AHB成为AHB2，它只包含以太网模块和一个相关的16KB SRAM。另外，该处理器还提供一个总线桥接器，允许第二个AHB作为AHB1的总线主机，还允许把以太网缓冲区的扩展空间延伸到片外存储器、或者是AHB1所在的未使用存储空间。LPC2400系列ARM的结构

23、框图见图2-3，由于开发板所含模块较多，只列出与本系统相关的模块。图2- 3 LPC2400开发板功能模块图2.2.2 OV7620图像传感器1 CMOS概述CMOS（Complementary Metal-Oxid Semiconductor）全称是互补性氧化金属板导体，与CCD（Charge Coupled Device）图像传感器的作用相似，都是使用高感光度的半导体材料制成，其作用是把光子信号转变成相对应的电荷信号，再经过模数转换芯片及其他相关处理芯片变成易于传输、处理、存储、显示的数字信息或模拟信息。与CCD的由马赛克网格、聚光镜片及底部铺垫电子线路矩阵的结构不同，CMOS的机理和一般

24、计算机芯片几乎无差，即利用硅、锗这两种元素组成半导体，并使其在CMOS上共存着带N（负电）和P（正电）级的半导体，以上两个互补效应所产生的电流即可被处理芯片转化、压缩、解读成影像，原理图如图2-4：图2- 4 CMOS传感器原理图由图可看出，感光元件的核心结构上每个单位像素点均由一个感光电极、一个电信号转换单元、一个信号传输晶体管及一个信号放大器所组成。当CMOS感受到光线经光电转换后使电极带上正负电荷，由互补效应所产生的电信号（电流或电势差）被CMOS逐个从像素中顺次提取到外部的模数转换器。由于在早期的设计使CMOS在处理快速变化图像时，因为电流变化过于频繁会产生过热的现象导致CMOS容易出

25、现杂点，但在近年来人们的不断努力下已经对CMOS技术作出了革命性变更设计，出现了片面消除噪点技术、全像素电荷转移技术、传感器模拟处理技术等不断更新CMOS图像传感技术并取得相当好的效果。2 OV7620简介由第一章可知课题所设计的是一种能够识别256灰阶黑白的静态数字图像采集系统，考虑嵌入式ARM7的LPC2478开发板LCD分辨率（320*240）、最大bpp（bit per pixer）不超过24位的硬件限制，选取了OmniVision公司的OV7620 CMOS图像传感器。OV7620是一款具有较高分辨率（640*480）、逐行/隔行扫描模式可选的CMOS彩色/黑白数字图像传感芯片。数字

26、输出端口支持RGB RAW/YUV的8/16bpp数字格式输出。其中的SCCB编程模式可以实现对摄像头功能寄存器的控制。1） OV7620性能与引脚OV7620性能参数如下：326，688像素点，1/3英寸，VGA/QVGA分辨率格式输出信 噪 比： 48 dB最低照度：2.5 lux at f1.4 (3000k)扫描模式：逐行扫描/隔行扫描数字格式：YcrCb 4:2:2，GRB 4:2:2，RGB Raw Data8/16 bit视频数据：CCIR601,CCIR656规范，ZV端口输出SCCB（Serial Camera Control Bus）接口电子曝光/增益/白平衡控制图像增强：

27、亮度，对比度，伽马，饱和度内/外部同步设计帧曝光/行曝光可选5伏系统，低功耗OV7620采用48脚LCC封装，其引脚排列如图2-5，管脚功能描述如表2-1所示。引脚编号引脚名称描述1SVDD感应电源（5V）2RESET芯片复位（高复位）3AGCEN自动增益控制使能4FREX帧曝光控制输入5、10VrEQ/VrS内部参考电压（需对地接0.1uF电容）6、7、15、43AGND模拟地8、14、44AVDD模拟电源（5V）11VcCHG内部参考电压（需对地接1uF电容）12SBB为0选择SCCB编程模式13VTO视频模拟输出（NTSC）16VSYNC垂直同步信号（低电平表征一帧图有效）17FODD行

28、场同步信号18HREF水平参考输出（控制开窗大小）1926UV07数字输出UV通道27、28XCLK1/2分别是片上输入/输出视频振荡器29DOVDD数字电源（5V）30、31DGND数字地32DOVDD数字IO口电源引脚（5V/3.3V）33PCLK像素时钟输出（高电平数据有效）3441Y0Y7数字输出Y通道42CHSYNC复合同步信号45SIO-1SCCB串行时钟输入46SIO-0SCCB串行数据表2- 1 OV7620管脚功能描述表图2- 5 OV7620引脚图2） OV7620内部结构OV7620内部集成一个664*492分辨率的图像阵列，一个模拟信号处理器（mux），双10bit的A

29、/D转换器，模拟视频多路复用器（analog processing），数字格式器（digital data formatter）及视频端口，SCCB接口及其寄存器。其中数字控制包括时序模块、曝光模块和白平衡。图像传感芯片OV7620的内部功能模块图如图2-6。图2- 6 OV7620内部原理框图OV7620正常工作时，图像的光电转化在1/3英寸的感光元件上完成，同时在图2-6左下方的视频时序发生模块包含的各种同步信号（如VSYNC、HREF、PCLK）控制模拟信号处理器，定时的对感光阵列下方的感应电路行列像素点进行捕获，与此同时框图右下方的受SCCB接口编程控制的寄存器模块对模拟信号处理器的数

30、据格式控制，可选进入不同数据输出格式的多路复用器（mx），进而通过数字端口（Y/UV通道）或模拟测试端口（VTO）输出。3） OV7620图像采集方法CMOS图像阵列的设计是建立在逐行传送的扫描场读出系统和带同步像素读出电路的电子快门之上6。电子曝光控制算法规范则是建立在目标图像亮度基础上，即当背景光线在图像传感器正常范围内时，一般结果会比较理想；而当景象光线接近极限值甚至超出，则应该通过AEC自动曝光控制器的黑白比调节并使之满足应用要求。OV7620与输出图像数据相关的有4路同步信号：垂直同步信号VSYNC、水平参考同步信号HREF、像素时钟信号PCLK、奇偶场同步信号FODD。其中FODD

31、一般用于隔行扫描中，二分频即为VSYNC，在本设计中不予考虑。图2- 7 OV7620同步信号时序图各同步信号时序如图2-7。一般的图像采集方法是依靠VSYNC、HREF和PCLK3个同步信号来提示MCU捕获有效的图像数据，大致的流程为：VSYNC用来判断一帧图像数据的开始，其上升沿表示的是一帧图像的到来，之后的下降沿则提示外部电路一帧有效图像数据开始；HREF是判断一行有效像素数据的依据，高电平时Y和UV通道才输出有效数据，通过示波器观察，HREF与HSYNC（水平同步信号）频率及波形几近相同，选用HREF而非HSYNC来判断一行有效数据，是考虑到对OV7620修改HREF，还可更改OV7620输出图像的开窗大小，使采集系统具有更大的灵活性和适用性；PCLK则是判断一个像素数据有效的信号，其每个负跳沿驱动图像传感器更新图像数据并在正跳沿时稳定。值得注意的是，相对其他同步信号及外部微控制器，PCLK的频率很高，而且通过示波器查看其波形呈现三角波，高电平即有效数据时间段很窄，而PCLK又是直接与每个像素的数据挂钩，因此此处需要用特殊方法，具体在