基于FPGA的图像的采集与显示.docx
《基于FPGA的图像的采集与显示.docx》由会员分享，可在线阅读，更多相关《基于FPGA的图像的采集与显示.docx（54页珍藏版）》请在冰豆网上搜索。
基于FPGA的图像的采集与显示
基于FPGA图像的采集与显示
学生姓名：
学生学号：
院（系）：
电气信息工程学院
年级专业：
指导教师：
助理指导教师：
二〇一五年五月
摘要
随着科技社会的飞速发展，数字图像采集与处理系统在科学研究、工业生产，日常生活等众多领域得到越来越广泛的应用，具有广阔的应用前景和研究价值。
在今天，具有图像显示功能的电子产品越来越多，由可视电话、数码相机，ipad等消费电子产品到门禁系统、数字视频监视等工业控制以及安防产品，处处显示着数字图像采集与处理系统的重要性。
而针对于图像的采集与处理ARM、DSP、FPGA各有所长，其中FPGA的并行高速精确的处理在通信领域、图像处理、大屏显示等方面有着得天独厚的优势。
基于FPGA可编程器件的可编程特性，采用FPGA进行设计的图形采集系统有良好的可扩展性和相对稳定的硬件结构，利用软件编程和硬件逻辑电路来实现图像采集的软件算法，在很大程度上能够提高图像识别速度和系统的体积，大大节约了生产成本。
本次设计利用OV（OmniVision）公司生产的CMOS7670摄像头进行图像的的采集以及简单的处理，Hynix公司的SDRAM芯片H57V2562GTR—75C做图像的临时存储，FPGA芯片采用的是Altera公司旗下的Cyclone系列芯片第四代产品EP4CE6F17C8N，利用其并行高速精确的优势实现640*480*60fps，每秒共30M带宽的VGA显示。
此次设计的目的是为了将数字图像采集与显示等功能集成在一块单板上。
利用本系统的电路板对图像进行采集、缓存以及通过VGA实现实时显示，在使用过程中摄像头能够正常实现图像采集，SDRAM能够顺利完成图像的存储与读取，FPGA芯片以及程序能够保证整个系统正常运行，并且在VGA显示时图像没有错位和乱码的产生。
关键词图像的实时采集与显示，FPGA，VGA显示
ABSTRACT
Withtherapiddevelopmentofscienceandtechnologysociety,thedigitalimageacquisitionandprocessingsysteminscientificresearch,industrialproduction,dailylifeandsoonmanyfieldsmoreandmorewidelyused,hasabroadapplicationprospectandresearchvalue.Today,whichhasthefunctionofimageshowsmoreandmoreelectronicproducts,byvideophone,digitalcamera,theconsumerelectronicsproductssuchastheentranceguardsystem,industrialcontrol,suchasdigitalvideosurveillanceandsecurityproducts,showstheimportanceofdigitalimageacquisitionandprocessingsystem.AndforimageacquisitionandprocessingofARM,DSP,FPGAstrengths,includingtheFPGAparallelhigh-speedpreciseprocessinginthefieldofcommunication,imageprocessing,display,etc,hasauniqueadvantage.
BasedontheFPGAprogrammablefeaturesofprogrammabledevices,usingFPGAtodesignthegraphiccollectionsystemhasgoodscalabilityandrelativelystablehardwarestructure,softwareprogrammingandhardwarelogiccircuitisusedtorealizeimageacquisitionsoftwarealgorithms,intheverygreatdegreecanimprovetherecognitionspeedandthevolumeofthesystem,greatlysavesthecostofproduction.ThisdesignusingtheOV（OmniVision）companyproduces7670CMOScameraimageacquisitionandprocessing,simpleHynixSDRAMchipH57V2562GTR-75cfortemporarystorageoftheimageandtheFPGAchipUSESAlteracompany'sfourthgenerationproductEP4CE6F17C8Cycloneserieschip,usingtheadvantageofitsparallelhigh-speedpreciserealizationof640*480*60
FPS,VGAdisplay,atotalof30mbandwidthpersecond.
Thepurposeofthisdesignistointegratethefunctionsuchasdigitalimageacquisitionanddisplayonasingleboard.Thecircuitofthissystemisusedtoanalysetheimageacquisition,caching,andthroughtheVGAdisplayinrealtime,intheprocessofusingnormalcameraisabletoachieveimageacquisition,SDRAMwouldbeabletocompletetheimagestorageandread,theFPGAchip,andprocedurestoensurethenormaloperationofthewholesystem,andwhentheVGAdisplayimagewithoutdislocationandgarbled.
Keywordsimagereal-timeacquisitionanddisplay,theFPGA,VGAdisplay
1绪论
1.1课题背景
在如今先现代电子产品设计的各个领域和系统中，EDA技术的发展和应用得到了很大普及。
EDA技术的飞速发展，主要得益于可编程逻辑器件的长足发展和日益成熟。
可编程逻辑器件作为一种半定制集成电路，在器内部集成了大量的基本逻辑单元电路，设计师门通过编程来改变其内部的逻辑关系或者连线，进而得到所需要的电路设计功能。
可编程逻辑器件作为一种新型的逻辑器件，速度快，集成度高，能够很好的完成用户定义的功能，还可以实现加密和重新定义编程，且其允许的编程次数更是可以达到上万次。
可编程逻辑器件的出现，改变了传统数字系统的设计方法，在简化了硬件系统，降低成本的同时还提高了系统的灵活性和可靠性。
因此，自20世纪70年代问世以来，受到了广大工程师的青睐，广泛应用于工业控制，仪器仪表，通信设置和医疗电子仪器等众多领域，为EDA技术的发展开创了广阔的空间。
在图像采集与处理系统中，应用得比较广泛的有DSP,FPGA和专用集成电路芯片。
就应用范围而言，DSP的应用最为广泛，它的硬件系统和指令结构是专为数字信号处理而设计，在图像处理算法方面有非常大的优势，尤其是它的乘法、加法操作非常适合图像算法的实现，能够很好的实现滤波卷积等操作。
然而，DSP造价昂贵，因而设计成本相应有很大增加，对于一些对成本价格敏感，对图像处理的要求又不是很高的场合，DSP有很大的使用局限性。
ASIC专用集成芯片，体积小，功耗低，但是只能适用于专用的场合，且开发不够灵活，可移植性较差，当需要改变图像处理的算法的时候，只能重新设计芯片，导致开发周期延长，成本升高。
随着硬件集成度的不断提高，FPGA系统的功能更加强大，具有了实现宏函数的嵌入式阵列以及实现普通功能的逻辑阵列，正好解决了DSP和ASIC所面临的问题。
为了满足系统对不同的速度的要求，FPGA芯片设计采用不同的速度等级，用户可根据系统的具体要求，选择合适的芯片。
1.2国内外研究现状、水平
跟随微电子技术和图像处理技术的发展，采用大规模集成电路或专用芯片取代计算机的脱机图像处理系统应运而生。
而高速度、大容量的FPGA和SOPC技术的出现，图像采集和处理又有了一种新的解决方案。
在FPGA中，一般都内嵌有可配置的PLL、RAM、、TVDD、LVDS和硬件乘法累加器等模块。
用FPGA来进行数字信号的处理可以很好的解决以往数字信号处理过程中遇见的并行性和顺序性的矛盾，直至速度4问题的解决。
而且FPGA拥有利灵活的可配置性，使得其组成的
“DSP系统”易于修改和测试。
目前，在图像处理方面，市场上已经有了很多车鞥书的IPCore，如颜色空间转换，2D滤波器，JEPG图像编码解码器等。
利用FPGA来实现“DSP”系统已经十分的普遍。
应用在实时图像处理、联合战术无线电通信等信通中。
最早的图像采集处理了系统是由一些国外的跨国企业引入，我国在图像采集与处理这方面的起步比较晚，但随着国内科技水平的不断提高，渐渐的，我国一些厂家也开发出属于自己的图像采集处理系统，在当时，主要是应用于机器视觉，工业检测等方面，随着这些年科技的发展，图像采集系统无论是在硬件设备还是图像算法方面都有了很大的提高，但是如何将其应用到更广泛的领域，还是面临着许多需要解决的问题，如图像采集算法复杂，因而处理的时间过于冗长，导致对硬件的要求非常苛刻。
图像采集系统造价高，这也是导致其不能得到很好应用的原因。
使用Altera公司FPGA内嵌SOPC架构完成图像的采集、处理与显示功能，在国内已将发展了很长一段时间，利用Altera的技术支持可以让工程师使用FPGA内部硬件资源和内部的LE进行外部设备的驱动开发，大大减少了硬件设计的复杂性。
利用FPGA实现数字信号处理其最显著的特点是高速性能很好，与用软件方式控制操作和运算的系统相比，纯硬件系统有着天然的速度优势，因为软件是通过顺序执行的方式来完成控制和运算，而用硬件描述语言描述的系统是以并行的方式工作。
国内外对基于FPGA的数字信号处理的需求一直呈现上升趋势。
1.3图像采集技术的发展趋势
数字图像处理起源于20世纪20年代，目前已经广泛的应用于航空航天，军事，科学研究，工农业生产等各个领域，成为一门引人注目、前景远大的新型学科，在现今人们的生活中发挥着越来越大的作用。
在20世纪60年代，数字图像处理形成了一门学科，早期的图像处理主要是以改善图像质量为主要目的，以人为对向，最终达到改善人的视觉效果的目的。
第一次获得实际成功应用的例子是美国喷气推进实验室对航天探测器徘徊者7号在1964年发回的几千张月球照片进行图像处理，并计算了太阳位置和月球环境的影响，由计算机成功的绘制出了月球表面的地图，并在此进一步处理更大量的照片，最终获得了月球的地形图，彩色图以及全景镶嵌图，为人类的登月计划奠定了坚实的基础，同时推进了数字图像处理这门学科的诞生。
随着图像处理技术以及计算机技术和人工智能、思维科学研究所的飞速发展，数字图像处理正在向更高、更深层次发展，人们正在研究如何用计算机系统解释图像，以期实现类似人类视觉系统理解外部世界。
世界上很多国家，特别是发达国家投入了大量的人力、物力到这项研究中，且取得了重要研究成果。
70年代末MIT的Marr提出的视觉计算理论就是其中之一，这一理论成为了后来计算机视觉领域多年的主导思想。
图像理解虽然已经取得了不小的进展但是就它本身而言，仍然是一个比较难的研究领域，存在了很多的困难，因为，人类本身对自己的视觉过程至今还了解甚少，故计算机视觉是一个有待人们探索的新领域。
也正是因为如此，图像的处理技术受到世界各地的广重视。
当今世界，图像处理面临的主要任务还是研究新的处理处理方法，构造新的处理系统，开拓更广泛的应用领域。
2方案论证与选择
基于FPGA的图像的采集与处理系统，其核心是利用FPGA芯片的并行高速精确的优势实现图像的采集与处理，而对于图像采集与处理系统来讲，图像的采集速度，系统对图像的处理速度，图像显示时所能达到的分辨率和帧率、图像显示的稳定度、图像显示的方式的选择以及成本显得尤为重要。
下面我们将就基于FPGA的图像采集与处理系统进行方案讨论。
2.1系统方案设计
该图像的采集与显示系统是由图像采集、芯片处理和显示系统组成。
通过摄像头对图像进行采集，芯片对采集到的信号进行处理然后通过与之相连的显示屏进行显示，实现图像的实时采集与显示。
对于图像的采集问题，主要是与摄像头的选取有关，不同摄像头之间会有不同的差距，而对于显示问题，不同的输出模式，输出后图像的质量也会有不同，下面我们就这两方面进行分析与论证。
设计方案一：
设计方案二：
设计方案三：
设计方案四：
2.2系统方案选择
方案分析：
对于上述四种方案，可以分为两个大类进行区别，分别是不同模式的摄像头的选取和不同的输出模式的选择。
摄像头现在常用的有两类摄像头：
CCD（ChargeCoupledDevice的缩写即电荷耦合器件）摄像头，它是一种特殊半导体器件，上面有很多感光元件，具有将光信号转变为电信号的作用；CMOS（ComplementaryMetalOxideSemiconductor即互补金属氧化物半导体）摄像头，是一种采用CMOS图像传感器的摄像头；衡量摄像头性能好坏主要是从像素质量，尺寸，灵敏度，信噪比等指标来进行考虑。
二者对比，CCD成像效果更加清晰逼真，但是更耗电，而CMOS则具有低成本，低耗电以及高整合度的优点。
传输格式这里有两种选择，分别是YUV和RGB656。
RGB和YUV都是色彩空间，用于表示颜色，两者可以相互转化。
RGB是从颜色发光的原理来设计定的，利用红绿蓝三基色的混合达到彩色图像显示的效果，是最常用的一种方案。
YUV（亦称YCrCb）是被欧洲电视系统所采用的一种颜色编码方法（属于PAL），对于单纯处理灰度图图像一般选用YUV，YUV有不同的压缩格式，相较于RGB，它最大的优点在于只需占用极少的带宽。
经过仔细的研究和反复的论证，，我最终选择了第三种方案作为本次课题基于FPGA的图像的采集与显示电路设计。
2.3本课题的技术指标及主要任务
本次设计是为了设计出一个基于FPGA的图像的采集与VGA实时显示的系统，利用OV7670摄像头实现对数据的直接采集，FPGA芯片实现摄像头引脚上输出数据的读取，数据在SDRAM中的存储和读取，以及送入VGA接口，在带VGA接口的显示器上实现图像的同步显示功能，系统总体结构简单，体积小，工作能力强，能够适应各种复杂的环境。
图像的实时显示在各类工作环境下都能够达到正确显示，抵抗周围干扰，在显示时不会出现图像的错位以及乱码现象。
本设计中指标要求如下：
1.利用OV7670摄像头模块能正确实现图像的采集；
2.利用SDRAM器件H57V2562GTR—75C能够实现数据的同步动态存储与读取；
3.利用芯片EP4CE6F17C8N能够实现对摄像头的初始化与采集信息的处理，能够将摄像头采集到的信息送入SDRAM中暂存，根据VGA显示器的需要将暂存的数据读取出来送显示器显示。
4.能够根据实际情况去除行、场消隐数据，根据内容的多少对数据进行裁剪，以适应显示器显示的大小,并且在图像实时显示时无错位以及乱码等情况。
3系统的硬件设计
3.1系统原理及设计框图
如图3.1所示就是本次课题的设计结构框图，它最重要的模块主要分为四大部分，分别是ov7670图像采集模块，SDRAM数据同步动态存储模块，FPGA芯片主程序数据处理模块，以及实现VGA的同步显示模块。
对于FPGA来说，它作为中央处理芯片，需要在整个系统运行的过程中读取摄像头所采集到的数据，并且送至SDRAM进行，同时读取SDRAM中的数据根据实际情况去除行、场消隐数据，根据内容的多少对数据进行裁剪，以适应显示器显示的大小，避免显示时图像的错位以及乱码等情况。
其原理结构图如下图2.1所示。
图3.1系统的原理结构图设计
3.2FPGA芯片的选择与其性能分析
3.1.1FPGA概述
FPGA是Field－ProgrammableGateArray的缩写，即现场可编程门阵列，是可编程器件PAL、GAL、CPLD等进一步发展的产物。
作为专用集成电路（ASIC）领域中的一种半定制电路出现，目的是为了解决了定制电路的不足，同时克服了原有可编程器件门电路数有限的缺点。
FPGA采用逻辑单元阵列LCA这样的一个概念，包括输出输入模块IOB、可配置逻辑模块CLB和内部连线三个部分。
FPGA利用的是小型查找表来实现自己组合逻辑的功能，每个查找表会连接到一个D触发器的输入端，通过触发器再来驱动其他逻辑电路或者驱动I/O，由此构成既可以实现组合逻辑功能又得以实现时序逻辑功能的基本逻辑单元模块，在这些模块间利用金属连线连接到I/O模块或相互连接。
FPGA逻辑通过内部静态存储单元加载编程数据来实现，储器单元中存储的值决定逻辑单元的逻辑功能以及模块与I/O间或各模块之间的联接方式，并最终决定FPGA实现怎样的功能，FPGA允许用户无限次的编程。
现在市场上的FPGA公司主要是Xilinx公司和Altera公司，此次设计拟定采用的是Altera公司的Cyclone第四代EP4CE6F17C8N芯片。
3.1.2Cyclone系列芯片介绍
Cyclone芯片是Altera公司的一款低成本、中等规模的FPGA芯片，与Altera其他的主流器件相比，它通过去掉MegaRAM，DSP模块，降低LVDS接口速率等指标的方式，在可适应大多数设计的要求的基础上还分担了用户所面临的成本压力。
Cyclone的第四代产品CycloneIV系列包括两个系列:
CycloneIVE系列和CycloneIVGX系列,具有低功耗的、低成本的特点,CycloneIV器件还集成了一个可选择的低成本收发器，在不影响性能的前提下，节省功耗以及成本。
对于工业、广播、无线、有线，用户及通信等行业中的低成本的小型应用，CycloneIV器件在降低成本的同时产品又能满足不断增长的带宽要求，无疑是系统设计师最理想的选择。
CycloneIV器件系列主要特性:
■低成本、低功耗的FPGA架构：
■6K到150K的逻辑单元
■高达6.3Mb的嵌入式存储器
■高达360个18×18乘法器，实现DSP处理密集型应用
■协议桥接应用，实现小于1.5W的总功耗
■高达3.125Gbps的数据速率
■8B/10B 编码器/ 解码器
■8-bit或者10-bit位物理介质附加子层（PMA）到物理编码子层（PCS）接口
■字节串化器/解串器（SERDES）
■速率匹配FIFO
■公共无线电接口（CPRI）的TX位滑块
■动态通道重配置以实现数据速率及协议的即时修改
■静态均衡及预加重以实现最佳的信号完整性
■每通道150mW的功耗
■灵活的时钟结构以支持单一收发器模块中的多种协议
■高达256-byte的有效负载
■一个虚拟通道
■2KB重试缓存
■4KB接收（Rx）缓存
■PCIe（PIPE）Gen1×1,×2,和×4（2.5Gbps）
■千兆以太网（1.25Gbps）
■三倍速率串行数字接口（SDI）（高达2.97Gbps）
■Basic模式（高达3.125Gbps）
■高达840Mbps发送器（Tx）,875MbpsRx的LVDS接口
■支持高达200MHz的DDR2SDRAM接口
■支持高达167MHz的QDRIISRAM和DDRSDRAM
■每器件中高达8个锁相环（PLLs）
CycloneIV器件采用了与成功的Cyclone系列器件相同的核心架构。
这一架构包括由四输入查找表（LUTs）构成的LE,存储器模块以及乘法器。
每一个CycloneIV器件的M4K存储器模块都具有4Kbit的嵌入式SRAM存储器。
CycloneIV器件中的乘法器体系结构与现有的Cyclone系列器件是相同的。
嵌入式乘法器模块可以在单一模块中实现一个18×18或两个9×9乘法器。
Altera针对乘法器模块的使用提供了一整套的DSPIP，其中包快速傅里叶变换（FFT），括有限脉冲响应（FIR）和数字控制震荡器（NCO）功能。
Quartus®II设计软件中的DSPBuilder工具集成了MathWorksSimulink与MATLAB设计环境，从而实现了一体化的DSP设计流程。
表3.1Cyclone芯片系列各项资源比较
FPGA芯片型号
内核工作电压
LEs
总共I/O
嵌入式存储器
嵌入式乘法器
PLL锁相环
全局时钟CLK
第二代：
T144表示芯片一共144个脚，Q208为208个脚
EP2C5T144C8
1.2V
4608
89
119808
26
2
8
EP2C5Q208C8
1.2V
4608
142
119808
26
2
8
EP2C8Q208C8
1.2V
8256
138
165888
36
2
8
第四代：
E22表示芯片一共144个脚。
EP4CE6E22C8
1.2V
6272
92
276480
30
2
10
EP4CE10E22C8
1.2V
10320
92
423936
46
2
10
EP4CE15E22C8
1.2V
15408
82
516096
112
2
20
第四代：
F17表示芯片一共256个脚。
EP4CE6F17C8
1.2V
6272
180
276480
30
2
10
EP4CE10F17C8
1.2V
10320
180
423936
46
2
10
EP4CE15F17C8
1.2V
15408
166
516096
112
2
20
第四代：
F23表示芯片一共484个脚。
EP4CE15F23C8
1.2V
15408
344
516096
112
4
20
EP4CE40F23C8
1.2V
39600
329
1161216
232
4
20
升级会员 