论文正文基于FPGA的实时图像边缘检测的研究.docx
《论文正文基于FPGA的实时图像边缘检测的研究.docx》由会员分享，可在线阅读，更多相关《论文正文基于FPGA的实时图像边缘检测的研究.docx（94页珍藏版）》请在冰豆网上搜索。
论文正文基于FPGA的实时图像边缘检测的研究
分类号:
10710-学号
硕士学位论文
基于FPGA的实时图像边缘检测系统的研究
程鸿亮
导师姓名职称
邱彦章副教授
申请学位级别
工学硕士
学科专业名称
交通信息与控制工程
论文提交日期
年月日
论文答辩日期
年月日
学位授予单位
长安大学
答辩委员会主席
学位论文评阅人
TheResearchoftheRealTimeEdgeDetectionSystemBaseonFPGA
ADissertationSubmittedfortheDegreeofMaster
Candidate：
ChengHongliang
Supervisor：
Prof.QiuYanzhang
论文独创性声明
本人声明：
本人所呈交的学位论文是在导师的指导下,独立进行研究工作所取得的成果。
除论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。
本论文中不包含任何未加明确注明的其他个人或集体已经公开发表的成果。
本声明的法律责任由本人承担。
论文作者签名：
年月日
论文知识产权权属声明
本人在导师指导下所完成的论文及相关的职务作品，知识产权归属学校。
学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。
本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为长安大学。
（保密的论文在解密后应遵守此规定）
论文作者签名：
年月日
导师签名：
年月日
摘要
随着集成电路技术的高速发展，单芯片的图像处理成为目前的研究热点之一。
而FPGA结合了微电子技术、电路技术、EDA技术，使设计者可以集中精力进行系统逻辑功能的设计，缩短了设计周期，提高了设计质量，成为人们广泛采用的研究、设计与验证的平台。
本论文的内容即是基于Altera公司的CycloneII系列FPGA芯片，研究并实现实时图像边缘检测的单芯片系统。
系统的整个研究与设计过程是在IDE工具以及DE1等软硬件环境下完成的。
论文的重点是系统的体系结构设计以及各模块的设计仿真过程，并最终通过综合下载到目标芯片中。
论文中详细论述了乒乓操作在本系统中的实现方式，并通过VHDL实现了摄像头驱动、视频数据流的格式化、FIFO的读写操作、亮度数据的处理、边缘数据的处理以及液晶显示驱动等若干模块，并将主要模块的VHDL源代码附于正文之后。
和传统通过软件和通用处理器实现图像处理不同，本设计完全基于硬件来实现，包括进行亮度计算以及边缘检测的处理机，极大的节约了系统的资源开销，并为今后基于门级的系统设计打下了坚实的理论与实践基础。
为了满足系统对实时性的要求，在系统体系结构中采用了乒乓读写操作方式，处理器采用了多级流水线的结构。
理论的分析以及硬件的运行结果表明，本系统的体系结构十分适合实时图像数据的处理，其中的乒乓读写双口RAM的处理方式以及处理器中的多级流水线方式可以作为后续设计实时图像处理系统的通用方法。
关键词：
FPGA、实时图像处理、多级流水线、乒乓操作
Abstract
Withtherapiddevelopmentofintegratedcircuittechnology,single-chipimageprocessinghasbecomeoneofthecurrentresearchfocus.TheFPGAthathasbecomewidelyusedinresearchanddesigncombinesmicroelectronictechnology,circuittechnologyandtheEDAtechnology,sothatthedesignerscanconcentrateonthelogicfunctiondesign,shortenthedesigncycleandimprovethedesignquality.Theworkofthepaperistoresearchandachievethesingle-chipofreal-timeedgedetectionbasedonAltera'sCycloneIIseriesFPGAchips.
ThewholeprocessoftheresearchanddesigniscompletedintheenvironmentQuartusIIandDE1andsoon.Thesisisthefocusofthesystemarchitectureanddesignofthesimulationmodule,inwhichadetailedanalysisoftheping-pongoperationofthesysteminways,implementthecameradriven,videodatastreamformat,FIFO'sreadandwriteoperations,dataprocessingbrightness,edgedataprocessingandsoon.AlloftheVHDLsourcecodeattachedtothepapersafter.
Differentfromthetraditionalprocessingthatusethesoftwareandthegeneral-purposeprocessor,thedesignisbasedonthehardwaretoachieve,includingthecalculationofthebrightnessandtheedgedatasothatwecansavesagreatresourceoverhead.Inordertomeetthesystemrequirementsforreal-time,thesystemisworkingontheping-pongoperationmodeandtheprocessorshavemulti-pipeline.
Theoreticalanalysisandtheresultsshowthatthesystemarchitectureisverysuitableforreal-timeimagedataprocessing,includingreadandwritedual-portramapproachofping-pongoperationmodeaswellasthemulti-pipelineprocessorcanbeageneralmethodsofafollow-upreal-timeimageprocessingsystem.
Keywords:
FPGA;real-timeimageprocessing;multi-pipeline;ping-pongoperation
第一章绪论……………………………………………………............................................1
1.1课题的研究背景和选题意义…………………………………………………..
1.2FPGA概述………………………………………………
1.3图像处理应用概述……………………………………………..
1.4论文的主要研究内容及章节安排…………………………………………….
第二章硬件平台简介…………………………………………………………..
2.1DE1开发板……………………………………………………
2.2CycloneII系列芯片简介………………………….
2.3THDB-D5M摄像头………………………….
2.4TRDB_LTM液晶屏…………………………….
第三章基于梯度的边缘检测算法……………………….
3.1Roberts算子………………………
3.2Prewitt算子……………………
3.3Sobel算子……………………………………
3.4方向算子…………………………..
3.5本设计采用的检测算法…………………………….
第四章系统结构分析…………………………..
4.1系统工作流程介绍…………………………………
4.2系统结构框图…………………………………
4.3重要模块介绍…………………………………
4.4乒乓操作时序研究…………………………………
第五章系统设计与实现……………………………………
5.1复位模块设计…………………………………………
5.2D5M摄像头的配置模块设计……………………….
5.3像素数据的格式转换………………………………………
5.4FIFO的配置与测试……………………………….
5.5片上RAM的配置与仿真………………………………
5.6亮度处理器的设计……………………………………..
5.7边缘处理器的设计…………………………………………….
5.8LCD驱动模块设计……………………………………….
5.9系统设计与实现结果………………………………………..
结论……………………………………………
参考文献…………………………
附录1……………………………
附录2……………………………
附录3……………………………
附录4……………………………
附录5……………………………
附录6……………………………
致谢…………………………………………………………………..
第一章绪论
1.1课题的研究背景和选题意义
图像边缘是图像的最基本特征，其中包含着有价值的目标边界信息，这些信息可以用于图像分析、目标识别以及图像滤波。
而基于计算机技术的边缘检测是图像处理的重要内容，是模式识别和计算机视觉的基础。
在交通信息控制应用领域中，边缘检测已经是车牌识别、车流量监控、自动导航等技术中的重要环节。
通过有效的边缘检测，可以大大简化后续图像处理过程对图像信息的分析工作[1]。
在对实时图像处理的过程中，需要各种有效的检测算法获取需要的图像信息，但是传统采用软件实现的方式由于受到系统的处理时间限制，容易存在断帧现象，这种情况在实时性要求很高的场合将成为一个严重缺陷。
随着当今微电子技术的快速发展，以提高处理速度和降低系统成本为目的，把成熟的处理算法固化为集成电路已经成为可能，比如集成了广为使用的卷积、相关、滤波以及FFT的DSP芯片，使用极少的时钟资源即可完成大量的数据处理过程。
但要实现一些专用的算法，就必须自行设计芯片。
专用集成电路（ASIC）就是按用户的具体要求（如功能、性能或技术等），为用户的特定系统定制的集成电路。
其设计方法主要分两类：
一是基于全定制的设计方法，由设计师根据所选的生产工艺按照自己的要求独立进行集成电路设计，这样所设计的电路可以有尽可能高的工作速度和尽可能小的芯片面积。
但这种设计过程要花费大量的人力物力，且风险大、效率低。
二是基于半定制的设计方法。
基于由厂家提供一定规格的功能块，如门阵列、标准单元、可编程逻辑器件等，按用户要求利用专门设计的软件进行必要的连接，从而设计出所需要的专用集成电路。
FPGA就是作为专用集成电路领域中的一种半定制电路而出现的[2]。
FPGA（FieldProgrammableGateArray）即现场可编程门阵列，是在可编程阵列逻辑PAL（ProgrammableArrayLogic）、门阵列逻辑GAL（GateArrayLogic）、可编程逻辑器件PLD（ProgrammableLogicDevice）等可编程器件的基础上进一步发展的产物[2]。
由于拥有ASIC的稳定性、大容量、高集成度等优点，而且采用硬件描述语言所设计的电路可以直接综合成RTL级电路并对目标器件进行配置实现，极大的提高了硬件的设计效率。
所以本课题将以此为研究和设计基础，以纯硬件方式实现实时图像处理过程[3]。
1.2FPGA概述
1.2.1FPGA简介
FPGA是英文FieldProgrammableGateArray的缩写，即现场可编程门阵列，是在PAL、GAL、EPLD等可编程器件的基础之上进一步发展的产物。
它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，及解决了定制电路中的不足，又克服了原有可编程器件中电路门数有限的缺点。
目前FPGA的品种很多，有XILINX公司的Spartan、Vertex系列、ALTERA公司的Cyclone、Stratix系列、Actel公司的ProASIC系列以及TI公司饿TPC系列等。
FPGA是由存放在片内RAM中的程序来配置其工作状态的，因此工作的时候需要通过片内RAM进行编程。
用户可以根据需要配置成不同的模式。
FPGA使用非常的灵活。
目前，大部分的FPGA在使用时都需要外接一个配置存储芯片保存其程序，加点时FPGA芯片会将配置存储芯片中的数据读入片内编程RAM中，配置完成后，FPGA进入工作状态。
掉电后，FPGA中片内RAM恢复空白，内部罗偶记关系消失，因此FPGA能够反复使用，并不会因配置次数过多而损伤芯片。
FPGA有以下几种配置模式：
1.并行主模式为一片PFGA加一片配置芯片的方式；
2.主从模式可以支持一片配置芯片对多片FPGA编程；
3.串行模式可以采用串行配置芯片对FPGA编程；
4.外设模式可以将FPGA作为微处理器的外设，由微处理器对其编程[4]；
1.2.2FPGA的优点
FPGA是在PAL、GAL等逻辑器件的基础之上发展起来的，同以往的PAL、GAL等相比较，FPGA的规模较大，可以代替几十甚至几千块通过集成电路。
可以说，FPGA是小批量系统提高系统集成度、可靠性的最佳选择之一。
FPGA可以被称为可定制的特殊ASIC，它除了具有ASIC的特点之外，还具有以下几个特点[]：
1.随着VLSI（VerylargeScaleIC，超大规模集成电路）工艺的不断提高，单一芯片内部已可以容纳上百万个晶体管，这使得FPGA芯片所能实现的功能越来越强，同时可以实现系统集成。
2.FPGA芯片在出厂之前都做过百分之百的测试，不需要设计人员承担投片风险和费用，设计人员只要在自己的实验室里通过相关的软硬件环境来完成芯片的最终功能设计即可。
3.用户可以反复的编程、擦除、使用或者在不动外围电路的情况下用不同的下载数据实现不同的功能。
4.FPGA软件包中有各种输入工具、仿真工具、版图设计工具以及编程器等全线产品，电路设计人员在很短的时间内就可以完成电路的输入、编译、优化，直至最后芯片的制作。
5.电路设计人员使用FPGA进行电路设计时，不需要具备专门的集成电路深层次的知识。
1.2.3FPGA的分类和使用
根据FPGA基本结构的不同，可以将其划分为乘积项技术的FPGA和基于查找表技术的FPGA。
基于乘积项的FPGA主要由3个模块组成——逻辑单元阵列（LogicCellArray）、可编程连线（PIA）和I/O控制块。
逻辑单元阵列式FPGA的基本结构，由它来实现基本的逻辑功能。
可编程连线负责信号的传递，连接所有宏单元。
I/O控制块负责输入/输出的电气特性控制，比如输出的集电极开路模式控制、三态模式控制以及摆率控制等。
基于查找表技术的FPGA是目前主流的产品。
查找表简称LUT，其本质就是一个RAM。
当用户通过开发软件描述了一个逻辑电路以后，软件就会自动计算逻辑电路所有可能的结果，并把结果写入RAM中，这样每输入一个信号进行逻辑运算就等于输入了一个查找表RAM的地址，并使其输出对应的数据。
完成FPGA开发以后，软件会生成一个最终的配置文件，不同类型的FPGA使用不同的方法将配置文件加载到FPGA中。
基于乘积项技术的FPGA一般采用EEPROM或FLASH来保存程序。
此类的FPGA一般由厂家提供编程电缆，如Altera提供的编程电缆叫Byteblaster。
电缆一端接在计算机的并行打印口上，另一端接在FPGA开发板的10芯插座上，FPGA有4个管脚与此插头相连。
基于查找表技术的FPGA常使用SRAM保存程序。
由于SRAM工艺特点，掉电后配置数据会消失，因此调试期间可以通过电缆配置FPGA器件，调试完成之后，需要将数据固化在一个专门保存配置数据的配置芯片上，上电后这个芯片会加载配置数据到FPGA得SRAM中。
1.3图像处理应用概述
1.3.1边缘检测应用概述
图像是人类认识客观世界和相互交流的重要媒体，科学研究表明，人类获得信息的80％来自于视觉系统。
可见，视觉信息的客观作用是其他信息所不能够替代的。
计算机视觉处理可以看作是为了实现某一任务而从包含有大量不相关的随机量中提取不变量，即信息的简化。
这就意味着要过滤掉一些不必要的信息而获得图像中的不变信息。
而边缘信息就是一种非常重要的不变信息，比如在不同的光暗条件下物体某区域的外观可能会发生改变，但是物体的边缘不会改变，更重要的是，人的视觉系统对图像的边缘是非常敏感的，对图像的理解绝大部分来自图像的边缘信息。
为了使计算机也能够像人类一样理解图像信息，边缘检测便成为此工作基础和前提。
边缘检测的主要任务是对图像亮度变化的度量、检测和定位，在图像处理中有以下几方面的重要应用：
（1）图像分割
利用计算机进行图像处理主要有两方面的目的，其一是产生更适合人类理解的图像，其二是让计算机能够自动识别和处理图像。
无论为达到哪一种目的，其中很关键的一部是把原有的图像分解成更小的基元，这些基元相对于整幅图更容易被处理或识别。
图像分割的方法和种类有很多，有些分割运算可直接应用于任何图像，而另一些只能适用于特殊类别的图像。
有些算法需要先对图像进行粗分割，因为他们需要从图像中提取出来的信息。
例如，可以对图像的亮度级设置门限的方法分割。
许多不同种类的图像或景物都可作为待分割的图像数据，而且不同类型的图像，或是不同的应用领域，分割方法都不尽相同，某些分割方法只是适合于某些特殊类型的图像分割。
其分割结果的好坏需要根据具体的场合及要求衡量。
图像分割是从图像处理到图像分析的关键步骤，可以说，图像分割结果的好坏直接影响对计算机对图像的理解[5]。
（2）图像识别
图像识别可在分割的基础上选择需要提取的特征，并对某些参数进行测量，再提取这些特征;最后根据测量结果作分类。
为了更好地识别图像，还要对整个图像作结构上的分析，对图像进行描述，以便对图像的主要信息得到一个解释和理解，并通过许多对象相互间的结构关系对图像加深理解，以便更好地帮助识别。
所以图像识别是在分割后的每个部分中，找出它的边缘，形状及纹理等特征，即特征抽取（有时也包括图像分割），以便对图像进行分类，并对整个图像作结构上的分析。
图像识别的输入是图像（一般是经过处理过的图像），输出是类别和图像的结构分析，而结构分析的结果则是对图像作描述，以便对图像的重要信息得到一种理解和解释[6]。
（3）纹理分析
对图像亮度（浓淡）空间分布模式的提取和分析。
纹理分析在遥感图像、X射线照片、细胞图像判读和处理方面有广泛的应用。
例如医学上X射线照片中的肺纹理、血管纹理、航天（或航空）地形照片中的岩性纹理等。
图像处理中的视觉纹理通常理解为某种基本模式（色调基元）的重复排列。
当图像中大量出现类似的基本图像模式时，纹理分析是研究这类图像的最重要的手段之一[7]。
1.3.2FPGA在图像处理中的应用
图像处理本身具有并行性，采用适当的并行算法运算是提高图像处理速度的有效措施。
并行运算技术包括两个方面的内容：
并行算法与并行实现方式。
其中，并行实现依赖于硬件，并要求所采用的硬件结构便于超大规模集成电路实现。
就目前的超大规模集成电路技术而言，能够硬件化的算法很多，但是由于一个硬件系统往往只能够采用一种固定的结构。
考虑到图像处理方法具有复杂性和多样性的特征以及硬件系统的可靠性、经济型与灵活性的要求，哪些算法必须通过硬件固化是一个棘手问题。
此外，就并行算法而言，其并行的意义主要体现在多进程的、多任务的软件环境中，单独的一个并行算法并没有什么实际意义，并且要有并行结构支撑，否则体现不出来其并行计算的优势。
因此如何在提高速度的同时能够兼顾到算法与结构的匹配性、硬件实现结构的经济性与灵活性仍然是当前图像处理研究所面临的问题。
当今的FPGA工艺线宽已经达到40nm，数十万个逻辑宏单元，内嵌数十兆的存储位。
工程师可以通过传统的原理图输入法或是硬件描述语言自由的设计一个片上系统，并通过EDA工具仿真。
以Altera公司提供的FPGA的视频和图像处理方案为例，它包括经过优化的开发工具和开发套件、参考设计、视频压缩IP核、接口和系统IP以及Altera的视频和图像处理IP包等。
这些解决方案极大的降低了视频和图像的应用成本，提高了性能和效率。
显然，FPGA为解决以上问题提供了一个新的思路与方式并应用到诸如模式识别、数据加密与解密、基因处理、生物医学、信号处理、科学计算等各个领域[4]。
和全定制的ASIC相比，更可贵的是FPGA的现场可重构性。
在图像处理过程中，如果根据不同的环境条件实时改变处理算法，不但能够极大的改善处理效果，而且同样可以保证检测过程的处理速度。
这是同规模和工艺级别的通用处理器或DSP所不能够比拟的。
除此之外，为了增强芯片处理图像的并行性，通过使用第三方IP核实现多处理器的系统结构也成为图像处理领域的热点。
1.4论文的主要研究内容及章节安排
1.4.1论文的主要研究内容
研究设计整套实时图像处理系统，并使用硬件平台（DE1）和软件平台（QuartusII）对系统进行验证。
主要内容如下：
（1）对摄像头时序进行研究，并设计相应的驱动模块；
（2）I2C通信协议研究，并设计相应驱动模块，以配置摄像头产生所需工作模式；
（3）分析片上RAM在不同频率下的延迟，获得相应的读写时序规则；
（4）研究乒乓处理模式在此系统中的应用方法，使其达到实时处理效果；
（5）研究设计边缘检测硬件处理模块，并以乒乓模式工作；
（6）研究设计LCD的工作时序，并设计相应的驱动模块；
（7）验证系统功能，讨论其特点及不足。
1.4.2论文的章节安排
论文围绕以上内容安排如下：
第一章绪论课题的研究意义以及FPGA在图像领域的应用；
第二章硬件平台简介对本课题所需的硬件资源进行分析讨论；
第三章梯度边缘检测介绍经典的基于梯度运算的边缘检测算法并决定本系统所采用的算法；
第四章系统结构分析对系统的结构给出详细的分析，定义各模块的功能并研究分析乒乓操作的时序。
第五章系统的设计与实现通过VHDL实现系统各模块，并做必要的时序分析，论证设计的方法和可行性。
最后一章结论对本课题的研究做出总结并提出进一步需要完成的工作。
第二章硬件平台简介
2.1DE1开发板
本设计采用了由Altera公司提供的DE1开发板，如图2.1所示：
图2.1DE1开发板外观
此开发板核心芯片为Cyclone®II系列的2C20FPGA，其周边硬件资源如下：
●FPGA的串行FLASH配置芯片——EPCS4
●支持JT
升级会员 