中文 1.docx

1、中文 1一种能够重建立的彩色图像嵌入分割系统摘要：图像分割是图像分析和计算机视觉第一重要和最困难的步骤之一，它也被认为是机器视觉中最古老的问题之一。最近，几个分割算法已经迅速发展起来，包括制定阈值，边缘定位和区域增长，这些为更快的图像/视频分析和识别系统的发展提供了很好的机会。此外，模糊分割算法本质上有助于区域的合成，地显示物体。这些算法有着细微的差别，但是都还不错。因此，算法的选择是基于主观标准的，或者基于应用程序本身。在这里，我们针对模糊推理分割（FRS）提出一种低成本的嵌入式可重构体系结构。FRS 有三个阶段（平滑，边缘检测和实际分割）。初始的平滑操作是为了去除噪点，平滑和边缘检测算法也

2、包括在这个程序步骤中。分割算法利用了边缘信息和平滑后的图像，用来找到图像中的区域。在这项工作中 FRS 分割算法被选择是依赖于它在一些列应用中展现的可靠性能。（面部检测，运动检测，自动目标识别（ATR），并且它开发成本低，有着可重构的计算平台，旨在低成本的应用。特别要提的是，本文提出的实现平滑，边缘检测和颜色的分割算法，使用 Stretch S5000 处理器，并且通过使用 Matlab 软件实现，最后对它们进行对比。在本文中，这种新的体系结构和替代技术、基准测试和比较结果，都进行了详细介绍。这是第一次我们看到了同时具有高吞吐量，出色的性能（至少在基准测试中）和低成本的实现。关键字：可重构，图

3、像分割，可嵌入式系统，架构1 介绍1.1 分割在过去的三十年中，许多计算机视觉，模式识别，图像分析和目标提取系统已开发。同时，模糊和半模糊聚类算法也提出了提取和识别定义对象的功能。为了让这些算法和系统成功，它们一般都拥有强大的平滑或分割技术做开始。因此，几乎所有的视觉和模式识别方法中，图像分割都是一个重要的开始步骤。一些研究已经把分割算法归类，如阈值或聚类，边缘检测，区域增长/合并和其他分割算法。特别地，S.U. Lee 和 S.Y. Chung表明，双峰图像，就是只有一个对象，其余是它的背景这种图像，阈值方法会显示较好的效果。然而，当对象区域相比背景区域显得很小的时候，或者当对象和背景的灰度

4、范围在同一水平时，选择一个好的阈值是很困难的。这种技术的另一个缺陷是，当图片中存在多个对象时也会出现问题。在这种情况下，寻找骤变的峰谷直方图使方案进一步复杂化，分割的结果可能会很差。边缘检测是相关的图像分割的另一种方法。边缘被定义为被检测到的灰度级或色彩急剧变化的位置。然而，在此操作中，很难保持检测到的边缘的连续性，区域必须始终由一个连续的边缘包围。区域增长/合并是第三种图像分割的方法。在这种情况下，大的区域很容易被检测到，之后，小的区域可以使用相同的标准合并。区域增长/合并一个不利的地方在于，这种方法固有的有序性。通常情况下，各区域产生的顺序取决于这些区域的增长和合并的顺序。1.2 颜色分割

5、架构文献中报道了许多不同的颜色分割的方法。其中一个重要的方法是双色反射模型发展而来的。它描述了颜色的反射光的表面反射（亮点）和物体的反射（物体颜色）的线性组合。使用这种模式，区域增长和合并法显示出了令人印象深刻的结果。在该方法中，一个物体上高亮度的区域和无光泽的区域合并了。然而，使用不恰当的阈值会使它的性能退化。有一些分割方法，它们不在 RGB 空间里分割彩色图像，因为它们和色彩的理解模型不切合。相反的，它们选择其他的颜色空间，比如 HIS 或者 YUV，这些都比 RGB 色彩空间显示出了更好的效果。这些图像分割过程融合了边缘检测方法来产生更好的结果。基于近似推理或模糊推理的分割产生了可喜的成

6、果。Huntsberger 定义颜色的边缘为每个像素成员函数值的差异为零。通过使用了 C 迭代分割算法得到了模糊算法成员函数值，尽管 C 迭代算法由于本身性质来说是耗时的。Lim 提出了一种自动化的从粗到细的分割方法。这种方法基于阈值直方图和 C 迭代算法。Lambert 和 Carron 提出了一个有趣的方法，结合色彩空间（根据相关色度处理和明确色相的界定），以系统规则为基础用符号表示（使用颜色和亮度功能，以确定像素的同质性）。近年来，更多的基于色彩和纹理的分割技术被引入用作于大多数图像研究中，尤其是在彩色纹理的自然场景图像中。许多著作和文献中都有大量的对人类颜色和纹理感知的研究结果和应用，

7、例如均匀的色彩空间和滤波器。因此，大部分的分割方法都把色彩和纹理作为图像分割功能实现的关键。最近，把色彩和纹理结合起来，试图增强色彩和纹理分割性能的方法正在努力研究中，也就是颜色纹理分割，其中包括区域增长法，分水岭技术，边缘流技术，基于模型的随机分割法。Markov 模型的色彩分割应用也被研究。最后，Boyokov 等人基于图像分割技术原理提出了一种颜色-纹理分割方法，把它看做一个加权图中最小的切割问题，来找到一个最佳的色彩纹理切割。文献中有很多色彩分割算法的架构和硬件实现。Perez 和 Koch 提出了一种简化的适合执行在模拟集成电路上的色相描述。他们首次设计、制造并模拟了 CMOS 超大

8、规模集成电路来计算标准化色相和色调。Stichling 和 Kleinjohann 提出用硬件实现颜色分割算法，通过使用区域增长和合并法在飞利Trimedia 微控制器上实现。这种系统每秒可处理 25 帧小图像，使用 HW-SW 系统。Leclerq 和 Braun 在一个 32 位的摩托罗拉的控制器上实现了颜色分割算法，处理了一张 80*60 的图像。该系统用于机器人杯比赛，能在大约 0.02 秒内识别小物体。Saffiotti提出了种子区域增长算法的实现，用特定的使用了阈值技术的 CDT 设备在索尼 AIBO 机器人身上实现。Johnston 等人做了一个系统，使用了 FPGA，实现了颜色

9、分割和对象跟踪并提供实时处理。Koo 等人做出了一个系统，用来分析磁共振图像。该系统是一个高性能的可重构的系统，在使用了 4 个 FPGA 的计算机上实现，并达到了五倍的加速比。Dillinger 等人建立了一个基于FPGA 的程序，实现了三维的分割，并且实现了高性能。Yamaoka 等人提出了一种新的算法，在 FPGA 上实现在 80*60 的视频图像上对象。1.3 图像分割系统图像处理系统，如自动目标识别（ATR），脸部识别，运动检测等，都需要一个强大和快速的分割算法。因此，这些系统在使用过程中的特征提取和识别的对象只适用于静止图像或视频。例如，一个 ATR 系统包括许多算法的组合，启发式

10、分割，平缓，边缘检测，细化，区域增长，分形等，在不同的条件下选择合适的算法来识别目标。这些算法，特别是平滑、分割和边缘检测，在 ATR 系统中软件完成所需要的时间里，它们占有了显著的时间量。颜色分割是一个研究较多的问题，它在像脸部识别这样的应用程序中使用。因此，这项工作的贡献就是为实现三个耗时部分的 FRS 方法（平滑，边缘检测和色彩分割）提供了架构和硬件的细节设计，它被开发为一个独立的硬件来执行特定的程序，称为“黑盒子”。最终的结果是图像中相同颜色的部分被分割为一个目标物体。这一部分的信息可以被随后的 ATR 系统执行对象在图像中的特征提取这一步骤所利用。一个完整的系统是一个可重构设计、使用

11、扩展技术的程序。这是一项低成本的技术，可以产生一个嵌入式的子系统。如本文所示，我们将会看到一个嵌入式处理器，紧密耦合的、可重新配置的架构使一个有效的算法得以实现。然而，大量的数据需要在内存、处理器和可重配置的部分之间传送，将对这项工作的深入提出了挑战。Stretch 公司已经开发出 S5000 和 S6000 系列软件配置处理器，这都是基于 Tensilica的核心 RISC 处理器，开发出来的一个小的嵌入式可重构的部分。整个设计在 C/C+平台上开发，包括剖析代码、映射关键部分的可重构性、使硬件实现指令等。C/C+编程主要用于控制 S5000 处理器。Stretch C 是一种类似 C 的语

12、言，其中包括一些硬件的扩展实现。Stretch C 主要作为设计处理器中可重构部分的编程语言。本文其余部分安排如下：第 2 节描述 FSR 分割方法的实施。第 3 节描述新的体系结构，其中包括它主要的子系统，它们的互连以及它们在扩展技术上的映射。第 4 节有以前公布的结果和现在实现的效果的一个详细比较。最后，第 5 节会对本工作做出结论。2 FRS 分割方法分割是图像处理使用的步骤之一，目的是在图像中提取一个对象。FRS，本文中所研究的方法，包括三个步骤（在它自我识别之前）：平滑，边缘检测和颜色分割。分割过程的数据流说明如图 1 所示。在这项工作中，下面将要详细展示，使用了从原始 RGB图像得

13、来的 HIS（色调，亮度，饱和度）模型，这种方法是很典型的，已经被证明可以工作的很好。（见第 1 节）。2.1 平滑算法摄影图像包含由相机或嘈杂介质中的图像传输而引入的噪点。在任何情况下，任何进一步的图像处理应用之前，都必须先移除噪点。最常用的方法是使用过滤器的噪点消除。平滑算法中一个重要思想就是平滑两个相邻像素。该算法允许相邻像素之间有一个模糊算子，其中为每个相邻像素的领域都设置了相应的算子，如图 2 所示。每个像素的颜色都与它每一个相邻块的颜色进行比较，如图 3 所示。我们实的块的大小为 3*3，这样对图像可以达到高度平滑的效果。每一个领域块的平均颜色都按照下面所示的函数公式（1）来进行计

14、算。要做到平滑，必须测量中心像素和所有周围像素域之间的颜色对比度。像素（i,j）和领域块 b 之间的颜色对比，从原始图像 RGB 数值中用这些参数通过几何学来表示为下面的式子：在这项工作中平滑算法的实现步骤如图 4 所示，并且展示了具体分析。2.2 边缘检测边缘检测是把组成图像的物体分开，且界定边界、区域的一个程序。色相，强度和饱和度（函数的传递参数为 h，i 和 s），它们是用来评估图像内像素边缘强度的一组参数。这些参数是从原始图像的 RGB 值由以下公式算得的：在该算法的第一个步骤中，h,s 和 i的值都用来计算像素周围的八个 3*3 的领域块（图 3）。一个物体，无论是色调，亮度，或者是

15、阴影的差异，都具有相同的色相贯穿始终。另一方面，色相在低饱和度和强度下是不稳定的，因此色相应该被标准化。这三个值（色调，亮度和饱和度）关系到物体边缘算法中边缘的像素值。边缘检测算法的流程图如图5 所示。2.3 颜色分割算法该分割算法利用了边缘信息和图像平滑信息来找到分割段。这个分割过程遵循以下几个步骤：1找到大且易碎的区域2基于同质性标准扩展各区域。3基于两色反射模型扩展各区域4基于算子扩展各区域5应用一个迭代的过滤器颜色分割算法的第一个步骤就是找到大且易碎的区域。一旦一个图像的边缘检测被执行，易碎的区域就被边缘像素或图像边界包围。易碎的区域可以被定义为一组完全被边缘像素包围的像素并且只属于一

16、个对象。分割算法的下一个步骤是对区域进行基于特定标准的同构扩展。现在的区域被增添了与原来有很高相似度的像素点来扩展，这些区域被边缘检测录入信息且作为最初的图像被扫描。第三步的颜色分割是基于两色反射模型进行区域扩张的过程。使用两色反射模型，一些相邻像素可能与此前根据模糊算法的区域合并，比如自定义像素与集群的色彩范围的差距。为了进一步扩张区域，“远近程度”这一措施被使用。一个未选派的像素可以在两种意义上逼近邻近的区域：逼近空间域（物理逼近）；或逼近集群域的颜色立方体（几乎相同的颜色）。一个像素领域的远近程度被定义为这两个措施的产物。具体来说，远近程度为任何给定像素，使用的是绝对的色彩对比乘以（在像

17、素中）给定的像素和区域边缘之间的几何距离。最后，在区域扩张完成后，得到的区域的边缘要使用一个迭代的过滤器来平滑。这个过滤器用作三大小分别是 3*3,5*5,7*7 的块，最小的一个被最先应用。根据上述标准，图像中的所有像素在最后都被分为各个区域。图像中的每个区域都被认为是一个独立的对象，都用相同的颜色表示。每个图像的颜色都被计算为图像中像素点的平均颜色。该颜色分割算法的细节在后文中有详细介绍。3 一种对于平滑、边缘检测和分割的架构本节描述了平滑、边缘检测和颜色分割算法利用扩展技术来开发的架构。该系统实现了 ATR 算法的前三个步骤，其中还包括三个子系统，每一个都为一个算法的主要方面来工作。该系

18、统的系统框图如图 6 显示。体系架构的每一个每个子系统由串行 C 代码运行在 Stretch S5000 处理器和硬件结构上，用 Stretch C编写的语言，映射在可重构的部分，就是处理器上所谓的 ISEF。每个使用可重构开发功能资源的可重构处理器和它的代码是并行执行的。每次串行程序调用一个硬件功能，处理器加载其硬件在 ISEF 上的映射并使用各自的输入数据运行它的代码。并行代码完成后的结果返回到程序，串行代码继续执行。实现模块之间的通信将通过具有内部记忆功能的 S5000 处理器。最初，彩色图片像素的 RGB 值存储在处理器的内部存储中，平滑模块通过读取这些值进行处理，再次存储在系统内存中

19、。这个流程将继续其他两个系统的模块读取输入数据的内存和存储处理过的数据。最后，检测出图片上的对象用相同的颜色标出系统输出分割后的图像。3.1 平滑子系统架构平滑子系统需要原始像素的 RGB 值作为输入和平滑后的图像数值作为输出。该平滑算法分为七个小步骤，每一个都被设计为一个单独的模块。结构如图 7 所示。最初，根据平滑算法，每一个像素都有 8 个 3*3 的邻域窗口，如图 3 所示。这些块的颜色C(i,j),b 的值，依据公式（2），用于寻找处理的像素和周围块的颜色差异。C(i,j),b 的计算发生在处理器重可重构的部分，如图 7 所示。S5000 处理器可重构部分的限制之一是，用来在可重构的

20、部分和处理器的软件部分之间进行通信的 I/O 寄存器（128 位*3=384 位）数量很小。I/O 寄存器的限制每次都会引起相邻两个窗口之间的颜色计算，两个相邻的 3*3 窗口包含了 15 个不同的像素（有一个重叠的 3 像素），这就意味着 15*8*3（像素的颜色为RGB 模式）=360 位384 位。这对算子块对 C(i,j),b 值的计算如图 3 所示。同时，子窗口的方向对窗口的颜色的计算是非常重要的，这导致了两个不同模块计算子窗口的实现，一个为水平方向另一个为垂直方向。对 C(i,j),b 的计算模块在可重构结构上的设计要通过以下几个方面的观察：一是 C(i,j),b 的值包含乘法，这

21、是对软件来说是一个很重的任务。二是这个计算的实现，每一对 C(i,j),b 子窗口仅需要三个硬件时钟周期。最后，需要提及的是作为可重构部分的处理器不支持浮点运算，定点算法被用于值的加权表。平滑算法的下一步是利用公式（3）计算每一个相邻窗口和处理过的像素之间的颜色差异。在这一阶段中，一个新的可重构的逻辑模块被开发。该模块把 8 个邻域子窗口的C(i,j),b 的值，处理的像素的颜色和它们之间的差异计算值作为输入，完成这个计算后，这个模块对软件返回两个值：第一个是标志位，显示三个案例中哪一个算法为真，如图 7 所示，第二个是将要被处理的子窗口的 ID 号。这个过程中每个计算需要 9 个时钟周期。这

22、个算法之前的步骤定义了三种情况中哪一个为真（依赖于计算后的值和临界值之间的差异，如图 7 所示）。计算的过程是一个繁重的问题，因此它发生在 S5000 中可重构的部分。这一选择对可重构部分的可通过的像素值的数量又加大了难度。(7*7=49 像素*3RGB=147*8=1176 位)。为了处理这个问题，我们考虑到一个有利条件就是，四个拐角窗口的值 C(i,j),b 的在第一步的平滑算法中已经被可重构的硬件计算过了。在这种情况下，我们用这四个在拐角的 3*3 的窗口已被计算过的值和剩下的 7*7 的窗口的像素值相加。最后的结果被 7*7 窗口的加权和所相除。最后，如果最低和最高限度的差异比预定的值

23、要大的话，算法的另外一个繁重计算就要开始执行了。在这种情况下，一个新的硬件模块要被开发出来，它把 C(i,j),b 的值和四个窗口的方向（东南西北 C(i,j),b 的 RGB*4 个窗口=12*8=96 位）作为输入，这些都是之前计算过的。这个模块的输出是处理像素和领域的窗口像素差异最小的那个子窗口的方向。颜色平滑模块的最后一个阶段是把新的平滑过的像素颜色值存储在 S5000 处理器的中央存储器中。3.2 边缘检测子系统设计的第二个子系统是把图像平滑单元平滑过的像素值进行处理，以便找到图像的边缘。边缘检测单元包括三个子单元：局部差异计算单元，色调计算单元和边缘候选单元。如图 8 所示。 最后

24、，为了弄清楚一个像素点是不是边缘，候选边界单元的计算就会一直重复。检测一个像素点属不属于边缘是被一个软件控制器来完成的。如果一个像素不能够被确定是不是属于边缘的一部分，这个系统的子单元就会重复执行。局部差异计算单元把处理过像素周围的 7*7 窗口的像素值作为输入。用颜色平滑单元设计的 Cbs 计算模块，来计算被处理过的像素和周围 3*3 的子窗口的颜色差异。如图 3 所示的四个方向的每一个方向的颜色差异，被暂时存储起来，被用于色调，饱和度和强度的每一个方向的计算。最后得出的值被当做色调差异模块的输入值存储在表中。色调差异标准化单元把四个方向的色调，饱和度和强度的值作为输入，并且计算被处理过像素

25、和它周围子窗口像素的色调的标准差异值。标准化的色调差异值包括软件的乘法和除法，因为饱和度和强度的值都是浮点数，它们不能被 S5000 处理器的可重构部分利用。最后的边缘的值被边缘检测子系统的最后一个单元，边缘候选单元计算得出。这个单元都是可重构的逻辑结构。计算色调差异平均值的硬件加法器和驱动也在候选单元实现。另外，两个硬件比较器在这个单元里实现是为了找出处理像素周围四个方向中候选边缘的最大值。当边缘检测子系统处理完成的时候，一个新的图像通过边缘像素的定义从原始图像中产生了。这个信息被存储在 S5000 处理器的中央存储器中，并且作为下一个步骤颜色分割子系统的输入。3.3 颜色额分割子系统颜色分

26、割子系统实现的是算法的另一个方面，如同在第 3 节中所描述的那样。颜色分割算法可以分为 6 个阶段。这个子系统的结构示意图如图 9 所示。颜色分割子系统把 S5000 处理器中央存储器中的边缘检测像素值作为输入，并且把图片中的对象用每个对象的平均颜色来表示，以示区分。这个子系统的输出就是一张被用不同颜色标注了对象的图片，这个图片可以用于下一步的图像处理系统，比如 ATR 算法。 该系统第一个要实现的是基于边缘检测子系统输出的图片上的区域分割。图像分割单元包括三个小的系统：边缘像素检测单元，分割后的像素集成单元和分割颜色计算单元。边缘像素检测单元在 Stretch 处理器上的可重构部分来执行。它

27、的输入包括处理后的像素值和周围有 3*3 窗口的像素值，并且给出信号值显示该像素是否可以被用作区域中。分割后像素的集群是执行在软件中的。这个软件单元把能放在同一个区域的像素集中起来，根据这个处理的信息把每一个区域添加一个 ID。最后，区域平均颜色的计算也在软件中执行，因为之前每一个区域的像素点数目没有给出任何信息。因此那些区域中通过的像素的颜色值应该是动态的，这些工作在现在的 Stretch 技术中可能会有限制。颜色分割子系统的第二个项目是同性质的扩展单元。这个单元根据同质标准对来自图像分割单元的图像实现扩展算法。同质扩展单元被分为两个部分：对比属性性质单元和计算局部的绝对相似单元。一般这个单

28、元的架构要包括软件控制单元，去检查任意四个被处理过的相邻像素是否属于一个区域，这个控制过程在硬件单元上执行，为颜色差异的计算服务。否则这个被处理过的像素就不予处置。颜色分割算法的第三个步骤是基于颜色反射标准的颜色分割算法。对于一个像素的颜色反射的计算，需要像素和领域之间的局部相似度的计算。第二个执行的是重要计算单元，这个单元执行每一个区域或者像素在 RGB 模式上的级数。另外，软件乘法器和加法器被设计用于计算颜色反射值和每一个被扩展后的区域的颜色。最后的扩展算法根据区域周围没有被分割的像素的远近程度来进行。距离扩展单元把没有被分割的像素区域的值作为输入，并且检测出哪个区域是被处理过的像素的最近

29、区域，然后对这个区域进行扩展，以便它可以把那个像素包含进来。最后，算法的下面两个步骤，过滤和对象的着色，全部是在软件中执行的。每一个区域的大小都没有经过演绎推理，所以不能高效地在硬件上一一对应。3.4 FRS 方法和 Stretch 技术的对比在先前的章节中描述了 FRS 方法在 SW/HW Stretch 处理器上的实现。这个算法的一部分被作为可重构的模块在 S5000 处理器嵌入式的 FPGA 结构上建立，另外这个算法的其他部分被串行的 C 代码在嵌入式的 Stretch 处理器上执行。这个小节描述了这个工作中最重要最核心的部分，就是 Stretch 可重构处理器能用于实现 FSR 算法的

30、方法。如上所述，像素或子窗口程序，和许多算法的不同阶段。这些都导致了 FPGA 上可重构的模块可以和每一个子程序并行执行。同样，FSR 算法对一些值的计算不止一次（在图片上的不同地方）。例如，Cbs，或候选边缘的值。这又导致了可重构的结构可以在 FRS 方法中重新设置。同样，FSR 方法的低存储使用或存储的重新利用适用于在低存储的平台上实现。最后，该算法属性的优点，那就是在某些阶段不需高精度计算，数字的精确度简化成了定点计算，更快地使可重构模块执行。最后，FPGA 和处理器之间的数据通信带宽较窄，也不允许这样类似的高精度。4.性能和对比这一节主要阐述该系统的性能表现和其他硬件软件在图像分割算法

31、方面的显示效果。在本文中，之前没有 FRS 算法的平滑、边缘检测和颜色分割的硬件执行，然而一个新的该算法的软件执行被设计出来了，用 Matlab R2008 来运行,为的是对比显示结果。Matlab 的显示效果和硬件的解决方案的对比在第 4.1 节中有描述。同样，4.2 对比了一系列颜色分割算法在 Stretch 架构的显示效果和硬件、软件的显示效果。4.1 平滑、边缘检测和色彩分割系统的显示效果 这一节详细介绍了这个嵌入式系统的显示结果，该系统设计的是用 Stretch 技术在S5000 处理器上根据精确的时钟周期运行。另外，这里还有个吞吐量的对比，在嵌入式系统结构和 Matlab 实现的算

32、法之间。我们使用了一张使用 UC Berkeley 作为颜色分割法基准的图片对该系统进行了测试。我们使用的这张图片，是 280*280 的中等颜色分解的图片，如图 10 所示。这张图片之所以被选用是因为它里面的对象（辣椒），相同颜色的部分有相互接触，因此，这是对该算法的一个比较困难的在图片中精确分离出对象的例子。这些图片用 Matlab 软件运行并展示了算法的每个步骤（平滑，边缘检测和颜色分割），如图 11、13 和 15 所示。另外，Stretch 系统的演示结果在图 12、14 和 16 中。此外，还有四张分别使用了这两种系统的对比图片，如图 17 所示。经过比对这些图像我们可以观察到 Matlab 处理过的图像与 Stretch 处理过的图像有轻微的差别。这都是由于 FRS 算法的属性，在一些子计算里用了浮点数计算。硬件在执行算法时，用定点数计算，与 Matlab 处理方法相比，这就导致少部分的精度损失。选用定点数算法有两个原因：第一，采用定点数计算的算法执行时间要少于浮点数计算的算法；第二，S5000 处理器的可重构部分不支持浮点数的算法。尽管这两种颜色分割技术最后的显示效果有轻微差别，但是分割区域