三维重建与可视化技术的进展.docx

1、三维重建与可视化技术的进展医学图像的三维重建与可视化技术的进展随着20世纪七十年代计算机断层技术（Computerized Tomography, CT）、核磁共振成像（Magnetic Resonance Imaging, MRI）等医学影像技术的应用，可以得到病人病变部位的一组二维断层图像，通过这些二维断层图像医生可以对病变部位进行分析，从而使得医学诊断和治疗技术取得了很大的发展。但是，这些医疗仪器只能提供人体内部的二维图像，二维断层图像只是表达某一界面的解剖信息，医生们只能凭经验由多幅二维图像去估计病灶的大小及形状，“构思”病灶与其周围组织的三维几何关系，这就给治疗带来了困难。在放射治疗

2、应用中，仅由二维断层图像上某些解剖部位进行简单的坐标叠加，也不能给出准确的三维影像，造成病变定位的失真和畸变。三维重建与可视化技术利用一系列的二维图像重建为具有直观、立体效果三维图像模型，并进行定性、定量分析。该技术不仅给医生提供了具有真实感的三维图形，并让医生从任意角度观察图像，还可以从二维图像中获取三维结构信息，提供很多用传统手段无法获得的解剖结构信息，帮助医生对病变体和周围组织进行分析，极大地提高医疗诊断的准确性和科学性，从而提高医疗诊断水平。同时，三维重建与可视化技术还在矫形手术、放射治疗、手术规划与模拟、解剖教育和医学研究中发挥着重要作用。本文首先介绍了医学图像三维重建的几种经典方法

3、，以对该技术有个总体性的大致的了解；然后结合相关文献，深入研究了一个改进的MC（Marching Cubes）算法以及基于寰椎的X线图像的三维形态重建。一、医学图像的三维重建的几种常见方法目前，医学图像三维重建的方法主要有两大类：一类是通过几何单元拼接拟合物体表面来描述物体的三维结构，称为基于表面的面绘制方法；另一类是直接将体素投影到显示平面的方法，称为基于体数据的体绘制方法，又称直接体绘制方法。其中面绘制方法是基于二维图像边缘或轮廓线提取，并借助传统图形学技术及硬件实现的，而体绘制方法则是直接应用视觉原理，通过对体数据重新采样来合成产生三维图像。近来，产生了结合面绘制和体绘制两者特点的混合绘

4、制方法，可以称为第三类三维重建方法。（一）面绘制方法面绘制1是最早应用于医学图像三维显示的技术。它通过平面元来近似和逼近物体表面，是一种表面的提取和显示技术。面绘制的基本思想是提取感兴趣物体的表面信息，再用绘制算法根据光照、明暗模型进行消隐和渲染后得到显示图像。其基本过程如图1所示，首先由一组断层图像构造出三维体数据场，然后对规则数据场中的体数据进行待显示物体的表面分割，并从体数据中抽取一系列相关等值面。然后再通过构造几何基元进行多边形拟合近似，内插形成物体表面。最后通过传统的图形学算法,包括光照、纹理映射等进行真实感图形显示。图1 面绘制流程图根据面绘制重建过程中处理元素的级别不同，可以将面

5、绘制方法大致分为体素级重建方法和切片级重建方法两类。（1）体素级重建方法体素级重建方法【2，3】是在体数据内以体素为单位跟踪表面，在构成表面的体素内进行小面片重建。最后再借助于图形学方法将小面片组成的物体轮廓显示出来。体素级重建方法主要有：l) 立方体法(Cuberille)：它是最早的体素级重建方法，用边界体素的六个面拟合等值面，即把边界体素中相互重合的面去掉，只把不重合的面连接起来近似表示等值面。2) 移动立方体法(Marching Cubes)：它是由W.E.Lorenson和H.E.Cline在1987年提出来的三维空间规则数据场构造等值面的经典方法。它可以用于由医疗诊断的扫描仪(CT

6、)及核磁共振仪(MRI)等产生的图像。MC方法的主要步骤如下：首先确定包含等值面的体元，然后求等值面与体元边界的交点及等值面的法向，最后绘制出等值面图像。3) 移动四面体法(Marching Tetralledra)：它是在MC方法的基础上发展起来的。该方法首先将立方体的体元剖分为四面体，然后在其中构造等值面。4) 剖分立方体法(Dividing Cubes)：它仍是由W.E.Lorenson和H.E.Cline两人提出的。随着新一代CT和MRI等设备的出现，二维切片中图片的分辨率不断提高，断层不断变薄，己经接近并超过计算机屏幕显示的分辨率。在这种情况下，提出了DC方法。（2）切片级重建方法切

7、片级重建方法【4-7】也可以称为连接轮廓线法，是面向多边形的面绘制方法。其核心是：在每一个二维断层图像中提取边界，得到由边界堆叠的表面线框表示，然后进行表面重建。通常也是用三角形贴面技术，用三角形将层与层间的轮廓线连接起来，最后进行表面明暗处理，得到具有立体感的三维表面。该方法的主要步骤是：第一步：平面轮廓的提取。平面轮廓的提取一般基于物体与背景间灰度或其它属性的差异进行分割和提取。第二步：片间轮廓的对应。片间轮廓的对应具有较大的任意性，一般可以通过对不同层面上轮廓重叠部分定量比较，或应用一些能够描述轮廓形状的椭圆拟合、柱体生长等方法判断。第三步：轮廓拼接。确定了对应的轮廓之后，还需要确定对应

8、轮廓上的对应点，通常采用活动轮廓法(Active Contour)。确定了对应点之后，可以用小三角形或四边形面片将相邻层面上对应点及其邻点连接起来，这些小三角形面片连接起来就构成物体表面的大致表示。第四步：曲面拟合。小三角面片结构只能是物体表面的粗略表示，较为精确的方法可用曲面拟合，即用通过小三角形顶点的曲面代替三角形平面。常用的有三次B样条插值，更为精细的有非均匀有理B样条(NURBS)。切片级重建必须解决下面四个问题：l) 轮廓对应问题：确定相邻切片上轮廓的对应关系；2) 轮廓拼接问题：用多边形或者三角形连接不同层面上的对应轮廓，以最佳的方式表示物体表面。最关键是确定对应轮廓上点的相互对应

9、关系，并用多边形构造轮廓间的表面；3) 分叉问题：当一个物体在一对相邻断层上的轮廓数不相等时，就发生了分叉情况。在轮廓对应出现一对多关系的情况下，确定表面的多边形拼接；4) 曲面拟合问题：根据上述步骤确定的点之间的连接关系和表面拓扑结构，确定最佳拟合曲面。在切片级重建方法中，轮廓对应和拼接都是关键性的问题，虽然许多人都致力于这些问题的研究，但至今尚未完全解决好。（3）两类面绘制方法的比较原始图像分辨率较高时，体素级重建方法比切片级重建方法更可靠、更有效；而当原始图像分辨率较低时，体素级重建方法的精度较低，这时切片级重建方法能够比较好的构造出光滑的表面。总的来说，由于体素级重建方法不考虑分叉问题

10、，全局的拓扑结构已经由局部拓扑处理所确定，所以它比切片级重建有更高的精度和可靠性。但体素级重建方法重建的结果却产生大量的几何图元，占用大量的存储空间，即使对于几何结构非常简单的物体也是如此。因此，在保证一定精度的前提下，减少几何图元的数量就成为体素级重建方法中一个值得研究的问题。切片级重建方法可以实现大幅度的数据压缩，但轮廓对应存在着多义性，特别是在分叉情况下，轮廓对应问题的不确定性更加严重。两种方法都有各自的优缺点，不能简单地说哪一种方法更好，要根据具体的情况进行选择。（二）体绘制的方法与面绘制不同，由于体绘制算法认为体数据场中每个体素都有一定的属性（透明度和光亮度)，而且通过计算所有体素对

11、光线的作用即可得到二维投影图像，因此，体绘制可以利用模糊分割的结果，甚至可以不进行分割即可直接进行体绘制。这样做的好处在于有利于保留了三维医学图像中的细节信息，但缺点是加大了计算开销，即使在硬件图形加速支持的机器上，体绘制也比面绘制慢的多。鉴于体绘制的中心思想是为场景中的每个体素指定一个不透名度，因此需考虑每个体素对光线的透射、反射和折射作用。可以用图2来说明体绘制算法的实质。三维空间分布在离散网格点上的数据一般是由三维连续的数据场经过后作插值运算取得的。图形设备屏幕上的二维图像则是由存放在帧缓存中的二维离散信号经而成。因此，的作用就是将离散分布的三维数据场，按照一定的规则转换为图形显示设备帧

12、缓存中的二维离散信号，即生成每个象素点颜色的R、G、B值。图2 体绘制流程图断层扫描、有限元分析或随机采样 体绘制算法 图形硬件重建根据不同的绘制次序，体绘制方法目前主要分为两类：以图像空间为序的体绘制方法和以对象空间为序的体绘制方法。（1）以图像空间为序的体绘制方法体光线跟踪法该类方法是从屏幕上的每一个象素点出发，根据设定的视点方向，发出一条射线，这条射线穿过三维数据场的体素矩阵，沿这条射线选择K个等距采样点，由距离某一采样点最近的8个体素的颜色值及不透名度值作三维线性插值，求出该采样点的不透名度值及颜色值。在求出该条射线上所有采样点的颜色值及不透名度值以后，可以采用由后到前或由前到后的两种

13、不同的方法将每一采样点的颜色及不透明度进行组合，从而计算出屏幕上该象素点处的颜色值。其主要步骤是：For 每条光线 DoFor 每个与光线相交的体素 Do计算该体素对图像空间对应象素的贡献（2）以对象空间为序的体绘制方法体单元投影法该类算法首先根据每个数据点的函数值计算该点的不透名度值及颜色值，然后根据给定的视平面和观察方向，将每个数据点的坐标由对象空间变换到图像空间。再根据选定的光照模型，计算出每个数据点处光照强度。然后根据选定的重建核函数计算出从三维数据点光照强度到二维图像空间的映射关系，得出每个数据点所影响的二维象素的范围及对其中每个象素点的光照强度的贡献。最后将不同的数据点对同一象素点

14、的贡献加以合成。体单元投影法的主要步骤:For 每一体素或单元 DoFor 该体素在视平面投影区域内的每一象素 Do计算象素点获得的光照强度（3）两类体绘制方法的比较两种方法各有特点，体光线跟踪法要将当前所有体数据存入内存，内存要求高。而体单元投影法只需当前单元的体数据。从走样的情况分析，由于体光线跟踪法采用点采样，走样情况只有通过分布式光线跟踪才能消除。相对地讲，体单元投影法可达到解析解的程度。实质上，图像质量高低的关键在于所采用的重建核函数的精度。高精度的再采样同样能较大地提高光线跟踪的质量。但应注意到，对象空间往往比图像空间要大的多，所以体单元投影法的计算时间相对要大得多。但体光线跟踪难

15、以并行化，而体单元投影的并行处理要相对容易得多。（三）混合绘制方法混合绘制方法组合了面绘制和体绘制的绘制特点，可以同时进行面绘制和体绘制。其特点是保留了原始数据表示，避免了因变换引起的走样和变形。这一方法具体来说有两种不同的混合绘制途径：一种是扩展传统的体绘制光线跟踪方法，使之能对几何面数据也能进行光线跟踪，即混合光线跟踪方法；另一种是对几何数据和体数据分别绘制，用深度分类算法组合结果，即组合绘制方法。Levoy提出的混合光线跟踪是第一个将多边形面光线跟踪与体绘制光线跟踪相组合的混合光线跟踪算法。对于从视点出发穿过屏幕象素的每条光线，沿光线在w个等步长位置采样体数据由周围体素的值插值计算出采样

16、点的颜色和不透明度。同时对于每条光线和多边形的所有交点，用Phong等具体的光照模型计算出每一交点的颜色和不透明度。影响一条光线的贡献数等于沿光线的体采样数和光线与多边形的交点数据，由深度分类，从前到后以光线前进方向组合所有贡献点。由于光线跟踪是点采样过程，因而很容易发生走样和形变。为了提高结果图像的质量，可采用以下两个策略：一是根据体采样不透明度的衰减计算出的多边形绘制图像决定是否需要进行超采样；二是用体和多边形的交的类型改变沿光线的采样位置。通过这两种技术，可以较大地提高结果图像的质量，但计算开销也同样增大。组合绘制方法保留了面绘制和体绘制各自的相对独立性，其绘制过程的相对独立性是很重要的

17、，因为在目前的工作站上体绘制的性能与面绘制的性能相差甚远，应用组合体绘制可以充分发挥现有面绘制模块和现有图形硬件的性能，从而提高混合绘制的速度和质量。Goodsell的工作是最早采用这种技术的尝试，在其分子结构的绘制中提出了对不同的数据类型应用不同的绘制算法。具体而言，是先绘制多边形几何数据，再进行体数据的绘制。Walsum提出了另一种相似的算法，首先绘制多边形曲面，再绘制体数据，而且可利用面绘制的信息来加速体绘制过程。Fruhauf提出的组合体绘制方法解决了半透明多边形几何面的组合绘制问题，他没有简单地使用Z-Buffer进行组合，提出了用图像空间单元表进行组合。采用组合绘制技术可以将各类图

18、形单元如符号、线段、面片和体数据及图像数据组合在一起绘制，从而增强结果图像的表达力，这在许多场景下是必不可少的。二、文献研究（一）一种适用于医学图像重建的改进的MC算法1、基本思路MC算法是一种使用广泛的面绘制方法，其原理很简单且易于实施，但存在一些弊端：（1）顺序检测每一个立方体，耗时极多，效率低；（2）产生的三角片数量巨大，大大降低了重建速度；（3）不能保证三角面片所构成的等值面的拓扑一致性。由于该算法对每个立方体的处理都是一样的，因此可以采用计算机中的并行处理技术的原理来克服弊端（1）；由于边折叠静态法（即合并边的两个端点）能够简化网格，且几乎不影响三维重建的质量，因此可以用来克服弊端（

19、2）；由于体素和等值面的相交线通常为双曲线，因此可以利用双曲线的渐近原理来避免弊端（3）的出现。除此之外，增加了一个滤波器模块和图像分割模块，可以消除原始图像中的噪声，并且可以从原始图像中提取感兴趣的部分，从而提高三维重建质量。2、改进步骤（1）在三维重建之前增加一个滤波器模块平均领域法、中值滤波法和保留边缘法是用于图像滤波的三种最流行的滤波器。其中，平均领域法很容易实现且耗时较少，但它会严重损坏原始的图像数据；保留边缘法复杂且耗时较多，但它可以很好地保留原始的图像数据；中值滤波法介于前面两者之间。鉴于这三种滤波器各有其优缺点，作者设计了三个过滤模块。（2）增加一个图像分割模块由于人体器官的解

20、剖结构比较复杂，医生有时只对某一器官或组织感兴趣，因此将图像进行分割是有必要的。考虑到时间成本和分割效果，作者采用了边缘检测法，并选择了自动分割方式。（3）将MC算法中单回路顺序检测法改变成多线同时检测法由于计算机中的多通道技术（并行处理技术）大大提高了工作效率，所以，作者采用同样的方式对原本的单回路穿越法进行了改进。改进前后的流程如表1所示：表1 MC算法改进前后检测立方体的流程比较改进前改进后For K=1 to NUM-1 （穿过切面，步幅为1） For i=1 to ROM-1 （横向穿过图像，步幅为1） For j=1 to COLUMN-1 （纵向穿过图像，步幅为1） 检测体素（i

21、，j，k）For K=1 to NUM-1 （穿过切面，步幅为1） For i=1 to ROM-1 （横向穿过图像，步幅为1） For j=1 to COLUMN-1 （纵向穿过图像，步幅为5） 检测体素（i，j，k）检测体素（i，j1，k）检测体素（i，j2，k）检测体素（i，j3，k）检测体素（i，j4，k）（4）取立方体的棱的中点作为交点以代替用线性插值对它进行计算随着成像技术大大提高，切片层越来越薄，因此，将取棱的中点作为交点来代替用线性插值对它进行计算，在重建结果中几乎没有产生什么不同，误差小于棱长的一半，但重建时间减少了40。此外，这个方法所产生三角网格可以在局部区域形成平滑的等

22、值面，这样有利于网格的简化。如图3所示，虚线表示的是在改良的方式中所产生的三角网格，实线表示的是在传统的方式中所产生的三角网格。图3 改进的方法与传统的方法的比较（5）通过使用渐近原理来避免产生不明确的表面 根据空间几何学知，体素和等值面之间的相交线通常为双曲线。利用体素和双曲线的边界面之间的相对位置可以预先确定是否有可能产生不明确的表面。如图4所示，当双曲线的两个分支都与体素的某一边界面相交时，有可能产生不确定的表面。从图4中可以发现，双曲线会将边界面分为3个区域，渐近线的交点会出现在与某对交点相同的区域中。假设边界面为z=z0，则双曲线方程为：其中，双曲线的渐近线的交点坐标为：， 当发生歧

23、义时，可以获得双曲线的渐近线的交点。然后根据公式 计算出函数f（x，y，z0）。如果f（x，y，z0）C时，交点应在与f值远大于c的那对交点相同的区域中。否则，交点应在与f值小于c的那对交点相同的区域中。如图5。图4 边界面和双曲线之间的相对位置图5 不确定性的结果（6）简化网格 作者采用了边折叠的静态简化法。这种方法通过合并边的两个端点来实现简化，并且不影响原始数据的拓扑结构。确定哪边要被折叠以及被折叠的顶点应该在哪，是该方法需要解决的两个问题。对此，作者采用了QEM（二次误差公制）法。其基本原理是：计算点到被当作错误测量的面的距离的平方和。步骤是：首先，为每一个原始网格放置一个44的误差矩

24、阵，并计算边折叠的花费和新增顶点的适合性。其次，在花费上升的命令中做边折叠。 新顶点的误差矩阵是两个折叠之和。3、测试与评价作者在所改进的MC算法的基础上用Visual c+编写了一个程序，并在计算机上进行了测试。原始的对象数据是256256124（12位）的CT图像，重建结果如图6所示。图6 重建结果 左一：一个原始的二维横截面图像；左二：标准MC算法的重建结果；右二：改进的算法的重建结果；右一：旋转后的结果标准的MC算法和上述的改进的算法之间的比较如表2所示。表2 算法比较算法三角片的数量重建所需的时间（s）标准的MC算法41153438.519本文提出的算法9pt2981263.294可

25、以看出，这一改进后的算法可以减少所产生的三角片的数量，且完成重建所耗费的时间比标准MC算法所耗费的更少，而在重建好的三维图像中几乎没有明显的差异。4、讨论 作者所提出的改良的MC算法能够顺利地完成重建，调整和旋转，并且很好地克服了传统的MC算法所存在的弊端。随着计算机硬件的不断发展，本文献中的一些用于重建系统中的方法可以得到改进。例如，随着计算机中存储容量的不断增加，可以采用动态的方法来简化网格，从而可以根据观察点的位置来简化不同区域中的网格。（二）基于寰椎的X线图像的三维形态重建利用人工髋关节替代的方法来治疗关节变性病已经成为三维形态重建技术的显著应用之一。为使髋关节的生物力学重建独特并且最

26、优，该文献以三维统计形态模型为基础，介绍了一种将X线图像重建出未知的三维形态的新方法。该方法的核心部分是对相似性测度（用来评估X线图像和形态模型的投影图之间的差异性）进行最优化的一个算法。图7 X线图像的三维重建1、基本思路假设摄像机标定值和线性转换是已知的并且不必优化，可建立形态模型，然后由已知的摄影机标定值K和形态模型的距离，通过计算模拟射线在形态模型中传播的距离可以得到形态模型的厚度图像。利用体绘制技术可以对X线图像进行合成得到模拟的X线图像。并用Canny边缘探测器提取出厚度图像和模拟的X线图像以及投影图的轮廓。最后可通过对估算模型与X线轮廓这两者的距离来有效地估算出距离D来评价相似性

27、测度并检查最优化程度，为人工髋关节的移植提供比较准确的参考。2、处理步骤及结果（1）建立统计形态模型首先将每个待处理的形态分解成许多相对应的区域，然后在计量失真为最小的情况下，将每一个区域都连续地绘制到一个共用基畴中，直接连接这些参数就得到了所要的关系图。这样，所有待处理的形态（将形态的表面顶点离散化的抽样点）vi (i = 1, . . . , n)都能够在3m范畴内公共的向量空间中表示出来。然后对这组向量的主要成分进行分析，得到下面的双线性模型：其中是指平均形态，是协方差矩阵 的本征模。形态分量b和线性转换T是该模型的自由度。（2）估计形态模型的厚度图像由已知的摄影机标定值K（X线源的位置

28、和方向决定了图像获得的位面）和已知的形态模型的距离，通过计算模拟射线在形态模型中传播的距离，利用图表加速算法可以有效地可以估算出形态模型在图像的获得面中的厚度图像（见图8顶部）。（3）模拟X线利用体绘制技术可由CT数据集得到合成的X线图像（见图8底部）。另外，同样的CT数据集被用来提取统计形态模型的处理数据，然后用此来评价该方法。因此，可以直接将形态模型的投影图和标准的X线图像进行比较。图8 顶部：厚度图像（所设计的形态模型）；底部：模拟后的X线图像（4）提取轮廓利用Canny边缘探测器从厚度和模拟的X线图像中提取出突出的轮廓（见图9），最后从投影图像中提取轮廓。用零级设置（将厚度0的像素和厚

29、度=0的像素分离开来）自动地从厚度图像中提取轮廓。然后去掉错误边缘或者增加丢失的边缘，得到图10。图9 Canny 边缘图（顶行: 厚度图像；底行：模拟后的X线图像）（5）选择相似性测度最优化问题是，其中中的是指所设计的形态模型和X线图像之间的差别。D的最明显的选择方法有下面两种：方法一：D的全自动选择在于厚度和X线图像之间的强度关系。例如，利用平方差之和或者交互信息。由于增加的结构在X线图像中有显示而在厚度图像中没有显示以及该方法没有考虑到不均一性的存在这两个原因，作者按这方法所得到的实验结果不太乐观（如图8所示）。方法二：第二个最明显的选择在于测量边缘图像之间的距离。其中为点在厚度图像中的

30、轮廓设置和在X线图像中的轮廓设置之间的距离。作者选择了第二种方法，并作了一些改善。例如，计算了模型和X线轮廓这两者的距离以有效地估算距离D；用物体的轮廓代替完整的边缘图像和以缓和轮廓难以规定对应部分的问题。图10 左: X线中Canny 边缘探测器探测到的边缘；右: X线中的边缘（6）最优化因为距离函数D是非线性的，通常显示出了很多局部最小值，所以作者通过一个以很长的间隔时间为限制条件的估算距离的方法计算出了一个更合适的查找方向，并用它取代下降的梯度，以避免去解决在局部最小值中出现的问题。另外，作者认为轮廓在最优化期间是处于不同的分辨率中，故采用了一个多分辨率的方法来作记录，大大地减少了计算时

31、间。3、方法测试该方法中需要测试的主要部分是统计形态模型和相似性测度。作者使用了23个腹部的CT数据集（分辨率为115 mm）对此方法进行论证。因为对所有的数据集，骨盆骨的手动分割作为定量分析的黄金标准是可用的。作者假设摄像机标定值和线性转换是已知的并且不必优化。所有的实验要一张X线图像（冠状物：CO）和两张X线图像（CO加上矢状的：CO-SA）。通过计算优化结果和黄金标准之间的均衡的中间表面距离，估算出误差。进行了三个不同的实验：（a）保留所有的形态（LI）：作为相似性测度和获得准确的三维形态的最优化方案的测试，统计形态模型（包含要被重建的形态）实现了重建。其几乎被降低到零。 表1 实验结果（越过23个数据集的的平均数和标准偏差）测试平均值(mm)中间值(mm)最大值(mm)LI(CO)1.50.51. 20.38. 83.3LI(CO-SA)1.30.51. 10.57.92.6LO(CO)2. 60.42.10.317.66.5LO(CO-SA)2. 40.42. 00.314.93.1SO2. 00.21. 60.213.32.6 （b）移除要被重建的形态（LO）：要重建的图像被从形态模型中除去。这显示了“真实世界”的