医学影像图像处理六.ppt

1、第七章第七章 医学图像的配准与融合医学图像的配准与融合 7.1 配准与融合的应用背景介绍配准与融合的应用背景介绍 7.2 医学图像配准概述医学图像配准概述 7.3 图像配准的理论基础图像配准的理论基础 7.4 常用的医学图像配准方法常用的医学图像配准方法 7.5 图像配准的评估图像配准的评估第七章第七章 医学图像的配准与融合医学图像的配准与融合 7.6 图像融合概述图像融合概述 7.7 常用的图像融合方法常用的图像融合方法 7.8 图像融合效果的评价图像融合效果的评价 随着计算机技术的高速发展，医学成像技术日随着计算机技术的高速发展，医学成像技术日新月异，新月异，为临床医学提供了各种形态和功能

2、的影像为临床医学提供了各种形态和功能的影像信息。信息。但是各种成像技术和检查方法都有它的优势与但是各种成像技术和检查方法都有它的优势与不足，并非一种成像技术可以适用于人体所有器官不足，并非一种成像技术可以适用于人体所有器官的检查和疾病诊断，也不是一种成像技术能取代另的检查和疾病诊断，也不是一种成像技术能取代另一种成像技术，而是相辅相成、相互补充。一种成像技术，而是相辅相成、相互补充。7.1 7.1 应用背景介绍应用背景介绍根据医学图像所提供的信息内涵，分为两大类：根据医学图像所提供的信息内涵，分为两大类：l 解剖结构图像（解剖结构图像（CTCT、MRIMRI、B B超等）超等）l 功能图像（功

3、能图像（SPECTSPECT、PETPET等）等）解剖图像以较高的分辨率提供了脏器的解剖形态信息（功能解剖图像以较高的分辨率提供了脏器的解剖形态信息（功能图像无法提供脏器或病灶的解剖细节），但无法反映脏器的图像无法提供脏器或病灶的解剖细节），但无法反映脏器的功能情况。功能情况。功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖图像所不能替代的；图像所不能替代的；7.1 7.1 应用背景介绍应用背景介绍n 目前这两类成像设备的研究都已取得了很大的进步，图像的目前这两类成像设备的研究都已取得了很大的进步，图像的空间分辨率和图像质量有很大的提高，

4、但由于成像原理不同所空间分辨率和图像质量有很大的提高，但由于成像原理不同所造成的图像信息局限性造成的图像信息局限性,使得单独使用某一类图像的效果并不理使得单独使用某一类图像的效果并不理想。想。n 因此，为了提高诊断正确率，需要综合利用患者的各种图像因此，为了提高诊断正确率，需要综合利用患者的各种图像信息。信息。7.1 7.1 应用背景介绍应用背景介绍n 最有效的解决方法：以医学图像配准技术为基础，利用信息最有效的解决方法：以医学图像配准技术为基础，利用信息融合技术，将这两种图像结合起来，利用各自的信息优势，在融合技术，将这两种图像结合起来，利用各自的信息优势，在一幅图像上同时表达来自人体的多方

5、面信息。一幅图像上同时表达来自人体的多方面信息。n 更加直观地提供了人体解剖、生理及病理等信息。其中配准更加直观地提供了人体解剖、生理及病理等信息。其中配准技术是图像融合的关键和难点。技术是图像融合的关键和难点。7.1 7.1 应用背景介绍应用背景介绍7.2 7.2 医学图像配准概述医学图像配准概述一、医学图像配准的概念一、医学图像配准的概念 二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用 三、医学图像配准的基本过程三、医学图像配准的基本过程 四、医学图像配准方法的分类四、医学图像配准方法的分类 一、医学图像配准的概念一、医学图像配准的概念 医医学学图图像像配配准准是是指指对对于

6、于一一幅幅医医学学图图像像寻寻求求一一种种（或或一一系系列列）空空间间变变换换，使使它它与与另另一一幅幅医医学学图图像像上上的的对对应应点点达达到到空空间间上上的的一一致致。这这种种一一致致是是指指人人体体上上的的同同一一解解剖剖点点在在两两张张匹匹配配图图像像上上有有相相同同的的空空间间位位置置（位位置置一一致致，角角度度一一致致、大大小一致）。小一致）。配配准准的的结结果果应应使使两两幅幅图图像像上上所所有有的的解解剖剖点点，或或至至少少是是所有具有诊断意义的点及手术感兴趣的点都达到匹配。所有具有诊断意义的点及手术感兴趣的点都达到匹配。医学图像配准示意图医学图像配准示意图一、医学图像配准的

7、概念一、医学图像配准的概念二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用 医医学学图图像像配配准准具具有有很很重重要要的的临临床床应应用用价价值值。对对使使用用各各种种不不同同或或相相同同的的成成像像手手段段所所获获得得的的医医学学图图像像进进行行配配准准不不仅仅可可以以用用于于医医疗疗诊诊断断，还还可可用用于于手手术术计计划划的的制制定定、放放射射治治疗疗计计划划的的制制定定、病病理理变变化化的的跟跟踪踪和和治治疗疗效效果果的的评评价价等等各各个个方方面。面。临床应用举例临床应用举例 1 1、计计算算机机辅辅助助手手术术中中，外外科科医医生生根根据据配配准准的的CT/MR/DS

8、ACT/MR/DSA图图像像精精确确定定位位病病灶灶及及周周围围相相关关的的解解剖剖结结构构信信息息，设设计计出出缜缜密密的的手手术术计计划划。在在手手术术过过程程中中，利利用用三三维维空空间间定定位位系系统统使使术术前前计计划划的的虚虚拟拟病病人人、手手术术台台上上的的真真实实病病人人和和手手术术器器械械三三者者精确联系起来进行手术跟踪。精确联系起来进行手术跟踪。二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用临床应用举例临床应用举例 2 2、在在癫癫痫痫病病的的治治疗疗中中，一一方方面面需需要要通通过过CTCT，MRIMRI等等图图像像获获得得病病人人的的解解剖剖信信息息，另另

9、一一方方面面又又需需要要通通过过SPECTSPECT或或PETPET等等得得到到病病人人的的功功能能信信息息，这这两两方方面面的的结结合合将将有有助助于于对对病病人人的的精确治疗。精确治疗。二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用临床应用举例临床应用举例 3 3、放放射射治治疗疗中中，应应用用CTCT和和MRMR图图像像的的配配准准和和融融合合来来制制定定放放疗疗计计划划和和进进行行评评估估，用用CTCT图图像像精精确确计计算算放放射射剂剂量量，用用MRMR图图像像描描述述肿肿瘤瘤的的结结构构，用用PETPET和和SPECTSPECT图图像像对对肿肿瘤瘤的的代代谢谢、免免疫

10、疫及及其其他他生生理理方方面面进进行行识识别别和和特特性性化化处处理理，整整合合的的图图像像可可用于改进放射治疗计划或立体定向活检或手术。用于改进放射治疗计划或立体定向活检或手术。二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用三、医学图像配准的基本过程三、医学图像配准的基本过程 1 1、根据待配准图像（浮动图像）、根据待配准图像（浮动图像）I I2 2与参考图像（基准图与参考图像（基准图像）像）I I1 1，提取出图像的特征信息组成特征空间；，提取出图像的特征信息组成特征空间；2 2、根据提取出的特征空间确定出一种空间变换，使待配、根据提取出的特征空间确定出一种空间变换，使待配准

11、图像准图像I I2 2经过该变换后与参考图像经过该变换后与参考图像I I1 1能够达到所定义的能够达到所定义的相似性测度；相似性测度；3 3、在确定变换的过程中，还需采取一定的搜索策略也就、在确定变换的过程中，还需采取一定的搜索策略也就是优化措施以使相似性测度更快更好地达到最优值。是优化措施以使相似性测度更快更好地达到最优值。NY待配准图像I2几何变换T变换后的图像I*=T(I2)相似性测度评价T最优？最优T更新T初始变换T参考图像I1图像配准的流程图图像配准的流程图三、医学图像配准的基本过程三、医学图像配准的基本过程四、医学图像配准方法的分类四、医学图像配准方法的分类 到到目目前前为为止止，

12、图图像像配配准准方方法法的的分分类类始始终终没没有有一一个个统统一一的的说说法法。目目前前比比较较流流行行的的是是19931993年年Van Van den den ElsenElsen等等人人对医学图像配准进行的分类，归纳了七种分类标准。对医学图像配准进行的分类，归纳了七种分类标准。（一）按图像维数分类（一）按图像维数分类 按图像维数分为按图像维数分为2D/2D2D/2D，2D/3D2D/3D，以及，以及3D/3D3D/3D配准。配准。2D/2D2D/2D配准通常指两个断层面间的配准；配准通常指两个断层面间的配准；2D/3D2D/3D配准通常配准通常指空间图像和投影图像（或者是单独的一个层面

13、）间的指空间图像和投影图像（或者是单独的一个层面）间的直接配准；直接配准；3D/3D3D/3D配准指配准指2 2幅三维空间图像间的配准。幅三维空间图像间的配准。四、医学图像配准方法的分类四、医学图像配准方法的分类（二）根据医学图像的模态分类（二）根据医学图像的模态分类 单模态医学图像配准：是指待配准的两幅图像是用同一单模态医学图像配准：是指待配准的两幅图像是用同一种成像设备获取的。一般用在生长监控、减影成像等。种成像设备获取的。一般用在生长监控、减影成像等。多模态图像配准：是指待配准的两幅图像来源于不同的多模态图像配准：是指待配准的两幅图像来源于不同的成像设备，主要应用于神经外科的诊断、手术定

14、位及放成像设备，主要应用于神经外科的诊断、手术定位及放疗计划设计等。疗计划设计等。四、医学图像配准方法的分类四、医学图像配准方法的分类（三）根据变换性质分类（三）根据变换性质分类 刚性变换：只包括平移和旋转。刚性变换：只包括平移和旋转。仿射变换：将平行线变换为平行线。仿射变换：将平行线变换为平行线。投影变换：将直线映射为直线。投影变换：将直线映射为直线。曲线变换：将直线映射为曲线曲线变换：将直线映射为曲线。四、医学图像配准方法的分类四、医学图像配准方法的分类（四）根据用户交互性的多少分类（四）根据用户交互性的多少分类 自动配准：用户只需提供相应的算法和图像数据。自动配准：用户只需提供相应的算法

15、和图像数据。半自动配准：用户需初始化算法或指导算法半自动配准：用户需初始化算法或指导算法(如拒绝或接如拒绝或接受配准假设受配准假设)；交互配准：用户在软件的帮助下进行配准交互配准：用户在软件的帮助下进行配准 四、医学图像配准方法的分类四、医学图像配准方法的分类（五）根据配准所基于的图像特征分类（五）根据配准所基于的图像特征分类 基于外部特征的图像配准：是指在研究对象上设置一些基于外部特征的图像配准：是指在研究对象上设置一些 标志点，使这些标记点能在不同的影像模式中标志点，使这些标记点能在不同的影像模式中 显示，然后再用自动、半自动或交互式的方法显示，然后再用自动、半自动或交互式的方法 用标记将

16、图像配准。用标记将图像配准。基于内部特征的配准：主要包括三个方面：基于标记的基于内部特征的配准：主要包括三个方面：基于标记的 配准方法、基于分割的配准方法、基于像素特配准方法、基于分割的配准方法、基于像素特 性的配准性的配准。四、医学图像配准方法的分类四、医学图像配准方法的分类（六）根据配准过程中变换参数确定的方式分类（六）根据配准过程中变换参数确定的方式分类 1 1、通过直接计算公式得到变换参数的配准：限制在基于特征信息、通过直接计算公式得到变换参数的配准：限制在基于特征信息(例如小数目的特征点集、二维曲线、三维表面例如小数目的特征点集、二维曲线、三维表面)的配准应用中。的配准应用中。2 2、通过在参数空间中寻求某个函数的最优解得到变换参数的配准：、通过在参数空间中寻求某个函数的最优解得到变换参数的配准：所有的配准都变成一个能量函数的极值求解问题。所有的配准都变成一个能量函数的极值求解问题。四、医学图像配准方法的分类四、医学图像配准方法的分类（七）根据主体分类（七）根据主体分类 1 1、同一患者、同一患者(IntrasubjectIntrasubject)的的 配准：指将来自同一个病