面向上颌骨骨折复位手术的虚拟系统设计.docx

1、面向上颌骨骨折复位手术的虚拟系统设计面向上颌骨骨折复位手术的虚拟系统设计 面向上颌骨骨折复位手术的虚拟系统设计 摘要：基于 3D 计算机触觉视觉交互（CHAI3D）和开放图形库（Open GL）等开源软件，设计了针对上颌骨复位手术的仿真系统。使用真实病例的 CT图像搭建虚拟场景，通过 Geomagic 力反馈设备对虚拟模型进行三维操作并输出触觉反馈。在原有单点碰撞算法的基础上，提出了使用多个中介代理的多点碰撞算法，避免了虚拟手术工具的手柄插入虚拟器官的不实仿真；通过力反馈设备对头颅骨模型进行选择、移动和旋转，模拟手术中对头颅骨的移动和放置。系统可用于训练医学院学生，也可用于复杂手术的术前规划。

2、关键词：虚拟手术；力反馈；上颌骨骨折复位手术；虚拟现实；碰撞检测 中图分类号：TP391.9 文献标志码：A 英文摘要 Abstract：Based on open source softwares of Computer Haptics，visualizAtion and Interactive in 3D（CHAI 3D）and Open Graphic Library（OpenGL），a virtual surgical system was designed for reduction of maxillary fracture.The virtual simulation scena

3、rio was constructed with real patients CT data.A geomagic force feedback device was used to manipulate the virtual 3D models and output haptic feedback.On the basis of the original single fingerproxy algorithm，a multiproxy collision algorithm was proposed to solve the problem that the tools might st

4、ab into the virtual organs during the simulation.In the virtual surgical system，the operator could use the force feedback device to choose，move and rotate the virtual skull model to simulate the movement and placement in real operation.The proposed system can be used to train medical students and fo

5、r preoperative planning of complicated surgeries.英文关键词 Key words：virtual surgery；force feedback；reduction surgery of maxillary fracture；virtual reality；collision detection 0 引言 上颌骨解剖位置特殊，在遭受到外来的打击时，很容易受到伤害，是面部最容易发生骨折的部位。上颌骨骨折会导致咬合错乱、语言障碍、吞咽困难以及咬合无力等症状。临床上常用上颌骨骨折复位手术对其进行治疗。该手术不仅可用于治疗上颌骨骨折，还在上颌骨发育畸形、移

6、位等疾病中有重要作用，在口腔临床医学中有极大的意义。但由于上颌骨解剖结构复杂1，且病人特异性高，该手术对医生的经验技术要求十分严苛。传统的训练方式一般有两种：一种是在塑料材质上对上颌骨模型进行手术仿真，由于材料无法重复使用，导致训练成本很高；另一种是利用只提供视觉仿真而不提供触觉反馈的电脑软件进行训练。两种方法在训练时需要经验丰富的医生加以指导2。为了降低训练成本，使训练更加经济、真实，本系统使用 Geomagic力反馈设备，设计了针对上颌骨骨折复位术的虚拟手术仿真系统。虚拟手术是指运用虚拟现实技术和力反馈技术，对医学外科手术在视觉和触觉上进行高精度的虚拟仿真，让医生能在手术前对即将施行的手术

7、进行模拟仿真，或者是让医学院学生通过操作虚拟手术系统来得到手术经验的积累和技巧的提高。目前虚拟手术的研究在腹腔镜等内窥镜手术中运用广泛3，并且得到了很多医学专家和机构的认可。但是针对颅颌面口腔外科，特别是上颌骨骨折复位手术，进行模拟仿真的虚拟手术系统的设计和研究还有待发展。目前，颅颌面虚拟手术系统的研究主要集中于以下几类：颅颌面 3D 解剖结构仿真3、对颅颌面解剖结构简单触觉反馈4、各类手术工具切换5、颅颌面软组织形变6、颅颌面植入材料的仿真7、某一特例的颅颌面手术仿真8。法国里尔大学运用力反馈设备研发了一套针对口腔牙科种植手术的训练模拟系统，并在钻孔仿真中提出了牙齿腐蚀的快速仿真算法7。美国

8、斯坦福大学的研究人员基于计算机断层扫描（Computed Tomography，CT）数据和体积元素重建（Reconstruction of Volumetric Elements，ROVE）软件对口腔唇腭裂手术进行仿真，并对软组织的形变进行了模拟，运用力反馈设备进行反馈力输出6。美国亚利桑那州的人机交互实验室研究了一套针对颅颌面整容手术的虚拟系统，通过 MRI和 CT扫描数据，运用立方体匹配算法对骨骼进行建模，使用 Phantom desktop 设备进行力反馈输出。该系统主要训练实习医生对钻孔手机的熟练掌握，并将钻孔手机直接连接在力反馈设备前端，使感觉更加真实9。在中国，上海交通大学使用核

9、实中间是连字符还是点，P2中，omega.6中间核实为点，不是连字符；Omega.6 力反馈仪，并基于 3D计算机触觉视觉交互（Computer Haptics，visualizAtion and Interactive in 3D，CHAI3D，www.chai3d.org）软件研发了一套种植牙手术模拟训练手术系统，实现对种植牙手术和截骨术的高精度仿真，并且通过大量的实验，精确地计算了手术中各种操作所涉及的反馈力大小1。中国深圳先进技术研究所基于 CHAI3D 和一些开源软件数据包研发了一套颅颌面虚拟手术系统，其颅颌面解剖结构的虚拟模型由 CT数据重建而来，虚拟手术工具由激光扫描数据逆向重建

10、得来。该系统可用于鼻内镜联合上颌骨水平截骨进路手术（Le Fort I），并对触觉、视觉和听觉效果进行了高度集成，使得虚拟手术环境生动逼真10。针对口腔颅颌面手术的特殊性和专业性，目前科研团队研发的颅颌面其他虚拟手术仿真系统还包括：基于体素模型的种植牙虚拟手术系统11、面部骨伤重建系统4、窝洞制备的虚拟手术系统12、牙周检查的虚拟手术系统13等。现有的大部分颅颌面虚拟手术系统的研究侧重于对器官的几何建模、物理建模等，但在手术工具仿真方面，多数系统只实现了工具的简单碰撞，仅设计了工具尖端与目标器官的碰撞检测14。这可以满足部分手术操作需求，但在其他操作中，当工具手柄碰到器官时，会发生工具插入器官

11、的现象，造成操作者的误判，大大降低了系统的训练效果。本文基于 CHAI 3D 和开放图形库（Open Graphic Library，OpenGL，www.opengl.org）软件，搭建面向上颌骨骨折复位手术的虚拟手术系统，并对工具碰撞模型进行改进，实现了多点碰撞仿真，解决了虚拟手术仿真中手术工具插入目标器官的问题；同时，系统使用力反馈设备对头颅骨模型进行交互，完成了对上颌骨骨折复位术仿真，并完善了系统的操作性。1 上颌骨骨折复位手术 上颌骨骨折手术用于治疗上颌骨发育畸形、骨折等疾病，在临床医学上有极大的用处。在上颌骨骨折复位手术中，首先需要作上颌前庭沟横形切口，并用骨膜分离器于骨面上作骨膜

12、下分离，显露上颌骨。接着，截断上颌骨外侧壁及内侧壁，截断鼻中隔根部，并断离上颌骨后缘，向下折断下颌骨。然后，移动上颌骨，使其位于正常咬合关系的位置，并利用导板维持上颌骨骨块的位置，保证骨质的愈合。上颌骨放置位置的不正确不仅影响面部美观，还可能造成咬合不良，严重时可导致畸形复发或形成新的畸形，给术后正畸治疗增加很多困难15。2 力反馈虚拟手术系统 本文针对上颌骨骨折复位手术中上颌骨的移动，开发了一套虚拟手术训练系统。其硬件包含两个部分：Sensable Geomagic 力反馈设备、联想 ThinkStation 图形工作站，如图 1。力反馈设备通过用户移动的速度和方向等信息，判断接触力的大小和

13、方向，并传递给图形工作站，图形工作站根据输入的力改变模型的位置、形变并显示。同时，图形工作站计算反馈力的大小和方向，并通过力反馈设备的震动、移动，将反馈力输出。2.1 图形引擎 图形引擎完成虚拟三维颅颌面模型和手术工具的重建3及虚拟手术场景的显示。本系统中的上颌骨模型由四川大学华西口腔医院真实采集病例的 CT 图像进行分割后重建而来。在图形引擎中，通过设置光照和视角来模拟真实手术操作环境。2.2 物理引擎 物理引擎检测虚拟手术工具是否与颅颌面模型发生碰撞。若发生碰撞，物理引擎通过用户移动力反馈设备的速度和方向等信息，计算碰撞力的大小和方向，改变模型的位置、形状，并将反馈力信息通过力反馈设备反馈

14、给操作者。3 碰撞模型改进算法 3.1 FingerProxy算法 虚拟手术系统需要仿真手术过程中虚拟手术工具与目标器官之间的碰撞。CHAI3D 提供基础 FingerProxy算法来实现碰撞模拟。虚拟手术工具由工具模型和中介模型组成。中介模型会在工具模型移动之前判断路径上是否有阻碍。虚拟场景中颅颌面模型的每一个三角面片都用最小六面体包围起来，形成 AABB包围盒。如果在其路径上没有障碍物，工具模型会直接移向终点目标，完成移动。如果在移动途中与物体发生碰撞，则移动被终止。若碰撞点不是移动的目标位置，还会根据碰撞点与初始目标位置的关系计算新的终点位置，进行第二次移动。在第二次移动中会加入摩擦力的

15、计算，若再次被阻碍，则中介模型就被两个平面所阻碍，从而停止移动。过程如图 3所示。假设虚拟手术工具没有受到任何阻碍时所处的目标位置坐标为 Pgoal。如果Pgoal 未进入器官内部，则反馈力为 0；若 Pgoal 进入目标中，说明已经发生了碰撞，则将目标位置与前一时刻的目标位置连接，并找到这条射线与模型的交点坐标Pproxy。根据胡可定理公式（1）和模型的硬度系数 k，求出反馈力。FF是否黑斜=0，Pgoal 未进入模型 k（Pgoal-Pproxy），Pgoal 进入模型（1）当发生碰撞时，还会考虑摩擦力的作用。摩擦力的大小由式（2）和摩擦因素kp 求得，方向与模型表面平行。f=kp下标的

16、p 表示什么含义，是变量为斜体还是内容的指代描述为正体？f和F都应该是黑体 Kp表示摩擦因素（F）（2）使用这种算法，如果移动路径上没有障碍物，那么直接移动工具即可，无需进行碰撞点的计算和反馈力的计算，减少了系统计算时间，大大提高了系统实时性。但是由于只在工具尖端覆盖有中介模型（图 4（a），所以只有工具尖端可以实现与模型的碰撞，产生反馈力，而工具手柄部分则会在仿真过程中插入目标器官，如图 4（b）所示。3.2 改进的 MultiProxy算法 本系统在不改变中介模型形状的情况下，设计了一种多个中介模型包裹工具的方法，使中介模型不仅覆盖工具尖端，也覆盖在工具手柄上（图 4（c），判断工具手柄在

17、移动时是否与模型发生碰撞，解决了工具手柄插入模型的问题。中介模型初始化方法为：通过得到工具顶端的坐标，确定工具的轴心。由于手术工具是刚性的，不会在碰撞过程中发生形变，所以每个中介模型的相对位置不会发生改变。同理，每个中介模型对应的目标位置之间的相对位置也是固定不变的。本文定义每个中介模型之间的距离为 D，设置中介模型的个数为 N，第一个中介模型的三维坐标为Pproxyglobal，可以得到中介模型的三维坐标 PproxyN：PproxyN=Pproxyglobal+D（N-1）；N2（3）N的大小由工具长度决定，但如果中介模型的数量过多，则会导致数据的计算量过大，影响系统的实时性和流畅性。在工

18、具初始化后，判定每一个中介模型是否发生碰撞。若中介代理的球面与包围盒的距离小于 0.1，则判定发生碰撞，并计算该点碰撞坐标，更新其余各点坐标（见图 5）。在接下来的判定中，如果还需进行第二次移动，则会加入摩擦力的计算。摩擦力的大小与平面摩擦因素有关，虽然增加了中介模型的个数，增大了工具与器官的接触面积，但如果设定器官表面的摩擦因素一定，摩擦力大小将不随中介模型个数的改变而改变。在第二次移动中，如果工具上的任意某个中介模型再次遇到障碍，则工具停止移动。通过这种方式的改进，解决工具手柄插入目标器官的问题，如图 4（d）所示。4 上颌骨骨折复位术的人机交互 在上颌骨骨折复位术中，医生需要将上颌骨移动

19、到正确的咬合位置。本文通过 OpenGL和 CHAI 3D 实现对人机交互的设计，并基于手术的实际情况，设计力反馈设备与模型交互的视觉和触觉反馈，使手术仿真更加真实。4.1 利用力反馈设备拾取虚拟场景中的模型 虚拟场景中，有 4块上颌骨模型，均由真实病例的 CT数据重建而来，操作者可使用 Geomagic力反馈设备在虚拟场景中拾取上颌骨目标，并对其进行单独操作。拾取流程如图 6所示。为了区分开每块头颅骨模型，方便拾取后的操作，首先使用名字堆栈分别对模型命名。拾取矩阵为一个小的立方体，定义其中心为力反馈设备的坐标，边长为 2。若矩阵的边长过大，会造成一次拾取中选中多个目标的情况。通过 Geoma

20、gic设备上的按钮进入拾取模式后，投影与拾取矩阵相交的头颅骨模型会被选中16。选中的结果将会通过帧缓冲区返回（图 7）。其中：Zmax 和 Zmin 表示选中的模型距离摄像机的最远和最近的距离，用模型的 Z坐标与摄像机 Z 坐标相减得到。若一次拾取中选中了多个模型，可通过比较每个模型的 Zmax 和 Zmin 进行选择。例如，选择 Zmin 最小的模型，则操作的为最靠近屏幕的模型。4.2 力反馈设备对选中目标模型的操作 上颌骨复位手术的难点之一，就是确定上颌骨的移动路径，并最终放置上颌骨。没有规划好移动路径，则在移动过程中，可能会碰到其他的骨头，造成二次伤害；上颌骨放置得不准确，会造成咬合畸形

21、和上颌骨的不正常发育。针对这一难点，本系统基于 CHAI3D 软件，利用 Geomagic力反馈设备，使操作者可以对目标在虚拟的三维空间中进行六个自由度的操作，可用于术前规划，也可用来教学训练医学生。操作者可以通过 Geomagic 设备对上颌骨模型进行选择、移动（图 8（d）、旋转（图 8（e），来将其放置到合适的位置。根据操作者操作力反馈设备时的方向、速度、位置等（图 8（a）、8（b），系统计算图形引擎中目标的移动方向、速度；同时，根据预先设定好的模型的材质、大小、密度等因素，力反馈设备输出一个相应的反馈力（图 8（c），来实现仿真中的触觉反馈。在模型移动的过程中，系统会对目标进行实时的

22、碰撞检测。当检测到目标与其他模型发生碰撞时，力反馈设备将输出一个力来阻止该目标继续沿着原来的方向移动。而在常用三维仿真软件，如交互式的医学影像控制系统（Materialises Interactive Medical Image Control System，MIMICS）中，若有多个模型的存在，在移动模型的过程中，会出现一个模型插入到另一个模型中的现象，这样仿真会造成对骨块位置、形状的误判，影响手术仿真的效果。通过碰撞检测，避免模型之间的交叉，使对上颌骨骨折复位手术的仿真更加逼真且贴合实际。除此之外，操作者还可以对选中的模型进行放缩（图 8（f），从而对上颌骨模型进行观察。联想 ThinkS

23、tation工作站对图像更新的频率为 30MHz，Geomagic力反馈设备更新的频率能达到 1000MHz，满足了虚拟手术在精度和实时性方面的要求。系统的验证主要体现在系统操作者对位移和反馈力两个方面的体验是否接近实际情况。通过调整力反馈设备的操纵杆移动距离与仿真场景中虚拟工具的移动距离之间的比例关系，使医生对虚拟工具的位移感受接近真实位移。反馈力的大小变化对医生使用系统的真实感影响较大，但由于 Geomagic设备的最大输出力 7.9N，小于实际手术的最大力度，系统通过设置不同级别的输出力，在不同操作时产生力度的变化，使虚拟系统操作者有接近真实的感受。5 结语 本文基于 CHAI3D 软件

24、，搭建上颌骨骨折修复虚拟手术系统，有效解决了虚拟手术系统中手术工具手柄会插入目标器官的问题，实现了力反馈仪与虚拟模型的交互，为系统操作者提供了较为真实的仿真环境，很大程度上降低了口腔医学生的训练成本和时间，为术前规划提供了有利支持。系统提供多种力反馈设备的接口，也能够使用不同的病例 CT数据重建新的虚拟模型，为进一步的研究提供了良好的基础。参考文献：1CHEN X，LIN Y，WANG C，et al.A virtual training system using a force feedback haptic device for oral implantology M/Transactio

25、ns on Edutainment VIII.Berlin：Springer，2012：232-240.2SCHVARTZMAN S C，SILVA R，SALISBURY K，et al.A computeraided trauma simulation system with haptic feedback is easy and fast for oralmaxillofacial surgeons to learn and use J.Journal of Oral and Maxillofacial Surgery，2014，72（10）：1984-1993.3VAPENSTAD C

26、，HOFSTAD E F，LANGO T，et al.Perceiving haptic feedback in virtual reality simulators J.Surgical Endoscopy，2013，27（7）：2391-2397.4OLSSON P，NYSJO F，HIRSCH JM，et al.A hapticsassisted craniomaxillofacial surgery planning system for restoring skeletal anatomy in complex trauma cases J.International Journal

27、 of Computer Assisted Radiology and Surgery，2013，8（6）：887-894.5ARBABTAFTI M，MOGBADDAM M，NAHVI A，et al.Physicsbased haptic simulation of bone machining J.IEEE Transactions on Haptics，2011，4（1）：39-50.6SCHENDEL S，MONTGOMERY K，SOROKIN A，et al.A surgical simulator for planning and performing repair of cl

28、eft lips J.Journal of CranioMaxillofacial Surgery，2005，33（4）：223-228.7SYLLEBRANQUE C，DURIEZ C.Six degreeof freedom haptic rendering for dental implantology simulation C/Proceedings of the 5th International Symposium on Biomedical Simulation，LNCS 5958.Berlin：Springer，2010：139-149.8 GOSSELIN F，BOUCHIG

29、NY S，MEGARD C，et al.Haptic systems for training sensorimotor skills：a use case in surgery J.Robotics and Autonomous Systems，2013，61（4）：380-389.9VANKIPURAM M，KAHOL K，McLAREN A，et al.A virtual reality simulator for orthopedic basic skills：a design and validation study J.Journal of Biomedical Informati

30、cs，2010，43（5）：661-668.10WU F，CHEN X，LIN Y，et al.A virtual training system for maxillofacial surgery using advanced haptic feedback and immersive workbench J.The International Journal of Medical Robotics and Computer Assisted Surgery，2014，10（1）：78-87.11ZHENG F，LU W F，WONG Y S，et al.An analytical dril

31、ling force model and GPUaccelerated hapticsbased simulation framework of the pilot drilling procedure for microimplants surgery training J.Computer Methods and Programs in Biomedicine，2012，108（3）：1170-1184.12SUEBNUKARN S，HATAIDECHADUSADEE R，SUWANNASRI N，et al.Access cavity preparation training using

32、 haptic virtual reality and microcomputed tomography tooth models J.International Endodontic Journal，2011，44（11）：983-989.13LUCIANO C，BANERJEE P，DEFANITI T.Hapticsbased virtual reality periodontal training simulator J.Virtual Reality，2009，13（2）：69-85.14KIM L，PARK S.Haptic interaction and volume model

33、ing techniques for realistic dental simulation J.The Visual Computer，2006，22（2）：90-98.15ZHOU X.Oral and maxillofacial surgery M.2nd ed.Beijing：Peoples Military Medical Press，2004：487-189.（周树夏.口腔颌面外科手术学M.2 版.北京：人民军医出版社，2004：487-489.）16SHREINER D.OpenGL programming guide M.3rd ed.Michigan：Edwards Brothers，2009：605-630.