科技是国家强盛之基，创新是微距民族进步之魂。
参与建成了世界最大中国少数民族基因库、云南也建成首款容量为15,博士000个植物单克隆抗体库、参与完成世界首例MitralStitch™二尖瓣瓣膜修复系统术心脏手术、后③研发基于X射线的虚拟电力设备数字成像透视检测系统、培育肉牛新品种“云岭牛”、世界世界首只转基因树鼩……在云岭大地上，会跳动云南博士后科研工作站的微距科技工作者在这里不断地镌刻下一笔笔科技强省的创新丰碑。
近年来，云南也云南博士后科研工作站在云南省人力资源和社会保障厅的博士积极推进下，全省涌现出的后③一大批科技领军人才、卓越工程师、虚拟青年科技人才，世界立潮头、会跳动踏浪行，聚焦云南省生物医药大健康、新材料、高端装备制造、高原特色现代农业、绿色能源和节能环保等产业，点燃了全省经济创新驱动的“推进器”和“新引擎”。
为此，云南网重点开设“微距・云南博士后”栏目，将笔触对准云南优秀科技人才，揭开最新科研成果，展现云南科技创新的新动向，奏响云南博士后的科技创新最强音，谱写好云岭大地高质量发展的新乐谱。
你玩过虚拟现实技术（VR）游戏吗？通过计算机生成一种三维模拟环境，用户沉浸到虚拟环境中，让人身临其境。但是现有的虚拟世界，大部分时间只能“看得见”，却“摸不着”。
你知道一个非常优秀的外科手术医生的一双手能感知多少重量？答案是0.1克。
“那么，外科医生能不能在虚拟世界做手术也能和真实手术的触感、手感一模一样？”
作为虚拟现实技术和医学研究结合的重要成果，虚拟手术也是当今医学领域研究的前沿之一。而这，也是云南省重点学科“光学工程”博士点及博士后流动站“颜色与图像处理”方向负责人邰永航教授正在进行的项目——全沉浸式虚拟手术训练交互操作系统，让虚拟世界也能“触手可感”。
“现在，我们开始进行肺叶切除训练。”随着系统提示音的响起，邰永航在全沉浸式虚拟手术训练交互操作平台前，佩戴着VR头盔，专注地看着眼前的三维成像显示屏，手持手术钳在机器人的“暗箱”里熟练地操作着，小心又利落地完成了肺叶切除的部分模块训练。
“全沉浸式虚拟手术训练交互操作平台是一款虚拟外科手术模拟器，主要是基于患者真实医学影像数据，运用计算机图形学构建模拟手术环境，医生可以在虚拟环境完成手术技能训练，术前手术规划，术中导航以及远程手术辅助等操作。”邰永航解释道，这项技术的实施，可以大幅减少复杂外科手术中意外情况处置失败率，提高中小医院医师手术技能训练的完成度和熟练度，还有助于解决在微创介入手术以及高危复杂手术上面临的诸多技术性问题。
让虚拟世界也能“可见即可触”，让医生手术时还能摸到“会跳动”的心脏。
重建个体化的“数字孪生体”
目前，所有医生做肿瘤手术前都会通过CT、核磁等方式进行一个影像的判断。“最终就是要确定，这个肿瘤是良性还是恶性？是否手术？如何手术？肿瘤怎么切除？切除多少？”这些情况都是医生迫切要搞清楚的。
“能不能让医生在做手术前，针对某个个体化的病人，重建个体化病人的‘数字孪生体’，就是和个体化病人一模一样的数字体，肺肢、肺叶、肺泡、血管……全部都一模一样地呈现。”邰永航说道，最后能够在虚拟的世界里进行手术预演和手术规划，实现精准的个体化手术。
这就如同飞行员在真正飞上蓝天前，要在飞行训练模拟器中训练6000-8000个小时以上，才有资质飞上蓝天。
“通过这款虚拟手术系统，让主治医师在虚拟手术中提前做好10遍、甚至是100遍的手术演练，那么正式手术时，医生就会非常清楚如何切除肿瘤如何预防各种手术事故的发生。”这，就是邰永航最初的想法。
要想实现这个想法，最核心问题就是解决“如何重建这个数字孪生体”。
“重建数字孪生体包括了视觉重建，也就是虚拟现实，重建出三维的模型器官；以及触觉的重建。”邰永航说出了几个重要的闯关“关卡”。
在虚拟世界感受“果冻般”Q弹
传统外科手术中，外科医生结合多年的经验、肌肉记忆力和自身的触觉就可以本能地确定执行每个手术步骤恰当的手术器械和手法。
所以，做好一台的外科手术，很难。用“机器人”做手术，难上加难。
“用‘虚拟手术系统’做手术，医生感觉最难就是不知道自己用了几分力，不能通过手的感受判断组织是否正常？”邰永航说出了“虚拟手术系统”手术时医生的困境，如何让医生通过手术钳在切除一些身体组织时，也能够清晰感受到自己对身体组织施加的力气，感受到组织的实时形变过程，进而做出手术的精准判断。
这就是最难的、也是系统的最核心部分——触觉重建。“触觉重建就是让医生在虚拟的数字孪生体病人身上也能实时感受到最真实手感的手术。”邰永航解释道。
但，还没开始的邰永航遇到了第一个“拦路虎”——国内找不到关于触觉反馈的设备。“没有触觉反馈设备，我们这个系统就是失败的。”于是，邰永航带领团队在全球开启了寻找触觉反馈的设备，经过半年的时间，最终找到了全球唯一一家生产触觉反馈设备的瑞典企业。
“这里面还有个小插曲呢。”邰永航回忆道，由于该设备又小巧又敏感，非常容易坏，坏了之后来回修理周期近半年的时间。于是，邰永航萌生出了自己修的想法，这样想也这样做了。“没想到，真被我们捣鼓出来了，除了核心配件之外，其余的电机修理和更换都能自己解决了，最后其公司创始人还让我们代理亚洲地区的设备维修呢。”
为什么如此执着于寻找并自己修理这个设备呢？
因为它是该项目里最不可或缺的部分。
“这款设备可以敏锐地感知到玻璃的表面是光滑的、砂纸的表面是粗糙的、组织器官的手感如果冻般Q弹。”邰永航告诉记者，通过这款设备就能在虚拟的世界中，感受到果冻般弹弹的状态。
搭建和真实手术场景一模一样的虚拟系统
“重建一个手机或者桌子，它是硬的，怎么切它都不会发生形变，但是，对于软体的脏器来说，它会形变，它会动，甚至还会‘呼吸’。”邰永航说，当手术钳牵起来一块身体组织，就会发生一个牵拉的形变，而且这个形变随着时间的消逝，身体组织的水分、温度的变化还会发生更多的改变。
这又是接踵而至的另一个难关——“柔体的仿真”，这也是医生在虚拟世界实现“触手可感”的关键之处。
“当手术钳夹上脏器后，应该是一个什么的力度呈现出来，才能对应真实的组织形变？”这就需要力学传感器的采集，也就是应用力变的分析。
在实验室内，记者注意到了一款特别的设备——Touch力反馈器，一款每秒就能采集700-1000帧的触觉数据。“将这种传感器件安装于弹性结构的被检测处，就可以直接地或通过计算机渲染出具有多维的力和力矩。”邰永航解释道，这样成功采集了所有的力之后建成模型并写进系统中，操作人就能够感受到真实的“力”了。
虚拟手术系统有了这个“力”的感知能力，这也意味着医生能“触摸”到身体组织的实时情况，对自己的操控力度有了更准确的把控，减小了手术损伤，让医生在进行操作时更有信心。
触觉反馈设备的寻找、触觉的重建、柔体的仿真，在经历了“九九八十一难”之后的邰永航和其团队，终于开始了整个系统的搭建，也就是全沉浸式虚拟手术训练交互操作系统样机的搭建。
为了1:1还原最真实的手术环境，邰永航带领团队实地去云南省第一人民医院拍摄了360°全沉浸式的真实手术室场景，将肺叶切除训练模块加载到该场景中，操作者仿佛置身于真实的手术室中为患者进行手术，更加逼真的沉浸式感也让操作者有了更佳的训练效果。
“我们还把手术钳、腹腔镜等真实的医用专业器械等相关设备都购买了。”邰永航说，最终就是希望搭建一个和真实手术场景一模一样的虚拟手术训练系统。
“全沉浸式虚拟手术训练交互操作系统和达芬奇机器人有点类似，由外科医生控制台、床旁机械臂系统、成像系统组成，医生戴上VR虚拟眼镜，在控制台前操作住控制器，眼前可清晰地看到三维立体的手术过程，重要的是操作者有触觉反馈，能有效判断出组织部位的弹性、搏动性、韧性等。”邰永航解释说。
今天，全沉浸式虚拟手术训练交互操作系统一代样机于2020年11月“出炉”，经过升级改造后的第二代样机也于2021年8月“全新亮相”，采用VR头盔为操作者提供沉浸式的手术环境，力反馈设备为操作者提供触觉体验，真实手术器械与虚拟物体进行实时交互，3D鼠标可实现真实内窥镜的导航和查看功能。通过该系统，医生可以在虚拟环境完成手术技能训练，术前手术规划，术中导航以及远程手术辅助等操作。
“全沉浸式虚拟手术训练交互操作系统只是基于混合现实的肿瘤个体化微创手术方案定制项目的子项目，也是该定制项目启动的第一步。”邰永航说道，团队最终的目的是研发“私人订制”的肿瘤个体化微创手术方案。“未来的医疗一定是一个精准医疗的时代，每个人都有一套个体化的诊疗系统和定制化的手术方案。”
策划 杨萍
记者 杨萍
编辑 杨茜
视频制作 刘畅 赵正银 实习生 吴兴连 李燕
海报设计 吕明华
相关新闻：
【微距・云南博士后①】幸“盔”有你 安全帽也能像“倒车雷达”预警？
(责任编辑：知识)