波士顿儿童医院（Boston Children's Hospital）著名神经外科医生本杰明·沃夫（Benjamin Warf）站在麻省理工学院纳米浸入式实验室（MIT.nano Immersion Lab）中。在3000多英里之外，他的虚拟形象站在巴西的马修斯·瓦斯康塞洛斯（Matheus Vasconcelos）旁边，这位居民正在对婴儿大脑的洋娃娃模型进行精细的手术。
通过一副虚拟现实护目镜，Vasconcelos能够观看Warf的化身演示脑部手术程序，然后自己复制该技术，同时询问Warf的数字孪生问题。
“这是一种几乎灵魂出窍的体验，”沃夫谈到看着他的化身与居民互动时说。“也许这就是拥有同卵双胞胎的感觉？”
这就是目标：Warf 的数字孪生弥合了距离，使他能够同时在两个地方发挥作用。“这是我第一次使用这个模型进行培训，它有很好的性能，”巴西圣保罗圣卡萨圣保罗医学院的神经外科住院医师Vasconcelos说。“作为一名住院医师，我现在在教授的指导下，对真正的患者应用这项技术感到更加自信和自在。”
Warf的化身是通过医疗模拟器和增强现实（AR）公司EDUCSIM推出的一个新项目实现的。该公司是 2023 年 START.nano 队列的一部分，START.nano 是 MIT.nano 的深度技术加速器，为早期初创公司提供进入 MIT.nano 实验室的折扣。
2023 年 3 月，EDUCSIM 的科学总监兼圣保罗圣卡萨和萨巴拉儿童医院的小儿神经外科医生 Giselle Coelho 开始与麻省理工学院纳米浸入式实验室的技术人员合作，创建 Warf 的化身。到 11 月，化身正在培训像 Vasconcelos 这样的未来外科医生。
“我有一个想法，想创造沃夫博士的化身作为概念证明，然后问，'他们在世界上研究这种技术的地方会是什么？'”科埃略说。“然后我找到了MIT.nano。”
俘虏外科医生
作为一名神经外科住院医师，科埃略对复杂手术缺乏实用培训选项感到非常沮丧，因此她建立了自己的婴儿大脑模型。她说，物理模型包含大脑的所有结构，甚至可以出血，“模拟手术的所有步骤，从切口到皮肤闭合。
她很快发现，模拟器和虚拟现实 （VR） 演示缩短了她自己的居民的学习曲线。Coelho 于 2017 年推出了 EDUCSIM，旨在为希望学习新技术的居民和专家扩大培训的种类和范围。
这些技术包括一种治疗婴儿脑积水的手术，该手术由波士顿儿童医院新生儿和先天性神经外科主任Warf首创。科埃略直接从沃夫那里学到了这项技术，并认为他的化身可能是那些无法前往波士顿的外科医生从他的专业知识中受益的方式。
为了创建这个头像，Coelho 与 Immersion Lab 的 AR/VR/游戏/大数据 IT 技术专家 Talis Reks 合作。
“对于初创公司来说，在开始他们的公司之旅时，许多技术和硬件可能非常昂贵，”Reks 解释道。“START.nano 是使他们能够利用和负担得起我们在 MIT.nano 浸入式实验室拥有的工具和技术的一种方式。”
Coelho和她的同事们需要高保真和高分辨率的动作捕捉技术、体积视频捕捉以及一系列其他VR/AR技术来捕捉Warf灵巧的手指动作和面部表情。Warf 曾多次访问 MIT.nano 进行数字“捕获”，包括戴着特殊的手套和嵌入传感器的衣服对物理婴儿模型进行手术。
“这些技术主要用于娱乐或VFX（视觉效果）或CGI（计算机生成的图像），”Reks说，“但这是一个独特的项目，因为我们现在正在将其应用于真正的医疗实践和真正的学习。
雷克斯说，最大的挑战之一是帮助开发科埃略所谓的“全息传”，即通过互联网实时传输Warf的3D立体视频捕获，以便他的化身可以出现在跨大陆的医疗培训中。
Warf 头像具有同步和异步模式。Vasconcelos接受的培训是异步模式，居民可以观察化身的演示并提出问题。这些答案以多种语言提供，来自人工智能算法，这些算法借鉴了以前的研究以及Warf提供的大量问题和答案。
Coelho说，在同步模式下，Warf从远处实时操作他的化身。“他可以在房间里走来走去，他可以和我说话，他可以为我定位。真是太神奇了。
Coelho、Warf、Reks 和其他团队成员在 12 月下旬的第二场会议中演示了这些模式的组合。该演示包括 Immersion Lab 和巴西之间的体积实时视频捕获，通过 AR 耳机实时空间化和可见。它大大扩展了之前的演示，该演示仅通过二维显示器在一个方向上传输体积数据。
强大的影响力
Warf 在培训世界各地急需的小儿神经外科医生方面有着悠久的历史，最近一次是通过他的非营利组织 Neurokids。他说，自大流行以来，远程和模拟培训在培训中占有越来越大的比例，尽管他认为这不会完全取代个人的实践指导和协作。
“但是，如果有一天我们可以像吉赛尔的这个化身一样，在偏远的地方向人们展示如何做事并为他们回答问题，而不需要旅行成本，没有时间成本等等，我认为它可能真的很强大，”沃夫说。
科埃略说，阿凡达项目对于服务于偏远和服务不足地区的外科医生尤为重要，如巴西亚马逊地区。“这是一种为他们提供与在其他地方相同的教育水平的方式，也是与Warf博士取得联系的相同机会。
据科埃略说，在最近的一家亚马逊诊所接受脑积水治疗的一名婴儿乘船旅行了30个小时进行手术。
她说，用化身培训外科医生，“可以改变这个婴儿的现实，也可以改变未来。