Benjamin Warf, un renombrado neurocirujano del Boston Children’s Hospital, en el MIT.nano Immersion Lab. A más de 3.000 millas de distancia, su avatar virtual se encuentra junto a Matheus Vasconcelos en Brasil mientras el residente practica una delicada cirugía en un modelo parecido a un muñeco del cerebro de un bebé.
Con un par de gafas de realidad virtual, Vasconcelos puede ver al avatar de Warf demostrar un procedimiento de cirugía cerebral antes de replicar la técnica él mismo y mientras le hace preguntas al gemelo digital de Warf.
“Es una experiencia casi extracorporal”, dice Warf sobre ver a su avatar interactuar con los residentes. “¿Tal vez es lo que se siente al tener un gemelo idéntico?”
Y ese es el objetivo: el gemelo digital de Warf acortó la distancia, permitiéndole estar funcionalmente en dos lugares a la vez. “Fue mi primer entrenamiento con este modelo y tuvo un rendimiento excelente”, dice Vasconcelos, residente de neurocirugía de la Facultad de Ciencias Médicas de la Santa Casa de São Paulo en São Paulo, Brasil. “Como residente, ahora me siento más seguro y cómodo al aplicar la técnica en un paciente real bajo la guía de un profesor”.
El avatar de Warf llegó a través de un nuevo proyecto lanzado por una empresa de simuladores médicos y realidad aumentada (AR) EDUCACIÓN. La empresa forma parte de la cohorte 2023 de INICIO.nanoel acelerador de tecnología profunda de MIT.nano que ofrece a las empresas emergentes en etapa inicial acceso con descuento a los laboratorios de MIT.nano.
En marzo de 2023, Giselle Coelho, directora científica de EDUCSIM y neurocirujana pediátrica de la Santa Casa de São Paulo y del Hospital Infantil Sabará, comenzó a trabajar con el personal técnico del MIT.nano Immersion Lab para crear el avatar de Warf. En noviembre, el avatar estaba entrenando a futuros cirujanos como Vasconcelos.
“Tuve la idea de crear el avatar del Dr. Warf como prueba de concepto y pregunté: ‘¿Cuál sería el lugar del mundo donde estarían trabajando en tecnologías como esa?’”, dice Coelho. “Entonces encontré MIT.nano”.
Capturando a un cirujano
Como residente de neurocirugía, Coelho estaba tan frustrada por la falta de opciones de capacitación práctica para cirugías complejas que construyó su propio modelo de cerebro de bebé. El modelo físico contiene todas las estructuras del cerebro e incluso puede sangrar, “simulando todos los pasos de una cirugía, desde la incisión hasta el cierre de la piel”, afirma.
Pronto descubrió que los simuladores y las demostraciones de realidad virtual (VR) reducían la curva de aprendizaje de sus propios residentes. Coelho lanzó EDUCSIM en 2017 para ampliar la variedad y el alcance de la formación para residentes y expertos que buscan aprender nuevas técnicas.
Esas técnicas incluyen un procedimiento para tratar la hidrocefalia infantil del que fue pionero Warf, director de neurocirugía neonatal y congénita del Boston Children’s Hospital. Coelho había aprendido la técnica directamente de Warf y pensó que su avatar podría ser la forma para que los cirujanos que no podían viajar a Boston se beneficiaran de su experiencia.
Para crear el avatar, Coelho trabajó con Talis Reks, el tecnólogo de TI AR/VR/juegos/big data en el Immersion Lab.
“Para las empresas emergentes, el acceso a gran cantidad de tecnología y hardware puede resultar muy costoso cuando comienzan su trayectoria empresarial”, explica Reks. “START.nano es una forma de permitirles utilizar y costear las herramientas y tecnologías que tenemos en el laboratorio de inmersión del MIT.nano”.
Coelho y sus colegas necesitaban tecnología de captura de movimiento de alta fidelidad y alta resolución, captura de video volumétrico y una variedad de otras tecnologías VR/AR para capturar los diestros movimientos de los dedos y las expresiones faciales de Warf. Warf visitó MIT.nano en varias ocasiones para ser “capturado” digitalmente, incluida la realización de una operación en el modelo físico del bebé mientras usaba guantes especiales y ropa con sensores incrustados.
“Estas tecnologías se han utilizado principalmente para entretenimiento o efectos visuales. [visual effects] o CGI [computer-generated imagery]”, dice Reks, “Pero este es un proyecto único, porque ahora lo estamos aplicando a la práctica médica real y al aprendizaje real”.
Uno de los mayores desafíos, dice Reks, fue ayudar a desarrollar lo que Coelho llama “holoportación”: transmitir la captura de video volumétrica en 3D de Warf en tiempo real a través de Internet para que su avatar pueda aparecer en la capacitación médica transcontinental.
El avatar de Warf tiene modos sincrónico y asincrónico. La capacitación que recibió Vasconcelos fue en modalidad asincrónica, donde los residentes pueden observar las manifestaciones del avatar y hacerle preguntas. Las respuestas, entregadas en una variedad de idiomas, provienen de algoritmos de inteligencia artificial que se basan en investigaciones previas y un extenso banco de preguntas y respuestas proporcionadas por Warf.
En el modo sincrónico, Warf opera su avatar a distancia en tiempo real, dice Coelho. “Podía caminar por la habitación, podía hablar conmigo, podía orientarme. Es asombroso.”
Coelho, Warf, Reks y otros miembros del equipo demostraron una combinación de modos en una segunda sesión a finales de diciembre. Esta demostración consistió en una captura volumétrica de video en vivo entre el Immersion Lab y Brasil, espacializado y visible en tiempo real a través de auriculares AR. Amplió significativamente la demostración anterior, que solo transmitía datos volumétricos en una dirección a través de una pantalla bidimensional.
Impactos poderosos
Warf tiene una larga trayectoria formando a neurocirujanos pediátricos que se necesitan desesperadamente en todo el mundo, más recientemente a través de su organización sin fines de lucro. neuroniños. La capacitación remota y simulada ha sido una parte cada vez más importante de la capacitación desde la pandemia, dice, aunque no cree que alguna vez reemplace por completo la instrucción práctica personal y la colaboración.
“Pero si de hecho algún día pudiéramos tener avatares, como este de Giselle, en lugares remotos, mostrando a la gente cómo hacer cosas y respondiendo preguntas, sin el costo de viajar, sin el costo de tiempo, etc., creo que sería mejor. podría ser realmente poderoso”, dice Warf.
El proyecto avatar es especialmente importante para los cirujanos que prestan servicios en zonas remotas y desatendidas como la región amazónica de Brasil, afirma Coelho. “Esta es una manera de brindarles el mismo nivel de educación que obtendrían en otros lugares y la misma oportunidad de estar en contacto con el Dr. Warf”.
Según Coelho, un bebé tratado recientemente por hidrocefalia en una clínica amazónica viajó en barco 30 horas para la cirugía.
Formar cirujanos con el avatar, afirma, “puede cambiar la realidad de este bebé y cambiar el futuro”.