Aplicación y desarrollo de las diferentes herramientas de realidad virtual y aumentada en la medicina moderna

1. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Panorama general, procedimientos y aplicaciones

2. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED

3. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Primeros simuladores de Vuelo
 1909 Simuladores mecánicos, como los simuladores de vuelo,
 1929 Primeros conceptos de simulaciones electrónicas,
 1945 primeras proyecciones de fuente luminosa puntual (simulando el recorrido
de la luz puntual).
 1955 Sistemas de simulación basados en video grabaciones, principalmente
usadas en entretenimiento.

4. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
1960
Creación del Sensorama; el cuál era un paseo en bicicleta a través de Brooklyn. Una
experiencia cinematográfica que incluía:
• Imágenes en 3D
• Olores contextuales
• Sonido estéreo
• Vibración
• Viento en el cabello

5. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
1970
 Efectos especiales en el cine,
 Juegos de video,
 Guantes de flexibilidad (con sensores de flexibilidad) y Guantes de Datos,
 Polhemus Tracker.

6. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
1980
 Visión a través de pantalla (display) montada en cabeza (Callahan (MIT) 1983)
 Displays para cabeza comerciales (VPL Research y Autodesk 1989)
 Se acuña el término de "Realidad Virtual", por Jaron Lanier (VPL Research 1989)
 Creación del primer “Reality Engine” por Silicon Graphics International (1989)

7. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
1990
Se dieron las primeras aplicaciones de realidad virtual en la enseñanza médica:
 Simulación del tracto endoscopia y colonoscopia,
 Simulación del tracto digestivo superior,
 Primeros intentos de simulación de laparoscopia.
 Primeros dispositivos hápticos.

8. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED

9. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Tipos de sistemas de Realidad Virtual
 Sistemas Window on World
 Hands on Virtual Worlds
 Sistemas de Head Tracking y Sistemas Inmersivos
 Telepresencia
 Realidad Aumentada y Mixed reality.

10. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Sistemas Window on World
Se trata de un sistema en donde se hace uso de:
 Un monitor de computadora convencional
 Sonido estéreo
Son una simple representación gráfica por medio de computadora, adecuada para
ciertos tipos de visualización médica, por ejemplo:
 La colonoscopia virtual
 Simulación de algunos procedimientos médicos
 Sistemas 3D con gafas de obturación (gafas 3D) son una extensión posible para
agregar interactividad a los sistemas de Window on World.

11. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Uno de los problemas en la creación de sistemas Windows on World en cirugías es el
diseño de dispositivos hápticos (Hands on Virtual Worlds). Son caros y son usados
específicamente para la aplicación (ad-hoc). Esto hace que no puedan ser reutilizados
para otras visualizaciones o simulaciones.

12. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Creemos que algunas herramientas o dispositivos médicos pueden ser sustituidos,
para la creación de experiencias virtuales, por dispositivos como el PlayStation Move,
controles de Nintendo Wii u otros dispositivos en el mercado que son usados en la
industria de videojuegos, generando un buen nivel de inmersión. Son baratos y de fácil
obtención. Aquí un ejemplo: https://www.youtube.com/watch?v=7uRS2OJrnp0

13. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Sistemas de Head Tracking y Sistemas Inmersivos
El rastreo (tracking) de la posición de la cabeza proporciona un mayor realismo en
una experiencia de Realidad Virtual. Mediante el seguimiento de la cabeza y
calculando el par de imágenes estéreo de una imagen estéreo 3D se crea una
inmersión más precisa. Además de tomar en cuenta el confort del usuario.
Los dispositivos (headsets) de Realidad Virtual actuales proveen de una inmersión
más profunda al bloquear estímulos visuales del mundo exterior, si son
implementados de manera correcta, casi no hay restricciones en el movimiento de la
cabeza, además son relativamente baratos y pueden proveer de una excelente calidad
3D en la imagen.

14. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Aspectos más importantes a considerar al diseñar experiencias con el uso de
dispositivos de realidad virtual:
 El confort del usuario. Dentro de la experiencia y al usar los headsets de Realidad
Virtual.
 El FOV (field of view) adecuado para que el usuario tenga una perspectiva real de
lo que observa.
 Calidad de la imagen estéreo 3D. Proporciona credibilidad de lo ue se está
observando dentro de la experiencia.
 Diseñar experiencias que sean recomendables para todos; esto es, evitar que el
uso de los headsets de realidad virtual causen molestias físicas al usuario.
(Diseño responsable de experiencias).
 Acompañar con algún tipo de retroalimentación el diseño para que el usuario
aprenda más rápido a cómo usar la experiencia y a retener más información de
ella.

15. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Campos de aplicación de la Medicina y Cirugía potenciales para la
Realidad Virtual
• Entrenamiento (Training)
Es muy popular y es factible económicamente. Un ejemplo de ello es el entrenamiento
paramédico).
• Certificación y Evaluación
Está ganando popularidad y es factible económicamente.
• Servicio al cliente
Los clientes de Hospitales y clínicas pueden involucrarse más en el servicio por medio
de la Realidad Virtual
•Medicina preventiva
La realidad virtual puede ser utilizada para educar a los pacientes sobre los estilos de
vida positivos, tales como dejar de fumar, el consumo moderado de alcohol, la
alimentación saludable y el ejercicio.
• Telepresencia (Interacción con ambientes remotos)
Muy popular pero es tecnología muy cara. Ha sido propuesto para cirugía endoscópica
y robótica, pero realmente no es muy solicitado en la práctica.

16. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
•Tratamiento de fobias o Estrés Post Traumático.
Se pueden crear escenarios y situaciones virtuales.
En resumen, los principales beneficios de la realidad virtual en la medicina son:
 Son métodos seguros y en ambientes virtuales controlados
 Ahorro en tiempos para hacer e implementar pruebas
 Barato comparado con otros sistemas de inmersión o aparatos médicos
 Capacidad de reutilizar y modificar la experiencia virtual
 Se puede utilizar de forma remota
 Eficientes al momento de ser utilizados
 Se pueden construir experiencias realistas

17. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Arquitectura de un sistema médico de Realidad Virtual
COMPUTADORA INTERFASE USUARIO
Motor de
desarrollo
Modelos por
computadora
Geometría (anatómica)
Bio-mecanismos
User Interface (UI)
Feedback táctil
Interface mecánica
UsuarioDispositivos hápticos

18. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Si se quiere iterar aplicaciones de realidad virtual para medicina de una forma rápida
y viable, se puede optar por la creación y uso de geometría anatómica para diseño de
modelos 3D por computadora, en donde la plataforma de diseño (Rendering Engine,
en el esquema superior) es nuestro motor de desarrollo de aplicaciones interactivas
3D; el GC Engine 2.0. El cuál es el primer y único motor de desarrollo 3D hecho en
México. De esa forma se evita el pago en el uso de licencias de terceros. Además de la
creación de una Interfaz de Usuario práctica (Graphical Display, en el esquema
superior) y un feedback táctil usando el PlayStation Move de Sony Computer
Entertainment (barato y de fácil adquisición).
En conjunto, todo esto conformaría el esquema para la experiencia de realidad virtual
solicitada por el usuario objetivo (Médicos, practicantes, usuarios de hospitales o
clínicas, vendedores de medicamentos o dispositivos de uso médico; etc).
Feedback de audio

19. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED

20. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Modelado de geometría (Geometría Anatómica)
El modelado geométrico se puede utilizar para reproducir la anatomía del paciente en
diferentes perspectivas.
 Se utiliza para crear “paseos virtuales” del peritoneo, pulmones, colon, etc.
 Los modelos geométricos realistas pueden ser generados de los datos de los
escaneos de un TAC, por mencionar un ejemplo.
 También pueden ser generados de manera convencional, en donde un artista 3D
modela y texturiza el objeto anatómico.

21. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Limitantes de los modelos geométricos
Modelos triangulares, como los de la imagen, son fáciles de obtener, pero en caso de
simulación, donde se requiera manipular tejido, es difícil deformarlos.
 Son perfectos para estructuras rígidas (laringe, pulmones, tráquea, etc.)
 No son adecuados para órganos deformables (colon, vesícula biliar, TGI, etc.)

22. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Modelos geométricos cuadráticos
Un colon puede ser modelado efectivamente por un modelo cuadrático (esferas)
(agregar imagen de colón hecho por esferas), y ofrecen las siguientes ventajas:
 Representación compacta
 Más rápido de renderizar
 Fácil de deformar para simular espasmos e inflaciones.
A pesar de ello, son una representación anatómica menos exacta de la anatomía real.

23. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Modelos geométricos de mayor orden
• Superficies con “parches” cúbicos son buenos para la representación de formas
suaves y complejas,
• Las formas son controladas por un pequeño número de “puntos de control” (o
nudos) que se pueden mover para crear diferentes animaciones (espasmos,
inflaciones etc).
En general:
Se puede recurrir a técnicas geométricas y cuadráticas para crear modelos que sirvan
para la simulación de prácticas médicas.
Nota: Se conoce a la perfección el pipeline de trabajo para de creación de modelos
para la visualización en realidad virtual y se pueden transformar estructuras
triangulares a estructuras cuadráticas fácilmente con el uso de software
especializado.

24. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Construcción de una simulación
Los modelos geométricos pueden lograr una gran precisión, pero son sólo una parte
del sistema de simulación.
Por lo general, en una aplicación médica el usuario necesita manipular la geometría
(órganos) subyacente - por ejemplo, en una colonoscopia o una laparoscopia. Existen
algunas dificultades para simular el comportamiento mecánico de los instrumentos
médicos y la interacción con los órganos humanos.
Preguntas a considerar cuando se hacen simulaciones
• ¿Qué ocurre cuando se presionan las paredes de un tejido?
• ¿Qué propiedades dinámicas tiene el endoscopio?
• ¿Qué fuerzas de fricción están actuando?
• Si hay órganos del cuerpo que se encuentran adyacentes a otros órganos, que son
deformables, ¿cómo se deforman entre sí?
• etc.

25. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Modelado del comportamiento de los órganos en la colonoscopía
Existe un gran factor favorece a la simulación de colonoscopía: En la vida real no se ve
reflejado como el colon está siendo deformado por el colonoscopio. Esto significa que
podemos usar modelos de animación de comportamiento en vez de los físicos:
Simular el comportamiento del colon es más fácil que simular las físicas de un cuerpo
u órgano. Son animaciones más controladas.

26. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Simulación de operación laparoscópica
Este tipo de simulación ha atraído un gran interés comercial en los últimos 20 años.
Es percibida como la aplicación más importante de la realidad virtual en la cirugía. •
Desafortunadamente presenta los retos más difíciles del modelado:
• Interacción de varios sistemas: BILIS ⇔ VESÍCULA BILIAR ⇔ ÓRGANOS
CIRCUNDANTES
• Cortar tejido, sangrado, flujo de bilis &c.
• Aunque es posible crear gráficas plausibles, se pueden solucionar algunas limitantes
con la grabación de una laparoscopía real implementada en una visualización de
Realidad Virtual.

27. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Las aplicaciones actuales de modelado 3D en medicina, cubren una
amplia gama:
Desde: Cuerpos sin deformación (fácil creación)
 Broncoscopía
 Colonoscopía
 Endoscopía digestiva alta
 Otros procedimientos endoscópicos
 Laringoscopía
 Laparoscopía
 Colecistectomía
Hasta: Deformación de cuerpos complejos (difícil creación, pero posible)
Ejemplo de una aplicación de Laparoscopía con fines de entrenamiento.

28. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Cuestiones de validación
La creación de simulaciones, visualizaciones y casos médicos ficticios convincentes
actualmente son posibles, pero no se ha cuantificado la forma de evaluar la precisión
de reproducir virtualmente los procedimientos practicados en la vida real.
Por otro lado, para el entrenamiento de habilidades manuales podrían ser igualmente
efectivas -si no es que más- que los métodos tradicionales.
Algunas otras aplicaciones que pueden ser desarrolladas para
Realidad Virtual
Ginecología
 Evolución del cíclo menstrual y del folículo (seguimiento folicular),
 Histerosalpingografía.

29. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Tecnología médica
 Simuladores de Uso de TAC para barridos de cuerpo entero: Experiencia para el
usuario y para el operador de un TAC. Se pueden hacer varias simulaciones con
diferentes cuerpos que padezcan patologías diferentes. Objetivo: hacer una
experiencia de realidad virtual para detectar patologías en su face inicial.
Aprender a usar el TAC. El paciente puede experimentar qué se siente ser
escaneado por un TAC.
 Posteriormente, los modelos que arroje un TAC (como un TAC Aquilion Vision)
pueden ser visualizados en realidad virtual. (Colonoscopía Virtual para la
detección de pólipos)
 Visualizador de escaneos MRI
Cardiología
 Coronariografía no invasiva, visualización de modelos de miocardio para su
estudio. (En una visualización de puede instruir en descartar infartos).
Otras aplicaciones interesantes
 Visualizador de Propiedades materiales de los tejidos.
 Visualizadores de enzimas, enlaces químicos, sistemas del cuerpo humano.
 Visualización de tomografías prediseñadas.

30. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
 Entrenamiento virtual para dar consultas (anamnesis), descubrir síntomas y dar
diagnósticos. Los usuarios de esta aplicación pueden ser los médicos o los
pacientes.
 Entre muchas otras.
 Plus: Aplicación para describir las enfermedades o dolencias que sufrían los
protagonistas de algunas de las grandes obras de arte de la historia como, por
ejemplo, la Mona Lisa. Aquí un ejemplo de esta práctica:
http://www.savalnet.cl/mundo-medico/reportajes/17801.html

31. RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Contacto
fausto@renderfarm.mx
55-56-041-016
www.renderfarm.com
alfo@gamecoderstudios.com
(044) 473-123-7000
www.gamecoderstudios.com