Entwicklung und Evaluation eines neuartigen Augmented Reality Systems zur intuitiven Lehre menschlicher Anatomie und angewandter Radiologie
Zusammenfassung der Projektergebnisse
Der Anatomieunterricht an Universitäten bildet einen essentiellen Bestandteil der Ausbildung junger Mediziner. Neue Lehrmethoden wie Augmented Reality (AR) bieten das Potential, dass Studenten diese Inhalte in nie dagewesener Form in interaktiven und kollaborativen Umgebungen erleben können. Unser Projekt verfolgte die Entwicklung eines solchen AR Systems für die personalisierte Anatomielehre, sodass anatomische Strukturen und radiologische Bilddatensätze direkt anhand des eigenen Körpers mit Hilfe eines digitalen Spiegels (Magic Mirror) angezeigt werden können. Das Forschungsprojekt wurde schrittweise bearbeitet. Zunächst wurde der bestehende Prototyp des Magic Mirrors von Grund auf neu implementiert, um die Echtzeit-Animation anatomischer Strukturen mit Hilfe von Tracking-Daten der Microsoft Kinect zu ermöglichen, sodass der Benutzer des Systems den Eindruck bekommt, in den eigenen Körper hineinschauen zu können. Ein hoch detailliertes Anatomiemodell wird hierbei auf den Körper überlagert und an dessen Proportionen angepasst. Im Laufe des Projektes bildete diese neue Software Plattform die Basis für alle weiteren Forschungsarbeiten und wurde kontinuierlich und iterativ verbessert. Anschließend wurde in enger Kollaboration mit den medizinischen Partnern ein Lehrmodul für die Muskeln der oberen Extremität entwickelt. Weiterhin konnte der Magic Mirror bereits früh im Projekt in das Curriculum integriert werden, sodass jeder Medizin-Student der LMU München seit 2016 mindestens eine Lehreinheit mit den Magic Mirror hat. Das frühe Feedback der Studenten und Professoren führte dazu, dass sich interessante Forschungsfragen in Bezug auf das Verständnis von Seitenverhältnissen im Magic Mirror ergaben, die zu einer Reihe von Arbeiten zu sog. Non-Reversing Magic Mirrors (NRMM’s) führten. Ein weiterer wichtiger Meilenstein des Projektes stellt die Entwicklung des VesARlius Systems dar, einem AR System, bei dem die Studenten mit Hilfe der Microsoft HoloLens gemeinsam die anatomischen Strukturen interaktiv entdecken können. Auch dieses System konnte genau wie der Magic Mirror über die Laufzeit des Projektes erfolgreich in das Curriculum integriert werden. Insgesamt wurden substantielle Erkenntnisse zur Entwicklung interaktiver AR Lehrumgebungen im Umfeld der Anatomieausbildung gewonnen, um einen Beitrag zur Verbesserung der Medizinausbildung zu leisten.
Projektbezogene Publikationen (Auswahl)
-
(2016, August). Interactive mixed reality for muscle structure and function learning. In International Conference on Medical Imaging and Augmented Reality (pp. 117-128). Springer, Cham
Ma, M., Jutzi, P., Bork, F., Seelbach, I., von der Heide, A. M., Navab, N., & Fallavollita, P.
-
(2016, September). First deployment of diminished reality for anatomy education. In 2016 IEEE International Symposium on Mixed and Augmented Reality (ISMAR-Adjunct) (pp. 294-296). IEEE
Ienaga, N., Bork, F., Meerits, S., Mori, S., Fallavollita, P., Navab, N., & Saito, H.
-
(2017, March). Exploring non-reversing magic mirrors for screen-based augmented reality systems. In 2017 IEEE Virtual Reality (VR) (pp. 373-374). IEEE
Bork, F., Barmaki, R., Eck, U., Fallavolita, P., Fuerst, B., & Navab, N.
-
(2017, October). Empirical study of non-reversing magic mirrors for augmented reality anatomy learning. In 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (pp. 169-176). IEEE
Bork, F., Barmaki, R., Eck, U., Yu, K., Sandor, C., & Navab, N.
-
(2018). An augmented reality magic mirror as additive teaching device for gross anatomy. Annals of Anatomy- Anatomischer Anzeiger, 215, 71-77
Kugelmann, D., Stratmann, L., Nühlen, N., Bork, F., Hoffmann, S., Samarbarksh, G & Navab, N.
-
(2018). Interactive augmented reality systems: Aid for personalized patient education and rehabilitation. Der Unfallchirurg, 121(4), 286-292
Bork, F.
-
(2018). Towards efficient visual guidance in limited field-of-view head-mounted displays. IEEE transactions on visualization and computer graphics, 24(11), 2983-2992
Bork, F., Schnelzer, C., Eck, U., & Navab, N.
-
(2019). Enhancement of anatomical education using augmented reality: An empirical study of body painting. Anatomical sciences education, 12(6), 599-609
Barmaki, R., Yu, K., Pearlman, R., Shingles, R., Bork, F., Osgood, G. M., & Navab, N.
-
(2019). The benefits of an augmented reality magic mirror system for integrated radiology teaching in gross anatomy. Anatomical sciences education, 12(6), 585-598
Bork, F., Stratmann, L., Enssle, S., Eck, U., Navab, N., Waschke, J., & Kugelmann, D.
-
(2019, October). Birds vs. Fish: Visualizing Out-of-View Objects in Augmented Reality using 3D Minimaps. In 2019 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct) (pp. 285-286). IEEE
Bork, F., Eck, U., & Navab, N.
-
(2019, October). VesARlius: An Augmented Reality System for Large-Group Co-located Anatomy Learning. In 2019 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct) (pp. 122-123). IEEE
Bork, F., Lehner, A., Kugelmann, D., Eck, U., Waschke, J., & Navab, N.
