Augmented Reality Magic Mirror for Anatomy Education
Final Report Abstract
Der Anatomieunterricht an Universitäten bildet einen essentiellen Bestandteil der Ausbildung junger Mediziner. Neue Lehrmethoden wie Augmented Reality (AR) bieten das Potential, dass Studenten diese Inhalte in nie dagewesener Form in interaktiven und kollaborativen Umgebungen erleben können. Unser Projekt verfolgte die Entwicklung eines solchen AR Systems für die personalisierte Anatomielehre, sodass anatomische Strukturen und radiologische Bilddatensätze direkt anhand des eigenen Körpers mit Hilfe eines digitalen Spiegels (Magic Mirror) angezeigt werden können. Das Forschungsprojekt wurde schrittweise bearbeitet. Zunächst wurde der bestehende Prototyp des Magic Mirrors von Grund auf neu implementiert, um die Echtzeit-Animation anatomischer Strukturen mit Hilfe von Tracking-Daten der Microsoft Kinect zu ermöglichen, sodass der Benutzer des Systems den Eindruck bekommt, in den eigenen Körper hineinschauen zu können. Ein hoch detailliertes Anatomiemodell wird hierbei auf den Körper überlagert und an dessen Proportionen angepasst. Im Laufe des Projektes bildete diese neue Software Plattform die Basis für alle weiteren Forschungsarbeiten und wurde kontinuierlich und iterativ verbessert. Anschließend wurde in enger Kollaboration mit den medizinischen Partnern ein Lehrmodul für die Muskeln der oberen Extremität entwickelt. Weiterhin konnte der Magic Mirror bereits früh im Projekt in das Curriculum integriert werden, sodass jeder Medizin-Student der LMU München seit 2016 mindestens eine Lehreinheit mit den Magic Mirror hat. Das frühe Feedback der Studenten und Professoren führte dazu, dass sich interessante Forschungsfragen in Bezug auf das Verständnis von Seitenverhältnissen im Magic Mirror ergaben, die zu einer Reihe von Arbeiten zu sog. Non-Reversing Magic Mirrors (NRMM’s) führten. Ein weiterer wichtiger Meilenstein des Projektes stellt die Entwicklung des VesARlius Systems dar, einem AR System, bei dem die Studenten mit Hilfe der Microsoft HoloLens gemeinsam die anatomischen Strukturen interaktiv entdecken können. Auch dieses System konnte genau wie der Magic Mirror über die Laufzeit des Projektes erfolgreich in das Curriculum integriert werden. Insgesamt wurden substantielle Erkenntnisse zur Entwicklung interaktiver AR Lehrumgebungen im Umfeld der Anatomieausbildung gewonnen, um einen Beitrag zur Verbesserung der Medizinausbildung zu leisten.
Publications
- (2016, August). Interactive mixed reality for muscle structure and function learning. In International Conference on Medical Imaging and Augmented Reality (pp. 117-128). Springer, Cham
Ma, M., Jutzi, P., Bork, F., Seelbach, I., von der Heide, A. M., Navab, N., & Fallavollita, P.
(See online at https://doi.org/10.1007/978-3-319-43775-0_11) - (2016, September). First deployment of diminished reality for anatomy education. In 2016 IEEE International Symposium on Mixed and Augmented Reality (ISMAR-Adjunct) (pp. 294-296). IEEE
Ienaga, N., Bork, F., Meerits, S., Mori, S., Fallavollita, P., Navab, N., & Saito, H.
(See online at https://doi.org/10.1109/ISMAR-Adjunct.2016.0099) - (2017, March). Exploring non-reversing magic mirrors for screen-based augmented reality systems. In 2017 IEEE Virtual Reality (VR) (pp. 373-374). IEEE
Bork, F., Barmaki, R., Eck, U., Fallavolita, P., Fuerst, B., & Navab, N.
(See online at https://doi.org/10.1109/VR.2017.7892332) - (2017, October). Empirical study of non-reversing magic mirrors for augmented reality anatomy learning. In 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (pp. 169-176). IEEE
Bork, F., Barmaki, R., Eck, U., Yu, K., Sandor, C., & Navab, N.
(See online at https://doi.org/10.1109/ISMAR.2017.33) - (2018). An augmented reality magic mirror as additive teaching device for gross anatomy. Annals of Anatomy- Anatomischer Anzeiger, 215, 71-77
Kugelmann, D., Stratmann, L., Nühlen, N., Bork, F., Hoffmann, S., Samarbarksh, G & Navab, N.
(See online at https://doi.org/10.1016/j.aanat.2017.09.011) - (2018). Interactive augmented reality systems: Aid for personalized patient education and rehabilitation. Der Unfallchirurg, 121(4), 286-292
Bork, F.
(See online at https://doi.org/10.1007/s00113-018-0458-y) - (2018). Towards efficient visual guidance in limited field-of-view head-mounted displays. IEEE transactions on visualization and computer graphics, 24(11), 2983-2992
Bork, F., Schnelzer, C., Eck, U., & Navab, N.
(See online at https://doi.org/10.1109/TVCG.2018.2868584) - (2019). Enhancement of anatomical education using augmented reality: An empirical study of body painting. Anatomical sciences education, 12(6), 599-609
Barmaki, R., Yu, K., Pearlman, R., Shingles, R., Bork, F., Osgood, G. M., & Navab, N.
(See online at https://doi.org/10.1002/ase.1858) - (2019). The benefits of an augmented reality magic mirror system for integrated radiology teaching in gross anatomy. Anatomical sciences education, 12(6), 585-598
Bork, F., Stratmann, L., Enssle, S., Eck, U., Navab, N., Waschke, J., & Kugelmann, D.
(See online at https://doi.org/10.1002/ase.1864) - (2019, October). Birds vs. Fish: Visualizing Out-of-View Objects in Augmented Reality using 3D Minimaps. In 2019 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct) (pp. 285-286). IEEE
Bork, F., Eck, U., & Navab, N.
(See online at https://doi.org/10.1109/ISMAR-Adjunct.2019.00-28) - (2019, October). VesARlius: An Augmented Reality System for Large-Group Co-located Anatomy Learning. In 2019 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct) (pp. 122-123). IEEE
Bork, F., Lehner, A., Kugelmann, D., Eck, U., Waschke, J., & Navab, N.
(See online at https://doi.org/10.1109/ISMAR-Adjunct.2019.00-66)
