"Eye Hear U" - Multimodale Erfassung, Simulation und audiovisuelle Verstärkung des individuellen Trainings von funktionalen laparoskopischen Grundfähigkeiten

• Antragsteller: Dr. David Black; Professor Dr. Martin Lacher; Professor Dr. Thomas Neumuth
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme ; Allgemeines und fachbezogenes Lehren und Lernen ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 454898091

Minimal-invasive endoskopisch geführte Eingriffe stellen, ob ihrer erfolgreichen Etablierung als chirurgisches Vorgehen, nach wie vor umfangreiche Anforderungen an Chirurgen und Technologie. Die Entkoppelung der Hand-Augen-Koordination, ein begrenztes Operationsvolumen kombiniert mit einem eingeschränkten Field-of- View sowie die eingeschränkte Wahrnehmung von Tiefenverhältnissen führen zu einer komplexen Arbeitssituation. Als Folge erfahren Chirurgen einen hohen kognitiven Workload, den sie durch ein außerordentliches räumliches Orientierungsvermögen und kontinuierliches Training unter realistischen Bedingungen kompensieren müssen. Da das räumliche Vorstellungsvermögen interindividuell stark variert, sind Trainingsanwendungen mit klassisch physischen und virtuellen Simulatoren nur bedingt erfolgreich. Eine kontinuierliche Begleitung und Trainingsüberwachung sowie -anpassung an die individuelle Leistungsfähgikeit fehlt. Das Forschungsvorhaben entwickelt daher einen neuartigen Trainingsansatz, der eine multisensorische Prozesserfassung des Trainingsablaufs nutzt, um den individuellen Trainingsfortschritt zu simulieren und audiovisuelle Unterstützung bereit zu stellen. Hierfür wird mittels eines sensorisch erweiterten Laparoskopiesimualtors eine Wissensbasis von bimanuellen laparoskopischen Grundfertigkeiten angelegt, durch multidimensionale Merkmalsvektoren beschrieben und mit der Momentanaufnahme des individuellen Trainings abgeglichen. Für die Einschätzung des Trainingserfolgs werden neue objektive und maschinenverständliche Metriken entwickelt, um existierende subjektive Fragebögen für die Beschreibung der allgemeinen laparoskopischen Expertise um eine vergleichbare numerische Trainingsbewertung zu ergänzen. Die berechneten Trainingsmetriken werden anschließend in auditive und visuelle Trainingshinweise übersetzt und deren Effekt auf eine verbesserte kognitiven Nachvollziehbarkeit für den Lernvorgang der bimanuellen laparoskopischen Bewegungsabläufe untersucht. Hierfür führen klinische Novizen an einem Laparoskopiesimulator unter Anleitung unterschiedliche Trainingsprogramme durch. Für die Überprüfung einer Verbesserung der Lernkurve und des Lerneffektes werden Probanden in einer Gewöhnungsphase mit einfachen koordinativen Aufgaben auf ein vergleichbares Ausgangsniveau im Umgang mit dem Simulator gebracht. Anschließend wird als Beispielanwendung das laparoskopische Knotenlegen als bimanuelle Aufgabe trainiert. Das Probandenkollektiv wird in Versuchs- und Kontrollgruppen unterteilt und die Ergebnisse anonym und durch unabhängige Fachexperten ausgewertet. Anschließend werden die Wissensbasis und die audiovisuellen Assistenzfunktionen in einem Gesamtdemonstrator zusammengefasst. Das so integrierte Trainingssystem wird einer abschließenden Validierung der Trainingsunterstützung und Evaluation durch klinische Experten unterzogen.

• DFG-Verfahren: Sachbeihilfen
• Großgeräte: 3D-Stereoendoskopiesystem
• Gerätegruppe: 3920 Endoskope (Medizin)