In-time Virtual Reality Simulation Patient Models: Maschinelle Lernmethoden und immersiv-interaktive Modellierung virtueller Patientenkörper

• Antragsteller: Professor Dr. Andre Mastmeyer
• Fachliche Zuordnung: Medizininformatik und medizinische Bioinformatik
• Förderung: Förderung von 2018 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 401393200

Im klinisch-radiologischen Alltag und aktuell publizierten VR-Simulatoren für ad hoc Trainings-, Planungs- und Navigationszwecke von minimalinvasiven Eingriffen ist die Bereitstellung von hoch-qualitativen Körpermodellen durch die Segmentierung und Annotation relevanter Strukturen in medizinischen Bilddaten ohne nennenswerten Zeitverlust höchst relevant. Es soll nach der Modellierung eine interaktiv-immersive Qualitätssicherung automatisch generierter Modellvorschläge direkt in einem VR-Simulator ermöglicht werden, der anschließend auch für Training, Planung und Navigation verwendet werden kann. Dazu sollen visuo-haptische VR-Methoden zur Korrektur von Segmentierungsfehlern eingesetzt werden. Diese Inspektionsphase dient der Plausibilitätsprüfung des Patientenmodells und ist zwingend erforderlich, da die vorgeschlagenen vollautomatischen Verfahren aufgrund der Variabilität der normalen und pathologischen Anatomien oft keine fehlerlosen Resultate liefern können. In der automatischen Modellierungsphase sollen für die Segmentierungsvorschläge aktuelle maschinelle Lernmethoden und atlasbasierte Verfahren zunächst verglichen und ggf. in den jeweiligen Stärken kombiniert werden. Ein Hauptziel dieses Projektes ist dabei die Entwicklung neuartiger, vollautomatischer, gruppenweiser Deep-Learning- und Multi-Atlas-Segmentierungsschätzer für die hocheffiziente Multi-Organ- und simultane Tumorsegmentierung in medizinischen 3D-CT-Bilddaten. Exemplarisch wird die Organgruppe Leber, Milz, Pankreas und Nieren betrachtet. Bei den Deep-Learning-Verfahren werden diskriminierende Merkmale gelernt und automatisch gruppiert. Bei der Multi-Atlas-Segmentierung wird implizit Formvorwissen aus bereits segmentierten ähnlichen Fällen (Atlanten) für die automatische Segmentierung von Patientenbilddaten genutzt. Für die klinisch-diagnostische Anwendbarkeit der ggf. unüberwachten maschinellen Lernverfahren wird die Qualität und Effizienz der Segmentierungsschätzer und -annotierer im Rahmen des Projektes durch das besondere Zusammenspiel von semantischer und numerischer Ebene, d.h. von räumlich-ontologischen und statistisch-numerischen Multi-Organ- und Tumorunterschiedsmerkmalen zu normalen Geweben optimiert. Das zu entwickelnde und trainierende Deep-Learning- und Registrierungs-Framework mit Qualitätssicherung direkt in der Zielumgebung der Virtuellen Realität (VR) liefert neue Methodenbausteine für ein klinisch einsatzfähiges System. In den Punkten Qualität, Robustheit und Effizienz (registrierungsfrei) durch die Kombination innovativer Methodenansätze (Ontologie- und Atlasbasierung, Deep-Learning, VR-Interaktion) und unter besonderer Berücksichtigung von Pathologien (dem Ziel der Eingriffe) soll ein neuer Standard gesetzt werden.Das Projekt wird am Institut für Medizinische Informatik an der Universität zu Lübeck beheimatet und kann auf die Hardware-, Methodeninfrastruktur und auf das Wissen von Kollegen sowie medi-zinischer Partner zurückgreifen.

• DFG-Verfahren: Sachbeihilfen