End-to-End Deep Learning Bildrekonstruktion und Pathologiedetektion

• Antragsteller: Professor Dr. Bernhard Kainz; Professor Dr. Florian Knoll
• Fachliche Zuordnung: Medizininformatik und medizinische Bioinformatik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Medizinische Physik, Biomedizinische Technik ; Radiologie
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 513220538

Bildgebung, insbesondere die Magnetresonanztomographie (MRT), ist für die moderne Gesundheitsfürsorge von grundlegender Bedeutung, da sie Werkzeuge für die nichtinvasive Diagnostik und einzigartige Überwachungsoptionen für die Behandlung und das Verständnis von Krankheiten bietet. Die meisten diagnostischen medizinischen Bildgebungspipelines folgen denselben Prinzipien: Rohmessdaten werden von Scanner-Hardware erfasst, von Bildrekonstruktionsalgorithmen verarbeitet und dann von menschlichen Radiologieexperten auf Pathologie hin bewertet. Traditionell wurde jeder Schritt optimiert, um Bilder zu erzeugen, die für menschliche Experten visuell ansprechend und leicht zu interpretieren sind. Dabei können jedoch Rohsensorinformationen verloren gehen, die die patientenspezifischen Diagnoseinformationen maximieren könnten. Dieses Problem wird durch die jüngsten Entwicklungen in der MRT-Rekonstruktion mit maschinellem Lernen (ML) verstärkt. ML-Methoden ermöglichen die Erzeugung visuell ansprechender Bilder aus sehr begrenzten Sensordaten. Eine geringere Anzahl von Messdaten ist häufig für beschleunigte Bildgebungsprotokolle erwünscht um Patienten mehr Komfort zu bieten, indem Scanzeiten von Stunden auf Minuten reduziert werden. Je weniger Daten jedoch erfasst werden, desto mehr tendieren ML Bildrekonstruktionsmethoden dazu Anzeichen von Krankheiten zu verbergen, indem sie pathologiebestimmende Merkmale durch häufigere gesunde Bildmerkmale aus den Trainingsdaten ersetzen. ML hat sich auch bei der automatischen Analyse medizinischer Bilder und der robusten Erkennung von Krankheitsmustern in verschiedenen Modalitäten bewährt. Bislang waren diese Werkzeuge von der Bildaufnahme abgekoppelt und wurden nur auf rekonstruierte Bilddaten angewendet. In diesem Projekt möchten wir die Gelegenheit nutzen, ML für die Bildrekonstruktion und ML für die bildbasierte Krankheitslokalisierung zu verschmelzen und so einen durchgängig lernfähigen Ansatz für die Bildrekonstruktion und die gemeinsame Pathologieerkennung bereitzustellen, der direkt auf den Rohmessdaten arbeitet. Unser Projekt umfasst drei Ziele und Arbeitspakete. (1) ML-Rekonstruktionsansatz für beschleunigtes MRT, der gegenüber verschiedenen Scannern, Sequenzen und Anatomie robust ist. (2) Krankheitserkennungsmethoden, die von Menschen erstellten Annotationen im Bildraum lernen und gleichzeitig Informationen aus beschleunigten Rohmessdaten extrahieren. (3) End-to-End-Training für Bildrekonstruktion und Bildanalyse. Unsere Hypothese ist, dass ein solcher Ansatz verhindert, dass ML-basierte MRT-Rekonstruktionsmethoden wichtige Krankheitsanzeichen übersehen, und Interpretationsunsicherheiten in Bildregionen mit begrenzten Sensordaten kommunizieren kann. Wir werden unseren fastMRI+-Datensatz fuer unsere Entwicklungen verwenden. Der Datensatz enthält vollständig abgetastete Rohmessdaten, Bilder und 20.000 Bounding-Box-Annotationen von Experten für mehr als 50 Pathologiekategorien von mehr als 8.000 Patienten.

• DFG-Verfahren: Sachbeihilfen