Kontextsensitives Zelltracking in 3D+t Mikroskopbilddaten

• Antragsteller: Professor Dr.-Ing. Johannes Stegmaier
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Entwicklungsbiologie ; Zellbiologie
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 534768108

Aktuelle Fluoreszenzmikroskope erlauben die Untersuchung der frühen Embryonalentwicklung in Raum und Zeit (3D+t). Um hierbei auftretende Gewebebildungsprozesse auf zellulärer Ebene nachvollziehen zu können, sind automatische Segmentierungs- und Trackingmethoden von größter Bedeutung. Datenimmanente Ereignisse wie Zellbewegungen, Zellteilung oder Zelltod, inhomogene Expression von Fluoreszenzfarbstoffen, Bildgebungsartefakte sowie algorithmische Schwächen stellen dabei eine besondere Herausforderung dar. Die Rekonstruktion der Zelllinie von der befruchteten Eizelle bis zu fertig entwickelten Gewebestrukturen und Organen ist von grundlegender Bedeutung in der Entwicklungs- und Zellbiologie. Ziel des vorgeschlagenen Projekts ist die Entwicklung einer inhalts- und kontextsensitiven Zelltrackingpipeline für 2D+t und 3D+t Mikroskopiebilddaten. Viele aktuelle Deep-Learning-Ansätze können wegen des Mangels an Trainingsdaten nicht zufriedenstellend im Bereich der biomedizinischen Bildanalyse eingesetzt werden. Zu Beginn des Projekts steht daher ein umfassender Datensyntheseansatz. Im ersten Schritt soll der Zellzyklus anhand fluoreszenzmarkierter Zellkerne in zeitaufgelösten Einzelzell-Bildausschnitten unüberwacht und automatisch identifiziert werden. Die annotierten Zellschnipsel erlauben es anschließend, halbsynthetische 3D+t Bilddaten zu erzeugen, die für das Training der nachgelagerten Zelltrackingmodelle maßgeschneidert werden können. Dies beinhaltet eine perfekte Grundwahrheit sowie synthetische Bilder mit Variationen der Bildqualität, der Objektdichte, des Erscheinungsbilds, der Form und der Dynamik der Objekte. Die synthetischen Trainingsdaten sollen anschließend zur Entwicklung eines Embedding-basierten iterativen Zelltrackingalgorithmus genutzt werden, dessen Ergebnisse durch ein kontextabhängiges Nachbearbeitungsmodul optimiert werden. Insbesondere sollen Graph Neural Networks (GNNs) und Transformer-Architekturen angepasst werden, um mehrdeutige Objektbeziehungen durch einen erweiterten räumlich-zeitlichen Kontext aufzulösen. Im Falle von GNNs soll mit lokalen raum-zeitlichen Graphen experimentiert werden, die benachbarte Knoten im räumlichen und zeitlichen Bereich verbinden. Komplexe gelernte Merkmalsdeskriptoren sowie das jeweilige Entwicklungsstadium der Zellen sollen genutzt werden, um während der Kantenklassifikation des GNNs nur zulässige Phasenübergänge zu erlauben. In ähnlicher Weise soll die Transformer-Architektur für das Zelltracking angepasst werden und räumlich-zeitliche Positionskodierungen sollen mit den gelernten Merkmalsdeskriptoren und Informationen über den Zellzyklus kombiniert werden, um korrekte Objektzuordnungen vorherzusagen. Da Transformer in der Lage sind globale Zusammenhänge zu erkennen, erwarten wir, dass diese Information bestehende Mehrdeutigkeiten auflösen. Final sollen die Methoden auf große 2D+t und 3D+t Bilddaten aus den Bereichen Zell- und Entwicklungsbiologie angewandt werden.

• DFG-Verfahren: Sachbeihilfen