Interpretierbare und Robuste L2S-Optimierung

• Antragstellerin: Professorin Dr. Margret Keuper
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459284860

Motiviert durch die aktuellen Erfolge von maschinellem Lernen ist das Ziel von L2S, eine Ende-zu-Ende lernbare Pipeline von Bildgebung und Bildanalyse-Systemen zu erstellen, die ein automatisiertes, anwendungsgetriebenes Sensordesign ermöglicht.Dieses aus der Perspektive des maschinellen Lernen vielversprechende Ziel wirft jedoch Forschungsfragen auf, welche sich aus dem komplexen Zusammenspiel von Sensor, neuronaler Netzwerkarchitektur und gelernten Gewichten ergeben und welche bereits in klassischem tiefen Lernen relevant sind.Zunächst ist zu erwarten, dass gegenwärtig gut funktionierende Architekturen neuronaler Netze dem geläufigen Design von Farbbildsensoren angepasst sind. Daher argumentieren wir dafür, Sensoroptimierung und Architekturoptimierung gemeinsam zu betrachten. Wir werden daher beides, Sensor- und Architekturoptimierung, als ein diskretes Optimierungsproblem über einen gemeinsamen Suchraum verstehen. Bayessche Optimierung über einem gemeinsamen Parametersuchraum kann hierbei effizient Optima finden. In diesem Kontext werden wir Sensorlayouts erforschen. Hierbei werden wir Sensor/Architektur-Embeddings mittels Graph Neural Networksverwenden.Zweitens kann die Optimierung des Gesamtsystems bezüglich der Genauigkeit von Klassifikation, Segmentierung oder optischen Fluss Sensor/Network Paare hervorbringen, die sehr gut auf den vorhandenen Daten abschneiden, jedoch eine geringe Robustheit gegenüber leichten Veränderungen in den Daten haben. Daher werden wir Methoden untersuchen, die zum Beispiel mittels Regularisierung oder Datenaugmentierung eine gewisse Robutheit des Modell/Sensorpaares garantiert.Drittens erlauben neuronale Netze zwar oft sehr genaue Vorhersagen, allerdings sind die Interpretierbarkeit und die Vorhersagekonfidenz für gewöhnlich gering. Beide Aspekte werden durch die gemeinsame Optimierung von Sensor und Netzwerk verstärkt. Einerseits werden wir untersuchen, wie existierende Methoden der Visualisierung von Netzwerkentscheidungen, welche es ermöglichen, den Klassifikationsprozess transparenter zu machen, auf Sensoren zu übertragen, die nicht notwendigerweise Bilder im herkömmlichen Sinn erstellen. Andererseits werden wir analysieren, wie zum Beispiel lokal optimiertes Sampling auf Seiten des Sensors mit der Unsicherheit von Netzwerkvorhersagen interferiert. Letztes kann zum Beispiel mithilfe Monte-Carlo Drop-out gemessen werden.Alle Fragen werden im Kontext verschiedener Sensormodalitäten, von optimierten RGB Sensoren über Terahertz Sensoren zu Mikroskopieaufnahmen, und im Hinblick auf Anwendungen unterschiedlicher Lokalisierungsgenauigkeit, von Klassifikation (keine Lokalisierung) über Segmentierung zu Optischem Fluss (punktgenaue Lokalisierung, subpixelgenaues Mapping), bearbeitet.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5336: KI-FOR Lernen optimaler Bilddatensensorik