Detailseite
Projekt
Analyse von Convolutional Neural Networks mit Multiskalenstatistiken
Antragsteller
Dr. Miguel del Alamo
Fachliche Zuordnung
Mathematik
Förderung
Förderung von 2020 bis 2022
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 438446671
Convolutional Neural Networks (CNNs) wurden im letzten Jahrzehnt mit großem Erfolg auf verschiedene Datenverarbeitungsaufgaben wie Bildklassifizierung, Entrauschen und Segmentierung angewendet. In einigen Fällen übertreffen sie alle anderen bestehenden Methoden deutlich und eröffnen so neue Möglichkeiten sowohl für die angewandten Wissenschaften als auch für die Industrie. Trotz ihres praktischen Erfolgs gibt es aber derzeit keinen rigorosen theoretischen Rahmen, der ihre Leistung und vor allem ihre Grenzen erklärt. Dabei wäre ein solcher Rahmen äußerst nützlich: So wären beispielsweise grundsätzliche Prinzipien für die Wahl der Netzwerkarchitektur und des Trainingsalgorithmus von sehr hohem praktischen Wert. Ein natürliches Gebiet für die Entwicklung eines solchen Rahmens ist die mathematischen Statistik, da sie einen formalen Rahmen für die Analyse von Datenverarbeitungsmethoden bietet. Mein Ziel in diesem Projekt ist es, CNNs mit den Werkzeugen der nichtparametrischen und Multiskalen Statistik zu analysieren. Zusammen mit Prof. Johannes Schmidt-Hieber (TU Twente) und Prof. Jason Lee (Princeton University) möchte ich diese Werkzeuge nutzen, um CNNs in statistischen inversen Problemen zu analysieren, die theoretisch gut verstanden sind. Dies wird die Grundlage für die Analyse von CNNs bei komplexeren Problemen bilden. Insbesondere möchte ich mich auf zwei Themen konzentrieren: erstens, die Leistung von CNNs in Abhängigkeit von den Trainingsdaten, dem Rauschenniveau und den Netzwerkparametern; und zweitens, die regularisierende Wirkung von Trainingsalgorithmen und deren Einfluss auf die Verallgemeinerungseigenschaften der neuronalen Netzwerken. Die Theorien der Multiskalenmethoden, der variationellen Regularisierung und der minimax Optimalität, an denen ich während meiner Doktorarbeit gearbeitet habe, sind einige der Eckpfeiler meines Ansatzes. Zusätzlich werde ich neu entwickelte Werkzeuge an der Schnittstelle zwischen Statistik, Optimierung und Deep Learning einsetzen. Wie bereits betont, ist das ultimative Ziel dieses Projekts, einen theoretischen Rahmen zu schaffen, der die Verwendung von CNNs anleitet und schließlich ihre statistischen Eigenschaften verbessert. Eine konkrete Langzeitanwendung, motiviert durch meine Zusammenarbeit mit der Gruppe von Prof. Stefan Hell am Max-Planck-Institut für biophysikalische Chemie in Göttingen, ist die 3D und 3D+Zeit Zellnanoskopie. In diesen neuartigen Formen der Nanoskopie wird eine große Menge sehr verrauschten Trainingsdaten gesammelt. Während klassische Methoden Schwierigkeiten haben, Informationen zu extrahieren und unpraktische Laufzeiten haben, bieten CNNs eine vielversprechende Alternative.
DFG-Verfahren
Forschungsstipendien
Internationaler Bezug
Niederlande, USA
