Aspekte der Statistischen Analyse von Trainingstrajektorien von tiefen neuronalen Netzen

• Antragsteller: Professor Dr. Ingo Steinwart
• Fachliche Zuordnung: Mathematik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464110610

Tiefe neuronale Netze (DNNs) gehören in vielen Anwendungsbereichen zu den erfolgreichsten Methoden des maschinellen Lernens. Trotz dieses Erfolgs und der Tatsache, dass diese Methoden seit nunmehr circa 40 Jahren betrachtet werden, ist unser statistisches Verständnis ihrer Lernmechanismen noch immer sehr begrenzt. Einer der Gründe für dieses mangelnde Verständnis ist die Tatsache, dass in vielen Fällen die Instrumente der klassischen statistischen Lerntheorie nicht mehr angewendet werden können. Das Gesamtziel dieses Projekts ist es, Schlüsselaspekte einer statistischen Analyse von praxisnahen DNN-Trainingsalgorithmen zu untersuchen. Insbesondere werden wir die statistischen Eigenschaften von Trajektorien untersuchen, die durch (Varianten des) Gradientenabstieg(s) erzeugt werden. Hierbei liegt unser Schwerpunkt auf der Frage, ob solche Trajektorien Prädiktoren enthalten, die gute Lerngarantien im Sinne von hoher Generalisierungsfähigkeit besitzen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning