Deep Learning aus der Perspektive von Wahrscheinlichkeit und Geometrie

• Antragsteller: Professor Dr. Philipp Hennig
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Theoretische Informatik
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 543917411

Laplace-Approximationen haben sich als ein mächtiges und effizientes Werkzeug für Deep Learning neu etabliert. Sie stützen sich auf die starken Werkzeuge der automatischen Differenzierung und numerische lineare Algebra um neue Funktionalität zu ermöglichen, die aufgrund ihrer hohen Rechenkosten zuvor zu Nischendasein verdammt waren. Insbesondere liefern Laplace-Approximationen analytische Bayesianische Formalismen für Deep Learning, und verwandeln jedes tiefe neuronale Netzwerk in einen approximativen Gaußschen Prozess. Gleichzeitig definieren sie auch eine Metrik, mit einer zugehörigen Riemannschen Mannigfaltigkeit für das tiefe Netz und seine Parameter. Dieser Antrag an das SPP sucht die jüngsten Ergebnisse sowohl in theoretischer als auch in algorithmischer Richtung zu erweitern. Auf der theoretischen Seite zielt das Projekt darauf ab, die Riemannsche Geometrie von Trainingszielen besser zu charakterisieren, und damit sowohl das Bayesianische Verständnis als auch das Training tiefer Netze zu verbessern. Als direktes Ergebnis wird das Projekt dann neue Algorithmen und funktionale Erweiterungen des Deep Learning durch Reparameterisierung entwickeln, um bessere Unsicherheiten für tiefe Netze zu ermöglichen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning