Auto-Tune: Automatische Strukturoptimierung von Lernalgorithmen auf großen Datensätzen

• Antragsteller: Professor Dr.-Ing. Thomas Brox; Professor Dr. Philipp Hennig; Professor Dr. Frank Hutter, Ph.D.
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2014 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 260351709

Ziel dieses Projektes ist die Automatisierung von Methoden des maschinellen Lernens auf der Ebene ihrer Designparameter, um die erfolgreiche Verwendung dieser Methoden durch Anwender ausserhalb der direkten Forschung, sowie in autonomen Systemen, zu erleichtern. Obwohl automatische Adaption ein zentrales Ziel des maschinellen Lernens ist, exponieren die meisten Lernmethoden dennoch Designparameter, die vom Anwender gesetzt werden müssen. Das nötige Expertenwissen beschränkt den praktischen Erfolg dieser Methoden. Unser Ansatz formuliert die Suche nach guten Parameterwerten als ein Optimierungsproblem über den Raum möglicher Algorithmen und entwickelt neuartige Bayes'sche Optimierungsverfahren zu dessen Lösung.Ein vorausgehendes Projekt ("Auto-WEKA") demonstrierte die prinzipielle Machbarkeit einer automatisierten Konfiguration von Lernalgorithmen. Zur sinnvollen Verwendung durch Anwender bedarf es nun der Reduktion von Rechenkosten. Für typische zeitgenössische Datensätze und Algorithmen bedeutet das oft, dass nur wenige Konfigurationen explizit getestet werden können.Um mit diesem limitierten Budget erfolgreich zu sein beziehen wir Inspiration aus dem intuitiven Vorgehen menschlicher Experten: Diese verwenden Ähnlichkeiten zu früheren Datensätzen und testen zunächst Prototypen auf kleinen Teilmengen des gesamten Datensatzes, bevor sie schliesslich nur einen, oder wenige Läufe auf dem eigentlichen Datensatz starten.Wir planen, diese Form der kosteneffizienten, gezielten Prototypoptimierung zu reproduzieren, indem wir einen kürzlich von uns entwickelten probabilistischen globalen Optimierungsalgorithmus ("Entropiesuche") auf einen Raum maschineller Lernalgorithmen anwenden. Der Erfolg dieses Ansatzes wird empirisch sowohl auf unserem existierenden Auto-WEKA System als durch die Entwicklung des ersten automatischen Setups für tiefe neuronale Netze demonstriert werden. Im einzelnen verfolgen wir zwei theoretische Fragestellungen:1) Allgemeine probabilistische Modelle für die Qualität von Computeralgorithmen Der Erfolg von Parameteroptimierung in den hochdimensionalen strukturierten Räumen von Computeralgorithmen hängt stark davon ab, wie gut die funktionalen Zusammenhänge in diesem Raum in einem Regressionsmodell abgebildet werden können. Dieses Teilproject wird diese Modelle verbessern.2) Kosten-effiziente ParameteroptimierungFür viele lernende Algorithmen lassen sich vereinfachte Prototypen erstellen, z.B. durch Reduktion des Datensatzes, oder indem einzelne Teile des Algorithmus "abgeschaltet" werden. Wir planen diese Aktionsmöglichkeiten in einem kosteneffektiven Optimierungsalgorithmus abzubilden, welcher in der Lage sein sollte, automatisch von ersten groben Tests zu einem fein kalibrierten Endprodukt zu konvergieren.Diese beiden theoretischen Projekte bilden sich in zwei Anwendungenab:1) Automatisches maschinelles Lernen2) Automatische Strukturoptimierung in der Bildverarbeitung, insb. tiefe Netze

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 1527: Autonomes Lernen
• Internationaler Bezug: Kanada
• Großgeräte: GPU Cluster
• Gerätegruppe: 7030 Dedizierte, dezentrale Rechenanlagen, Prozeßrechner
• Beteiligte Personen: Professor Dr. Holger Hoos; Professor Kevin Leyton-Brown, Ph.D.