Verbinden von Black-Box Optimierung and Maschinellen Lernen für Dynamische Algorithmenkonfiguration

• Antragsteller: Professor Dr. Marius Lindauer
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 530130944

Es ist bekannt, dass die Wahl des bestmöglichen Lösers für ein gegebenes Optimierungsproblem entscheidend von den Problemeigenschaften und den verfügbaren Rechenressourcen abhängt. Das Verständnis dieser Abhängigkeit ist eine zentrale Forschungsaufgabe in der Optimierung. Um Forscher und Praktiker bei der Auswahl der richtigen Optimierungsansätze für ihr Problem zu unterstützen, bietet das automatische maschinelle Lernen (AutoML) eine Fülle von Verfahren zur Auswahl und Konfiguration von Algorithmen, die explizit darauf trainiert sind, die am besten geeigneten Algorithmen für eine bestimmte Optimierungsaufgabe zu empfehlen. Bis vor kurzem waren diese AutoML-Ansätze jedoch auf eine statische Auswahl des Algorithmus und der Konfiguration beschränkt, wodurch die Tatsache ignoriert wurde, dass sich die besten Entscheidungen während des Optimierungsprozesses drastisch ändern können, z. B. indem in den frühen Phasen Exploration erforderlich ist, während die Ausbeutung bevorzugt wird, wenn mehr Informationen über das vorliegende Problem verfügbar werden. Die dynamische Algorithmenkonfiguration (Dynamic Algorithm Configuration, DAC) behebt dieses Manko, indem sie ausdrücklich eine zustandsabhängige Auswahl von Algorithmen und Konfigurationen fordert. Das Opt4DAC-Projekt bringt Experten für Optimierung und AutoML zusammen, um das ungenutzte Potenzial von DAC zu nutzen. Konkret geht es darum, Ansätze zu entwickeln, die geeignete Wechsel zwischen verschiedenen Solvern und deren Konfigurationen dynamisch identifizieren, d.h. in direkter Reaktion auf die Anforderungen des aktuellen Optimierungsfortschritts. Zu diesem Zweck zielen wir darauf ab, (i) den Optimierer mit Informationen, die wir von anderen Solvern erhalten haben, warm zu starten, (ii) relevante Merkmale zu entwerfen, um den aktuellen Zustand des Optimierungsprozesses zu beschreiben, und (iii) Mechanismen zu entwickeln, um den besten Zeitpunkt für die Neukonfiguration von Solvern zu ermitteln. Theoretische Erkenntnisse werden durch umfangreiche empirische Evaluierungen überprüft, die von der Konfiguration evolutionärer Algorithmen zur Lösung traditioneller Black-Box-Optimierungsprobleme bis hin zur Bayes'schen Optimierung für die Hyperparameter-Optimierung von tiefen neuronalen Netzen reichen.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Frankreich
• Kooperationspartnerin: Dr. Carola Doerr