Flash-Forward Query Framework: Selbstjustierende, modellbasierte Verarbeitung deklarativer Prognoseanfragen in Data-Warehouse-Systemen

• Antragsteller: Professor Dr.-Ing. Wolfgang Lehner
• Fachliche Zuordnung: Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung von 2009 bis 2019
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 114523986

Die Zeitreihenprognose ist eine wichtige Analysetechnik für eine Vielzahl von Anwendungsgebieten. Im Rahmen des DFG-Projektes FFQ (Flash-Forward Query Framework) wurde ein Konzept für die Integration automatisierter Prognoseverfahren in relationale Datenbanksysteme entwickelt. Dies beinhaltet zum einen die Entwicklung eines neuen Anfragetyps, sogenannter Prognoseanfragen, zum anderen die native Verwaltung und automatische Wartung der dafür notwendigen Prognosemodelle. Im Gegensatz zu so genannten Flash-Back Queries, die eine vergangene Sicht auf die Daten ermöglichen, unterstützen wir Flash-Forward Queries. Die automatisierte und transparente Verarbeitung derartiger Prognoseanfragen basiert dabei auf einer ähnlichkeitsbasierten Modellsuche, Ensemble-Modellen und einem Konfigurationsadvisor, der Modellkonfigurationen für multi-dimensionale Datensätze erstellt und in einem Modellpool ablegt. Der große Modellsuchraum und die großen Datenmengen, die in typischen Data-Warehouse-Applikationen zu finden sind, stellen allerdings große Herausforderungen an die Wartung derartiger Modellkonfigurationen.Eine vollständige synchrone Wartung aller Prognosemodelle und Modellkonfigurationen nach jeder Aktualisierung ist unmöglich und gegebenfalls auch gar nicht erforderlich, wenn Prognosen nicht angefragt werden oder Genauigkeitsanforderungen der Anfragen bereits erfüllt sind. Asynchrone Wartungsverfahren wurden bereits im Bereich der materialisierten Sichten betrachtet und verzögern beispielsweise die Wartung bis freie Zyklen im DBMS zur Verfügung stehen oder die Sicht von einer Anfrage referenziert wird. Allerdings sind Prognosemodelle, im Gegensatz zu materialisierten Sichten, per se ungenau und bilden damit größere Freiheiten bei der Wartung. Die Wartung von Prognosemodellen kann verzögert oder sogar gänzlich weggelassen werden, wenn die Genauigkeit bereits ausreichend ist. Letztendlich wird ein zweidimensionales Optimierungsproblem von Laufzeit und Genauigkeit aufgespannt, was eine flexible Wartungsplanung entsprechend der Anfragelast, des Modellverhaltens und der zur Verfügung stehenden Ressourcen notwendig macht. Das zentrale Ziel des anvisierten Forschungsvorhabens ist eine flexible und asynchrone Wartungsplanung für Prognosemodelle, die in Anbetracht der zur Verfügung stehenden Ressourcen und Zeitbeschränkungen maximale Prognosegenauigkeit für beliebige Prognoseanfragen erlaubt. Wartungsaufgaben müssen dabei sowohl genauigkeits- und anfragegesteuert als auch spekulativ gestartet werden. Eine rechtzeitige und optimale Wartung ist allerdings nur möglich, wenn die zur Verfügung stehenden Ressourcen dynamisch verteilt und Hardware-Umgebungen optimal ausgenutzt werden. Dies erfordert Parallelisierungsansätze für die Wartung von Prognosemodellen und neuartige Kostenmodelle zur Wartungsjobgenerierung und Ressourcenverteilung.

• DFG-Verfahren: Sachbeihilfen