Kalibrierung von Vorhersagen und Regressionsdiagnostik durch Isotonie

• Antragsteller: Professor Dr. Timo Dimitriadis
• Fachliche Zuordnung: Statistik und Ökonometrie
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502572912

Die Evaluation von Vorhersagen ist in vielen Disziplinen von grundlegender Bedeutung. Dies wird durch das jüngste Interesse am maschinellen Lernen noch weiter verstärkt. Eine wichtige Eigenschaft von Vorhersagen ist deren Kalibrierung. Diese bedeutet, dass der Nominalwert der Vorhersagen direkt interpretiert werden kann: Für ein binäres Ereignis (z. B. ob es morgen regnet) das mit einer Wahrscheinlichkeit von 80\% vorhergesagt wurde, bedeutet Kalibrierung, dass dieses auch mit dieser Häufigkeit eintreten muss. Kalibrierung wird in vielen wissenschaftlichen Disziplinen evaluiert, oft mit unterschiedlichen Methoden. Beispielsweise testen die sogenannten Backtests in der Regulierung für Banken und Versicherungen im Wesentlichen die Kalibrierung der Prognosen für die Risikomaße Value at Risk und Expected Shortfall. In der Regressionsdiagnose und in Tests zur Anpassungsgüte wird geprüft, ob ein parametrisches Modell hinreichend gut an die Daten angepasst ist, d. h. ob die Modellvorhersagen kalibriert sind. Die in diesen Bereichen eingesetzten statistischen Methode sind jedoch zahlreichen Kritiken ausgesetzt. In diesem Projekt werden einige dieser Kritikpunkte angegangen, indem die CORP-Methode von Dimitriadis et al. (2021, PNAS) weiterentwickelt wird. Die Autoren schlagen die Verwendung einer nichtparametrischen monotonen Regression vor, welche zu einer stabilen und reproduzierbaren grafischen Darstellung von Kalibrierung (dem reliability diagram) und einer verbesserten Zerlegung von sogenannten proper scoring rules führt. Diese Methodik ist jedoch auf binäre Ereignisse beschränkt, und die monotone Regression verkompliziert statistische Inferenz für formale Tests. In diesem Projekt werden Verallgemeinerungen entlang dieser beiden Dimensionen vorgeschlagen: Erstens werden wir allgemeingültige statistische Inferenzmethoden entwickeln, die es ermöglichen, die CORP-Methodik zum Testen der Anpassungsgüte von (binären) Regressionen einzusetzen. Dies kann die derzeitige Standardmethodik, den Hosmer-Lemeshow-Test, in Bezug auf Stabilität, Reproduzierbarkeit und Interpretierbarkeit drastisch verbessern. Zweitens werden wir die CORP-Methodik auf Punktprognosen und Risikomaße wie Value at Risk und Expected Shortfall verallgemeinern. Dies wird sowohl ein besseres Verständnis der bestehenden Backtests ermöglichen als auch die Entwicklung neuer, robuster Tests. Die Ergebnisse dieses Projekts werden interessant sein für sowohl die theoretischen Literaturen zur Evaluierung von Vorhersagen und monotonen Regressionen als auch für Anwender, die mit binären Regressionen im Allgemeinen und mit Finanzrisikomanagement und Backtests im Besonderen arbeiten. Wir gehen davon aus, dass ähnliche Anpassungen und Verallgemeinerungen Verbesserungen der typischen Evaluationsmethoden in anderen akademischen Fächern ermöglichen, in denen kalibrierte Vorhersagen von Interesse sind.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Kooperationspartnerin: Professorin Dr. Johanna Ziegel