IREM: Interpretierbarkeit von Retrieval Modellen

• Antragsteller: Professor Dr. Avishek Anand
• Fachliche Zuordnung: Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 440551765

Komplexe maschinelle Lernmodelle, die mittels großer Datenmengen trainiert werden, haben in vielen Anwendungsbereichen ein hohes Leistungsniveau erreicht. Andererseits tendieren sie dazu intransparent und schwer interpretierbar zu sein. Folglich wurde die Interpretierbarkeit solcher komplexen Modelle in verschiedenen Bereichen untersucht, um die Entscheidungen eines Modells besser zu verstehen - für Bildklassifizierung, Generierung von Bildunterschriften, Sequenz-zu-Sequenz Modelle und weitere. Jedoch gibt es nur begrenzte Arbeiten zur Interpretation von Informationsabruf- oder Ranking-Modellen, die für das Bestimmen einer Rangfolge von Dokumenten für eine benutzerdefinierte Schlüsselwortsuche verwendet werden. Das Ziel unseres Antrags ist es, die wichtigsten Herausforderungen bei der Interpretation von Abrufmodellen, die im Mittelpunkt der Informationsbeschaffung stehen, zu verstehen und anzugehen.Eine der größten Herausforderungen bei der Informationsbeschaffung ist der Umgang mit einer Unterspezifizierung der Intention. Um dem entgegenzuwirken, nutzen Ranking-Modelle eine umfangreiche Anfragemodellierung, kontextuelle Informationen und lernen von dem Nutzungsverhalten mittels diverser Merkmale. Infolgedessen sind moderne Ranking-Ansätze, wie das Erlernen von Relevanzbewertung durch neuronale Modelle, effektiv, aber immer undurchsichtiger geworden. Im Gegensatz zu traditionellen Modellen des maschinellen Lernens, bei denen Erklärbarkeit immer mehr in den Vordergrund rückt, gibt es bislang nur begrenztes Verständnis von Ranking-Modellen im Kontext von Problemen, die spezifisch für die Informationsbeschaffung sind - das Verstehen von Absichten, die Nutzung von Kontexten und das Erlernen eines Rankings. Wir identifizieren unter anderem drei zentrale Probleme, die den Erfolg eines Retrieval-Modells bestimmen: das Problem der Intention, das Problem des Kontextes und das Problem des Lernens.Das Problem der Absicht bezieht sich darauf, wie gut ein Modell versteht, welche Informationen die Benutzer benötigen, insbesondere wenn die Abfragen unterspezifiziert und mehrdeutig sind. Beim Problem des Kontextes geht es darum, wie gut das Suchmodell den Kontext einer Suche - Benutzerprofil, historische Benutzermodellierung usw. - zur Bestimmung einer Rangfolge ausnutzt. Das Problem des Lernens bezieht sich darauf, wie gut solch ein Modell aus verschiedenen Signalen von Abfragen, Dokumenten, Benutzerverhalten, Klicks, usw. lernen kann, um festzustellen, welche Dokumente für eine bestimmte Abfrage relevanter sind.In diesem Projekt wollen wir Ansätze zur Post-hoc-Erklärbarkeit von komplexen aus Daten gewonnenen Ranking-Modellen entwickeln und untersuchen. Unser Ziel ist es bereits trainierte Ranking-Modelle dahingehend zu interpretieren, welche Abfrageabsichten und Kontextinformationen sie tatsächlich ableiten und welche Merkmale für ein bestimmtes Ranking wirklich wichtig sind.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Niederlande