SINIR - Simulation von INteraktiven Information Retrieval

• Antragsteller: Professor Dr. Michael Granitzer; Professor Dr. Matthias Hagen; Professor Dr. Klaus Tochtermann
• Förderung: Förderung von 2018 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 408022022

Der Zugang zu modernen digitalen Bibliotheken stützt sich auf interaktive Nutzeroberflächen mit Suchfunktionalität, die zu Anfragen der Nutzer passende Treffer liefern. Der Zugriff auf die Objekte einer digitalen Bibliothek ist jedoch inhärent dynamisch, da sich zum einen die Inhalte verändern und zum anderen das Such-Backend und die Nutzeroberfläche ständig modernisiert und verbessert werden, etwa im Zuge neuer Software-Releases. Im Kontext großer Web-Suchmaschinen werden praktisch täglich solche Änderungen durchgeführt und durch A/B-Tests evaluiert. Aussagekräftige A/B-Test erfordern jedoch eine große Zahl an Nutzerinteraktionen, die im Umfeld digitaler Bibliotheken mit ihren spezialisierteren Inhalten nicht realistisch sind.Ein Ansatz, aussagekräftige Tests auch im Kontext digitaler Bibliotheken durchzuführen, sind Simulationen, die typisches Nutzerverhalten mit Kosten-Nutzen-Modellen für typische Bedürfnisse erzeugen. Mit Hilfe solcher Simulationen können hypothetische Nutzungsdaten in beliebigem Umfang generiert werden. Dadurch werden A/B-Tests auch im Umfeld digitaler Bibliotheken mit ihrer kleineren Zahl „echter“ Nutzer ermöglicht. Die Auswirkungen von Systemänderungen können so schneller abgeschätzt werden und als Entscheidungsgrundlage für die Übernahme von Änderungen ins Produktivsystem dienen. Im Projekt SINIR (Simulating INteractive InformatIon Retrieval) wird das A/B-Testen von digitalen Bibliothekssysteme mit einer großen Menge an simulierten Nutzungsdaten in einem Open-Source-Simulationsframework umgesetzt. Es sollen beliebige Konfigurationen von Nutzeroberfläche einerseits, und Retrieval-Backend andererseits auf der Basis von Nutzermodellen evaluiert werden können. Die Nutzermodelle dienen der Simulation von Nutzeranfragen, Klicks, Ergebnisinteraktionen, usw. Einige Nutzermodelle werden auf realen Logdaten „trainiert“ werden und durch Modelle künstlich generierter Nutzer angereichert, die speziellen Annahmen folgen (bspw. nur auf relevante Ergebnisse zu klicken). Die simulierten Nutzer können helfen, die Metadatennutzung zu analysieren oder das Rankingverfahren zu verbessern. Der Erfolg der entwickelten Verfahren zur Modellgenerierung, Simulation, Metadatenanalyse und des Rankings wird im Umfeld einer realen digitalen Bibliothek evaluiert – der wirtschaftswissenschaftlichen Suchmaschine EconBiz. Das entwickelte Open-Source-Framework soll digitalen Bibliotheken künftig helfen, Tests ihrer Nutzeroberflächen und Retrieval-Backends in großem, vorher nicht durchführbarem Umfang in kürzerer Zeit durchzuführen. Damit können Entscheidungen für Änderungen im Produktivsystem auf einer qualifizierten Datenbasis erfolgen und schneller in die Praxis umgesetzt werden.

• DFG-Verfahren: Forschungsdaten und Software (Wiss. Literaturversorgung und Informationssysteme)
• Kooperationspartner: Professor Dr. Benno Stein
• Mitverantwortliche: Dr. Timo Borst; Dr. Tamara Pianos