Aby gets digital: ARAby - Ein adaptives Retrieval- und Analysetool zur Unterstützung von bildorientierten Forschungsprozessen

• Antragstellerinnen / Antragsteller: Professor Dr. Ralph Ewerth; Professor Dr. Eyke Hüllermeier; Professorin Dr. Eva-Maria Seng
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Kunstgeschichte
• Förderung: Förderung von 2017 bis 2018
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 389247364

Ein adaptives Retrieval- und Analysetool zur Unterstützung von bildorientierten Forschungsprozessen beschreibt das Entwicklungsvorhaben eines e-Research-Tools zur verbesserten Nutzbarmachung und Auswertung großer Bilddatenmengen im geisteswissenschaftlichen Forschungsprozess. Mit dem Tool soll die Bildrecherche in Datenbanken kulturellen Erbes optimiert und damit die Leistungsfähigkeit bestehender wissenschaftlicher Informationssysteme für den geisteswissenschaftlichen Forschungsprozess erhöht werden. Ausgangspunkt der Entwicklungsidee ist das von dem Kunsthistoriker Abraham Moritz Warburg (1866-1929), genannt Aby Warburg, Anfang des 20. Jahrhunderts entwickelte Verfahren des systematischen Bildvergleichs, das dieser bei der Zusammenstellung seines Mnemosyne Bilderatlasses anwandte. Auf leinenbezogenen Holztafeln arrangierte Warburg Bildmaterial unterschiedlichster Art zur simultanen Zusammenschau. Die entstehenden Bildmontagen waren Arbeitsmethode und Ergebnisdokumentation zugleich, vereinfachten das Überprüfen von Hypothesen und führten zu neuen Fragestellungen. Das Tool ARAby soll das Verfahren Warburgs im Digitalen teilweise weiterführen und mit Hilfe von Technologien der Informationswissenschaft erweitern. Die Analyse von digitalen Abbildungen anhand des Kriteriums der Ähnlichkeit soll mit ARAby auf digitale Bilddatenbanken übertragen, weitgehend automatisiert und um zusätzliche Funktionalitäten ergänzt werden. Zentral hierfür ist eine automatisierte, auf maschinellen Lernverfahren basierende Mustererkennung und die darauf aufbauende Annotation von Bildern mit Metadaten. Ergänzt wird diese Funktionalität durch Werkzeuge für die Bildsuche (sowohl schlagwort- als auch inhaltsbasiert), die Kategorienbildung (Clustering) sowie die Personalisierung und (Nutzer-)Adaption. Anfragen des Nutzers sowie Darstellung von Ergebnissen wie Rankings von Bildern (als Antwort auf eine Suchanfrage) oder Clusterstrukturen werden über eine entsprechende (grafische) Oberfläche unterstützt. Das Tool soll Forschenden browserbasiert über das Web zur Verfügung stehen und über standardisierte Schnittstellen auf weitere Datenbanken übertragbar sein. Für den Forschungsprozess in digitalen Arbeitsumgebungen soll ARAby die Auffindbarkeit von Bildern signifikant verbessern, effizienter gestalten und so die Bildung neuartiger Forschungsfragen und Hypothesen anregen. Mögliche Nutzungsszenarien sind u.a. die Provenienzforschung sowie die Erforschung des materiellen und immateriellen Kulturerbes, wie z.B. auf dem Gebiet der Ding- und Sachkulturrecherche, der Ritualforschung und Forschung im Bereich performativer Akte.

• DFG-Verfahren: Forschungsdaten und Software (Wiss. Literaturversorgung und Informationssysteme)
• Kooperationspartner: Professor Dr. Gilbert Lupfer