Logische Antwortfindung über semantisch strukturierten Wissensbasen
Final Report Abstract
In der vorangegangenen ersten Projektphase wurde bereits erfolgreich eine erste Version des deutschsprachigen Frage-Antwort-Systems LogAnswer entwickelt. Log-Answer kombiniert Ansätze aus mehreren Forschungsbereichen, insbesondere der Computerlinguistik und der automatischen Deduktion. Der Nutzen dieser Verknüpfung hatten wir durch die Teilnahme am Fragebeantwortungswettbewerb CLEF belegen können. In der im vorliegenden Bericht behandelten zweiten Phase lagen die Schwerpunkte der Zielsetzungen in der Verbesserung des bestehenden LogAnswer-Systems sowie in seiner Öffnung in mehrfacher Hinsicht: sowohl für neue Wissensquellen über die ursprüngliche auf Wikipedia beruhende Wissensbasis hinaus, als auch für neue Anwendungsgebiete, unabhängig von Wettbewerben. Zahlreiche Verbesserungen und Erweiterungen konnten die generelle Leistungsfähigkeit von LogAnswer steigern. Die Hagener Seite des Projekts, zuständig für die computerlinguistischen Aspekte, entwickelte und optimierte die Lernverfahren, mit denen die Entscheidungsbäume zur Rangoptimierung von Antworten erzeugt werden. Die Koblenzer Seite erhöhte die Performanz des Theorembeweisers E-KRHyper, der die deduktive Komponente von LogAnswer bildet. Beide Projektgruppen arbeiteten zudem kontinuierlich an der Verbesserung der Integration von Logik in Fragebeantwortung, durch weitreichendere Nutzung der im Deduktionsvorgang ermittelten Daten einerseits und andererseits durch umfassendere Unterstützung der spezifischen Problemstellungen und Anforderungen LogAnswers durch den Beweiser. Die Öffnung für neue Wissensquellen äußerte sich in der Entwicklung einer Kopplung der LogAnswer-Wissensbasis an externe Ontologien wie Cyc, sowie in der Anpassung von E-KRHyper an die damit verbundenen großen Datenmengen. Auch nichtstatisches Wissen konnte zugänglich gemacht werden, indem Webdienste mit geeigneten Daten direkt an E-KRHyper angeschlossen wurden; eine Modifikation, die auch Veränderungen am zugrundeliegenden Deduktionskalkül erforderte. Die sich im Verlauf des Projekts ändernden Bedingungen der CLEF-Wettbewerbe boten Anlass für eine Reihe von Anpassungen, etwa an spezielle Fragetypen. Gleichzeitig erschwerten sie allerdings die Planung der Evaluation von LogAnswer. Durch den Wechsel von freien Fragebeantwortungsaufgaben zu Textverständnisfragen im Multiple-Choice-Verfahren verlor CLEF zunehmend an Relevanz für das Projekt. Daher erwies sich die ohnehin geplante Öffnung von LogAnswer für Frage-Antwort- Foren auch als wertvolle Ergänzung zur Evaluation. In umfangreichen Tests auf dem Fragenbestand des Forums FragWikia! konnten wir einerseits zeigen, dass genügend reale Benutzerfragen automatisch beantwortbar sind, um einen Foreneinsatz für Frage-Antwort-Systeme interessant zu machen. Andererseits muss mehr als bislang im Frage-Antwort-Bereich üblich auf die Vermeidung falscher Antworten geachtet werden, um die Nutzer nicht zu belästigen - im Zweifel sollte das System besser keine Antwort geben. Der von uns entwickelte WAA-Filter (Wrong Answer Avoidance) hat sich hierzu als wirksam erwiesen. Neben der eigenständigen Beantwortung von Forenfragen haben wir auch den Einsatz von Case-Based Reasoning zum Vergleich von Fragen untersucht, womit ein Frage-Antwort-System neue Benutzerfragen mit bekannten Antworten zu äquivalenten Fragen im Forenarchiv beantworten kann. Insgesamt stellen derartige Foren ein sinnvolles Einsatzgebiet für Frage-Antwort-Systeme dar, auch wenn die Leistungsfähigkeit bislang nur enen begrenzten praktischen Einsatz zulässt. Abschließend sehen wir die Ziele der zweiten Projektphase weitgehend als erreicht an, und LogAnswer hat in mehreren Bereichen zur Grundlagenforschung beigetragen.
Publications
- Logic-Based Question Answering. In: KI, 24(1):51–55, 2010
Ulrich Furbach, Ingo Glöckner, Hermann Helbig, and Björn Pelzer
- A Natural Language Question Answering System as a Participant in Human Q&A Portals. In: Toby Walsh, editor, Proceedings of the 22nd International Joint Conference on Artificial Intelligence (IJCAI 2011), pages 2430–2435. IJCAI/AAAI, 2011
Tiansi Dong, Ulrich Furbach, Ingo Glöckner, and Björn Pelzer
- LogAnswer in Question Answering Forums. In: Joaquim Filipe and Ana L. N. Fred, editors, ICAART 2011 - Proceedings of the 3rd International Conference on Agents and Artificial Intelligence, Volume 1 - Artificial Intelligence, Rome, Italy, January 28-30, 2011, pages 492–497. SciTePress, 2011
Tiansi Dong, Ingo Glöckner, and Björn Pelzer
- An Integrated Machine Learning and Case-Based Reasoning Approach to Answer Validation. In: 11th International Conference on Machine Learning and Applications, ICM- LA, Boca Raton, FL, USA, December 12-15, 2012. Volume 1, pages 494–499. IEEE, 2012
Ingo Glöckner and Karl-Heinz Weis
- Automated Theorem Proving with Web Services. In: Ingo J. Timm and Matthias Thimm, editors, KI, volume 8077 of Lecture Notes in Computer Science, pages 152–163. Springer, 2013
Björn Pelzer
- System Description: E-KRHyper 1.4 - Extensions for Unique Names and Description Logic. In: Maria Paola Bonacina, editor, CADE, volume 7898 of Lecture Notes in Computer Science, pages 126–134. Springer, 2013
Markus Bender, Björn Pelzer, and Claudia Schon
