Incrementality and projection in dialogue processing: interfacing interaction management and content management in dialogue
Final Report Abstract
In einer Unterhaltung kommt es nicht nur darauf an, was man sagt, sondern auch, wann man es sagt - nach einer langeren Pause oder sofort, oder sogar während der andere noch redet. Diese eigentlich recht triviale Beobachtung beschreibt dennoch ein Phänomen, von dem sowohl in der theoretischen, linguistisch motivierten Dialogforschung als auch in der praktisch orientierten Forschung an Sprachdialogsystemen abstrahiert wurde durch die ausschließliche Betrachtung ganzer Äußerungen als Einheiten des Dialogfortschrittes. In dem Projekt (Kurzname inpro) befassten wir uns mit der Erstellung sowohl von formalen Modellen der inkrementellen, kontinuierlichen Dialogverarbeitung, als auch mit deren Umsetzung in interaktiven Sprachdialogsystemen. Das dabei spezifizierte “incremental units model” (iu-Modell) formte die Basis für unsere Implementation verschiedener Dialogsysteme, anhand derer wir die praktischen Vorteile dieser Verarbeitungsstrategie zeigen konnten. Im Zuge des Projektes erforschten wir, wie sich die üblichen Verarbeitungsschritte in Sprachdialogsystemen (Spracherkennung, Strukturanalyse, Inhaltserkennung, Absichtserkennung, Dialogmanagement, Generierung, Sprachsynthese) “inkrementalisieren” lassen, d.h. von ihrer üblichen, Äußerungs-basierten Arbeitsweise auf eine kontinuierliche, nebenläufige umstellen lassen. Wir konnten zeigen, dass dies mit etwas Aufwand durchaus möglich ist und eben in der Beurteilung des dadurch ermöglichten Verhaltens vorteilhaft. Inkrementelle Verarbeitung ist inzwischen in der praktischen Umsetzung in kommerziellen Systemen angekommen, sowie es auch ein Thema in der formalen Behandlung von Dialogphänomenen ist. Mindestens einen kleinen Teil hat unser Projekt dazu beigetragen. Gegenüber dem ursprünglichen Arbeitsprogramm mussten Fragen offen bleiben. Der sogar im Titel genannte Aspekt der “Projektion”, im weiteren Sinne verstanden als Rolle von top down-Annahmen, blieb zugunsten anderer Fragen unbearbeitet. Ebenso konnte der Bereich der inkrementellen Generierung von Äußerungen nur rudimentär bearbeitet werden. Dazu sind Anschlußprojekte in Vorbereitung. Zu anderen Fragen wie z.B. der Diskursrolle von Selbst-Korrekturen (einem genuin inkrementellen Phänomen) oder der situierten, inkrementellen Verarbeitung von Referenzen konnten Anschlußprojekte bereits begonnen werden. Insgesamt kann gesagt werden, dass das Projekt nicht nur interessante Antworten geliefert hat, sondern es auch ermöglicht hat, interessante weitergehende Fragen zu stellen.
Publications
- (Aug. 2008). “Towards Incremental End-of-Utterance Detection in Dialogue Systems”. In: Proceedings of the 22nd International Conference on Computational Linguistics. Manchester, UK
Michaela Atterer, Timo Baumann and David Schlangen
- (Mar. 2009). “A General, Abstract Model of Incremental Dialogue Processing”. In: Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2009). Athens, Greece, pp. 710–718
David Schlangen and Gabriel Skantze
- (Mar. 2009). “Incremental Dialogue Processing in a Micro- Domain”. In: Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2009). Athens, Greece, pp. 745–753
Gabriel Skantze and David Schlangen
- (May 2009). “Assessing and Improving the Performance of Speech Recognition for Incremental Systems”. In: Proceedings of the North American Chapter of the Association for Computational Linguistics - Human Language Technologies (NAACL HLT) 2009 Conference. Boulder, Colorado, USA
Timo Baumann, Michaela Atterer and David Schlangen
- (Sept. 2009). “Incremental Reference Resolution: The Task, Metrics for Evaluation, and a Bayesian Filtering Model that is Sensitive to Disfluencies”. In: Proceedings of SIGdial 2009, the 10th Annual SIGDIAL Meeting on Discourse and Dialogue. London, UK
David Schlangen, Timo Baumann and Michaela Atterer
- (Sept. 2010). “Collaborating on Utterances with a Spoken Dialogue System Using an ISU-based Approach to Incremental Dialogue Management”. In: Proceedings of the SIGdial 2010 Conference. Tokyo, Japan, pp. 233–236
Okko Buß, Timo Baumann and David Schlangen
- (Sept. 2010). “Comparing Local and Sequential Models for Statistical Incremental Natural Language Understanding”. In: Proceedings of the SIGdial 2010 Conference. Tokyo, Japan, pp. 9–16
Silvan Heintze, Timo Baumann and David Schlangen
- (Sept. 2010). “Middleware for Incremental Processing in Conversational Agents”. In: Proceedings of the SIGdial 2010 Conference. Tokyo, Japan, pp. 51–54
David Schlangen, Timo Baumann, Hendrik Buschmeier et al.
- (2011). “Evaluation and Optimization of Incremental Processors”. In: Dialogue and Discourse 2.1, pp. 113–141
Timo Baumann, Okko Buß and David Schlangen
- (Apr. 2012). “Joint Satisfaction of Syntactic and Pragmatic Constraints Improves Incremental Spoken Language Understanding”. In: Proceedings of the Conference of the European Association for Computational Linguistics (EACL 2012). Avignon, France, pp. 514–523
Andreas Peldszus, Okko Buß et al.
- (Sept. 2012). “Evaluating Prosodic Processing for Incremental Speech Synthesis”. In: Proceedings of Interspeech 2012. Portland, USA
Timo Baumann and David Schlangen
- (2014). “Better Driving and Recall When In-car Information Presentation Uses Situationally-Aware Incremental Speech Output Generation”. In: AutomotiveUI 2014: Proceedings of the 6th International Conference on Automotive User Interfaces and Interactive Vehicular Applications. Seattle, Washington, USA
Casey Kennington, Spyridon Kousidis, Timo Baumann et al.
(See online at https://doi.org/10.1145/2667317.2667332)
