Multimodale Erfassung von dyadischer Interaktion bei Störungen der sozialen Interaktion

• Antragsteller: Dr. Martin Schulte-Rüther
• Fachliche Zuordnung: Klinische Psychiatrie, Psychotherapie und Kinder- und Jugendspychiatrie ; Biologische Psychologie und Kognitive Neurowissenschaften
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502014066

Autismus-Spektrum-Störung (ASD) ist eine prototypische Störung für die Beeinträchtigung multimodaler Aspekte der visuellen und verbalen Kommunikation. Instrumente wie die Beobachtungsskala für Autismus-Spektrum Störungen (ADOS-2) erlauben die Bewertung der Symptomatik auf der Basis einer strukturierten sozialen Interaktion, bei der ein erfahrener Kliniker verschiedene sozial-interaktive Aufgaben mit der untersuchten Person durchführt. Diagnoseentscheidungen auf der Grundlage dieses Instruments beruhen in der Regel auf qualitativen, klinischen Bewertungen des visuellen kommunikativen Verhaltens (z.B. Blicke, Mimik, Gestik) und deren Integration mit verbaler Kommunikation, die jedoch nicht systematisch quantifiziert werden.In der menschlichen Interaktion sind verbale und visuelle Kommunikationskanäle in einen sozialen Bezugsrahmen eingebettet, der multimodale Aspekte kombiniert. Gemeinsame Aufmerksamkeit entsteht z. B. durch die Verwendung deiktischer Gesten (z. B. Zeigen) in Koordination mit Gesichtsausdruck und Blicken, wodurch räumliche Navigation mit Objekten und geteilte Aufmerksamkeit möglich wird. Blicke und Zeigen können verdeutlichen, auf welches Objekt oder welche Person sich eine Äußerung bezieht, z. B. können Gesten, Kopfbewegungen und Gesichtsausdruck räumliche und soziale Beziehungen visualisieren, wenn über Objekte oder Personen gesprochen wird, die gerade nicht sichtbar sind. Es gibt kaum systematische Forschung zum Zusammenspiel und der zeitlichen Dynamik dieses multimodalen visuellen Kommunikationsverhaltens. Hilfreich dafür sind bereits etablierte, computergestützte Techniken (Motion Capture, mobiles Eye Tracking und Mimikanalyse) sind etablierte Techniken die auch ein großes Potenzial für die diagnostische Einschätzung von Störungen wie ASD zeigen. Es fehlt jedoch bisher die multimodale Kombination verfügbarer Techniken während einer standardisierten Untersuchung.In diesem Antrag zielen wir auf die multimodale Erfassung typischen und atypischen sozialen Verhaltens bei Kindern, mit Fokus auf der Integration mehrere visueller und verbaler Kommunikationskanäle und deren Rolle bei Störungen der sozialen Interaktion. Wir werden spezifische Verhaltensweisen während einer reziproken Interaktion zwischen Kind und Untersucher detailliert annotieren. Wir nutzen anschließend maschinelles Lernen auf Basis der Zeitreihen von automatisch extrahierten Aspekten (z.B. Sakkaden, Gesichtsausdruck, Körperhaltung), um Modelle für die automatische Identifizierung solcher Verhaltensweisen zu trainieren. Darüber hinaus zielen wir auf die Klassifikation von atypischem Verhalten, insbesondere Verhaltensweisen die mit ASD assoziiert sind. Auf diese Weise werden wir einen umfangreichen Datensatz generieren, d.h. einen Korpus multimodaler Kommunikation während sozialer Interaktion, der zahlreiche weitere Analysen im Rahmen des SPP ViCom und für die breitere Forschungscommunity ermöglichen wird.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2392: Visuelle Kommunikation. Theoretische, empirische und angewandte Perspektiven (ViCom)
• Internationaler Bezug: Niederlande
• Mitverantwortliche: Professor Dr. Peter Marschik; Professorin Dr. Luise Poustka
• Kooperationspartnerin: Professorin Dr. Judith Holler