Chess Expertise from Eye Gaze and Emotion
Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
Final Report Abstract
Im Rahmen des ersten Experimentes waren signifikante Primingeffekte nur für Experten (keine differenzierte Abstufung: Experten – Fortgeschrittene – Novizen) und nur im einfachsten der drei Untersettings nachgewiesen wurden. Das ist im Zusammenhang der von uns konstruierten Primingaufgaben zu sehen, die eher in Richtung Problemlösung von Schachaufgaben (stärkerer Reasoning-Load) als Wahrnehmung von Schachkonstellationen (chunk-perception) konstruiert waren. Es ist für die weitere Forschung sicher interessant, hier methodisch bessere Lösungen zu finden, beziehungsweise die Ergebnisse als Ausgangspunkt für ein besseres Verständnis kognitiver und/ oder perzeptueller Prozesse bei der Lösung von Schachaufgaben zu sehen. Die Ergebnisse der weiteren Untersuchungen zeigen interessante Zusammenhänge zwischen Wissensstrukturen im Gedächtnis (mentalen Repräsentationsstrukturen) und Problemlöseverhalten auf dem Schachbrett und perzeptuellen Prozessen (Scanpath-, Heat Map Parameter) auf. Sie weisen weiterhin auf expertiseabhängige Unterschiede solch kognitivperzeptueller Komponenten des Schachspieles hin. Diese Ergebnisse können im Gesamtbild ergänzt werden, um die teilweise gemeinsam entwickelten und insgesamt abgestimmten Untersuchungen, die auf französischer Seite durchgeführt wurden (simultane Messung von Blickverhalten, Gesichtsausdrücken, Mikroexpressionen und Körpersprache in unterschiedlichen emotionalen Situationen). Damit tragen die Ergebnisse der Untersuchungen zu einem besseren Verständnis von Interaktionsprozessen im Schach und darüber hinaus bei. Wir haben nach unserer Datenerhebung in mehreren Experimentalsettings damit begonnen, das von uns entworfene rekurrente neuronale Netzwerk mit Blickverhaltensdaten und SDA Daten zu trainieren, um dessen Vorhersage über Expertiselevel und individuelle Schachzüge zu testen. Ein anschließender Performancevergleich zwischen unserem Modell und dem auf französischer Seite zu entwickelnden Modell sowie die Integration der Daten über Emotionen von französischer Seite zur Erweiterung der Multimodalität des Modells stehen noch aus. Basierend auf einem in seiner Vorhersagekraft optimierten Netzwerkmodell, sind individuelle Diagnostik und personalisierte Trainingsmethoden (virtueller Schachassistent, Tutoringsystem) mögliche Anwendungen. Dieser Schritt ist bereits eingeplant und vorbereitet worden während des gegenseitigen Austauschs der zwei Kooperationspartner (vor Ort oder bei den gemeinsam geplanten Konferenzen). Ein Transfer dieser Vorgehensweise wäre auch für weitere Bereiche denkbar, wie z.B. sportliche Aktivitäten oder bei alltäglichen Handlungen wie Autofahren usw.
Publications
- Psychological Research and Eye Tracking in the Field of Chess, BER Workshop „Behavior, Emotion and Representation: Building Blocks of Interaction“ (5th International Conference on Human-Agent Interaction, HAI 2017) am 17.10.2017 in Bielefeld
Steingrímsson, Héðinn
- Automatic Analysis of Players Behavior in Real Dyadic Chess Situations. 1st Workshop on „Behavior, Emotion and Representation: Building blocks of Interaction“, Oct. 2017, Bielefeld, Germany
Küchelmann, T., Torche, P., Prasad, M., Essig, K. & Schack, T.
- Multimodal Observation and Interpretation of Subjects Engaged in Problem Solving, BER Workshop „Behavior, Emotion and Representation: Building Blocks of Interaction“ (5th International Conference on Human-Agent Interaction, HAI 2017) am 17.10.2017 in Bielefeld
Guntz, Thomas/Vaufreydaz, Dominique/Balzarini, Raffaella/Crowley, James
- (2019). Mental Representation of Complex and Sequential Actions as a Basis for an Adaptive Cognitive Training, Interdisziplinärer Workshop „Chess Expertise by Eye-Gaze and Emotions – Multimodal Interaction in Chess Play“ am 15.01.2019 in Reykjavík, Island
Schack, Thomas
- Automatic Analysis of Players‘ Behavior in Real Dyadic Chess Situations, Interdisziplinärer Workshop „Chess Expertise by Eye Gaze and Emotions- Multimodal Interaction in Chess Play“ am 15.01.2019 in Reykjavík, Island
Küchelmann, Thomas
