Classification of the emotional impact initiated by film sequences Assessment of the emotional experience of a multimedia presentation consisting of video and audio.
General, Cognitive and Mathematical Psychology
Electronic Semiconductors, Components and Circuits, Integrated Systems, Sensor Technology, Theoretical Electrical Engineering
Security and Dependability, Operating-, Communication- and Distributed Systems
Final Report Abstract
Kann man Emotionen berechnen? Insbesondere: Können wir vorhersagen, welche Emotion eine Person beim Betrachten eines Videos erlebt? Sogenannte „Appraisal-Modelle“ der Emotionspsychologie gehen davon aus, dass sich die erlebte Emotion aus verschiedenen (meist unbewussten) Bewertungsschritten ergibt, z.B. „Ist das Ereignis angenehm? Ist das Ereignis überraschend? Werde ich mit den Konsequenzen umgehen können?“. Dabei kommt es auch zu körperlichen Reaktionen, wie zum Beispiel einer Veränderung der Hautleitfähigkeit, mimischen (Mikro)Reaktionen, oder Änderungen in Herzschlagfrequenz oder -rhythmus. Es wurde vermutet, dass (a) die Bewertungsschritte mit bestimmten körperlichen Reaktionen zusammenhängen, und (b) die letztendlich erlebte Emotion sich aus der Kombination der einzelnen Bewertungsschritte vorhersagen lässt. Diese Fragen hat das Forschungsprojekt untersucht, welches als Kooperation zwischen dem Lehrstuhl für Datenverarbeitung an der Fakultät Elektrotechnik und Informationstechnik der TU München und dem Lehrstuhl für psychologische Methodenlehre und Diagnostik der LMU München durchgeführt wurde. Basierend auf einem Datensatz zu den Appraisalschritten von erinnerten emotionalen Erlebnissen wurden mehrere Modelle des maschinellen Lernens getestet um die resultierende Emotion vorherzusagen. Dabei konnte die spezifische Emotion mit einer Genauigkeit von 40% und die Emotionsfamilie (eine Zusammenfassung jeweils ähnlicher Emotionen) mit einer Genauigkeit von 77% vorhergesagt werden. Für zwei weitere Studien in dem Projekt wurde eine Datenbank von 188 kurzen Videoclips aufgebaut, die geeignet sind, bei Betrachtern verschiedenste Emotionen auszulösen. Die Videos sind alle lizenzfrei und können von anderen Forschenden nachgenutzt werden. Die Videos wurden dann zum einen in einer großen Onlinestudie eingesetzt, bei der 434 Teilnehmer die Videos bewertet haben, ihre emotionale Reaktion berichtet haben, und auch die einzelnen Appraisal-Schritte. Es konnte gezeigt werden, dass manche Videos mit hoher Uniformität bei den meisten Betrachtern ähnliche Emotionen auslösten, während andere Videos je nach Betrachter eine große Bandbreite an Emotionen ausgelöst haben. Die Persönlichkeit der Betrachter hatte in unserer Studie überraschender Weise keinerlei Einfluss darauf, welche Emotionen (verstärkt) erlebt wurden. Das steht im Widerspruch zu bisherigen Forschungsergebnissen, die (meist mit kleineren Stichproben) solche Zusammenhänge berichtet haben. In einer weiteren Studie wurde ein Teil der Videos in einer aufwändigen Laborstudie verwendet, in der bei den 157 Studienteilnehmern während des Betrachtens der Videos mit Hilfe von Elektromyographie die Aktivität an drei Gesichtsmuskeln gemessen wurde (zygomaticus major, corrugator supercilii und frontalis), sowie die Hautleitfähigkeit und der Herzschlag. Dabei konnte gezeigt werden, dass 13 von 21 erhobenen Bewertungsschritten einen robusten (nicht-linearen) Zusammenhang zu den physiologischen Messreihen zeigen. Am besten konnte der Appraisalcheck „intrinsic pleasantness“ vorhergesagt werden; den größten Einfluss auf die Vorhersage hatte der Gesichtsmuskel „zygomaticus major“ (der „Lächelmuskel“). Alle Veröffentlichungen, Versuchsmaterialien, sowie die erhobenen Forschungsdaten sind frei verfügbar und können zur Verifizierung der berichteten Ergebnisse sowie zur Nachnutzung für weiterführende Fragestellungen nachgenutzt werden.
Publications
- (2019). Emotion Prediction with Weighted Appraisal Models— Validating a Psychological Theory of Affect. IEEE Transactions on Affective Computing
Israel, L. S. F., & Schönbrodt, F. D.
(See online at https://doi.org/10.1109/TAFFC.2019.2940937) - (2020). Measuring Implicit Motives With the Picture Story Exercise (PSE): Databases of Expert-Coded German Stories, Pictures, and Updated Picture Norms. Journal of Personality Assessment, 103, 392–405
Schönbrodt, F. D., Hagemeyer, B., Brandstätter, V., Czikmantori, T., Gröpel, P., Hennecke, M., Israel, L. S. F., …, Schultheiss, O. C.
(See online at https://doi.org/10.1080/00223891.2020.1726936) - (2021). Open Library for Affective Videos (OpenLAV). PsychArchives
Israel, L., Paukner, P., Schiestel, L., Diepold, K., & Schönbrodt, F.
(See online at https://doi.org/10.23668/PSYCHARCHIVES.5042) - (2021). Predicting affective appraisals from facial expressions and physiology using machine learning. Behavior Research Methods, 53, 574–592
Israel, L. S. F., & Schönbrodt, F. D.
(See online at https://doi.org/10.3758/s13428-020-01435-y)
