The development of cognitive processing of film
Final Report Abstract
Die im Rahmen dieses Projektes durchgeführten Studien dienten dem Erkenntnisgewinn bezüglich der dem Verstehen narrativer Texte zugrundeliegenden kognitiven Prozesse bei Kindern und jungen Erwachsenen sowie dem Einfluss unterschiedlicher medialer Darbietungsformen (auditiv, audiovisuell und schriftlich) auf diese Prozesse. Befunde zu den Repräsentationsebenen gemäß van Dijk und Kintsch (1983) weisen vor allem darauf hin, dass der Aufbau des Situationsmodells von Bildern bei auditiver Textdarbietung profitiert (Studien 2 und 3), nicht jedoch bei schriftlicher Darbietung (Studie 4). Im direkten Vergleich zwischen auditiver und schriftlicher Darbietung (Studie 1) zeigte sich mit zunehmendem Alter ein Vorteil der schriftlichen Darbietung, was sich durch die Steigerung der Lese-Expertise im Grundschulalter erklären lässt. Eine zentrale Erkenntnis im Hinblick auf die Textoberfläche (wortgetreue Repräsentation des Textes) lautet, dass diese vermutlich indirekt von Bildern profitiert: Bilder vereinfachen die Konstruktion des Situationsmodells, dadurch werden kognitive Ressourcen frei, die für ein genaueres Gedächtnis der Textoberfläche verwendet werden können. Sowohl der Vorteil von Bildern für die Textoberfläche in den Studien 2 und 3 als auch dessen Ausbleiben in Studie 4 (jeweils parallel zu entsprechenden Effekten beim Situationsmodell) sprechen dafür, einschränkend lässt sich jedoch sagen, dass diese Parallele bei den Befunden zu schriftlichem im Vergleich mit auditivem Text in Studie 1 nicht gezeigt wurde. Ergebnisse zum Situationsmodell, insbesondere jedoch zur Textbasis liefern Belege für die Anwendbarkeit des dualen Verarbeitungsmechanismus des aus der Instruktionspsychologie stammenden Integrierten Text-Bild-Verarbeitungsmodells (ITPC; Schnotz, 2014) im Kontext narrativer Texte: Ergebnisse aus Studie 2 sprechen für eine direkt vom Bild ausgehende Entstehung des Situationsmodells über Strukturabbildungsprozesse, die mit dem vom Text ausgehenden Konstruktionsprozess konkurrieren können. Studie 4 hingegen liefert Evidenz für den Prozess der Modellinspektion auf der Grundlage neuer (in dem Fall Bild-)Information, der auf die Konstruktion des Situationsmodells folgt und in dessen Rahmen nicht nur das Situationsmodell, sondern auch die Textbasis überarbeitet werden kann. Für den Anwendungskontext in der Bildung lassen sich folgende Erkenntnisse ableiten: • Für die Förderung des Hörverstehens bei Kindern können Bilder hilfreich sein. Dabei genügen schon einfache Zeichnungen, in denen wesentliche Aspekte des Textes skizziert sind. • Bilder sind auch dann hilfreich, wenn der Wortlaut eines auditiv dargebotenen Textes erinnert werden soll, beispielsweise beim Auswendiglernen. • Illustrationen bei Lesetexten sind nicht unbedingt hilfreich. Wenn, dann sollten diese die im Text dargestellte Handlung vorwegnehmen, anstatt ihr zu folgen, da Letzteres für eine bedeutungsbasierte (propositionale) Repräsentation hinderlich sein kann. Diese kann etwa beim Nacherzählen oder bei Inhaltsanalysen eine Rolle spielen. Analog zu den Befunden zum Situationsmodell insgesamt zeigt sich auch bei den Befunden zu lokaler und globaler Kohärenz, dass Bilder beim Verstehen auditiv dargebotener Texte eine unterstützende Wirkung haben können (Studien 5a und 6). Darüber hinaus zeigt sich bei Kindern ab 9 Jahren auch hier die Überlegenheit schriftlicher gegenüber auditiven Texten (Studie 5a, vgl. Studie 1). Zudem kann die Betonung von für die Kohärenzbildung entscheidenden Textelementen (hier: Protagonistenziele, Studie 6) eine weitere Entlastung des Arbeitsgedächtnisses darstellen, insbesondere gilt dies für globale Kohärenz. Studie 7 weist darauf hin, dass die Fähigkeit, Inhalte des Arbeitsgedächtnisses laufend zu aktualisieren für die Herstellung von Kohärenz von Bedeutung ist. Für den Anwendungskontext könnte dies folgende Implikationen haben: • Das Hörverstehen kann nicht nur durch Bilder, sondern stattdessen auch durch Formulierungen im Text unterstützt werden, die Kindern einen Hinweis darauf geben, worauf sie besonders achten müssen. Dies gilt insbesondere für komplexe Sachverhalte, die das Behalten von Information über einen längeren Textabschnitt erfordern. • Updating scheint eine Rolle bei für das Textverstehen essentiellen Prozessen zu spielen. Daraus kann die Überlegung folgen, Updating-Tests für die Diagnose von Textverständnisschwächen oder entsprechende Trainings für deren Behandlung einzusetzen. Unsere Befunde zur perzeptuellen Simulation reihen sich in einen Kanon von Studien ein, der die Existenz perzeptueller Simulation beim Textverstehen bezeugt, zum Teil stellen sie auch eine Erweiterung dieses Kanons dar, da gerade die Simulation von Objektbewegungen (Studien 9 und 10) bei Kindern bisher nicht untersucht wurde. Darüber hinaus ist der Erkenntnisgewinn im Sinne unserer Projektziele vergleichsweise gering, da Studie 8 nur einen schwachen, Studie 10 überhaupt keinen Hinweis auf den Einfluss von Bildern auf perzeptuelle Simulation gibt. Insgesamt passt dies gut in das Bild neuerer Forschungen, welche die Funktionalität perzeptueller Simulation für das Textverstehen insgesamt in Frage stellen. Um dies endgültig zu beurteilen, wären weitere Forschungen nötig, die beispielsweise die Komplexität der perzeptuell simulierten Situationsaspekte im Blick haben: Während es bei der vergleichsweise komplizierten Objektform in Studie 8 (z.B. ganze vs. geschnittene Tomate) bei älteren Kindern und Erwachsenen Hinweise auf das Auslassen der im Kontext der Aufgabe nicht unmittelbar benötigten perzeptuellen Simulation gab, war dies bei einfachen Objektbewegungen (auf vs. ab) in den beiden Folgestudien nicht der Fall. Interessant wären daher Experimente mit komplexeren Objektbewegungen. Wir waren insgesamt überrascht darüber, dass sich in unseren Studien weniger Alterseffekte zeigten als erwartet, insbesondere im Hinblick auf den Vergleich von Textdarbietungen mit und ohne Bild. Gemäß der Annahme perzeptueller Unterstützung hätten wir erwartet, dass jüngere Kinder beim Textverstehen stärker von Bildern profitieren als ältere Kinder oder Erwachsene, dies zeigte sich jedoch lediglich in Studie 8 bezüglich perzeptueller Simulation. Bezeichnend fanden wir auch, dass bei auditiven Texten bereits einfache, schematische Zeichnungen eine unterstützende Wirkung entfalten und dass sich entgegen unserer Annahme kein weiterer Zugewinn durch animierte Bilder ergibt (Studien 3 und 5b). Ein nächster Schritt, um die Wirkung bewegter Bilder beim Textverständnis genauer zu untersuchen, wäre die Verwendung filmischen Materials anstelle von Animationen. Im Rahmen des Projekts sind mehrere Artikel in der Mainpost (Würzburger Lokalzeitung) und im einBLICK (Online-Magazin der Universität Würzburg) erschienen. Darüber hinaus gab es folgende öffentliche Veranstaltungen.
Publications
- (2020) Perceptual Simulation of Vertical Object Movement during Comprehension of Auditory and Audiovisual Text in Children and Adults. Discourse Processes 57 (5-6) 460–472
Seger, Benedikt T.; Hauf, Juliane E. K.; Nieding, Gerhild
(See online at https://doi.org/10.1080/0163853X.2020.1755801) - (2017). Multilevel mental representations of written, auditory, and audiovisual text in children and adults. Cognitive Processing, 18(4), 491–504
Wannagat, W., Waizenegger, G., & Nieding, G.
(See online at https://doi.org/10.1007/s10339-017-0820-y) - (2018). Mental representations of the text surface, the text base, and the situation model in auditory and audiovisual texts in 7-, 9-, and 11- year-olds. Discourse Processes, 55(3), 290–304
Wannagat, W., Waizenegger, G., Hauf, J., & Nieding, G.
(See online at https://doi.org/10.1080/0163853X.2016.1237246) - (2019). Entwicklungspsychologische Aspekte der Digitalisierung: Medienwirkung und Medienkompetenz im Kindes- und Jugendalter. In S. Rietmann, M. Sawatzki, & M. Berg (eds.) Beratung und Digitalisierung. Zwischen Euphorie und Praxis (pp. 57–83). Wiesbaden: Springer VS
Möckel, T., Wannagat, W., Nieding, G., & Ohler, P.
(See online at https://doi.org/10.1007/978-3-658-25528-2_3) - (2019). How static and animated pictures contribute to multilevel mental representations of auditory text in seven-, nine-, and eleven-year-old children. Journal of Cognition and Development, 20(4), 573–591
Seger, B. T., Wannagat, W. & Nieding, G.
(See online at https://doi.org/10.1080/15248372.2019.1636799) - (2020). The development of dynamic perceptual simulations during sentence comprehension. Cognitive Processing
Hauf, J., Nieding, G. & Seger, B. T.
(See online at https://doi.org/10.1007/s10339-020-00959-7)
