Der Modalitätseffekt bezeichnet den Vorteil, der beim Lernen mit Texten und Bildern bzw. Texten und Animationen auftritt, wenn die Texte auditiv und nicht visuell dargeboten werden (vgl. Rummer, Fürstenberg & Schweppe, 2008, S. 37). Es gibt verschiedene Erklärungsversuche dieses Effekts:
a) Split-Attention-Annahme
Unser Wahrnehmungssystem ermöglicht das gleichzeitige Hören und Sehen, dies führt dazu, dass auditiv wahrgenommene Texte und Bilder gleichzeitig rezipiert werden können. Voraussetzung ist jedoch, dass Texte und Bilder auf dieselbe Wissensstruktur Bezug nehmen, weil wir zwei unterschiedliche, nicht miteinander verbundene, Wissensstrukturen nicht zum selben Zeitpunkt selektieren können. Visuell wahrgenommene Texte und visuell wahrgenommene Bilder können aufgrund der Beschränkungen unseres Wahrnehmungssystems nur sequenziell verarbeitet werden (vgl. Rummer, Fürstenberg & Schweppe, 2008, S. 38).
Der Modalitätseffekt ist nicht direkt von der Darbietungsweise abhängig, sondern entsteht dadurch, dass bei auditiver Darbietung die Aufmerksamkeit auf Text und Bild aufgeteilt werden kann. Bei visueller Präsentation dagegen ist dies nicht der Fall (vgl. Rummer, Fürstenberg & Schweppe, 2008, S. 39).
b) Modalitätsannahme
Bilder und visuell wahrgenommene Texte konkurrieren um eine gemeinsame (visuell-räumliche) Arbeitsgedächtnisressource, wohingegen Bilder und auditiv wahrgenommene Texte in unterschiedlichen Subsystemen des Arbeitsgedächtnisses verarbeitet werden können (vgl. Rummer, Fürstenberg & Schweppe, 2008, S. 38).
Ein Vertreter der Modalitätsannahme ist die Cognitive Theory of Multimedia Learning, auch CMTL genannt (vgl. Mayer, 2001, 2007, zit. nach Rummer, Fürstenberg & Schweppe, 2008, S. 38 f). Die CTML nimmt an, dass Bilder grundsätzlich in einem visuell-räumlichen Subsystem des Arbeitsgedächtnisses verarbeitet und gespeichert werden. Die Speicherung von Texten hängt dagegen von der Darbietungsweise ab. Auditiv wahrgenommene Texte werden in der phonologischen Schleife verarbeitet und gespeichert. Visuell wahrgenommene Texte dagegen werden initial im visuell-räumlichen Subsystem verarbeitet. Relativ zu auditiver Wahrnehmung führt die visuelle Wahrnehmung von Texten zu einer stärkeren Belastung dieses Subsystems, was mit Leistungseinbußen einhergeht (vgl. Rummer, Fürstenberg & Schweppe, 2008, S. 39).
An der CTML wird kritisiert, dass visuell dargebotene Texte direkt aus einem sensorischen Register in die phonologische Schleife eingelesen werden. Visuell- und akustisch-sensorische Zwischenspeicher werden nicht als Teil des Arbeitsgedächtnisses angesehen. Dies würde bedeuten, dass die Verarbeitung visueller Texte das visuell-räumliche System des Arbeitsgedächtnisses überhaupt nicht belastet (vgl. Rummer, Fürstenberg & Schweppe, 2008, S. 39).
Demnach wäre der Modalitätseffekt nicht direkt von der Darbietungsart des Textes abhängig, „sondern entstünde dadurch, dass bei auditiver Textpräsentation die Aufmerksamkeit auf Bild und Text aufgeteilt werden kann, während dies bei visueller Textpräsentation nicht möglich ist“ (Rummer, Fürstenberg & Schweppe, 2008, S. 39). Das bedeutet, dass ein Vorteil der auditiven gegenüber der visuellen Textmodalität nicht beobachtet werden kann, wenn Text und Bild sequenziell dargeboten werden. Also dann, wenn es auch bei auditiver Darbietung nicht möglich ist, seine Aufmerksamkeit gleichzeitig auf Text und Bild zu werfen (vgl. Rummer, Fürstenberg & Schweppe, 2008, S. 39).
Studie von Rummer et al. (2008)
Eine Studie von Rummer, Fürstenberg & Schweppe (2008) sollte anhand von Sternbildern und einem Text dazu, der entweder auditiv oder visuell von den Testpersonen sequenziell aufgenommen wurde, der Modalitätseffekt getestet werden. Nach der Vermittlung des Textes (lesen oder hören) konnte das Sternbild für 8 Sekunden gesehen werden. Am Ende eines solchen Zyklus wurden Fragen zu den kurzen Texten gestellt, und auch das Sternbild musste aufgezeichnet werden. Zwei Variablen (Wiedergabe des Sternbilds und Beantwortung der textbezogenen Fragen) wurden getrennt voneinander erhoben. Hinsichtlich der Bildrekonstruktionsaufgabe konnte erwartungsgemäß kein Unterschied zwischen den beiden Experimentalbedingungen (auditive und visuelle Text-Darbietung) festgestellt werden. Bei der zweiten Variable wurde vor allem auf die Position der erfragten Information (insgesamt 4 Informationen wie z.B. Entdecker oder Entdeckungsjahr des Sternbilds) im Text geachtet. Die Auswertung ergab, dass nur beim jeweils letzten Satz bzw. der letzten Information im Text ein Vorteil für die auditive gegenüber der visuellen Textmodalität besteht. Die mittleren Positionen zeigten sogar einen Vorteil für die visuelle gegenüber der auditiven Modalität. Beide Ergebnisse waren jedoch nicht signifikant. Das Entscheidende der Studie war, dass akustisch-sensorische Informationen (Text: auditiv, Bild: visuell) das Merken des Textes nur im Hinblick auf den letzten Satz bzw. der letzten Information unterstützen. Die übrigen, vorhergehenden Informationen profitieren möglicherweise sogar von visueller Darbietung. Diese Ergebnisse gelten nur für die sequenzielle Darbietung von Text und Bild, wobei der Text kurz sein soll (vgl. Rummer, Fürstenberg & Schweppe, 2008, S. 41 ff).
Literatur
Rummer, Fürstenberg & Schweppe (2008). Lernen mit Texten und Bildern. Der Anteil akustisch-sensorischer Information am Zustandekommen des Modalitätseffekts. Zeitschrift für Pädagogische Psychologie, 22, 37-45.