Multimodale oder kreuzmodale Wahrnehmung bzw. Objekterkennung bezeichnet die Wechselwirkung und Integration verschiedener Sinnessysteme, also etwa der visuellen und der haptischen Wahrnehmung. Diese Möglichkeit der Integration multimodaler Sinnesreize in sinnvolle Einheiten bietet einem Lebewesen viele Vorteile, denn so kommt es etwa in einer lauten Umgebung zu einem verbesserten Verständnis von Sprache, wenn man gleichzeitig die Gesichts- und Lippenbewegungen der sprechenden Person erkennen kann. Man erinnere sich nur daran, wie irritierend etwa asynchrone Szenen bei einer Filmvorführung sein können.
Bei der multimodalen Integration wird dabei also die Wahrnehmung in einem Sinnesgebiet durch die Wahrnehmung in einem anderen beeinflusst bzw. ergänzt, sodass die beiden Merkmale in einer widerspruchsfreien Interpretation integriert werden können. Eine solche Verknüpfung visueller und auditiver Sinnesreize erfolgt jedoch nicht allein durch eine bewusste mentale Konstruktion, sondern es konvergieren die verschiedenen Sinnesreize bereits auf neuronaler Ebene in multimodalen Neuronen, d. h., die multimodale Integration kommt teilweise schon auf einer unteren Wahrnehmungsebene zustande, manchmal sogar noch vor der Objekterkennung.
Viele Gehirnforscher halten das Gewahrwerden mentaler Bilder von Objekten üblicherweise für eine mehr oder weniger mit Bewusstsein assoziierte Leistung, denn als Voraussetzung für eine multimodale Objekterkennung galt bisher ein komplex ausdifferenziertes Gehirn, das mentale Bilder eines gesuchten Objekts erzeugen kann. Bekanntlich haben Menschen ja kein Problem damit, einen Gegenstand, dessen Aussehen sie nur visuell kennen, mit Hilfe ihres Tastsinns zu identifizieren, denn so sie finden etwa in der Hosentasche auch ohne Blickkontakt den richtigen Schlüssel für ein Schloss. Solvi et al. (2020) haben nun gezeigt, dass diese Fähigkeit der multimodalen Objekterkennung nicht nur dem Menschen zu eigen ist, sondern dass das Zusammenwirken von Seh- und Tastsinn, das schon bei Primaten und Ratten nachgewiesen worden war, auch bei Insekten, im konkreten Fall der Hummel, funktioniert.
Die neuronalen Verschaltungen dieser Tiere waren übrigens schon in der Vergangenheit mehrfach für Überraschungen gut, etwa hinsichtlich ihrer Wahrnehmung elektrischer Felder von Blüten. Man brachte in einem Experiment zwei Gruppen der Insekten mit Hilfe belohnenden Zuckerwassers bei, kleine Würfel von gleich großen Kügelchen zu unterscheiden, wobei die eine Gruppe in absoluter Dunkelheit nur mit Hilfe des Tastsinns zurechtkommen musste, während die andere die Objekte hingegen sehen, aber nicht berühren durfte. Tatsächlich konnten die Hummeln danach von ihrem rein haptisch beziehungsweise rein visuell erworbenen Wissen über den Unterschied zwischen Kugel und Würfel auch in der jeweils anderen Sinnesmodalität profitieren, d. h., das mit dem Tastsinn Erlernte übertrug sich auf später bloß optisch dargebotene Objekte und umgekehrt. Offensichtlich gelingt es den Tieren, von den jeweiligen Eindrücken zu abstrahieren und diese zu einem multimodalen Bild von kugelig versus würfelig zu vereinen.
Es gibt dafür zwei Erklärungen: entweder erzeugt das Hummelgehirn aus relativ wenigen Sinnesdaten wirklich gleich eine mentale Gestalt von Würfel und Kugel, was man bisher nur höheren Wirbeltieren zugetraut hat, oder der kreuzmodale Transfer zwischen Tast- und Sehsinn findet schon wie beim Menschen auf einer sehr niederen Ebene von Nervenverbindungen statt. Auf Grund des geringen Organisationsgrades der Hummelneuronen dürfte daher irgendeine Repräsentation von Objekteigenschaften vorliegen.
Was Menschen wahrnehmen, erleben sie auch, denn wenn sie z. B. das Wort „Hammer“ sagen oder denken, setzen sie den Begriff auch körperlich in sich um, d. h., sie stellen sich einen Hammer nicht nur vor, denn sonst könnten sie ja gar nicht über ihn nachdenken oder sprechen –, sondern der Begriff beeinflusst auch ihre weitere gesamte Wahrnehmung. Das Gehirn analysiert dabei also nicht nur den Klang des Wortes „Hammer“, sondern auch alle möglichen Vorstellungen über den Gebrauch eines Hammers, und bereitet damit das dem entsprechende Verhalten vor. So wird auch der für Bewegung zuständige Bereich des Gehirns in diesem Moment aktiv, aber auch Begriffe wie „schwer“ oder „Problem“. Das bedeutet, dass alleine mit dem Hören eines Wortes der gesamte Raum der Möglichkeiten um den Begriff „Hammer“ im Denken existent ist, also auch, was man mit einem Hammer alles tun kann. So wird das gesamte motorische System bis hin zu den Muskeln über die neuronalen Schaltkreise in Aktionsbereitschaft versetzt. Es gibt daher eine direkte Verbindung zwischen der Verwendung von Begriffen und dem, was Menschen tun, sodass man Sprache und Handlung in diesem Sinne nicht getrennt betrachten darf, sondern es sind zwei vernetzte und ineinander verzahnte Gehirnbereiche, die nicht wirklich voneinander zu trennen. Bekanntlich haben ja auch Begriffe wie „Begriff“ oder „Begreifen“ einen deutlichen körperlichen Bezug, denn etwas verstanden zu haben, gaukelt den Menschen vor, sie hätten das, worüber sie sprechen, erfasst, also begriffen. Das kann aber auch ein fataler Irrtum sein, denn theoretisch kann man viel wissen, aber etwas anderes ist es, das dann auch praktisch umzusetzen (Zettel, 2022).
Literatur
Solvi, Cwyn, Gutierrez Al-Khudhairy, Selene & Chittka, Lars (2020). Bumble bees display cross-modal object recognition between visual and tactile senses. Science, 367, 910-912.
Stein, B. & Meredith, A. (1993). The Merging of the Senses. Cambridge.
Zettel, P. (2022). Zetttels Reflexionen; „Wahrnehmung verstehen“.
https://www.wiesentbote.de/2022/01/30/reflexionen-wahrnehmung-verstehen/ (22-02-01)