neuronale Netze

Neuronale Netze sind miteinander verbundene Nervenzellen, die durch Erfahrung lernen können, da die Verbindungen, die zu bestimmten Ergebnissen führen, durch Rückkopplungsschleifen verstärkt oder geschwächt werden.

Die zentrale Frage der Neurowissenschaften ist dabei, wie können Milliarden Nervenzellen nur durch Austausch kleiner, kurzer, etwa eine Tausendstel Sekunde dauernde elektrische Signale all das erzeugen, was Menschen subjektiv als Wahrnehmung, als Aufmerksamkeit, als Lernen oder als Gedächtnis erleben. Ein zentrales Funktionsprinzip des Gehirns besteht offenbar darin, die effektive Stärke der Verbindungen zwischen Nervenzellen innerhalb von Bruchteilen von Sekunden so zu verändern, dass sich die informationsverarbeitende Funktion eines neuronalen Netzes grundlegend verändern kann. So können die neuronalen Netzwerke trotz ihrer anatomisch gegebenen und nicht rasch veränderbaren Verbindungen in einem Moment eine bestimmte Funktion lösen und im nächsten Moment, wenn eine andere Funktion erfüllt werden muss, funktionell buchstäblich umverdrahtet werden.

Das Konzept künstlicher neuronaler Netze geht die Warren McCullogh und Walter Pitts (Universität Chicago) zurück, denn statt Transistoren schlugen sie schon Anfang der Vierzigerjahre des vorigen Jahrhunderts als Recheneinheiten künstliche Nervenzellen vor, die miteinander zu Schaltkreisen verbunden sind, und anders als Transistoren, die in einem binären Code arbeiten, künstliche Neurone erst dann ein Signal absenden, wenn die Summe ihrer Inputs einen gewissen Schwellenwert überschreitet. Sie arbeiten also nicht mit binärer Logik, wie jeder heutige Computer, sondern mit einer für organische Systeme typischen Schwellenwert-Logik.

Die Architektur künstlicher neuronaler folgt dem Prinzip, dass tausende künstlicher Neuronen in übereinanderliegenden Schichten angeordnet liegen und über simulierte Leitungen verbunden werden. Ein Neuron kann dabei die benachbarten Neuronen in seiner eigenen Schicht und die der darüberliegenden Schicht über seine Leitungen aktivieren. Die oberste Input-Schicht funktioniert gleichsam als Sensor, der in der Lernphase mit jenen Daten gefüttert wird, die das Netzwerk einordnen soll. Bei tiefen neuronalen Netzwerken (deep neural networks) ist daher nicht eindeutig, worauf sich die Neuronen in den tieferen Schichten nun genau konzentrieren, denn in einem neuronalen Netz sind zwar die Regeln definiert und mathematisch einfach, doch jedes Neuron folgt einer nicht-linearen Funktion und kann etwa auf kleine Input-Werte mit starken Output-Werten reagieren. Daher verhält sich das Netzwerk insgesamt auf nicht-lineare Weise, und es lässt sich zwar in der Summe, aber nicht im Einzelnen vorherberechnen, was im Netzwerk beim Lernen geschieht.

Wie entwickeln sich neuronale Schaltkreise?

Während der Entwicklung neuronaler Schaltkreise müssen Nervenzellen über tausende von Synapsen korrekt miteinander verbunden werden, wobei Synapsen zumeist auf spezialisierte Strukturen von Nervenzellen, die Dendriten, verschalten, denn diese dienen dem Empfang von neuronaler Information. Allerdings ist weitgehend ungeklärt, nach welchen Prinzipien und mit welchen Mechanismen während der Entwicklung von Nervensystemen die Anzahl der Synapsen und die Größe der jeweiligen Dendriten aufeinander abgestimmt werden und wie verschiedene Synapsentypen auf ihren Zieldendriten verteilt werden. Ryglewski et al. (2017) haben nun durch genetische Manipulation an Nervenzellen der Fruchtfliege nachgewiesen dass verschiedene Synapsentypen um Dendriten ihrer postsynaptischen Partnerzelle konkurrieren, denn überwiegt während der Entwicklung die Aktivität eines Synapsentyps, wird diesem auf Kosten eines anderen Synapsentyps mehr dendritisches Material seiner Partnerzelle zugewiesen. Es können also abhängig von der synaptischen Aktivität Dendriten innerhalb einer Nervenzelle verschoben werden, sodass das Übergewicht eines Konkurrenten damit die Struktur und Funktion der Nervenzelle beeinträchtigt. Wird die Balance der synaptischen Aktivität beider Neurotransmittersysteme manipuliert, wird das Dendritenwachstum beeinflusst und die Synapsen auf den Dendriten werden umverteilt. Es kommt zur Konkurrenz zwischen den GABAergen und den cholinergen Synapsen, die um das Baumaterial wetteifern, auf das sie verschalten können. Wenn sich die beiden Konkurrenten nicht im richtigen Gleichgewicht befinden, wird das Baumaterial falsch verteilt. Die Ausgewogenheit zwischen hemmender und erregender synaptischer Aktivität ist daher für die strukturelle Homöostase von Nervenzellen enorm wichtig.

Optimale Aufgabenschwierigkeit in künstlichen neuronalen Netzen

Beim menschlichen und tierischen Lernen gibt es bekanntlich einen optimalen Schwierigkeitsgrad, bei dem am besten Neues gelernt wird, denn sind die Aufgaben zu leicht, gibt es kaum noch etwas zu lernen und es ist schwierig sich zu motivieren, sind die Aufgaben zu schwer, scheitert man und die Motivation ist dahin. Für das optimale Lernen muss daher immer genau jene Schwierigkeitsstufe bei Aufgaben gefunden werden, bei der die Inhalte einerseits fordernd, andererseits aber auch bewältigbar sind. Das gilt übrigens auch für neuronale Netzwerke, wie Wilson et al. (2019) gezeigt haben, denn neuronale Netzwerke lernen dann am besten, wenn sie etwa fünfzehn Prozent Fehler machen, etwa auch solche Fehler, die menschliches und tierisches Lernen nachbilden sollen. In den Versuchen wurde ein sehr einfacher Test eingesetzt, in dem die elektronischen Probanden lediglich eine sich gemeinsam bewegende Gruppe von Punkten erkennen mussten, wobei sich diese Fähigkeit durch Üben verbessern lässt, und wie schnell die Netzwerke lernen, lässt sich dabei auch exakt messen. Nach diesen Experimenten ist die Lerngeschwindigkeit am höchsten, wenn man durch Anpassen der Schwierigkeit die Trefferquote bei 15 Prozent hält, wobei diese 85-Prozent-Regel auch für alle getesteten Akteure gilt. Weicht die Fehlerrate dagegen in die eine oder andere Richtung deutlich von diesem Wert ab, sinkt die Lerngeschwindigkeit exponentiell.

Literatur