Neuronale Netze sind miteinander verbundene Nervenzellen, die durch Erfahrung lernen können, da die Verbindungen, die zu bestimmten Ergebnissen führen, durch Rückkopplungsschleifen verstärkt oder geschwächt werden.
Die zentrale Frage der Neurowissenschaften ist dabei, wie können Milliarden Nervenzellen nur durch Austausch kleiner, kurzer, etwa eine Tausendstel Sekunde dauernde elektrische Signale all das erzeugen, was Menschen subjektiv als Wahrnehmung, als Aufmerksamkeit, als Lernen oder als Gedächtnis erleben. Ein zentrales Funktionsprinzip des Gehirns besteht offenbar darin, die effektive Stärke der Verbindungen zwischen Nervenzellen innerhalb von Bruchteilen von Sekunden so zu verändern, dass sich die informationsverarbeitende Funktion eines neuronalen Netzes grundlegend verändern kann. So können die neuronalen Netzwerke trotz ihrer anatomisch gegebenen und nicht rasch veränderbaren Verbindungen in einem Moment eine bestimmte Funktion lösen und im nächsten Moment, wenn eine andere Funktion erfüllt werden muss, funktionell buchstäblich umverdrahtet werden.
Das Konzept künstlicher neuronaler Netze geht die Warren McCullogh und Walter Pitts (Universität Chicago) zurück, denn statt Transistoren schlugen sie schon Anfang der Vierzigerjahre des vorigen Jahrhunderts als Recheneinheiten künstliche Nervenzellen vor, die miteinander zu Schaltkreisen verbunden sind, und anders als Transistoren, die in einem binären Code arbeiten, künstliche Neurone erst dann ein Signal absenden, wenn die Summe ihrer Inputs einen gewissen Schwellenwert überschreitet. Sie arbeiten also nicht mit binärer Logik, wie jeder heutige Computer, sondern mit einer für organische Systeme typischen Schwellenwert-Logik.
Die Architektur künstlicher neuronaler folgt dem Prinzip, dass tausende künstlicher Neuronen in übereinanderliegenden Schichten angeordnet liegen und über simulierte Leitungen verbunden werden. Ein Neuron kann dabei die benachbarten Neuronen in seiner eigenen Schicht und die der darüberliegenden Schicht über seine Leitungen aktivieren. Die oberste Input-Schicht funktioniert gleichsam als Sensor, der in der Lernphase mit jenen Daten gefüttert wird, die das Netzwerk einordnen soll. Bei tiefen neuronalen Netzwerken (deep neural networks) ist daher nicht eindeutig, worauf sich die Neuronen in den tieferen Schichten nun genau konzentrieren, denn in einem neuronalen Netz sind zwar die Regeln definiert und mathematisch einfach, doch jedes Neuron folgt einer nicht-linearen Funktion und kann etwa auf kleine Input-Werte mit starken Output-Werten reagieren. Daher verhält sich das Netzwerk insgesamt auf nicht-lineare Weise, und es lässt sich zwar in der Summe, aber nicht im Einzelnen vorherberechnen, was im Netzwerk beim Lernen geschieht.
Wie entwickeln sich neuronale Schaltkreise?
Während der Entwicklung neuronaler Schaltkreise müssen Nervenzellen über tausende von Synapsen korrekt miteinander verbunden werden, wobei Synapsen zumeist auf spezialisierte Strukturen von Nervenzellen, die Dendriten, verschalten, denn diese dienen dem Empfang von neuronaler Information. Allerdings ist weitgehend ungeklärt, nach welchen Prinzipien und mit welchen Mechanismen während der Entwicklung von Nervensystemen die Anzahl der Synapsen und die Größe der jeweiligen Dendriten aufeinander abgestimmt werden und wie verschiedene Synapsentypen auf ihren Zieldendriten verteilt werden. Ryglewski et al. (2017) haben nun durch genetische Manipulation an Nervenzellen der Fruchtfliege nachgewiesen dass verschiedene Synapsentypen um Dendriten ihrer postsynaptischen Partnerzelle konkurrieren, denn überwiegt während der Entwicklung die Aktivität eines Synapsentyps, wird diesem auf Kosten eines anderen Synapsentyps mehr dendritisches Material seiner Partnerzelle zugewiesen. Es können also abhängig von der synaptischen Aktivität Dendriten innerhalb einer Nervenzelle verschoben werden, sodass das Übergewicht eines Konkurrenten damit die Struktur und Funktion der Nervenzelle beeinträchtigt. Wird die Balance der synaptischen Aktivität beider Neurotransmittersysteme manipuliert, wird das Dendritenwachstum beeinflusst und die Synapsen auf den Dendriten werden umverteilt. Es kommt zur Konkurrenz zwischen den GABAergen und den cholinergen Synapsen, die um das Baumaterial wetteifern, auf das sie verschalten können. Wenn sich die beiden Konkurrenten nicht im richtigen Gleichgewicht befinden, wird das Baumaterial falsch verteilt. Die Ausgewogenheit zwischen hemmender und erregender synaptischer Aktivität ist daher für die strukturelle Homöostase von Nervenzellen enorm wichtig.
Optimale Aufgabenschwierigkeit in künstlichen neuronalen Netzen
Beim menschlichen und tierischen Lernen gibt es bekanntlich einen optimalen Schwierigkeitsgrad, bei dem am besten Neues gelernt wird, denn sind die Aufgaben zu leicht, gibt es kaum noch etwas zu lernen und es ist schwierig sich zu motivieren, sind die Aufgaben zu schwer, scheitert man und die Motivation ist dahin. Für das optimale Lernen muss daher immer genau jene Schwierigkeitsstufe bei Aufgaben gefunden werden, bei der die Inhalte einerseits fordernd, andererseits aber auch bewältigbar sind. Das gilt übrigens auch für neuronale Netzwerke, wie Wilson et al. (2019) gezeigt haben, denn neuronale Netzwerke lernen dann am besten, wenn sie etwa fünfzehn Prozent Fehler machen, etwa auch solche Fehler, die menschliches und tierisches Lernen nachbilden sollen. In den Versuchen wurde ein sehr einfacher Test eingesetzt, in dem die elektronischen Probanden lediglich eine sich gemeinsam bewegende Gruppe von Punkten erkennen mussten, wobei sich diese Fähigkeit durch Üben verbessern lässt, und wie schnell die Netzwerke lernen, lässt sich dabei auch exakt messen. Nach diesen Experimenten ist die Lerngeschwindigkeit am höchsten, wenn man durch Anpassen der Schwierigkeit die Trefferquote bei 15 Prozent hält, wobei diese 85-Prozent-Regel auch für alle getesteten Akteure gilt. Weicht die Fehlerrate dagegen in die eine oder andere Richtung deutlich von diesem Wert ab, sinkt die Lerngeschwindigkeit exponentiell.
Literatur
Stangl, W. (1989) Die Psychologie im Diskurs des Radikalen Konstruktivismus. Braunschweig: Friedr. Vieweg & Sohn.
Stangl, W. (1997). Kybernetik – die Wurzeln. [werner stangl]s arbeitsblätter.
WWW: https://arbeitsblaetter.stangl-taller.at/WISSENSCHAFTPAEDAGOGIK/Kybernetik.shtml (97-11-17)
Wilson, R. C., Shenhav, A., Straccia, M. & Cohen, J. D. (2019). The Eighty Five Percent Rule for optimal learning. Nature Communications volume, 10, doi:10.1038/s41467-019-12552-4.
https://www.butenunbinnen.de/nachrichten/neurowissenschaften-bremen-andreas-kreiter-100.html (21-11-06)
Die Ideen für die ersten künstlichen neuronalen Netze entstanden bereits in den 1940er Jahren, als man versuchte, die Funktionsweise der Nervenzellen im Gehirn zu verstehen und sie mit elektrischen Schaltkreisen nachzubilden. Heute sind wir dem Verständnis der Lernprozesse unseres Gehirns viel näher gekommen, und auch die künstlichen neuronalen Netze haben sich weiterentwickelt. Vom Gehirn wissen wir, dass es lernt, indem es neue Verbindungen zwischen Nervenzellen bildet, d. h., wenn man sich eine Vokabel durch ständiges Wiederholen einprägt, trägt dies zur Bildung neuer Nervenverzweigungen und zur Verstärkung bestimmter Verbindungen bei. Irgendwann muss man sich die Karteikarte nicht mehr ansehen, weil man den Inhalt gelernt hat. Ein neuronales Netz lernt auf ähnliche Weise, besteht aber nicht aus Nervenzellen, sondern aus programmierten oder durch Hardware gebildeten Knoten, die miteinander verbunden sind. Diese Verbindungen und Knoten bilden ein komplexes Netz, das in mehrere Schichten unterteilt ist. Am Anfang steht die Eingabeschicht, die mit Reizen wie Licht, denen das Gehirn ausgesetzt ist, verglichen werden kann. Die Reize für ein neuronales Netz hingegen sind bestimmte digitale Informationen, so genannte Parameter. Diese entsprechen den Reizen, die das Netz verarbeiten und z. B. kategorisieren soll. Dazu wertet das neuronale Netz die Eingaben daraufhin aus, ob sie Daten einer bestimmten Kategorie enthalten, zum Beispiel Bilder von einer Katze. Um diese erkennen zu können, muss das neuronale Netz zunächst trainiert werden, indem ihm Hunderte bis Tausende von Bildern mit allen möglichen Tieren und Objekten gezeigt werden, wobei alle Bilder, die Katzen enthalten, als solche markiert werden. Anhand dieser Beispiele lernt das neuronale Netz selbstständig, welche Merkmale eine Katze ausmachen, so dass es nun auf der Grundlage dieses Lernens auch auf neuen, noch unbekannten Bildern selbst Katzen identifizieren kann. Dieser Lernprozess im neuronalen Netz ähnelt dem Lernprozess im menschlichen Gehirn, wobei die Netzschichten zwischen Input und Output dafür verantwortlich sind. Jede Zuordnung in der Trainingsphase entspricht einem bestimmten Weg des Signals durch dieses Netz, und wenn die Zuordnung richtig ist, wird diese Netzverbindung gestärkt, wenn sie aber falsch ist, wird sie abgewertet. Zu Beginn, wenn die Daten eingegeben werden, ist die Gewichtung der Pfade noch zufällig, aber nach einem ersten Durchlauf hat das neuronale Netz einige Fehler gemacht, d.h. erste Pfade werden abgewertet. Mit vielen weiteren Durchläufen wird die Verknüpfungsgewichtung ausgeprägter und das Netz lernt immer besser, die richtigen Entscheidungen zu treffen. Die Ergebnisse seiner Kategorisierung landen dann in der Ausgabeschicht und können von dort abgerufen werden. Wenn das neuronale Netz durch dieses Training gelernt hat, wie eine Katze aussieht, kann es nun diese Art von Tier selbstständig erkennen und hat nun eine künstliche Intelligenz entwickelt, die auf das Problem der Katzen spezialisiert ist.
Stangl, W. (2019, 26. Februar). Was sind neuronale Netze? . Stangl notiert ….
https://notiert.stangl-taller.at/zeitgeistig/was-sind-neuronale-netze/.