Neuronales Netz

Was ist ein neuronales Netz?

Ein neuronales Netz ist eine mathematische Funktion mit trainierbaren Gewichten, die Eingabe-Daten durch mehrere aufeinanderfolgende Schichten von Berechnungen in Ausgabe-Daten transformiert. Der Name ist an biologische Nervenzellen angelehnt - die Funktion dahinter ist reine Mathematik.

Wie es funktioniert

Ein neuronales Netz besteht aus Schichten künstlicher “Neuronen”. Jedes Neuron berechnet eine gewichtete Summe seiner Eingaben und wendet darauf eine Aktivierungsfunktion an, die entscheidet, wie stark das Ergebnis weitergereicht wird. Moderne Sprachmodelle ergänzen diese Grundstruktur um Self-Attention-Mechanismen, die Token miteinander in Beziehung setzen.

Warum diese Struktur komplexe Muster lernen kann

Die Struktur aus vielen einfachen Rechenschritten erlaubt es dem Netz, komplexe Muster zu lernen, die sich nicht mit festen Regeln programmieren lassen. Training passt die Gewichte zwischen den Neuronen an Beispieldaten an - mit mehr Schichten und Parametern können grundsätzlich feinere Muster unterschieden werden, wobei Architektur, Datenqualität und Training ebenfalls eine große Rolle spielen.

Ein neuronales Netz “denkt” dabei nicht wie ein biologisches Gehirn. Die Bezeichnung “Neuron” ist eine Analogie aus den Anfangstagen der Forschung - die tatsächliche Berechnung ist lineare Algebra mit nachgeschalteten Aktivierungsfunktionen, kein biologischer Prozess.

Warum neuronale Netze praktische Auswirkungen haben

• Trainingsaufwand: Mehr Schichten und Parameter bedeuten mehr Rechenleistung beim Training
• Architektur-Vielfalt: Je nach Aufgabe kommen unterschiedliche Netz-Architekturen zum Einsatz - Sprachmodelle nutzen Transformer mit Self-Attention
• Keine Garantie: Ein neuronales Netz liefert keine logisch beweisbaren, sondern statistisch gelernte Ergebnisse

Typisches Beispiel

Ein Sprachmodell ist ein neuronales Netz mit Milliarden Parametern, das Text als Zahlen-Sequenzen verarbeitet und für jedes Token eine Wahrscheinlichkeitsverteilung über mögliche Fortsetzungen berechnet.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert

Verwandte Begriffe → Parameter
→ Inferenz