Ein Sprachmodell antwortet, ohne zu wissen, ob die Antwort stimmt. Dieser Widerspruch löst sich auf, sobald klar ist, was im Inneren tatsächlich passiert: keine Datenbank-Abfrage, kein Nachschlagen, sondern eine Berechnung. Die fünf folgenden Konzepte hängen enger zusammen, als es auf den ersten Blick wirkt.
Neuronale Netze sind mathematische Funktionen mit trainierbaren Gewichten
Ein neuronales Netz transformiert Eingabe-Text in Ausgabe-Text durch Millionen mathematischer Berechnungen. Jede Berechnung multipliziert Eingabe-Werte mit Gewichten und addiert Bias-Werte. Die Gewichte bestimmen, welche Eingabe-Muster zu welchen Ausgabe-Mustern führen - Training passt diese Gewichte an Beispieldaten an.
Sprachmodelle verarbeiten Text als Zahlen-Sequenzen. Jedes Wort oder Wort-Fragment wird zu einer eindeutigen Nummer (Token) kodiert. Das neuronale Netz berechnet für jedes Token Wahrscheinlichkeiten für alle möglichen nächsten Token. Das Token mit der höchsten Wahrscheinlichkeit wird ausgegeben - dieser Prozess wiederholt sich, bis ein Stopp-Signal generiert wird.
Was Self-Attention konkret berechnet
Moderne Transformer-Modelle verwenden Self-Attention-Mechanismen, die jeden Token mit allen vorherigen Token in Beziehung setzen. Zur Veranschaulichung, vereinfacht dargestellt: Für den Satz “Die Bank am Fluss war überflutet” berechnet das Modell für das Wort “Bank” einen Gewichtungswert gegenüber jedem anderen Wort im Satz. “Fluss” erhält dabei ein hohes Gewicht, “überflutet” ebenfalls - beide Wörter tragen zur Bedeutung von “Bank” bei und lenken die Interpretation weg von “Geldinstitut” hin zu “Sitzgelegenheit” oder “Uferbereich”.
Diese Gewichtung ist nicht fest programmiert, sondern selbst ein Ergebnis von Training: Das Modell hat gelernt, dass Wörter wie “Fluss” und “überflutet” die Bedeutung von “Bank” in einer bestimmten Weise verschieben, weil diese Kombination im Training oft in ähnlichem Kontext auftrat. Genau dieser Mechanismus - Bedeutung aus Beziehungen zwischen Token statt aus dem einzelnen Token selbst - ermöglicht Kontextverständnis über lange Text-Sequenzen.
Parameter sind trainierbare Zahlen-Werte im neuronalen Netz
Die Bezeichnung “2B” oder “8B” bezieht sich auf Milliarden Parameter im Modell. Ein Parameter ist eine einzelne trainierbare Zahl - ein 2-Milliarden-Parameter-Modell enthält 2.000.000.000 individuell trainierte Zahlen-Werte. Diese Parameter speichern das gesamte “Wissen” des Modells in numerischer Form.
Warum Parameter kein Wörterbuch sind
Ein verbreitetes Missverständnis: Parameter speichern keine Sätze, Fakten oder Definitionen als abrufbare Einträge. Ein Modell durchsucht bei der Antwort keine Tabelle mit gespeicherten Antworten - es gibt keine Zeile, in der “Hauptstadt von Frankreich → Paris” steht.
Stattdessen kodieren Parameter statistische Zusammenhänge zwischen Token, verteilt über Millionen Gewichte gleichzeitig. Das Wort “Paris” hat nach dem Training eine hohe berechnete Wahrscheinlichkeit, auf “Hauptstadt von Frankreich ist” zu folgen - nicht weil es an einer Stelle abgespeichert wurde, sondern weil sich diese Abfolge in unzähligen Gewichten über das gesamte Netz verteilt niedergeschlagen hat. Ein einzelner Parameter trägt für sich genommen keine erkennbare Bedeutung - erst das Zusammenspiel aller Parameter erzeugt eine sinnvolle Vorhersage.
Was mehr Parameter tatsächlich verändern
Mehr Parameter bedeuten nicht “mehr gespeichertes Wissen” im Sinne von mehr Fakten. Sie bedeuten mehr Kapazität, feinere Unterscheidungen zwischen ähnlichen Mustern zu treffen. Ein kleineres Modell muss Fachbegriffe, Zusammenhänge oder Grammatikregeln stärker vereinfachen, weil weniger Gewichte zur Verfügung stehen, um Nuancen abzubilden. Ein größeres Modell kann feinere Unterschiede zwischen ähnlichen, aber nicht identischen Konzepten in seinen Gewichten abbilden - etwa den Unterschied zwischen fachsprachlich korrekter und umgangssprachlich ungefährer Terminologie.
Diese zusätzliche Kapazität hat einen Preis: Jeder Parameter muss bei jeder einzelnen Berechnung einbezogen werden. Mehr Parameter bedeuten proportional mehr Rechenaufwand pro generiertem Token - der Zusammenhang zwischen Modellgröße und Sprachverständnis ist also kein reiner Gewinn, sondern ein Kompromiss.
Training passt Parameter an Beispieldaten an
Training zeigt dem Modell Millionen Textbeispiele und passt Parameter so an, dass korrekte Vorhersagen wahrscheinlicher werden. Das Modell sieht einen Text-Anfang und versucht, das nächste Wort vorherzusagen. Falsche Vorhersagen führen zu Parameter-Anpassungen, die diese Vorhersage beim nächsten Mal verbessern.
Der Training-Prozess benötigt massive Rechenleistung und läuft typischerweise auf GPU-Clustern über Wochen oder Monate. Basis-Modelle lernen allgemeines Sprachwissen aus Internet-Text, Büchern und Code-Repositories.
Warum aus einfacher Vorhersage sinnvolles Antworten wird
Die Trainingsaufgabe klingt zunächst trivial: das nächste Wort vorhersagen. Dass daraus ein System entsteht, das Fragen beantwortet, Code schreibt oder zusammenfasst, wirkt zunächst nicht zwingend.
Der Grund liegt in der schieren Menge und Vielfalt an Beispielen. Um das nächste Wort in einer Erklärung, einem Dialog oder einer Anleitung korrekt vorherzusagen, muss das Modell implizit die Struktur dieser Textsorten erfassen: wie ein Dialog aufgebaut ist, wie eine Erklärung logisch fortschreitet, wie Code syntaktisch gültig bleibt, wie eine Frage typischerweise beantwortet wird. Die Vorhersage-Aufgabe selbst ist einfach formuliert, die Menge an Struktur, die zu ihrer zuverlässigen Lösung notwendig wird, ist es nicht. Sinnvolles Antworten ist ein Nebenprodukt einer sehr guten Textvorhersage, nicht das direkte Trainingsziel.
Das erklärt auch, warum Trainingsdaten die Qualität stärker beeinflussen als reine Modellgröße: Ein großes Modell, trainiert auf einseitigen oder fehlerhaften Daten, lernt diese Muster genauso zuverlässig wie ein kleines Modell auf sauberen Daten - nur mit mehr Kapazität, sie zu verfestigen.Die Parameter-Anzahl bestimmt die Kapazität zu lernen, die Trainingsdaten bestimmen, was gelernt wird.
Fine-Tuning passt ein vortrainiertes Modell zusätzlich an spezifische Aufgaben oder Stile an. Statt Milliarden Beispiele werden tausende spezialisierte Beispiele verwendet - das im Basistraining gelernte Grundwissen bleibt weitgehend erhalten, das Antwortverhalten verschiebt sich in eine bestimmte Richtung.
Inferenz generiert Antworten ohne weitere Parameter-Änderungen
Nach dem Training werden Parameter fixiert - das Modell kann keine neuen Informationen mehr lernen. Inferenz (engl. Inference) verwendet die trainierten Parameter, um neue Texte zu generieren, ohne das Modell zu verändern. Jede Antwort-Generierung rechnet durch alle neuronalen Netz-Schichten, ohne dass dabei Training stattfindet.
Die Generierung stoppt bei speziellen Ende-Token oder konfigurierten Längen-Limits. Jedes Token wird einzeln generiert, basierend auf allen vorherigen Token im Kontext - einschließlich der bereits selbst generierten Token der aktuellen Antwort.
Warum dieselbe Frage unterschiedlich beantwortet werden kann
Bei jedem Generierungsschritt berechnet das Modell eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Token - nicht nur einen einzigen wahrscheinlichsten Kandidaten. Häufig liegen mehrere Token nah beieinander. Zur Veranschaulichung: Bei einem Satzanfang könnten die Kandidaten für das nächste Wort etwa so verteilt sein - “Der” mit 34 Prozent, “Diese” mit 29 Prozent, “Ein” mit 18 Prozent. Welches Token tatsächlich gewählt wird, hängt vom eingestellten Auswahlverfahren ab - dazu mehr im Artikel über Prompts.
Wichtig für das Grundverständnis: Zwei Anfragen mit identischem Wortlaut können deshalb zu unterschiedlichen (aber beide plausiblen) Antworten führen, sobald das Auswahlverfahren nicht deterministisch eingestellt ist. Das ist kein Fehler im System, sondern eine unmittelbare Folge davon, wie Token aus einer berechneten Wahrscheinlichkeitsverteilung ausgewählt werden - dieselbe Verteilung lässt mehrere plausible Fortsetzungen zu.
Ein zweiter Effekt kommt hinzu: Da jedes Token auf Basis der bereits generierten Token berechnet wird, verstärkt sich eine frühe Weichenstellung im Antwortverlauf. Führt das erste generierte Wort in eine bestimmte Richtung, folgt der Rest der Antwort dieser Richtung - ein anderes erstes Wort hätte zu einem anderen, ebenso kohärenten Antwortpfad geführt.
Sprachmodelle halluzinieren, weil sie Wahrscheinlichkeiten generieren statt Fakten abzurufen
Sprachmodelle haben kein konzeptionelles Verständnis von Wahrheit oder Fakten. Das Modell berechnet, welches Token statistisch am wahrscheinlichsten nach dem bisherigen Kontext folgt. Hohe Wahrscheinlichkeit bedeutet nicht korrekte Information - nur häufiges gemeinsames Vorkommen in Trainingsdaten.
Halluzinationen entstehen, wenn das Modell plausibel klingende, aber faktisch falsche Informationen generiert. Die mathematische Struktur erzeugt kohärente Texte unabhängig von faktischer Korrektheit.
Warum eine falsche Antwort trotzdem überzeugt klingt
Das Modell generiert jedes Token nach denselben Regeln - unabhängig davon, ob der bisherige Satz faktisch korrekt ist oder nicht. Es gibt keinen internen Mechanismus, der eine bereits begonnene, aber falsche Aussage erkennt und den Ton entsprechend anpasst oder relativiert. Sprachliche Sicherheit und faktische Richtigkeit sind zwei getrennte Eigenschaften des generierten Textes - das Modell optimiert durchgehend für sprachliche Kohärenz, nicht für Wahrheitsgehalt. Ein souveräner, bestimmter Tonfall ist deshalb kein verlässlicher Hinweis auf Korrektheit.
Das hängt direkt mit dem zuvor beschriebenen Effekt zusammen: Hat sich die Generierung einmal auf einen falschen Fakt festgelegt - etwa einen erfundenen Namen oder eine falsche Jahreszahl - führt jedes folgende Token diese Linie konsistent weiter, weil es auf Basis des bereits generierten (falschen) Kontexts berechnet wird. Die Konsistenz des Textes täuscht Verlässlichkeit vor, wo keine ist.
Kleinere Modelle halluzinieren tendenziell häufiger als größere Modelle - aus demselben Grund, aus dem sie sich generell gröber unterscheiden: Weniger Parameter bedeuten weniger Kapazität, seltene, aber korrekte Muster von häufigen, aber unpassenden Mustern zu trennen.
Das Kontext-Fenster begrenzt die verwendbare Eingabe-Länge
Jedes Modell hat ein maximales Kontext-Fenster, das die Anzahl gleichzeitig verarbeitbarer Token limitiert. Ein 4K-Token-Fenster kann etwa 3000 Wörter verarbeiten - längere Eingaben werden abgeschnitten oder aufgeteilt. Alle Berechnungen basieren ausschließlich auf Token innerhalb des Kontext-Fensters.
Das Modell “vergisst” Information außerhalb des Kontext-Fensters vollständig - nicht schrittweise oder unscharf, sondern vollständig und ohne Übergang. Chat-Systeme senden bei jeder neuen Nachricht die komplette bisherige Konversation erneut mit; erreicht die Konversation das Fenster-Limit, werden älteste Nachrichten entfernt, ohne dass das Modell diesen Verlust selbst bemerkt.
Warum größere Kontext-Fenster nicht einfach nachgerüstet werden
Self-Attention setzt, wie oben beschrieben, jeden Token mit jedem anderen Token im Fenster in Beziehung. Verdoppelt sich die Fenstergröße, vervierfacht sich der Rechenaufwand für diesen paarweisen Vergleich - der Zusammenhang ist quadratisch, nicht linear. Ein Kontext-Fenster von 32.000 Token benötigt nicht doppelt, sondern ein Vielfaches der Rechenleistung eines 8.000-Token-Fensters. Ein größeres Kontext-Fenster ist deshalb keine reine Konfigurationsfrage, sondern unmittelbar an verfügbare Rechenleistung gekoppelt - derselbe Kompromiss aus Kapazität und Aufwand, der bereits bei der Parameter-Anzahl auftaucht.
Der Zusammenhang im Überblick
Die fünf Konzepte greifen ineinander: Ein neuronales Netz besteht aus Parametern, die durch Training an Beispieldaten angepasst werden. Inferenz nutzt diese fixierten Parameter, um Token für Token eine Antwort zu berechnen - dabei begrenzt das Kontext-Fenster, wie viel vorherigen Text das Modell dabei einbeziehen kann. Halluzinationen sind keine separate Fehlfunktion, sondern eine direkte Konsequenz davon, dass Inferenz immer Wahrscheinlichkeiten fortschreibt, unabhängig davon, ob der bisherige Kontext faktisch korrekt ist.
Diese Konzepte gelten unabhängig davon, mit welchem Werkzeug ein Modell später ausgeführt wird. Die folgenden Artikel der Serie bauen darauf auf: Lokale Modelle behandelt Speicherbedarf und Quantisierung, Prompts behandelt Temperatur, Auswahlverfahren und Instruktionsverarbeitung.
