Sprachmodell

Was ist ein Sprachmodell?

Ein Sprachmodell ist ein neuronales Netz, das darauf trainiert wurde, Text zu verarbeiten und zu erzeugen. Es nutzt dieselbe zugrunde liegende Architektur für sehr unterschiedliche Aufgaben - Übersetzung, Zusammenfassung, Programmierung -, ohne für jede Aufgabe neu trainiert zu werden. Claude, ChatGPT und Gemini sind bekannte Beispiele für Sprachmodelle.

Wie es funktioniert

Ein Sprachmodell verarbeitet Text als Zahlen-Sequenzen: Ein Tokenizer zerlegt Text in Token, das neuronale Netz berechnet für jedes Token eine Wahrscheinlichkeitsverteilung über mögliche nächste Token. Moderne Sprachmodelle basieren auf der Transformer-Architektur mit Self-Attention, die Token miteinander in Beziehung setzt statt sie nur in fester Reihenfolge zu verarbeiten.

Warum Sprachmodelle die öffentliche Wahrnehmung von KI prägen

Sprachmodelle sind die erste KI-Anwendung, die ohne technisches Vorwissen nutzbar ist - ein Textfeld genügt. Frühere KI-Verfahren liefen meist unsichtbar im Hintergrund, etwa als Spamfilter oder Kreditwürdigkeitsprüfung. Sprachmodelle sind sichtbar, direkt nutzbar und produzieren Ergebnisse, die menschlich wirken - das prägt inzwischen die öffentliche Wahrnehmung des gesamten KI-Begriffs.

Ein Sprachmodell ist dabei kein Synonym für Künstliche Intelligenz, sondern ein einzelner Teilbereich davon. Ebenso wenig “versteht” ein Sprachmodell Text im menschlichen Sinne - es berechnet Wahrscheinlichkeiten für Token-Fortsetzungen, ohne Konzept von Wahrheit oder Bedeutung losgelöst vom konkreten Kontext.

Warum Sprachmodelle praktische Auswirkungen haben

• Vielseitigkeit: Dieselbe Modellarchitektur bewältigt Aufgaben von Übersetzung bis Code, gesteuert allein über den Prompt
• Keine Wissensdatenbank: Ein Sprachmodell ruft keine gespeicherten Fakten wie aus einer Datenbank ab, sondern berechnet plausible Fortsetzungen - daraus folgt auch das Risiko von Halluzinationen
• Ressourcenbedarf: Größe und Betrieb eines Sprachmodells hängen direkt von Parameteranzahl, Kontextfenster und Quantisierung ab

Typisches Beispiel

Dieselbe Modellarchitektur, die einen Text zusammenfasst, kann ohne separates Training auch Code schreiben oder einen Text übersetzen - die Aufgabe wird über den Prompt festgelegt, nicht über eine neue Modellversion.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert
→ Künstliche Intelligenz als Oberbegriff

Verwandte Begriffe → Künstliche Intelligenz
→ Neuronales Netz