Kontextfenster

Was ist ein Kontextfenster?

Das Kontextfenster ist die maximale Anzahl Token, die ein Sprachmodell bei einer Berechnung gleichzeitig verarbeiten kann. Prompt, System-Prompt und bisherige Konversation zählen zusammen gegen dieses Limit - alles, was darüber hinausgeht, existiert für das Modell nicht.

Wie es funktioniert

Jedes Modell hat eine feste Obergrenze - typisch zwischen 4.000 und über 100.000 Token, je nach Modell. Viele Chat-Systeme senden bei jeder neuen Nachricht den bisherigen Konversationsverlauf erneut an das Modell. Erreicht die Konversation das Limit, werden die ältesten Nachrichten entfernt, bevor die neue Anfrage verarbeitet wird.

Das Modell “vergisst” diesen Teil nicht schrittweise oder unscharf, sondern vollständig und ohne Übergang - es merkt selbst nicht, dass etwas fehlt.

Warum das Kontextfenster nicht beliebig wächst

Self-Attention setzt jeden Token im Fenster mit jedem anderen Token in Beziehung. Verdoppelt sich die Fenstergröße, vervierfacht sich der Rechenaufwand für diesen paarweisen Vergleich - der Zusammenhang ist quadratisch, nicht linear. Ein größeres Kontextfenster ist deshalb keine reine Konfigurationsfrage, sondern unmittelbar an verfügbare Rechenleistung gekoppelt.

Warum das Kontextfenster praktische Auswirkungen hat

• Lange Dokumente: Ein zu kleines Kontextfenster kann ein vollständiges Dokument nicht auf einmal verarbeiten
• Konversationsverlauf: Lange Chats verdrängen irgendwann den Anfang des Gesprächs
• Prompt-Budget: Ein langer Prompt verbraucht Token, die dann für die Antwort fehlen

Typisches Beispiel

Ein Kontextfenster von 4.000 Token entspricht - je nach Sprache und Tokenizer - grob einigen tausend Wörtern. Ein Prompt, der davon bereits 3.000 Token belegt, lässt nur noch rund 1.000 Token für die Antwort übrig.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert
→ Prompts: Warum Formulierungen die Antwort verändern

Verwandte Begriffe → Token
→ Tokenisierung