Verwendete Software und Versionen
Diese Erklärung bezieht sich auf:
- Konzepte: Prompts, Tokenisierung, System-Prompts, Temperatur
- Kontext: Tool-unabhängige Prompt-Grundlagen
Zwei Fragen mit identischer Bedeutung können völlig unterschiedliche Antworten erzeugen. Das wirkt zunächst wie ein Widerspruch - ein Modell, das doch angeblich “versteht”, sollte auf dieselbe Absicht gleich reagieren. Genau dieser Widerspruch löst sich auf, sobald klar ist, worauf ein Prompt tatsächlich wirkt.
Ein Prompt ist der Startpunkt der Berechnung, nicht eine Frage an ein Gegenüber
Wie ein Sprachmodell funktioniert beschreibt Inferenz als Token-für-Token-Berechnung: Jedes Token wird auf Basis aller vorherigen Token vorhergesagt. Ein Prompt ist nichts anderes als der erste Abschnitt dieses Kontexts - noch bevor das Modell ein einziges eigenes Token generiert hat, steht bereits fest, worauf sich jede folgende Berechnung stützt.
Warum Formulierungen die Antwort verändern, obwohl die Bedeutung gleich bleibt
Das Modell hat kein Konzept von “Bedeutung” losgelöst vom konkreten Wortlaut. Es berechnet Wahrscheinlichkeiten auf Basis der tatsächlich vorhandenen Token - nicht auf Basis dessen, was der Mensch damit meinte. “Erkläre Docker” und “Was ist Docker?” mögen für einen Menschen dasselbe bedeuten; für das Modell sind es unterschiedliche Token-Sequenzen, die im Training mit leicht unterschiedlichen Fortsetzungs-Mustern verknüpft wurden - “Erkläre X” tritt in Trainingsdaten häufiger vor ausführlichen Erklärungen auf, “Was ist X?” häufiger vor knappen Definitionen. Das Modell reagiert auf die Formulierung, nicht auf die Absicht dahinter.
Das erklärt auch, warum zwei Menschen denselben Prompt unterschiedlich bewerten können: Sie bringen unterschiedliche Erwartungen an dieselbe Formulierung mit. Das Modell selbst kennt diese Erwartungen nicht - es reagiert ausschließlich auf das, was tatsächlich im Kontext steht.
Tokenisierung zerlegt Text, weil ein Modell keine unbegrenzte Wortliste kennt
Bevor ein Prompt verarbeitet wird, zerlegt ein Tokenizer den Text in Fragmente - Token. Ein Modell könnte nicht für jedes denkbare Wort einer Sprache einen eigenen Eintrag führen; die Zahl möglicher Wortformen, Komposita und Fachbegriffe ist praktisch unbegrenzt. Stattdessen lernt der Tokenizer eine begrenzte Menge häufiger Fragmente - häufige Wörter bleiben oft als Ganzes erhalten, seltene oder zusammengesetzte Wörter werden in Teile zerlegt.
Deutsche Komposita zerfallen dadurch oft stärker als englische Wörter: “Containerisierung” könnte in “Container” und “isierung” zerlegt werden, weil das Modell die Kombination als Ganzes im Training seltener gesehen hat als die beiden Bestandteile einzeln. Das ist keine Schwäche der deutschen Sprache, sondern eine Folge davon, dass Trainingsdaten überwiegend englischsprachig sind - der Tokenizer lernt die Fragmentierung, die in den Trainingsdaten am effizientesten war.
Mehr Fragmente pro Wort bedeuten mehr Token pro Prompt - und damit mehr verbrauchtes Kontext-Fenster für dieselbe Textmenge. Ein Prompt mit vielen Fachbegriffen oder Komposita kann deshalb spürbar mehr Kontext-Budget verbrauchen als ein sprachlich einfacherer Prompt gleicher Wortzahl.
System-Prompts setzen einen Rahmen, erzwingen ihn aber nicht
Ein System-Prompt ist ein Instruktions-Text, der vor der eigentlichen Nutzer-Eingabe zum Modell gesendet wird. Das Modell verarbeitet System-Prompt und Nutzer-Eingabe innerhalb desselben Kontextes. Viele Chatmodelle kennzeichnen die unterschiedlichen Rollen zusätzlich durch spezielle Steuer-Token oder Chat-Templates. Diese Kennzeichnung beeinflusst das gelernte Verhalten, erzwingt die Instruktion aber nicht wie eine außerhalb des Modells implementierte Zugriffsregel.
Warum ein Modell einen System-Prompt manchmal trotzdem ignoriert
Ein System-Prompt ist kein Befehl im Sinne einer Regel, die das Modell zwingend einhält - er verschiebt lediglich, welche Fortsetzungen wahrscheinlicher werden. Ein System-Prompt wie “Antworte immer auf Deutsch” erhöht die Wahrscheinlichkeit deutscher Token spürbar, schließt englische Token aber nicht vollständig aus. Wird der nachfolgende Kontext lang und thematisch stark englischsprachig geprägt - etwa durch englische Fachbegriffe oder zitierten Code -, kann dieser Kontext die ursprüngliche Instruktion überlagern. Aus einer verwandten Logik entsteht auch Prompt Injection: Ein im späteren Kontext platzierter, gegenläufiger Hinweis konkurriert mit dem System-Prompt um dieselbe Wahrscheinlichkeitsverteilung. Wie stark diese Konkurrenz wirkt, hängt vom Modelltraining, von der Rollenkennzeichnung, vom übrigen Kontext und von der konkreten Formulierung ab - es gibt keine feste Rangfolge, nach der grundsätzlich der spätere Text gewinnt.
System-Prompts ändern keine Modell-Parameter - sie wirken nur auf den aktuellen Inferenz-Kontext. Jede neue Konversation beginnt ohne vorherige System-Prompts, sofern sie nicht erneut gesetzt werden.
Prompt Engineering nutzt aus, wie Formulierungen Wahrscheinlichkeiten verschieben
Da das Modell auf die tatsächliche Formulierung reagiert, verändert eine präzisere Formulierung auch die Antwort - nicht weil das Modell “besser versteht”, sondern weil eine präzisere Formulierung im Training mit passenderen Fortsetzungen verknüpft war.
Warum Beispiele im Prompt helfen
Ein Beispiel im Prompt - etwa eine Frage mit passender Beispielantwort davor - definiert kein neues Wissen, sondern ein Muster im unmittelbaren Kontext. Das Modell muss dieses Muster nicht “lernen” im Sinne von Training; es setzt lediglich die bereits vorhandene Fähigkeit ein, den bisherigen Kontext für die nächste Vorhersage einzubeziehen - dieselbe Fähigkeit, die auch eine mehrteilige Konversation zusammenhängend hält. Ein Beispiel im Prompt wirkt wie eine sehr konkrete Formulierungs-Vorgabe, keine Instruktion.
Warum lange Prompts nicht automatisch bessere Antworten erzeugen
Self-Attention setzt jeden Token mit jedem anderen Token im Kontext in Beziehung, aber nicht wie ein festes, gleichmäßig verteiltes Budget. Ein langer Prompt mit irrelevanten Informationen liefert dem Modell zusätzliche, möglicherweise konkurrierende Muster. Die relevante Anweisung bleibt zwar im Kontext, kann aber zwischen Nebensächlichkeiten, Wiederholungen oder widersprüchlichen Hinweisen weniger zuverlässig wirksam werden. Mehr Text bedeutet deshalb nicht automatisch mehr relevante Information. Ein kurzer, präziser Prompt reduziert diese Konkurrenz und macht die eigentliche Anweisung verlässlicher wirksam.
Chain-of-Thought-Prompting - die explizite Aufforderung, schrittweise vorzugehen - nutzt einen ähnlichen Effekt: Die Aufforderung verschiebt die Wahrscheinlichkeit hin zu Fortsetzungen, die selbst Zwischenschritte enthalten. Diese Zwischenschritte werden dann wiederum Teil des Kontexts für die folgenden Token - ein strukturierterer Anfang begünstigt eine strukturiertere Fortsetzung.
Temperatur verändert nicht die Berechnung, sondern die Auswahl aus ihrem Ergebnis
Für jedes Token berechnet das Modell eine Wahrscheinlichkeitsverteilung über mögliche Fortsetzungen - unabhängig von der Temperatur-Einstellung. Temperatur greift erst danach ein: bei der Auswahl, welches Token aus dieser Verteilung tatsächlich gewählt wird.
Warum dieselbe Verteilung zu unterschiedlichen Antworten führt
Bei niedriger Temperatur wird nahezu immer das wahrscheinlichste Token gewählt - die Ausgabe wird dadurch deterministisch und bei wiederholten Anfragen fast identisch. Bei höherer Temperatur erhalten auch weniger wahrscheinliche Token eine reale Chance, ausgewählt zu werden. Die zugrunde liegende Wahrscheinlichkeitsverteilung selbst ändert sich dabei nicht - nur die Regel, nach der aus ihr ausgewählt wird. Genau deshalb kann derselbe Prompt bei höherer Temperatur bei jeder Ausführung zu einer anderen, aber jeweils plausiblen Antwort führen.
Sehr niedrige Temperatur-Werte führen zu repetitiven, wenig lebendigen Texten, weil immer dieselben wahrscheinlichsten Token gewählt werden. Sehr hohe Werte lassen zunehmend unwahrscheinliche Token zu und können die Ausgabe bis zur Inkohärenz auffächern. Neben Temperatur existieren weitere Verfahren, die Auswahl aus der Verteilung einzugrenzen - für ein Grundverständnis reicht Temperatur als Konzept, die Details bleiben tool- und einsatzabhängig.
Kontext-Länge begrenzt, wie viel Prompt überhaupt Platz hat
Lokale Modelle erklärt das Kontext-Fenster als feste Obergrenze verarbeitbarer Token. Ein langer Prompt verbraucht einen Teil dieses Budgets, bevor überhaupt eine Antwort beginnt - ein 4K-Kontext-Fenster mit einem 3K-Token-Prompt lässt nur noch 1K Token für die Antwort übrig.
Mehrteilige Konversationen summieren sich: Jede weitere Nachricht erweitert den Kontext, bis das Fenster-Limit erreicht ist. Wird das Limit überschritten, werden die ältesten Nachrichten entfernt - das Modell verliert diesen Teil der Konversation vollständig, ohne den Verlust selbst zu bemerken.
Einheitlich strukturierte Trainingsdaten können die spätere Flexibilität einschränken
Ein Modell, das beim Fine-Tuning nahezu ausschließlich Prompts in einem festen Format sieht - etwa durchgehend “Frage: … Antwort: …” -, kann dieses Format als Teil der erwarteten Antwortstruktur übernehmen. Es reproduziert solche Format-Marker dann unter Umständen auch dort, wo der aktuelle Prompt sie nicht verlangt.
Die Ursache liegt nicht im aktuellen Prompt, sondern in den während des Fine-Tunings verstärkten Mustern. Stark einheitliche Trainingsdaten können dadurch die Flexibilität verringern, mit der ein Basismodell ursprünglich auf unterschiedliche Prompt-Formate reagierte.
Der Zusammenhang im Überblick
Ein Prompt ist kein Befehl, sondern Kontext, der die Wahrscheinlichkeitsverteilung jedes folgenden Tokens mitbestimmt - genau wie bereits generierte Token es tun. Tokenisierung legt fest, in welchen Einheiten dieser Kontext überhaupt vorliegt. System-Prompts, Beispiele und präzise Formulierungen wirken alle über denselben Mechanismus: Sie verschieben, welche Fortsetzungen wahrscheinlicher werden, ohne das Modell selbst zu verändern. Temperatur greift erst nach dieser Berechnung ein, bei der Auswahl aus der bereits feststehenden Verteilung.
Der nächste Artikel der Serie behandelt Fine-Tuning. Prompting verändert den Kontext. Fine-Tuning verändert das Modell selbst.
