Deterministisch

Was bedeutet deterministisch?

Deterministisch beschreibt eine Berechnung, die bei identischer Eingabe immer dieselbe Ausgabe liefert. Bei Sprachmodellen hängt das in der Praxis vor allem von der Inferenzkonfiguration ab - insbesondere von der Temperatur-Einstellung, mit der Token aus der berechneten Wahrscheinlichkeitsverteilung ausgewählt werden -, nicht allein von der verwendeten Modellarchitektur.

Wie es funktioniert

Ein Sprachmodell berechnet bei jedem Token eine Wahrscheinlichkeitsverteilung über mögliche Fortsetzungen - diese Berechnung selbst läuft immer gleich ab. Deterministisch wird die Ausgabe erst durch die Auswahlregel: Bei sehr niedriger Temperatur wird nahezu immer das wahrscheinlichste Token gewählt, wodurch wiederholte Anfragen nahezu identische Antworten liefern.

Warum Determinismus eine Frage der Einstellung ist

Bei höherer Temperatur wird die Auswahl nicht-deterministisch: Auch weniger wahrscheinliche Token erhalten eine reale Chance, gewählt zu werden, wodurch derselbe Prompt bei jeder Ausführung zu einer anderen, aber jeweils plausiblen Antwort führen kann. Für Aufgaben, die reproduzierbare Ergebnisse brauchen - etwa automatisierte Tests oder Auswertungen -, ist eine möglichst deterministische Einstellung deshalb relevant.

Auch bei niedrigster Temperatur-Einstellung ist ein Sprachmodell nicht zwingend zu 100 Prozent deterministisch - je nach Inferenz-System können Rundungseffekte bei paralleler Berechnung zu minimalen Abweichungen führen. “Deterministisch” beschreibt hier eine sehr starke Tendenz, keine absolute Garantie.

Warum Determinismus praktische Auswirkungen hat

• Reproduzierbarkeit: Tests, Auswertungen oder Vergleiche zwischen Prompt-Varianten profitieren von möglichst deterministischen Einstellungen
• Kreativität vs. Konsistenz: Nicht-deterministisches Verhalten ist für Textvariation gewünscht, für konsistente Formatvorgaben eher hinderlich
• Keine absolute Garantie: Selbst bei niedrigster Temperatur sollte man sich nicht auf hundertprozentig identische Ausgaben verlassen

Typisches Beispiel

Bei Temperatur nahe null liefert derselbe Prompt bei wiederholter Ausführung fast immer dieselbe Antwort. Bei höherer Temperatur können mehrere Ausführungen desselben Prompts zu unterschiedlichen, aber jeweils plausiblen Formulierungen führen.

Weiterführend

Grundlagen → Prompts: Warum Formulierungen die Antwort verändern

Verwandte Begriffe → Temperatur
→ Inferenz