Probabilistisch

Wie probabilistische Systeme funktionieren

Bei einem deterministischen Verfahren führt ein festgelegter Zustand unter denselben Bedingungen zu einem festgelegten Ergebnis.

Ein einfaches Beispiel ist eine mathematische Funktion:

f(x) = x + 2

Für

x = 3

ist das Ergebnis immer:

5

Ein probabilistisches Verfahren kann dagegen mehrere mögliche Ergebnisse berücksichtigen und diesen unterschiedliche Wahrscheinlichkeiten zuordnen.

Vereinfacht könnte eine Verteilung beispielsweise so aussehen:

A → 70 %
B → 20 %
C → 10 %

Das Verfahren beschreibt damit nicht nur ein einzelnes mögliches Ergebnis, sondern eine Verteilung möglicher Ergebnisse.

Wahrscheinlichkeit ist nicht Beliebigkeit

Ein probabilistisches System entscheidet nicht zwangsläufig beliebig.
Wenn einem Ergebnis eine Wahrscheinlichkeit von 70 Prozent und einem anderen eine Wahrscheinlichkeit von 1 Prozent zugeordnet wird, sind beide zwar mögliche Ergebnisse, aber keineswegs gleich wahrscheinlich.
Die Wahrscheinlichkeiten ergeben sich aus dem jeweiligen Modell oder Verfahren und den dafür relevanten Bedingungen und Eingaben.
Zusätzlich kann ein Verfahren festlegen, wie aus einer solchen Verteilung ein konkretes Ergebnis ausgewählt wird.
Dabei können deterministische und zufallsbasierte Verfahren verwendet oder miteinander kombiniert werden.
Der Begriff probabilistisch beschreibt deshalb zunächst die Rolle von Wahrscheinlichkeiten im Modell oder Verfahren.

Er bedeutet nicht automatisch:

„Das System würfelt.“

Sprachmodelle arbeiten mit Wahrscheinlichkeiten

Bei einem autoregressiven Sprachmodell wird aus dem bisherigen Kontext berechnet, welche Token als Fortsetzung wahrscheinlich sind.

Vereinfacht könnte nach einem vorhandenen Kontext beispielsweise eine Verteilung entstehen:

System       0.31
Anwendung    0.18
Modell       0.12
Verfahren    0.07
...

Das Modell besitzt damit nicht einfach eine fest hinterlegte nächste Antwort.
Es berechnet Wahrscheinlichkeiten für mögliche Fortsetzungen.
Aus den ausgewählten Token entsteht schrittweise die weitere Ausgabe.
Dadurch können bereits kleine Unterschiede im Kontext oder bei der Auswahl von Token zu unterschiedlichen weiteren Ausgaben führen.

Gleiche Eingabe, unterschiedliche Ausgabe

Bei probabilistischen Systemen muss eine wiederholte Verarbeitung derselben Eingabe nicht zwangsläufig zu einer identischen Ausgabe führen.

Bei einem Sprachmodell könnten beispielsweise diese Antworten entstehen:

OpenBSD ist ein Unix-artiges Betriebssystem.

und:

OpenBSD gehört zur Familie der Unix-artigen Betriebssysteme.

Die Zeichenfolgen unterscheiden sich.
Inhaltlich können beide Aussagen trotzdem dieselbe Anforderung erfüllen.
Ein Test, der ausschließlich auf Zeichenidentität prüft, würde eine der Antworten möglicherweise als falsch bewerten, obwohl kein inhaltlicher Fehler vorliegt.
Damit verändert sich auch die Frage, was unter einem korrekten Ergebnis verstanden wird.

Probabilistisch bedeutet nicht unprüfbar

Dass mehrere Ergebnisse möglich sind, verhindert keine Prüfung.
Es muss jedoch festgelegt werden, was geprüft werden soll.

Bei einer erzeugten technischen Antwort könnten beispielsweise folgende Eigenschaften relevant sein:

• Sind die enthaltenen Aussagen sachlich korrekt?
• Wurde die gestellte Frage beantwortet?
• Sind erforderliche Informationen enthalten?
• Wurden verbotene Aussagen vermieden?
• Werden vorgegebene Regeln eingehalten?
• Sind ausgegebene Befehle syntaktisch korrekt?
• Funktionieren diese Befehle auf dem vorgesehenen System?
• Bleibt die Qualität über mehrere Durchläufe innerhalb akzeptabler Grenzen?

Damit verschiebt sich die Prüfung von:

Ist Ausgabe == erwartete Ausgabe?

zu Fragen wie:

Erfüllt die Ausgabe die relevanten Anforderungen?

Einzelne Ergebnisse und Verhalten über mehrere Durchläufe

Bei einem probabilistischen System kann ein einzelner erfolgreicher Test nur begrenzte Aussagekraft besitzen.
Ein Sprachmodell kann eine Aufgabe einmal korrekt lösen und bei einer erneuten Ausführung einen Fehler erzeugen.
Umgekehrt kann ein einzelner fehlerhafter Durchlauf nicht zwangsläufig das gesamte Verhalten eines Systems beschreiben.
Deshalb kann es sinnvoll sein, mehrere Durchläufe zu betrachten.

Dabei können beispielsweise untersucht werden:

• Häufigkeit bestimmter Fehler
• Stabilität relevanter Aussagen
• Einhaltung von Regeln
• Unterschiede zwischen Ausgaben
• Verhalten bei veränderten Eingaben
• Verhalten bei verändertem Kontext
• Grenz- und Sonderfälle

Die Anzahl notwendiger Prüfungen hängt von der jeweiligen Anwendung und dem Risiko fehlerhafter Ergebnisse ab.

Reproduzierbarkeit braucht Bedingungen

Bei der Untersuchung probabilistischer Systeme ist es wichtig, die Bedingungen eines Versuchs möglichst genau zu kennen.

Bei einem Sprachmodell können dazu beispielsweise gehören:

• verwendetes Modell
• Modellversion
• System-Prompt
• Benutzer-Prompt
• zusätzlicher Kontext
• Parameter der Generierung
• verwendete Werkzeuge
• externe Datenquellen
• Zeitpunkt oder Version externer Informationen

Zwei scheinbar identische Anfragen müssen nicht unter tatsächlich identischen Bedingungen verarbeitet worden sein.
Fehlende Informationen über diese Bedingungen erschweren die Bewertung und Reproduzierbarkeit von Ergebnissen.

Deterministische Einstellungen lösen das Problem nicht vollständig

Bei manchen probabilistischen Systemen kann die Auswahl eines konkreten Ergebnisses deterministisch oder mit geringerer zufallsbedingter Variation gestaltet werden.
Dadurch können Ausgaben reproduzierbarer werden.
Das zugrunde liegende Modell bleibt jedoch ein Modell, das Wahrscheinlichkeiten über mögliche Ergebnisse berechnet.
Auch eine reproduzierbare falsche Antwort bleibt falsch.
Deterministischere Ausgabe reduziert deshalb bestimmte Formen der Variation, ersetzt aber keine Prüfung der inhaltlichen Qualität.

Warum probabilistische Systeme angepasste Prüfungen benötigen

• Mehrere Ausgaben können korrekt sein: Zeichenidentität ist häufig kein geeignetes Qualitätskriterium.
• Ein erfolgreicher Durchlauf reicht nicht immer aus: Verhalten kann über mehrere Ausführungen untersucht werden.
• Qualitätskriterien müssen beschrieben werden: Korrektheit, Vollständigkeit oder Regelkonformität müssen bewertbar gemacht werden.
• Kontext beeinflusst Ergebnisse: Veränderungen der Eingaben können die Wahrscheinlichkeitsverteilung und damit die Ausgabe verändern.
• Reproduzierbarkeit benötigt dokumentierte Bedingungen: Modell, Kontext und Einstellungen gehören zur Untersuchung.
• Variation und Fehler sind unterschiedliche Dinge: Eine andere Antwort ist nicht automatisch eine falsche Antwort.

Typisches Beispiel

Ein Sprachmodell soll aus einem technischen Dokument eine Installationsanleitung erstellen.
Bei fünf Durchläufen entstehen fünf unterschiedlich formulierte Anleitungen.
Vier enthalten alle erforderlichen Schritte.
In einer Anleitung fehlt jedoch ein notwendiger Konfigurationsschritt.
Ein Vergleich der Texte auf Zeichenebene hilft bei dieser Bewertung kaum.
Stattdessen muss geprüft werden, ob jede Ausgabe die relevanten Anforderungen erfüllt.
Dafür könnte beispielsweise eine Liste notwendiger Schritte definiert werden.
Zusätzlich könnten technische Aussagen gegen Dokumentation oder ein reales Testsystem geprüft werden.
Sie kann jedoch angepasste Prüfkriterien, wiederholte Prüfungen oder statistische Bewertungsverfahren erforderlich machen.

Abgrenzung

• Probabilistisch bezeichnet Systeme oder Modelle, bei denen Wahrscheinlichkeiten Bestandteil der Beschreibung oder Berechnung möglicher Ergebnisse sind.
• Deterministisch bezeichnet dagegen ein Verhalten, bei dem unter festgelegten Bedingungen ein bestimmter Zustand eindeutig den folgenden Zustand oder das Ergebnis bestimmt.
• Zufällig und probabilistisch sind nicht synonym. Zufällige Auswahl kann Bestandteil eines probabilistischen Verfahrens sein, beschreibt aber nicht dessen gesamte Funktionsweise.
• Bei Sprachmodellen bilden Wahrscheinlichkeitsverteilungen über Token eine wesentliche Grundlage der Textgenerierung.
• Für die Verifikation und Validierung probabilistischer Systeme müssen geeignete Kriterien und gegebenenfalls statistische Betrachtungen verwendet werden, anstatt ausschließlich eine einzelne exakte Ausgabe zu erwarten.

Weiterführend

Verwandte Begriffe

→ Sprachmodell
→ Token
→ Temperatur
→ Deterministisch
→ Verifikation und Validierung
→ Context Engineering
→ KI-Evaluation
→ AI Assurance