KI-Evaluation

Wie KI-Evaluation funktioniert

Bevor ein KI-System bewertet werden kann, muss zunächst geklärt werden, welche Eigenschaften überhaupt relevant sind.

Die Aussage:

„Die KI soll gute Antworten liefern.“

ist dafür nicht ausreichend.

Abhängig vom Einsatzzweck könnten beispielsweise relevant sein:

• sachliche Korrektheit
• Vollständigkeit
• Relevanz
• Regelkonformität
• Quellenbezug
• Stabilität
• Robustheit gegenüber veränderten Eingaben
• Einhaltung eines vorgegebenen Formats
• funktionierende erzeugte Befehle oder Programme
• angemessener Umgang mit fehlenden Informationen

Aus solchen Anforderungen müssen Kriterien entstehen, die tatsächlich untersucht werden können.

Erst die Frage, dann die Metrik

Eine Metrik ist nur sinnvoll, wenn bekannt ist, welche Frage sie beantworten soll.
Ein System kann beispielsweise in 98 Prozent der Fälle das gewünschte Ausgabeformat einhalten.
Diese Zahl sagt zunächst nichts darüber aus, ob die enthaltenen Aussagen sachlich korrekt sind.
Ebenso kann ein Text einer Referenzantwort sprachlich sehr ähnlich sein und trotzdem denselben sachlichen Fehler enthalten.
Evaluation sollte deshalb nicht mit einer vorhandenen Metrik beginnen.

Die Reihenfolge lautet eher:

Welche Eigenschaft interessiert uns?
        ↓
Wie lässt sich diese Eigenschaft beobachten?
        ↓
Welche Referenz oder welches Kriterium benötigen wir?
        ↓
Welches Prüfverfahren ist dafür geeignet?
        ↓
Wie bewerten wir das Ergebnis?

Erst daraus ergibt sich eine sinnvolle Messung.

Nicht jede Aufgabe besitzt eine einzige richtige Antwort

Bei klassischen Softwaretests kann häufig eine konkrete Ausgabe erwartet werden.

Beispielsweise:

2 + 2 = 4

Für viele Aufgaben generativer KI existiert dagegen nicht genau eine zulässige Zeichenfolge.

Auf die Frage:

Was ist eine Schnittstelle?

können mehrere unterschiedlich formulierte Antworten sachlich richtig sein.

Eine Evaluation muss deshalb unterscheiden zwischen:

• identischer Ausgabe
• gleichwertiger Ausgabe
• akzeptabler Ausgabe
• unvollständiger Ausgabe
• fehlerhafter Ausgabe

Welche Unterschiede zulässig sind, hängt von der jeweiligen Aufgabe ab.

Referenzen müssen zur Frage passen

Evaluation benötigt häufig eine Vergleichsgrundlage.

Das kann beispielsweise sein:

• eine dokumentierte technische Spezifikation
• ein realer Systemzustand
• ein definierter Regelsatz
• eine Sammlung geprüfter Referenzfälle
• Messdaten
• eine fachliche Bewertung durch Menschen
• bekannte korrekte und fehlerhafte Beispiele

Dabei besitzt nicht jede Referenz dieselbe Aussagekraft.
Wenn geprüft werden soll, ob ein OpenBSD-Befehl tatsächlich funktioniert, ist eine zweite erzeugte Textantwort keine gleichwertige Referenz zu dokumentiertem Verhalten oder einem Test auf dem betreffenden System.
Die Auswahl der Referenz gehört deshalb selbst zum Evaluationsdesign.

Golden Sets und Referenzfälle

Für wiederkehrende Evaluationen können geprüfte Testfälle zusammengestellt werden.
Ein solcher Bestand kann Eingaben zusammen mit bekannten relevanten Eigenschaften oder erwarteten Ergebnissen enthalten.

Beispielsweise:

Testfall:
  Frage: Welche Option deaktiviert Funktion X?

Erwartete Eigenschaften:
  - richtige Option genannt
  - gilt für Version 7.9
  - keine Option aus Version 7.8 verwenden
  - Quelle muss angegeben werden

Die Referenz beschreibt hier nicht zwangsläufig einen vollständigen Mustertext.
Sie beschreibt Eigenschaften, die eine akzeptable Antwort besitzen muss.
Solche Referenzsammlungen werden häufig als Golden Sets, Golden Datasets oder Evaluation Sets bezeichnet.
Sie müssen gepflegt werden.
Ändert sich beispielsweise die Softwareversion, kann auch ein bisher korrekter Referenzfall veralten.

Ein Durchlauf ist eine Beobachtung

Bei einem probabilistischen System ist ein einzelner Durchlauf zunächst eine Beobachtung.
Ein Sprachmodell kann denselben Testfall mehrfach korrekt beantworten und bei einem späteren Durchlauf einen Fehler erzeugen.
Deshalb kann eine Evaluation mehrere Ausführungen desselben oder vergleichbarer Testfälle umfassen.

Dann können beispielsweise untersucht werden:

• Wie häufig wird ein Kriterium erfüllt?
• Welche Fehler treten wiederholt auf?
• Wie stark unterscheiden sich Ergebnisse?
• Gibt es bestimmte Eingaben, bei denen Fehler häufiger auftreten?
• Ändert sich das Verhalten bei anderem Kontext?
• Verschlechtert eine Änderung andere bereits funktionierende Fälle?

Damit wird aus:

Dieser Test war erfolgreich.

eine wesentlich interessantere Frage:

Wie verhält sich das System unter diesen Bedingungen?

Automatische Prüfungen

Ein Teil einer KI-Evaluation kann deterministisch geprüft werden.

Beispiele sind:

• gültiges JSON
• vorhandene Pflichtfelder
• erlaubte oder verbotene Zeichen
• Einhaltung eines Schemas
• erfolgreiche Kompilierung
• syntaktisch gültige Konfiguration
• vorhandene Pflichtabschnitte
• Einhaltung maschinenlesbarer Regeln

Solche Prüfungen besitzen einen Vorteil:

Wenn das Kriterium eindeutig definiert ist, lässt sich das Ergebnis reproduzierbar feststellen.
Sie prüfen allerdings nur die Eigenschaft, für die sie entwickelt wurden.
Ein syntaktisch gültiger Befehl kann immer noch sachlich falsch sein.

Prüfung gegen reale Systeme

Manche Aussagen lassen sich besser durch tatsächliche Ausführung als durch weitere Textanalyse prüfen.

Erzeugt ein KI-System beispielsweise:

some-command --option

kann relevant sein:

• existiert der Befehl?
• existiert die Option?
• gilt sie für die betreffende Version?
• funktioniert sie im vorgesehenen Kontext?
• besitzt sie die behauptete Wirkung?

Wenn diese Fragen auf einem geeigneten Testsystem überprüft werden können, entsteht eine andere Art von Evidenz als durch die Aussage eines weiteren Sprachmodells.
Auch reale Tests besitzen Grenzen.
Ein erfolgreicher Test unter einer bestimmten Konfiguration beweist nicht automatisch das Verhalten unter allen anderen Bedingungen.
Er liefert jedoch eine überprüfbare Beobachtung unter dokumentierten Bedingungen.

Menschen als Evaluatoren

Nicht jede relevante Eigenschaft lässt sich vollständig automatisieren.

Menschen können beispielsweise beurteilen:

• ob eine Erklärung verständlich ist
• ob wichtige Zusammenhänge fehlen
• ob eine Antwort für den vorgesehenen Nutzer hilfreich ist
• ob unterschiedliche fachlich zulässige Lösungen angemessen dargestellt werden
• ob ein Ergebnis trotz formal erfüllter Kriterien praktisch ungeeignet ist

Menschliche Bewertung ist allerdings ebenfalls nicht automatisch objektiv.
Unterschiedliche Personen können zu unterschiedlichen Bewertungen kommen.
Deshalb können auch für menschliche Evaluation Kriterien, Bewertungsrichtlinien und Vergleichsbeispiele notwendig sein.

KI bewertet KI

Ein Sprachmodell kann zur Bewertung der Ausgabe eines anderen Sprachmodells eingesetzt werden.
Solche Verfahren werden häufig als LLM-as-a-Judge bezeichnet.
Sie können beispielsweise hilfreich sein, um große Mengen von Ergebnissen nach bestimmten Kriterien vorzusortieren oder Unterschiede zwischen Antworten zu untersuchen.

Dabei entsteht jedoch eine zusätzliche Bewertungsebene:

Modell A erzeugt Ergebnis
        ↓
Modell B bewertet Ergebnis

Die Ausgabe von Modell B ist wiederum ein Modellergebnis.

Sie kann ebenfalls:

• Sachverhalte falsch bewerten
• wichtige Fehler übersehen
• plausible Aussagen bevorzugen
• Kriterien unterschiedlich interpretieren
• durch den bereitgestellten Kontext beeinflusst werden

Eine KI-Bewertung kann deshalb zusätzliche Evidenz liefern.
Sie ist aber kein automatischer Wahrheitsbeweis.

Mehrere Prüfverfahren können sich ergänzen

Unterschiedliche Evaluationsverfahren besitzen unterschiedliche Stärken.

Eine technische Antwort könnte beispielsweise nacheinander geprüft werden durch:

Strukturprüfung
      ↓
Regelprüfung
      ↓
Quellenprüfung
      ↓
zweite fachliche Bewertung
      ↓
Test auf realem System
      ↓
menschliche Freigabe

Nicht jede Aufgabe benötigt alle diese Schritte.
Entscheidend ist, welche Risiken bestehen und welche Eigenschaften überhaupt überprüft werden müssen.
Mehrere Prüfungen erhöhen außerdem nicht automatisch die Qualität, wenn sie alle dieselbe fehlerhafte Annahme verwenden.
Unabhängigkeit und Aussagekraft der jeweiligen Prüfverfahren sind deshalb relevant.

Evaluation braucht dokumentierte Bedingungen

Damit Ergebnisse einer Evaluation eingeordnet werden können, müssen die Bedingungen bekannt sein.

Bei einem Sprachmodell können dazu gehören:

• Modell
• Modellversion
• System-Prompt
• Benutzer-Prompt
• bereitgestellter Kontext
• Werkzeuge
• externe Datenquellen
• Generierungsparameter
• Testdaten
• Bewertungsverfahren
• Zeitpunkt der Evaluation

Ändert sich eine dieser Bedingungen, kann sich auch das Ergebnis verändern.
Evaluation ist deshalb nicht nur die Sammlung von Punktwerten.
Sie beschreibt eine Beobachtung eines Systems unter bestimmten Bedingungen.

Evaluation kann selbst veralten

Ein Evaluationsverfahren ist nicht dauerhaft automatisch gültig.
Referenzdaten können veralten.
Anforderungen können sich ändern.
Modelle können aktualisiert werden.
Neue Fehlerklassen können entdeckt werden.
Ein Testbestand, der gestern die relevanten Probleme gut abgedeckt hat, kann morgen wichtige neue Fälle übersehen.
Evaluation muss deshalb selbst regelmäßig überprüft und bei Bedarf weiterentwickelt werden.

Warum KI-Evaluation praktische Auswirkungen hat

• Qualität wird beschreibbar: Aus „sieht gut aus“ entstehen konkrete Kriterien.
• Bekannte Fehler werden erneut prüfbar: Problemfälle können als Testfälle erhalten und unter dokumentierten Bedingungen erneut untersucht werden.
• Änderungen können verglichen werden: Neue Modelle, Prompts oder Kontextstrategien lassen sich gegen dieselben Kriterien prüfen.
• Probabilistisches Verhalten kann sichtbar werden: Mehrere Durchläufe können Schwankungen und wiederkehrende Fehler zeigen.
• Automatisierung wird gezielt eingesetzt: Eindeutig prüfbare Eigenschaften können automatisch kontrolliert werden.
• Reale Systeme können als Referenz dienen: Technische Aussagen müssen nicht ausschließlich durch weitere KI-Ausgaben bewertet werden.
• Unsicherheit bleibt sichtbar: Eine Bewertung muss nicht mehr Sicherheit behaupten, als das Prüfverfahren tatsächlich liefert.

Typisches Beispiel

Ein KI-System erzeugt einen technischen Artikel über ein Betriebssystem.
Die erste Prüfung kontrolliert die Struktur des Dokuments.
Eine zweite Prüfung sucht nach Verstößen gegen festgelegte Redaktionsregeln.
Anschließend werden technische Aussagen mit geeigneten Quellen verglichen.
Ein weiteres Modell untersucht den Text unabhängig auf mögliche Widersprüche und fragwürdige Aussagen.
Befehle und Konfigurationsbeispiele werden, soweit möglich, auf einem realen System der betreffenden Version ausgeführt.
Am Ende werden verbleibende Auffälligkeiten durch einen Menschen bewertet.
Keine einzelne dieser Prüfungen beweist für sich allein die vollständige Korrektheit des Artikels.
Gemeinsam liefern sie jedoch unterschiedliche Arten von Evidenz, aus denen eine wesentlich belastbarere Bewertung entstehen kann.

Abgrenzung

• KI-Evaluation untersucht Eigenschaften, Ergebnisse und Verhalten eines KI-Systems anhand festgelegter Kriterien.
• Verifikation und Validierung sind allgemeinere Konzepte des Systems Engineering. KI-Evaluation kann Verfahren der Verifikation und Validierung auf KI-Systeme anwenden und um für probabilistische Systeme geeignete Bewertungsverfahren ergänzen.
• Context Engineering beschäftigt sich damit, welche Informationen einem KI-System für eine Aufgabe zur Verfügung gestellt werden. Evaluation untersucht anschließend, welche Ergebnisse unter diesen Bedingungen entstehen.
• LLM-as-a-Judge ist ein mögliches Evaluationsverfahren und nicht mit KI-Evaluation insgesamt gleichzusetzen.
• AI Assurance betrachtet noch umfassender, welche Evidenz, Prozesse und Kontrollen notwendig sind, um begründetes Vertrauen in Eigenschaften und den Einsatz eines KI-Systems zu schaffen.

Weiterführend

Verwandte Begriffe

→ Probabilistisch
→ Verifikation und Validierung
→ Context Engineering
→ Sprachmodell
→ Beobachtbarkeit
→ AI Assurance