Prompt Engineering

Was ist Prompt Engineering?

Prompt Engineering nutzt aus, dass die konkrete Formulierung eines Prompts beeinflusst, welche Fortsetzungen ein Sprachmodell für wahrscheinlich hält. Eine präzisere, klarer strukturierte Formulierung verändert die Antwort - nicht weil das Modell “besser versteht”, sondern weil sie im Training mit passenderen Fortsetzungen verknüpft war.

Wie es funktioniert

Techniken wie Beispiele im Prompt, explizite Formatvorgaben oder die Aufforderung, schrittweise vorzugehen, verschieben die Wahrscheinlichkeitsverteilung der nächsten Token in eine bestimmte Richtung. Ein Beispiel im Prompt definiert dabei kein neues Wissen, sondern ein Muster im unmittelbaren Kontext, das das Modell für die eigene Fortsetzung nutzt.

Warum präzisere Prompts oft zuverlässiger wirken

Da lange Prompts mit irrelevanten Informationen zusätzliche, möglicherweise konkurrierende Muster liefern, macht ein kurzer, präziser Prompt die eigentliche Anweisung verlässlicher wirksam. Mehr Text im Prompt bedeutet deshalb nicht automatisch mehr relevante Information oder eine bessere Antwort.

Prompt Engineering ist dabei kein Ersatz für fehlendes Wissen oder fehlende Fähigkeiten des Modells - es verschiebt lediglich, welche im Modell bereits vorhandenen Fortsetzungen wahrscheinlicher werden. Eine bessere Formulierung kann ein grundsätzlich ungeeignetes oder zu kleines Modell nicht zu Fähigkeiten führen, die es nicht trainiert hat.

Warum Prompt Engineering praktische Auswirkungen hat

• Grenzen: Prompt Engineering verbessert die Nutzung eines Modells, ersetzt aber kein Fine-Tuning oder ein grundsätzlich passenderes Modell
• Struktur: Klare Formatvorgaben und Beispiele im Prompt erhöhen oft die Konsistenz der Antworten
• Länge: Kürzere, fokussierte Prompts sind häufig zuverlässiger als lange Prompts mit vielen Nebeninformationen

Typisches Beispiel

Chain-of-Thought-Prompting - die explizite Aufforderung, schrittweise vorzugehen - verschiebt die Wahrscheinlichkeit hin zu Fortsetzungen, die selbst Zwischenschritte enthalten, sofern das jeweilige Modell solche Muster bereits im Training gelernt hat; diese Zwischenschritte werden dann wieder Teil des Kontexts für die folgenden Token und begünstigen eine strukturiertere Antwort.

Weiterführend

Grundlagen → Prompts: Warum Formulierungen die Antwort verändern

Verwandte Begriffe → Prompt
→ System-Prompt