Komposita

Was sind Komposita?

Komposita sind zusammengesetzte Wörter, die von Tokenizern häufig in mehrere Fragmente zerlegt werden - im Deutschen ein besonders relevantes Thema, weil die Sprache Komposita deutlich häufiger bildet als etwa Englisch.

Wie es funktioniert

Ein Kompositum entsteht durch die Verbindung mehrerer eigenständiger Wörter zu einem neuen Wort, etwa “Container” und “isierung” zu “Containerisierung”. Ein Tokenizer zerlegt solche Wörter oft in mehrere Token, wenn die Gesamtkombination im Trainingsmaterial seltener vorkam als ihre einzelnen Bestandteile.

Warum deutsche Komposita besonders betroffen sind

Deutsche Texte enthalten deutlich mehr Komposita als englische - viele heute verbreitete Sprachmodelle wurden aber auf überwiegend englischsprachigen Textkorpora trainiert, wodurch der Tokenizer für englische Wortfolgen effizientere, größere Fragmente gelernt hat. Das führt dazu, dass deutsche Komposita bei gleicher Wortzahl oft mehr Token verbrauchen als vergleichbare englische Texte.

Die Zerlegung eines Kompositums ist dabei keine Schwäche der deutschen Sprache, sondern eine Folge der Trainingsdaten-Zusammensetzung. Ein Tokenizer, der überwiegend mit deutschen Texten trainiert wurde, würde deutsche Komposita entsprechend seltener zerlegen.

Warum Komposita praktische Auswirkungen haben

• Kontext-Verbrauch: Texte mit vielen Komposita oder Fachbegriffen verbrauchen mehr vom verfügbaren Kontextfenster als sprachlich einfachere Texte gleicher Wortzahl
• Kosten: Bei tokenbasierter Abrechnung wirkt sich die stärkere Fragmentierung deutscher Komposita direkt auf den Preis aus
• Sprachvergleich: Die Token-Anzahl für denselben Inhalt ist zwischen Deutsch und Englisch nicht direkt vergleichbar

Typisches Beispiel

Ein Wort wie “Datenschutzgrundverordnung” wird von vielen Tokenizern in mehrere kleinere Fragmente zerlegt, während ein kürzeres, im Training häufigeres Wort eher als ein einzelnes Token erhalten bleibt.

Weiterführend

Grundlagen → Prompts: Warum Formulierungen die Antwort verändern

Verwandte Begriffe → Tokenisierung
→ Token