Self-Attention

Was ist Self-Attention?

Self-Attention berechnet für jeden Token, wie stark er mit jedem anderen Token im selben Kontext zusammenhängt. Aus diesen Beziehungen ergibt sich die Bedeutung eines Tokens - nicht aus dem Token allein, sondern aus seinem Zusammenspiel mit dem übrigen Text. Self-Attention ist der zentrale Mechanismus innerhalb der Transformer-Architektur.

Wie es funktioniert

Für jeden Token berechnet das Modell einen Gewichtungswert gegenüber jedem anderen Token im Kontext. Token mit hohem Gewicht fließen stärker in die Interpretation des betrachteten Tokens ein, Token mit niedrigem Gewicht schwächer. Diese Gewichtung ist nicht fest programmiert, sondern selbst Ergebnis des Trainings - das Modell hat gelernt, welche Wortkombinationen die Bedeutung in welche Richtung verschieben.

Warum Self-Attention Kontextverständnis ermöglicht

Self-Attention erlaubt Kontextverständnis über lange Text-Sequenzen hinweg, weil Bedeutung aus Beziehungen zwischen Token entsteht, nicht aus dem einzelnen Token isoliert betrachtet. Das ermöglicht einem Modell, mehrdeutige Wörter, Bezüge auf frühere Satzteile und Zusammenhänge über mehrere Sätze hinweg aufzulösen, solange sich diese innerhalb des aktuellen Kontextfensters befinden.

Self-Attention ist dabei kein separates Modell und kein eigener Rechenschritt außerhalb des Trainings - die Gewichtung entsteht durch dieselben trainierten Parameter, die auch sonst im Netz verwendet werden. Es gibt keine getrennte “Bedeutungsprüfung”, die zusätzlich zur eigentlichen Berechnung läuft.

Warum Self-Attention praktische Auswirkungen hat

• Rechenaufwand: Self-Attention setzt jeden Token mit jedem anderen in Beziehung - der Aufwand wächst quadratisch mit der Kontextfenster-Größe
• Bezugsauflösung: Pronomen und mehrdeutige Wörter werden über ihre Beziehung zum übrigen Kontext interpretiert, nicht isoliert
• Reihenfolge sekundär: Anders als bei streng sequenziellen Architekturen bestimmt nicht nur die Nähe zweier Wörter im Satz ihre Beziehung zueinander

Typisches Beispiel

Im Satz “Die Maus lag neben der Tastatur. Sie war kabellos.” muss das Modell entscheiden, worauf sich “sie” bezieht - die Maus oder die Tastatur. Self-Attention gewichtet dabei die passendere Zuordnung stärker, weil sie im Training häufiger als korrekt gelernt wurde.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert

Verwandte Begriffe → Transformer
→ Kontextfenster