Transformer

Was ist ein Transformer?

Der Transformer ist eine Architektur für neuronale Netze, die 2017 vorgestellt wurde und seither die Grundlage praktisch aller modernen Sprachmodelle bildet. Sein zentrales Merkmal ist Self-Attention: Jeder Token wird direkt mit jedem anderen Token im Kontext in Beziehung gesetzt, statt Text nur Wort für Wort in fester Reihenfolge zu verarbeiten.

Wie es funktioniert

Vor dem Transformer verarbeiteten neuronale Netze Text meist sequenziell, Token für Token nacheinander - weiter zurückliegende Token gingen dabei an Einfluss verloren. Der Transformer berechnet stattdessen für jeden Token Aufmerksamkeitsgewichte gegenüber allen anderen Token im Kontext gleichzeitig. Diese Gewichtung entscheidet, welche Token für die Bedeutung eines bestimmten Tokens relevant sind.

Warum der Transformer moderne Sprachmodelle erst möglich gemacht hat

Weil alle Token gleichzeitig statt nacheinander verarbeitet werden, lässt sich ein Transformer parallel auf spezialisierter Hardware wie GPUs berechnen - das machte das Training deutlich größerer Modelle auf deutlich größeren Textmengen praktikabel. Gleichzeitig erlaubt Self-Attention, Bedeutung aus Beziehungen zwischen weit auseinanderliegenden Token abzuleiten, nicht nur aus unmittelbarer Nachbarschaft.

Transformer und Self-Attention werden oft synonym verwendet, bezeichnen aber unterschiedliche Ebenen: Der Transformer ist die Architektur, Self-Attention ist ein zentraler Mechanismus innerhalb dieser Architektur - der Transformer besteht aus mehreren Bausteinen, Self-Attention ist einer davon.

Warum der Transformer praktische Auswirkungen hat

• Parallelisierbarkeit: Die gleichzeitige Verarbeitung aller Token macht Training und Inferenz auf GPUs deutlich effizienter als bei älteren, sequenziellen Architekturen
• Kontextfenster: Self-Attention setzt jeden Token mit jedem anderen in Beziehung - der Rechenaufwand wächst dadurch quadratisch mit der Fenstergröße
• Architektur-Standard: Nahezu alle aktuellen Sprachmodelle, unabhängig vom Anbieter, basieren auf Varianten der Transformer-Architektur

Typisches Beispiel

Im Satz “Die Bank am Fluss war überflutet” setzt der Transformer das Wort “Bank” in Beziehung zu “Fluss” und “überflutet” - beide Wörter lenken die Interpretation weg von “Geldinstitut” hin zu “Uferbereich”, obwohl sie an anderer Stelle im Satz stehen.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert

Verwandte Begriffe → Neuronales Netz
→ Self-Attention
→ Kontextfenster