GPU

Was ist eine GPU?

Eine GPU wurde ursprünglich für Bildberechnung entwickelt und besteht aus einer Vielzahl kleiner Recheneinheiten, die gleichzeitig arbeiten. Diese Parallelität passt genau zu der Art, wie neuronale Netze rechnen - viele gleichartige Berechnungen gleichzeitig -, weshalb GPUs heute die zentrale Hardware für Training und Inferenz von Sprachmodellen sind.

Wie es funktioniert

Während eine CPU wenige, sehr vielseitige Rechenkerne besitzt, hat eine GPU je nach Modell Hunderte bis Tausende einfachere Recheneinheiten, die dieselbe Operation gleichzeitig auf viele Daten anwenden. Neuronale Netze bestehen im Kern aus genau solchen massenhaft parallelen Multiplikationen - Matrixmultiplikationen zwischen Eingaben und Parametern -, wofür diese Architektur besonders gut geeignet ist.

Warum GPUs Sprachmodelle erst praktikabel machen

Ohne GPUs wäre das Training heutiger Sprachmodelle in praktikabler Zeit kaum möglich - CPUs würden für dieselbe Berechnung um ein Vielfaches länger brauchen. Für lokale Inferenz bestimmt die verfügbare GPU-Rechenleistung und vor allem der Grafikspeicher, wie groß ein Modell sein kann und wie schnell es antwortet.

Eine GPU ist dabei nicht einfach eine “schnellere CPU” - beide sind für unterschiedliche Aufgaben optimiert. Eine CPU eignet sich besser für viele unterschiedliche, aufeinander folgende Aufgaben, eine GPU für massenhaft parallele, gleichartige Berechnungen wie sie bei neuronalen Netzen anfallen.

Warum GPUs praktische Auswirkungen haben

• Geschwindigkeit: Inferenz läuft auf einer GPU meist deutlich schneller als auf einer reinen CPU-Berechnung
• Speichergrenze: Der verfügbare VRAM einer GPU begrenzt, wie groß ein lokal betriebenes Modell sein kann
• Kosten: Leistungsfähige GPUs mit viel VRAM sind ein wesentlicher Kostenfaktor beim Aufbau lokaler KI-Hardware

Typisches Beispiel

Ein Modell, das auf einer GPU in wenigen Sekunden antwortet, kann auf einer reinen CPU-Berechnung mehrere Minuten für dieselbe Antwort benötigen.

Weiterführend

Grundlagen → Lokale KI-Modelle: Konzepte und Anforderungen

Verwandte Begriffe → VRAM
→ CPU