CPU

Was ist eine CPU?

Die CPU ist der zentrale, vielseitige Prozessor eines Computers. Sie besitzt vergleichsweise wenige, aber sehr flexible Rechenkerne, die für unterschiedlichste Aufgaben geeignet sind - im Unterschied zur GPU, die auf massenhaft parallele, gleichartige Berechnungen spezialisiert ist.

Wie es funktioniert

Eine CPU verarbeitet viele unterschiedliche Aufgaben mit wenigen, aber sehr leistungsfähigen Kernen und vergleichsweise begrenzter Parallelität. Sie eignet sich gut für unterschiedliche, aufeinander folgende Aufgaben - vom Betriebssystem bis zur Anwendungssteuerung -, aber schlechter für die massenhaft gleichartigen Matrixmultiplikationen, aus denen neuronale Netze bestehen.

Warum die CPU bei Sprachmodellen eine Nebenrolle spielt

Sprachmodell-Inferenz ist grundsätzlich auch auf der CPU möglich, aber deutlich langsamer als auf einer GPU, weil die parallele Struktur neuronaler Netze auf CPU-Architektur schlechter passt. Für kleinere oder stark quantisierte Modelle kann CPU-Inferenz dennoch praktikabel sein, insbesondere ohne verfügbare GPU.

Eine schnellere CPU löst dabei nicht automatisch das Geschwindigkeitsproblem bei Sprachmodell-Inferenz - der entscheidende Engpass liegt meist nicht in der reinen Taktfrequenz, sondern in der fehlenden massiven Parallelität, die eine GPU bietet.

Warum die CPU praktische Auswirkungen hat

• Fallback-Option: Ohne GPU bleibt die CPU häufig der einzige Weg, ein Modell lokal auszuführen - meist mit spürbarem Geschwindigkeitsverlust
• Modellgröße: Kleinere, stärker quantisierte Modelle eignen sich besser für CPU-Inferenz als große, unquantisierte Modelle
• Systemauslastung: CPU-Inferenz beansprucht Rechenleistung, die dann für andere Aufgaben auf demselben System fehlt

Typisches Beispiel

Ein kleines, stark quantisiertes Modell kann auf einer ausreichend schnellen CPU noch in akzeptabler Geschwindigkeit antworten, während ein großes unquantisiertes Modell auf derselben CPU unpraktikabel langsam würde.

Weiterführend

Grundlagen → Lokale KI-Modelle: Konzepte und Anforderungen

Verwandte Begriffe → GPU
→ RAM