Quantisierung

Was ist Quantisierung?

Quantisierung speichert die Parameter eines trainierten Modells mit weniger Bit pro Zahl - statt hoher Präzision wird eine gröbere, aber deutlich speicherschonendere Darstellung verwendet. Das Modell wird dadurch kleiner und läuft mit weniger Arbeits- oder Grafikspeicher, verliert dabei aber etwas an Genauigkeit.

Wie es funktioniert

Während des Trainings und unmittelbar danach werden Parameter üblicherweise mit höherer Genauigkeit gespeichert, häufig mit 16 oder 32 Bit. Quantisierung rundet diese Werte auf eine gröbere Auflösung herunter - üblich sind 8, 4 oder sogar weniger Bit pro Parameter. Weniger Bit pro Zahl bedeutet weniger Speicherbedarf und oft auch schnellere Berechnung, weil weniger Daten pro Schritt bewegt werden müssen.

Warum Quantisierung lokale Modelle erst praktikabel macht

Ein unquantisiertes großes Modell passt oft nicht in den verfügbaren Arbeits- oder Grafikspeicher eines gewöhnlichen Rechners. Quantisierung macht lokale Ausführung überhaupt erst praktikabel - ein Modell, das unquantisiert 16 GB Speicher bräuchte, kommt quantisiert oft mit einem Bruchteil davon aus.

Der Kompromiss: Mit sinkender Bit-Zahl nimmt die Antwortqualität tendenziell ab, wie stark hängt vom Modell und der Aufgabe ab. Quantisierung verändert dabei nicht die Anzahl der Parameter oder die Architektur des Modells - ein quantisiertes 8B-Modell hat weiterhin 8 Milliarden Parameter, nur mit geringerer Genauigkeit pro Wert gespeichert.

Warum Quantisierung praktische Auswirkungen hat

• Speicherbedarf: Bestimmt maßgeblich, ob ein Modell überhaupt auf verfügbarer Hardware läuft
• Geschwindigkeit: Geringere Bit-Zahl bedeutet oft schnellere Inferenz, weil weniger Daten bewegt werden müssen
• Qualitätskompromiss: Stärkere Quantisierung spart mehr Speicher, kann aber die Antwortqualität stärker beeinträchtigen

Typisches Beispiel

Ein Modell wird häufig in mehreren Quantisierungsstufen angeboten - etwa als Q8, Q4 oder Q2 bei GGUF-Dateien. Q4 halbiert den Speicherbedarf gegenüber Q8 grob, bei meist noch akzeptablem Qualitätsverlust für viele Alltagsaufgaben. Die Bezeichnungen Q4 oder Q8 sind dabei keine festen Standards für die tatsächliche Qualität einer Quantisierung - unterschiedliche Verfahren können sich trotz gleicher Bit-Zahl deutlich unterscheiden.

Weiterführend

Grundlagen → Lokale KI-Modelle: Konzepte und Anforderungen

Verwandte Begriffe → Parameter
→ Inferenz
→ GGUF