Parameter

Was ist ein Parameter?

Ein Parameter ist eine einzelne trainierbare Zahl in einem neuronalen Netz. Die Bezeichnung “2B” oder “8B” bei Modellnamen steht für die Anzahl dieser Parameter in Milliarden - ein 2B-Modell enthält 2.000.000.000 individuell trainierte Zahlen-Werte.

Wie es funktioniert

Jede Berechnung im neuronalen Netz multipliziert Eingabe-Werte mit Parametern und addiert weitere Parameter als Bias-Werte. Training passt diese Zahlen schrittweise an Beispieldaten an, bis Vorhersagen zuverlässiger werden. Nach dem Training bleiben die Parameter fixiert - Inferenz nutzt sie, ohne sie zu verändern.

Warum Parameter kein Wörterbuch sind

Parameter speichern keine Sätze, Fakten oder Definitionen als abrufbare Einträge. Es gibt keine Zeile, in der “Hauptstadt von Frankreich → Paris” steht. Stattdessen kodieren Parameter statistische Zusammenhänge zwischen Token, verteilt über Millionen Gewichte gleichzeitig - erst das Zusammenspiel aller Parameter erzeugt eine sinnvolle Vorhersage.

Warum die Parameter-Anzahl praktische Auswirkungen hat

• Feinheit: Mehr Parameter bedeuten mehr Kapazität, ähnliche Muster fein zu unterscheiden - nicht mehr gespeichertes Wissen
• Rechenaufwand: Die Anzahl der Parameter hat direkten Einfluss auf den Rechenaufwand eines Modells - größere Modelle benötigen deshalb in der Regel mehr Rechenleistung pro erzeugtem Token
• Speicherbedarf: Die Parameter-Anzahl bestimmt maßgeblich, wie viel RAM oder VRAM ein Modell für den Betrieb benötigt

Typisches Beispiel

Ein kleineres Modell muss Fachbegriffe oder Grammatikregeln stärker vereinfachen, weil weniger Parameter zur Verfügung stehen, um Nuancen abzubilden. Ein größeres Modell kann feinere Unterschiede zwischen ähnlichen, aber nicht identischen Konzepten abbilden.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert

Verwandte Begriffe → Token