Basismodell

Was ist ein Basismodell?

Ein Basismodell ist das Ergebnis des ursprünglichen Trainings auf großen, allgemeinen Textmengen - noch bevor gezieltes Fine-Tuning das Antwortverhalten in Richtung Dialog, Anweisungsbefolgung oder einen bestimmten Stil verschiebt. Basismodelle setzen Text primär plausibel fort, statt gezielt Fragen zu beantworten.

Wie es funktioniert

Ein Basismodell wurde darauf trainiert, das nächste Token in großen allgemeinen Textsammlungen wie Internettexten, Büchern oder Quellcode vorherzusagen. Ohne weiteres Fine-Tuning setzt es eine Eingabe primär plausibel fort, statt sie als Anweisung oder Frage zu interpretieren. Erst Fine-Tuning auf Dialogdaten formt daraus ein Chatmodell.

Warum das Basismodell der eigentliche Wissensträger ist

Ein Basismodell trägt bereits das im Basistraining erworbene Sprachverständnis in sich - Fine-Tuning verschiebt anschließend nur, wie dieses Wissen abgerufen und präsentiert wird. Basismodelle sind deshalb der Ausgangspunkt für nahezu alle spezialisierten Varianten, einschließlich Chatmodellen.

Ein Basismodell ist dabei nicht “unfertig” oder fehlerhaft - es ist ein vollständig trainiertes Modell, das lediglich noch nicht auf Dialogverhalten hin angepasst wurde. Viele öffentlich bekannte Sprachmodelle, die im Alltag genutzt werden, sind bereits Chatmodelle - das zugrunde liegende Basismodell bleibt für Anwender meist unsichtbar.

Warum das Basismodell praktische Auswirkungen hat

• Ausgangspunkt: Nahezu jede spezialisierte Modellvariante beginnt mit einem Basismodell
• Antwortverhalten: Ein reines Basismodell reagiert auf Fragen oft mit Fortsetzung statt Antwort - für Alltagsnutzung wird meist ein Chatmodell verwendet
• Wiederverwendbarkeit: Ein Basismodell kann mehrfach für unterschiedliche Fine-Tuning-Ziele als Grundlage dienen

Typisches Beispiel

Auf die Eingabe “Die Hauptstadt von Frankreich ist” setzt ein Basismodell den Satz plausibel fort, statt wie ein Chatmodell direkt und dialogisch zu antworten.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert

Verwandte Begriffe → Chatmodell
→ Fine-Tuning