Training

Was ist Training?

Training ist der Prozess, bei dem die Parameter eines neuronalen Netzes anhand von Beispieldaten angepasst werden. Das Modell sieht Millionen Textbeispiele, und die Parameter verändern sich so, dass korrekte Vorhersagen wahrscheinlicher werden. Am Ende steht ein Modell mit fixierten Parametern, das für Inferenz genutzt werden kann.

Wie es funktioniert

Das Modell sieht einen Text-Anfang und sagt das nächste Token vorher. Entspricht die Vorhersage nicht ausreichend dem tatsächlichen nächsten Token, werden die Parameter minimal angepasst, um diese Vorhersage beim nächsten Mal zu verbessern. Dieser Zyklus wiederholt sich milliardenfach über riesige Textmengen aus Internet-Text, Büchern und Code.

Warum aus einfacher Vorhersage sinnvolles Verhalten entsteht

Die Trainingsaufgabe - das nächste Wort vorhersagen - klingt trivial, erzeugt aber ein System, das Fragen beantwortet, Code schreibt oder zusammenfasst. Der Grund liegt in der Menge und Vielfalt der Beispiele: Um Vorhersagen in Dialogen, Erklärungen oder Code zuverlässig zu treffen, muss das Modell implizit die Struktur dieser Textsorten erfassen.

Eine hohe Datenqualität ist dabei mindestens ebenso entscheidend wie eine große Parameterzahl - ein großes Modell auf fehlerhaften Daten lernt diese Muster genauso zuverlässig wie ein kleines Modell auf sauberen Daten, nur mit mehr Kapazität, sie zu verfestigen.

Warum Training praktische Auswirkungen hat

• Rechenaufwand: Training benötigt massive Rechenleistung und läuft typischerweise auf GPU-Clustern über Wochen oder Monate - Inferenz ist danach deutlich günstiger
• Datenqualität: Fehlerhafte oder einseitige Trainingsdaten wirken sich direkt auf das spätere Modellverhalten aus
• Einmaligkeit: Nach Abschluss des Trainings sind die Parameter fixiert - Wissen aus der Zeit nach dem Trainingsende fehlt dem Modell, sofern es nicht anderweitig bereitgestellt wird

Typisches Beispiel

Fine-Tuning passt ein bereits trainiertes Basismodell zusätzlich an spezifische Aufgaben oder einen bestimmten Stil an - mit tausenden statt Milliarden Beispielen, wobei das im Basistraining gelernte Wissen größtenteils erhalten bleiben soll.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert

Verwandte Begriffe → Parameter
→ Inferenz
→ Fine-Tuning