Inferenz

Was ist Inferenz?

Inferenz bezeichnet den Vorgang, bei dem ein bereits trainiertes Sprachmodell eine Antwort berechnet. Die Parameter des Modells sind zu diesem Zeitpunkt fixiert - es findet kein Lernen mehr statt, nur Berechnung mit bereits vorhandenen Werten.

Wie es funktioniert

Jedes Token der Antwort wird einzeln berechnet, basierend auf allen vorherigen Token im Kontext - einschließlich der bereits selbst generierten Token der aktuellen Antwort. Die Berechnung läuft durch alle Schichten des neuronalen Netzes, ohne dass dabei Parameter angepasst werden.

Warum Inferenz andere Anforderungen hat als Training

Inferenz benötigt deutlich weniger Rechenleistung als das Training desselben Modells, aber vollständigen Zugriff auf alle Parameter des Modells. Die Parameter des Modells müssen dafür vollständig im Arbeits- oder Grafikspeicher verfügbar sein. Genau das bestimmt, wie viel Hardware ein Modell beim lokalen Betrieb tatsächlich braucht, unabhängig davon, wie lange das Training einmalig gedauert hat.

Warum Inferenz praktische Auswirkungen hat

• Hardware-Anforderung: Größere Modelle mit mehr Parametern benötigen mehr Arbeitsspeicher für Inferenz
• Geschwindigkeit: Jedes Token wird einzeln berechnet - die Antwortgeschwindigkeit hängt direkt von der verfügbaren Rechenleistung ab
• Kein Lernen im Betrieb: Ein Modell merkt sich nichts über eine Konversation hinaus, das nicht explizit im Kontextfenster steht

Typisches Beispiel

Jede einzelne Antwort eines Chatbots ist das Ergebnis eines Inferenz-Durchlaufs. Training fand vorher, einmalig und getrennt davon statt - während der Nutzung findet kein weiteres Training statt.

Weiterführend

Grundlagen → Wie ein Sprachmodell funktioniert
→ Lokale KI-Modelle: Konzepte und Anforderungen

Verwandte Begriffe → Parameter
→ Kontextfenster