Lokales Modell

Was ist ein lokales Modell?

Ein lokales Modell wird vollständig auf eigener Hardware ausgeführt - vom Laptop bis zum eigenen Server. Anfragen verlassen dabei das eigene Netzwerk nicht, solange keine zusätzlichen Cloud-Dienste oder externen Modelle eingebunden werden - im Unterschied zum Cloud-Modell, bei dem Anfragen an die Infrastruktur eines Anbieters gesendet werden.

Wie es funktioniert

Ein lokales Modell wird als Datei - meist im GGUF-Format - auf die eigene Hardware geladen und dort für Inferenz genutzt. Die Modell-Parameter müssen dafür vollständig im Arbeits- oder Grafikspeicher verfügbar sein. Tools wie Ollama übernehmen dabei das Laden, Verwalten und Ansprechen des Modells über eine lokale Schnittstelle.

Warum lokale Modelle eine eigene Abwägung sind

Lokale Modelle laufen unabhängig von einer Internetverbindung und ohne dass Anfragen einen fremden Server erreichen - relevant für Datenschutz, Offline-Betrieb und Kostenkontrolle. Der Kompromiss: Lokale Hardware ist meist deutlich leistungsschwächer als die Infrastruktur großer Cloud-Anbieter, wodurch lokal nutzbare Modelle in Größe und Fähigkeiten begrenzter sind.

Lokal bedeutet dabei nicht automatisch schlechter oder veraltet - es bedeutet vor allem eine andere Abwägung zwischen Kontrolle, Datenschutz und verfügbarer Rechenleistung. Umgekehrt bedeutet lokal auch nicht automatisch sicherer im Sinne von fehlerfrei - die Verantwortung für Betrieb und Absicherung liegt vollständig bei der eigenen Infrastruktur.

Warum lokale Modelle praktische Auswirkungen haben

• Datenschutz: Anfragen und Daten verlassen die eigene Infrastruktur nicht
• Hardware-Grenzen: Modellgröße und Kontextfenster sind durch verfügbaren Arbeits- oder Grafikspeicher begrenzt
• Eigenverantwortung: Updates, Absicherung und Wartung liegen vollständig in eigener Hand, ohne Anbieter-Support im Hintergrund

Typisches Beispiel

Ein passend quantisiertes 8B-Modell kann - abhängig von Quantisierung und Laufzeitumgebung - auf kompakter Hardware vollständig offline betrieben werden, ohne dass Anfragen das eigene Netzwerk verlassen.

Weiterführend

Grundlagen → Lokale KI-Modelle: Konzepte und Anforderungen

Verwandte Begriffe → Cloud-Modell
→ Quantisierung
→ Inferenz