Lokale KI oder Cloud-Modell? Eine Entscheidungshilfe

Jede digitale Fachkraft braucht ein Sprachmodell, das liest, versteht und schreibt. Dafür gibt es zwei Wege: ein Modell, das bei Ihnen läuft, oder eines, das ein Anbieter in seiner Cloud betreibt. Die Entscheidung hängt weniger von der Technik ab als von Ihren Daten und Ihren Aufgaben.

Lokales Modell: Die Daten bleiben im Netz

Ein lokales Modell läuft auf Ihrem eigenen Rechner oder Server, zum Beispiel über Ollama oder vLLM. Die Texte, die die Fachkraft verarbeitet, verlassen dabei Ihr Netz nicht. Für Personaldaten, Verträge und alles Vertrauliche ist das der sicherste Weg.

Laufende Kosten für die KI fallen dabei nicht an. Dafür braucht es passende Hardware. Kleinere Modelle laufen auf einem gut ausgestatteten Arbeitsplatzrechner, größere brauchen einen Server mit leistungsstarker Grafikkarte. Welche Modelle zu Aufgabe und Hardware passen, klären wir bei der Einarbeitung.

Cloud-Modell: Mehr Leistung ohne eigene Hardware

Cloud-Modelle, etwa von Anthropic oder OpenAI, sind bei schwierigen Aufgaben oft stärker: lange Dokumente zusammenfassen, Zusammenhänge erkennen, gut formulierte Texte schreiben. Eigene Hardware brauchen Sie dafür nicht. Dafür gehen die Inhalte jeder Anfrage an den Anbieter.

Die Anbieter rechnen nach Nutzung ab, und ein großes Modell kostet je Token bis zu hundertmal so viel wie ein kleines. Wir rechnen den Verbrauch monatlich ab, zum Einkaufspreis plus 20 % und bis zu einer Monatsgrenze, die Sie festlegen. Oder Sie hinterlegen Ihren eigenen API-Schlüssel und zahlen direkt beim Anbieter. Datenschutzrechtlich braucht es einen Vertrag mit dem Anbieter, und bei Anbietern außerhalb der EU eine Grundlage für die Übermittlung.

Die Entscheidung in einer Tabelle

Die Tabelle ist eine Faustregel, keine Vorschrift. Oft sprechen zwei Zeilen für lokal und zwei für die Cloud.

Sie müssen sich nicht festlegen

Die Wahl gilt nicht für den ganzen Betrieb, sondern je Aufgabe. Ein lokales Modell für den Posteingang, an dem auch Bewerbungen und Personalthemen vorbeikommen. Ein Cloud-Modell für die Angebotstexte, in denen nur Leistungen und Preise stehen. Beide arbeiten im selben Denkraum, mit demselben Firmenwissen.

Manche Arbeit braucht übrigens gar kein Sprachmodell. Die Fachkraft für Rechnungsprüfung liest E-Rechnungen im Format XRechnung oder ZUGFeRD ohne KI aus, weil die Daten dort schon strukturiert vorliegen. Erst bei Scans und PDF-Rechnungen ohne Datenteil kommt ein Modell zum Einsatz.

Ein Wort zur Qualität

Lokale Modelle sind in den letzten Jahren deutlich besser geworden. Für klar umrissene Aufgaben wie Einordnen oder Auslesen reichen sie oft aus. Bei frei formulierten Texten merkt man noch Unterschiede.

Am besten testen Sie es mit Ihren echten Vorgängen. Die Probezeit dauert 14 Tage und zeigt mehr als jeder Vergleich auf dem Papier. Wie der Datenschutz bei beiden Wegen aussieht, steht im Beitrag Datenschutz bei KI im Büro.