Wer KI nutzt, schickt seine Daten meist an einen Cloud-Dienst. Das muss nicht sein. Offene Sprachmodelle sind inzwischen so leistungsfähig, dass sie viele Aufgaben auf eigener Hardware erledigen: im Serverraum, auf einem Arbeitsplatzrechner oder direkt im Gerät. Für Unternehmen mit sensiblen Daten wird das zu einer echten Alternative.
Warum lokale Modelle jetzt interessant sind
Zwei Entwicklungen kommen zusammen. Die frei verfügbaren Modelle sind deutlich besser geworden und decken Aufgaben wie Zusammenfassen, Klassifizieren, Extrahieren von Daten oder das Beantworten von Fragen aus eigenen Dokumenten gut ab. Gleichzeitig ist die nötige Hardware kleiner und günstiger geworden. Ein Modell, das früher ein Rechenzentrum brauchte, läuft heute auf einem einzelnen Server mit Grafikkarte.
Was für den Betrieb im eigenen Haus spricht
Datenhoheit. Kundendaten, Verträge, Konstruktionsunterlagen oder Patientendaten verlassen das Unternehmen nicht. Das vereinfacht die Einhaltung von DSG und DSGVO und beantwortet viele Fragen, bevor die Rechtsabteilung sie stellt.
Planbare Kosten. Statt pro Anfrage zu bezahlen, fallen Kosten für Hardware, Strom und Betrieb an. Bei hohem, gleichmässigem Volumen rechnet sich das. Bei wenigen Anfragen pro Tag bleibt die Cloud günstiger.
Unabhängigkeit. Das Modell ändert sich nicht über Nacht, es gibt keine Abhängigkeit von Preis- und Produktentscheiden eines Anbieters, und die Lösung funktioniert auch ohne Internetverbindung.
Wo die Grenzen liegen
Die grössten Cloud-Modelle bleiben bei anspruchsvollen Aufgaben überlegen, etwa bei langen, mehrstufigen Analysen oder komplexer Softwareentwicklung. Lokaler Betrieb bedeutet zudem Verantwortung: Hardware beschaffen, Modelle aktualisieren, Zugriffe absichern und die Qualität der Antworten überwachen.
In der Praxis ist deshalb oft eine Mischform sinnvoll. Sensible Daten und Routineaufgaben bleiben lokal, für besonders schwierige Aufgaben ohne heikle Daten wird ein Cloud-Modell zugeschaltet.
KI direkt im Gerät
Noch einen Schritt weiter geht Edge-AI: Das Modell läuft nicht im Serverraum, sondern auf der Elektronik im Gerät selbst. So erkennt eine Kamera Objekte, eine Maschine meldet Abweichungen oder ein Gerät versteht Sprache, ohne dass Daten das Gerät verlassen. Hier entscheidet das Zusammenspiel von Hardware, Firmware und Modell über Reaktionszeit, Stromverbrauch und Stückkosten.