Private KI bedeutet: Sprachmodelle und Firmendaten laufen unter Ihrer Kontrolle — in der EU-Cloud, auf dedizierten Servern in Deutschland oder der Schweiz oder vollständig on-premises. Welche der drei Architektur-Optionen passt, entscheiden Datenlage, Regulatorik und Budget. Dieser Leitfaden vergleicht sie ehrlich — mit Kosten und einem Praxisbeispiel.

Warum „einfach ChatGPT“ für viele Mittelständler keine Option ist

Vorweg: ChatGPT und vergleichbare Tools sind hervorragende Werkzeuge, und für viele Aufgaben spricht nichts dagegen. Aber sobald Firmendaten ins Spiel kommen, stoßen Standardlösungen im Mittelstand an vier reale Grenzen:

• Kundendaten in der US-Cloud: Wer Kundenanfragen, Verträge oder Projektdaten in ein US-gehostetes Tool kopiert, hat einen Drittlandtransfer — mit allen rechtlichen Unsicherheiten, die Datenschutzbeauftragte seit Jahren beschäftigen.
• Betriebsrat und DSGVO: Ohne klare Antworten auf „Wo liegen die Daten?“, „Wer kann sie einsehen?“ und „Was wird protokolliert?“ wird jede KI-Einführung intern blockiert — oft zu Recht.
• Branchenregulierung: Finanzdienstleister, Gesundheitswesen, kritische Infrastruktur und Zulieferer mit strengen Kundenvorgaben (Stichwort TISAX, ISO 27001) können öffentliche KI-Dienste oft gar nicht nutzen, selbst wenn sie wollten.
• IP-Schutz: Bei vielen Mittelständlern ist das Firmenwissen das Geschäftsmodell — Konstruktionsdaten, Rezepturen, Kalkulationen, Prozess-Know-how. Dieses Wissen in fremde Systeme zu geben, ist keine Datenschutzfrage, sondern eine unternehmerische.

Nichts davon ist ein Grund, auf KI zu verzichten. Es ist ein Grund, die Architektur bewusst zu wählen.

Die drei Architektur-Optionen im Vergleich

Private KI für Unternehmen ist kein Entweder-oder zwischen „Cloud“ und „Serverraum im Keller“. In der Praxis haben sich drei Schutzstufen bewährt.

Option A — EU-Cloud mit API-Modellen

Die Sprachmodelle laufen bei einem Cloud-Anbieter mit EU-Rechenzentren und Auftragsverarbeitungsvertrag; Ihre Wissensbasis und die Zugriffskontrolle liegen in Ihrer Umgebung. Der große Vorteil: Sie starten in Tagen statt Monaten und nutzen die leistungsfähigsten Modelle am Markt, ohne eigene Hardware zu betreiben. Die Kostenlogik ist nutzungsbasiert — Sie zahlen pro Verarbeitung, nicht für Bereitschaft. Die Grenze: Die Daten verlassen zur Verarbeitung Ihr Haus, wenn auch vertraglich abgesichert und innerhalb der EU. Für Marketing, interne Dokumentation und unkritische Prozesse ist das meist die richtige Stufe; für Konstruktionsdaten oder Patientenakten nicht.

Option B — Dedizierter Server in DE/CH (der Sweet Spot)

Hier laufen Sprachmodell und Wissensbasis auf Servern, die exklusiv für Sie betrieben werden — in einem Rechenzentrum in Deutschland oder der Schweiz, ohne geteilte Infrastruktur und ohne dass ein Modellanbieter Ihre Daten sieht. Sie bekommen die Kontrolle einer eigenen Umgebung, ohne selbst Hardware beschaffen, kühlen und warten zu müssen. Für die meisten Mittelständler ist das der Sweet Spot: genug Kontrolle für Betriebsrat, Datenschutzbeauftragte und anspruchsvolle Kunden, aber praktikabler Aufwand und kalkulierbare monatliche Kosten. Auch die Modellwahl bleibt flexibel — leistungsstarke Open-Weight-Modelle laufen heute problemlos auf dedizierter Hardware. Der Kompromiss: Die Spitzenmodelle der großen US-Anbieter stehen in dieser Stufe nicht zur Verfügung, was für die allermeisten Firmenanwendungen aber keine spürbare Rolle mehr spielt.

Option C — On-Premises / air-gapped

Die Maximalstufe: Alles läuft auf Ihrer eigenen Hardware in Ihrem Gebäude, auf Wunsch komplett ohne Internetverbindung. Das lohnt sich wirklich, wenn Regulatorik oder Kundenverträge es zwingend verlangen, wenn Sie hochsensible Daten im Dauerbetrieb verarbeiten — oder wenn die KI in Umgebungen ohne verlässliche Anbindung laufen muss. Die Hardware-Realität sollte man dabei nüchtern sehen: Ein System, das ein leistungsfähiges Modell mit mehreren gleichzeitigen Nutzern bedient, beginnt bei einem fünfstelligen Invest für GPU-Server, plus Strom, Kühlung und jemandem, der sich kümmert. Die gute Nachricht: Offene Modellfamilien wie Llama, Mistral oder Qwen haben 2026 ein Niveau erreicht, auf dem quellenbasierte Firmen-Assistenten, Dokumentenanalyse und interne Automatisierung zuverlässig funktionieren. Ehrlich ist aber auch: Bei sehr komplexen Aufgaben — anspruchsvolles mehrstufiges Schlussfolgern, exotische Nischenthemen — liegen die großen API-Modelle weiterhin vorn. Wer air-gapped baut, tauscht einen Rest Modellqualität gegen maximale Datenhoheit — und sollte diese Entscheidung bewusst treffen, nicht aus Prinzip.

Der Denkfehler „Modell = KI“: Warum die Architektur wichtiger ist

Die häufigste Fehlannahme in Entscheidergesprächen: „Wir müssen das richtige Modell auswählen.“ Modelle altern in Monaten — was heute Spitzenklasse ist, ist in einem Jahr Mittelfeld, und die nächste Generation steht schon bereit. Eine gute Architektur hält dagegen Jahre: die Anbindung Ihrer Datenquellen, die Rechteverwaltung, das Audit-Log, die Integration in Slack oder Teams ändern sich nicht, nur weil ein besseres Modell erscheint.

Daraus folgt unser wichtigstes Design-Prinzip: Modellagnostik. Das Sprachmodell ist in einer sauberen Architektur eine austauschbare Komponente — heute ein Open-Weight-Modell auf Ihrem Server, morgen dessen Nachfolger, ohne dass Wissensbasis, Berechtigungen oder Integrationen angefasst werden müssen. Wer sich dagegen an die Plattform eines einzelnen Modellanbieters bindet, baut dessen Roadmap in sein Unternehmen ein.

Und schließlich: Zugriffskontrolle vor Kontext. Egal welche Schutzstufe Sie wählen — das System muss vor jeder Antwort prüfen, wer fragt und was diese Person sehen darf. Eine private KI, in der jeder Mitarbeiter per Chatbot an Gehaltslisten kommt, ist kein Datenschutzgewinn, sondern ein neues Risiko.

Können wir mit Cloud starten und später auf On-Prem wechseln?

Ja — wenn von Anfang an modellagnostisch gebaut wird. Weil Ihr Wissen per RAG angebunden statt in ein Modell eintrainiert wird, liegt der Wert in der Architekturschicht: Datenanbindungen, Rechte, Workflows. Diese Schicht zieht mit um — der Wechsel von EU-Cloud auf einen dedizierten Server oder On-Premises ist dann ein Infrastrukturprojekt von Wochen, kein Neustart. Genau so bauen wir unsere KI-Systeme für Unternehmen: Viele Kunden starten bewusst in Stufe A, sammeln Erfahrung mit echten Nutzern und migrieren später die sensiblen Anwendungsfälle auf Stufe B oder C.

Was das kostet — ehrliche Rahmen statt „kommt drauf an“

Konkrete Zahlen hängen am Einzelfall, aber grobe Rahmen lassen sich nennen. Ein Pilot in der EU-Cloud (Option A) beginnt im niedrigen fünfstelligen Bereich für Setup und Datenanbindung, der Betrieb ist nutzungsbasiert und liegt bei typischen Teams im niedrigen bis mittleren dreistelligen Monatsbereich. Ein dedizierter Server (Option B) bewegt sich beim Setup im mittleren fünfstelligen Bereich, dazu eine monatliche Rate für Infrastruktur und Betrieb im niedrigen vierstelligen Bereich. On-Premises (Option C) startet mit einem Hardware-Invest ab dem mittleren fünfstelligen Bereich aufwärts — plus dem laufenden Betrieb, den viele unterschätzen. Der am häufigsten unterschätzte Posten liegt allerdings woanders: die Datenaufbereitung. Veraltete Wiki-Seiten, doppelte Dokumente und ungeklärte Berechtigungen kosten in Projekten regelmäßig mehr Aufwand als die Technik selbst. Zur Einordnung des Nutzens: Bei Rock IT hatte sich das System nach rund drei Monaten dreifach bezahlt gemacht. Detaillierte Zahlen und Rechenbeispiele finden Sie im Kosten-Artikel.

Praxisbeispiel: Schweizer Systemhaus, Daten bleiben in der Schweiz

Rock IT, ein Schweizer IT-Systemhaus, stand vor einer typischen Konstellation: Tausende historischer Support-Tickets und Systemdaten voller Kundeninformationen — wertvoll als Wissensbasis, aber tabu für öffentliche KI-Dienste. Die Wahl fiel auf einen dedizierten Betrieb mit Datenhaltung in der Schweiz (Option B): volle Kontrolle über die Kundendaten, ohne eigene GPU-Server anschaffen und betreiben zu müssen. Angebunden wurden die Ticket-Historie und eine direkte SQL-Schnittstelle zu den Bestandssystemen; nach zwei Wochen war der Assistent produktiv. Das Ergebnis: rund 80 % schnellere Ticket-Lösung und über 40 eingesparte Stunden pro Woche — bei Daten, die zu keinem Zeitpunkt das Land verlassen haben. Die ganze Geschichte lesen Sie in der Case Study Rock IT.

FAQ

Reicht ein europäischer Cloud-Anbieter für DSGVO-Konformität?

Er ist eine gute Grundlage, aber kein Automatismus. DSGVO-Konformität entsteht aus dem Zusammenspiel von Hosting-Standort, Auftragsverarbeitungsvertrag, technischen Maßnahmen (Verschlüsselung, Zugriffskontrolle, Löschkonzepte) und sauber dokumentierten Prozessen. Ein EU-Rechenzentrum eines US-Konzerns wirft zudem weiterhin Fragen zum Drittlandzugriff auf — hier lohnt der genaue Blick auf die Vertragskonstruktion. Wie DSGVO und KI-Einsatz konkret zusammenpassen, haben wir im Artikel zum EU AI Act für AI Agents (inkl. DSGVO-Abgrenzung) aufgeschlüsselt.

Wie gut sind lokale Open-Source-Modelle 2026 wirklich?

Sehr gut für das, was Unternehmen im Alltag brauchen: quellenbasierte Antworten aus der eigenen Wissensbasis, Zusammenfassungen, Dokumentenanalyse, Klassifikation, mehrsprachige Kommunikation. In einer RAG-Architektur, in der das Modell aus Ihren Dokumenten antwortet statt aus seinem Gedächtnis, ist der Abstand zu den großen API-Modellen für diese Aufgaben kaum noch spürbar. Grenzen zeigen sich bei sehr komplexem mehrstufigem Schlussfolgern und bei Nischenwissen außerhalb der eigenen Datenbasis — wer solche Anwendungsfälle hat, fährt mit Stufe A oder einem Hybrid-Ansatz besser.

Was sagt der Betriebsrat dazu?

In unserer Erfahrung ist der Betriebsrat kein Gegner, sondern will drei Dinge schwarz auf weiß: keine Leistungs- und Verhaltenskontrolle einzelner Mitarbeiter, klare Datenflüsse und ein nachvollziehbares Audit-Log. Eine private Architektur beantwortet diese Fragen deutlich leichter als ein US-Cloud-Tool. Wir stellen Interessenten dafür eine Vorlage für die Betriebsratsvereinbarung bereit — sprechen Sie uns im Discovery-Gespräch darauf an.

Was ist mit dem EU AI Act?

Interne Assistenten mit Wissensbasis fallen in aller Regel nicht unter die Hochrisiko-Kategorien — aber die Transparenzpflichten nach Artikel 50 gelten seit dem 2. August 2026 auch hier, sobald Systeme mit Außenwirkung im Spiel sind. Eine private Architektur mit eingebautem Audit-Log und Kennzeichnung macht die Umsetzung deutlich einfacher. Die Details haben wir im Artikel EU AI Act ab August 2026 zusammengefasst.

Welche Schutzstufe passt zu Ihnen? In einem 45-minütigen Discovery-Gespräch klären wir Datenlage, Regulatorik und den sinnvollsten Einstieg — nüchtern und ohne Verkaufsdruck. Und wenn Sie lieber erst im Kleinen testen: So führen Sie AI Agents im 2-Monats-Pilot ein, bevor Sie über die Zielarchitektur entscheiden.