Lokale KI im Unternehmen: KI-Server kaufen, mieten oder Cloud nutzen?

Was ist lokale KI?

Lokale KI bedeutet, dass ein Sprachmodell auf Hardware läuft, die Ihr Unternehmen selbst kontrolliert, statt als Dienst eines Cloud-Anbieters. Eingaben und Antworten werden dann auf diesem Rechner verarbeitet. Gebräuchlich sind auch die Begriffe lokales LLM (Large Language Model), On-Premise-KI oder KI-Server.

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) definiert den lokalen Betrieb in seinem Kriterienkatalog für generative KI-Modelle als „Betrieb eines KI-Modells in eigener Verantwortung auf eigener Hardware“ (BSI, Version 1.0 vom 6. Juni 2025, geschrieben für die Bundesverwaltung). Technisch gehören drei Bausteine dazu:

• Ein offenes Modell: ein Sprachmodell, dessen Gewichte Sie herunterladen und selbst betreiben dürfen. Ein Beispiel ist gpt-oss von OpenAI, veröffentlicht unter der Lizenz Apache 2.0 (OpenAI auf GitHub). Prüfen Sie bei jedem Modell die Lizenz, bevor Sie es geschäftlich einsetzen.
• Eine Laufzeitumgebung: Software, die das Modell lädt und Anfragen beantwortet, zum Beispiel Ollama, llama.cpp oder vLLM.
• Der KI-Server: ein Rechner mit genügend Grafikspeicher, auf dem beides läuft.

Wir betreiben selbst lokale Sprachmodelle auf eigener Hardware im Büro. Die Einordnung auf dieser Seite stützt sich auf diese Praxis und auf die verlinkten Primärquellen, Stand November 2026.

Lokal, gemietet oder Cloud: Welche Betriebsart passt?

Für mittelständische Unternehmen gibt es drei Betriebsarten: den eigenen KI-Server im Haus, den gemieteten Server in einem Rechenzentrum in Deutschland oder der EU und die Cloud-API eines Modellanbieters. Sie unterscheiden sich darin, wer die Eingaben verarbeitet, welche Modelle zur Wahl stehen, wie die Kosten entstehen und wer den Betrieb trägt.

Die Betriebsarten schließen sich nicht aus. Sie können mit einer Cloud-API für unkritische Aufgaben beginnen und vertrauliche Vorgänge später auf einen eigenen oder gemieteten Server verlagern. Wichtig ist, dass die Anbindung an Ihre Systeme dabei dieselbe bleibt (siehe Anbindung per MCP-Server).

Wann lohnt sich ein eigener KI-Server?

Ein eigener KI-Server lohnt sich, wenn drei Bedingungen zusammenkommen: Die Daten sind so vertraulich, dass kein weiterer Dienstleister sie verarbeiten soll, die Aufgaben fallen regelmäßig an, und ein offenes Modell löst sie in ausreichender Qualität. Fehlt eine der drei Bedingungen, ist ein gemieteter Server oder eine Cloud-API meist die bessere Wahl.

Prüfen Sie die Entscheidung an diesen Fragen, bevor Sie Hardware bestellen:

• Welche Daten sollen verarbeitet werden?Personenbezogene Daten, Geschäftsgeheimnisse und Mandantenunterlagen sprechen für eine Umgebung unter eigener Kontrolle.
• Wie gleichmäßig ist die Nutzung?Ein Server kostet auch dann, wenn niemand ihn nutzt. Eine Cloud-API kostet in der Regel nur bei Nutzung.
• Welche Aufgaben sind es?Zusammenfassen, Einordnen, Auslesen und Entwerfen sind typische Aufgaben für lokale Modelle. Anspruchsvolle mehrstufige Aufgaben sollten Sie vorab testen.
• Wer betreibt den Server?Updates, Sicherung und Überwachung brauchen eine zuständige Person oder einen Dienstleister.
• Wie viele Personen arbeiten gleichzeitig damit?Gleichzeitige Anfragen erhöhen den Speicherbedarf und bestimmen die Auslegung.
• Was passiert bei einem Ausfall?Legen Sie fest, ob die Arbeit dann ruht, von Hand weiterläuft oder auf einen zweiten Weg ausweicht.

Rechnen Sie die Varianten mit Ihren eigenen Zahlen gegeneinander: Anschaffung, Strom und Betriebsstunden auf der einen Seite, das erwartete Nutzungsvolumen zum Verbrauchspreis des Anbieters auf der anderen. Preise nennen wir hier bewusst nicht, weil sie sich mit jeder Hardware- und Modellgeneration ändern.

KI-Server kaufen oder mieten?

Kaufen passt, wenn der Server dauerhaft ausgelastet ist und die Modellverarbeitung in Ihren Räumen stattfinden soll. Mieten passt, wenn Sie flexibel bleiben wollen oder die nötige Hardware im Büro nicht sinnvoll zu betreiben ist. Beim Mieten gibt es zwei Formen, die oft verwechselt werden:

• Dedizierter GPU-Server: Sie mieten einen ganzen Server mit Grafikkarte und installieren Laufzeitumgebung und Modell selbst. Hetzner etwa vermietet solche Server und nennt als Standorte Rechenzentren in Deutschland und Finnland. Nicht jeder Servertyp steht an jedem Standort, prüfen Sie den Standort deshalb vor der Bestellung (Hetzner, Stand November 2026).
• Gehostete offene Modelle: Der Anbieter betreibt offene Modelle und stellt sie über eine Schnittstelle bereit. IONOS beschreibt seinen AI Model Hub als in Deutschland gehostete Plattform mit OpenAI-kompatibler Schnittstelle und gibt an, Kundendaten nicht für Trainingszwecke zu nutzen (IONOS, Stand November 2026). Technisch ist das eine Cloud-API, nur mit offenen Modellen und einem Anbieter aus Deutschland.

Die beiden Anbieter sind Beispiele, keine Empfehlung. Für jede Mietvariante gilt: Lassen Sie sich Standort, Unterauftragnehmer und Zugriffsmöglichkeiten des Betreibers schriftlich geben, bevor Sie Daten dorthin schicken.

Welche Hardware braucht ein KI-Server?

Entscheidend ist der Grafikspeicher: Ein Modell muss vollständig in den Speicher der Grafikkarte passen, damit es zügig antwortet. Wie groß der Unterschied zwischen Modellen ist, zeigen die Herstellerangaben von OpenAI: Das kleinere gpt-oss-20b läuft innerhalb von 16 GB Speicher, das größere gpt-oss-120b braucht eine einzelne Grafikkarte mit 80 GB (OpenAI auf GitHub).

Vier Größen bestimmen die Auslegung:

• Modellgröße und Quantisierung: Quantisierte Modelle speichern ihre Gewichte mit weniger Bits, laut llama.cpp für schnellere Antworten und geringeren Speicherbedarf (llama.cpp). Ob die Antwortqualität für Ihre Aufgabe reicht, zeigt nur ein Test mit eigenen Beispielen.
• Kontextlänge: Je mehr Text das Modell auf einmal lesen soll, desto mehr Speicher braucht es. Ollama arbeitet in der Voreinstellung mit einem Kontextfenster von 4.096 Token. Für lange Dokumente müssen Sie den Wert erhöhen (Ollama-Dokumentation).
• Gleichzeitige Anfragen: Ollama verarbeitet je Modell in der Voreinstellung eine Anfrage zur selben Zeit. Mehr parallele Anfragen erhöhen den Speicherbedarf (Ollama-Dokumentation). Für viele gleichzeitige Nutzer gibt es Laufzeitumgebungen wie vLLM, die Anfragen laufend bündeln (vLLM).
• Grafikkarte oder Arbeitsspeicher: Passt ein Modell nicht ganz in den Grafikspeicher, kann llama.cpp es auf Grafikkarte und Prozessor verteilen. Das funktioniert, ist aber langsamer als der Betrieb allein auf der Grafikkarte.

Zur Hardware gehören außerdem ausreichend schneller Massenspeicher für die Modelle, eine Sicherung der Konfiguration, eine unterbrechungsfreie Stromversorgung und ein Platz mit passender Kühlung. Legen Sie die Hardware erst fest, wenn Aufgabe, Modell und Zahl der gleichzeitigen Nutzer feststehen, nicht umgekehrt.

Was gehört zum Betrieb eines lokalen LLM?

Ein lokales LLM zu betreiben heißt, einen Server mit allen üblichen Pflichten der IT zu führen: Zugriffe regeln, Updates einspielen, sichern, überwachen und Änderungen testen. Der lokale Betrieb ersetzt die IT-Sicherheit nicht. Der Kriterienkatalog des BSI verlangt für lokal betriebene Modelle ausdrücklich klassische IT-Sicherheitsmaßnahmen und verweist dafür auf Bausteine des IT-Grundschutzes.

• Zugriff und RechteWer darf das Modell nutzen, und auf welche Daten darf es für wen zugreifen? Die Rechteprüfung gehört in die Anbindung, nicht in das Modell.
• NetzgrenzenDer Server sollte nur aus dem Firmennetz erreichbar sein. Fernwartung läuft über einen gesicherten, protokollierten Weg.
• Cloud-Funktionen der SoftwareOllama bietet neben lokalen auch in der Cloud gehostete Modelle an. Für einen rein lokalen Betrieb lassen sich diese Funktionen abschalten (Ollama-Dokumentation).
• Updates und ModellwechselNeue Modellversionen verhalten sich anders. Wechseln Sie erst nach einem Test mit festen eigenen Beispielen.
• Protokolle und LöschungLegen Sie fest, welche Eingaben und Antworten gespeichert werden, wer sie sehen darf und wann sie gelöscht werden.
• Sicherung und AusfallSichern Sie Konfiguration und Wissensbestände, und klären Sie, wie lange der Betrieb ohne den Server auskommt.

Sobald das Modell Werkzeuge aufrufen oder fremde Texte lesen darf, kommen eigene Risiken hinzu, etwa eingeschleuste Anweisungen in Dokumenten und E-Mails. Mehr dazu im Ratgeber Prompt Injection.

Ist lokale KI DSGVO-konform?

Nicht automatisch. Der lokale Betrieb vereinfacht den Datenweg, weil für die Modellverarbeitung kein externer Dienst nötig ist. Die übrigen Pflichten der DSGVO gelten unverändert. Die Konferenz der Datenschutzaufsichtsbehörden (DSK) hält in ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ fest, dass technisch geschlossene Systeme aus datenschutzrechtlicher Sicht vorzugswürdig sind (DSK, 6. Mai 2024, Randnummer 20). Ein Freibrief ist das nicht. Für die drei Betriebsarten heißt das:

• Eigener Server: Betreibt ein Unternehmen die KI-Anwendung ausschließlich zu eigenen Zwecken auf eigenen Servern, ist es laut DSK in der Regel alleiniger Verantwortlicher (Randnummer 32). Rechtsgrundlage, Zugriffsrechte, Löschung und die Sicherheit der Verarbeitung nach Art. 32 DSGVO bleiben Ihre Aufgabe. Hat ein Dienstleister Fernzugriff auf den Server, ist auch dafür eine Auftragsverarbeitung zu prüfen.
• Gemieteter Server: Der Betreiber des Rechenzentrums kommt als weiterer Beteiligter hinzu. Mit einem Auftragsverarbeiter ist ein Vertrag nach Art. 28 DSGVO zu schließen, einschließlich der Regeln zu Unterauftragnehmern.
• Cloud-API: Hier ist der Anbieter laut DSK häufig Auftragsverarbeiter. Sitzt er außerhalb der EU oder verarbeitet er dort, gelten zusätzlich die Regeln für Übermittlungen in Drittländer nach Kapitel V der DSGVO (Art. 44 und folgende).

Die DSK weist außerdem darauf hin, dass beim Einsatz von KI-Anwendungen vielfach eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich sein wird (Randnummer 39). Das gilt unabhängig davon, wo das Modell läuft.

Auch bei Cloud-Anbietern lohnt der Blick in die Bedingungen, weil sie sich stark unterscheiden. Zwei Beispiele, Stand November 2026:

• Microsoft Azure: Microsoft gibt an, dass Eingaben und Antworten der über Azure verkauften Modelle weder OpenAI noch anderen Kunden zugänglich sind und nicht zum Training der Basismodelle verwendet werden. Bei einer Bereitstellung vom Typ „DataZone“ in einem EU-Mitgliedstaat kann die Verarbeitung in diesem oder einem anderen EU-Mitgliedstaat stattfinden, beim Typ „Global“ in jeder Region, in der das Modell bereitsteht (Microsoft Learn).
• OpenAI-API: OpenAI gibt an, über die API gesendete Daten nicht zum Training zu verwenden, sofern der Kunde nicht ausdrücklich zustimmt. Missbrauchsprotokolle werden in der Voreinstellung bis zu 30 Tage aufbewahrt. Eine Verarbeitung in Europa setzt eine vorherige Freigabe besonderer Aufbewahrungseinstellungen durch OpenAI voraus (OpenAI-Dokumentation).

Diese Einordnung ist keine Rechtsberatung. Wie Sie Datenwege, Rechte und Protokolle für eine konkrete Anbindung planen, steht im Ratgeber KI datenschutzgerecht anbinden. Für Kanzleien und andere Berufsgeheimnisträger gibt es den Ratgeber KI in der Kanzlei und § 203 StGB.

Gilt die KI-Verordnung auch für lokale KI?

Ja. Die KI-Verordnung der EU knüpft an die Rolle an, nicht an den Ort, an dem das Modell läuft. Betreiber ist nach Art. 3 Nr. 4 der Verordnung (EU) 2024/1689, wer ein KI-System in eigener Verantwortung beruflich verwendet. Das trifft auf ein Unternehmen mit eigenem KI-Server ebenso zu wie auf eines, das eine Cloud-API nutzt.

Für jeden Betreiber gilt Art. 4 zur KI-Kompetenz. In der Fassung der Änderungsverordnung (EU) 2026/1744 verpflichtet er Anbieter und Betreiber, Maßnahmen zu ergreifen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Ein bestimmtes Kompetenzniveau müssen sie dabei für niemanden garantieren. Art. 4 steht in Kapitel I, das nach Art. 113 seit dem 2. Februar 2025 gilt. Welche weiteren Pflichten greifen, hängt vom Einsatzzweck ab und nicht von der Betriebsart (Verordnung (EU) 2024/1689, Verordnung (EU) 2026/1744).

Wo liegen die Grenzen lokaler KI-Modelle?

Lokale Modelle sind durch die Hardware begrenzt, auf der sie laufen: in der Modellgröße, in der Textmenge, die sie auf einmal verarbeiten, und in der Zahl gleichzeitiger Anfragen. Die größten proprietären Modelle der Cloud-Anbieter lassen sich nicht herunterladen und stehen lokal nicht zur Verfügung. Daraus folgen vier Grenzen:

• Qualität hängt von der Aufgabe ab. Ob ein offenes Modell für Ihre Aufgabe reicht, lässt sich nicht aus Ranglisten ablesen. Verlässlich ist nur ein Test mit eigenen Vorgängen und einer festen Erwartung an das Ergebnis.
• Urteil bleibt beim Menschen. Entscheidungen über Zahlen, Verträge und Personen gehören unabhängig vom Modell in eine Freigabe durch eine berechtigte Person.
• Betrieb ist Daueraufgabe. Ein Server, den niemand pflegt, veraltet. Ohne Zuständigkeit für Updates, Sicherung und Überwachung ist eine Cloud-API die ehrlichere Wahl.
• Lokal heißt nicht abgeschottet. Liegen E-Mail, Ablage oder Fachsoftware bei Cloud-Anbietern, ändert der KI-Server daran nichts. Er sorgt nur dafür, dass für die Modellverarbeitung kein weiterer Dienst hinzukommt.

Wie kommt lokale KI an Ihre Systeme?

Ein Sprachmodell kennt Ihre Aufträge, Belege und Kundendaten nicht, auch wenn es im eigenen Haus läuft. Die Verbindung zu Ihren Systemen entsteht über Werkzeuge, die das Modell aufrufen darf. Dafür gibt es das Model Context Protocol (MCP), einen quelloffenen Standard, der KI-Anwendungen mit externen Systemen verbindet (modelcontextprotocol.io).

Ein MCP-Server stellt ausgewählte Funktionen Ihrer Systeme bereit, zum Beispiel „Auftragsstatus lesen“ oder „offene Posten eines Kunden anzeigen“, und prüft bei jedem Aufruf, was die fragende Person sehen darf. Lokale Laufzeitumgebungen wie Ollama unterstützen den Aufruf solcher Werkzeuge (Ollama-Dokumentation). Wie zuverlässig ein bestimmtes Modell Werkzeuge aufruft, gehört in den Test vor dem Einsatz.

Der Vorteil dieser Trennung: Der MCP-Server hängt nicht am Modell. Sie können mit einer Cloud-API beginnen und später auf einen eigenen KI-Server wechseln, oder beides nebeneinander betreiben, ohne die Anbindung an Buchhaltung, ERP oder CRM neu zu bauen. Rechte, Protokolle und Grenzen bleiben an einer Stelle. Details zu Sicherheit und Rechten stehen im Ratgeber MCP-Server Sicherheit und DSGVO, die Übersicht im MCP-Server-Guide.

Wie gehen wir bei lokaler KI vor?

Wir beraten zur Betriebsart, wählen mit Ihnen Modell und Hardware oder Rechenzentrum aus, richten die Umgebung ein und binden Ihre vorhandenen Systeme per MCP-Server an. Das ist eine Dienstleistung, kein fertiges Produkt: Umfang und Auslegung richten sich nach Ihren Aufgaben und Daten.

• Aufgaben und Daten klären
• Betriebsart wählen: lokal, gemietet oder Cloud
• Mit eigenen Beispielen testen
• Einrichten und Systeme anbinden
• Betrieb und Zuständigkeiten festlegen

Am Anfang steht der kostenlose KI-Check: ein Gespräch von 30 Minuten, nach dem Sie ein einseitiges Dokument mit einer klaren Empfehlung bekommen. Den Zeitplan legen wir nach dem KI-Check fest.

Primärquellen

• BSI: Kriterienkatalog zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen, Version 1.0 vom 6. Juni 2025.
• DSK: Orientierungshilfe Künstliche Intelligenz und Datenschutz, Version 1.0 vom 6. Mai 2024.
• DSGVO: Art. 28, 32, 35 und Kapitel V.
• Verordnung (EU) 2024/1689 (KI-Verordnung): Art. 3 Nr. 4, Art. 4 und Art. 113, geändert durch die Verordnung (EU) 2026/1744.
• Herstellerangaben: OpenAI gpt-oss, Ollama, llama.cpp, vLLM, Model Context Protocol, Microsoft Learn, OpenAI-API, Hetzner, IONOS. Alle abgerufen im November 2026.

Häufige Fragen zu lokaler KI und KI-Servern

Wie funktioniert lokale KI?

Ein offenes Sprachmodell wird auf einen eigenen oder gemieteten Server geladen. Eine Laufzeitumgebung wie Ollama, llama.cpp oder vLLM nimmt Anfragen aus dem Firmennetz an und gibt die Antworten des Modells zurück. Die Modellverarbeitung findet auf diesem Server statt, nicht bei einem Cloud-Anbieter.

Welche Hardware braucht lokale KI?

Vor allem genügend Grafikspeicher. Laut OpenAI läuft das Modell gpt-oss-20b innerhalb von 16 GB Speicher, gpt-oss-120b braucht eine Grafikkarte mit 80 GB. Dazu kommen Kontextlänge und gleichzeitige Anfragen, die den Bedarf erhöhen. Legen Sie die Hardware erst fest, wenn Aufgabe und Modell feststehen.

Was kostet ein KI-Server?

Die Kosten bestehen aus Anschaffung oder Miete, Strom, Einrichtung und laufendem Betrieb mit Updates, Sicherung und Überwachung. Beträge nennen wir hier nicht, weil sie von Modell, Hardware und Nutzerzahl abhängen und sich schnell ändern. Rechnen Sie den Server gegen das erwartete Nutzungsvolumen einer Cloud-API.

KI-Server mieten oder kaufen?

Kaufen passt bei dauerhafter Auslastung und wenn die Modellverarbeitung in Ihren Räumen stattfinden soll. Mieten passt, wenn Sie flexibel bleiben wollen oder die Hardware im Büro nicht sinnvoll zu betreiben ist. Achten Sie beim Mieten auf den Standort des Rechenzentrums und auf den Vertrag zur Auftragsverarbeitung.

Ist lokale KI DSGVO-konform?

Nicht automatisch. Der lokale Betrieb vereinfacht den Datenweg, weil für die Modellverarbeitung kein externer Dienst nötig ist. Rechtsgrundlage, Zugriffsrechte, Löschung und Sicherheit der Verarbeitung bleiben Aufgabe des Unternehmens. Die Datenschutzkonferenz bewertet technisch geschlossene Systeme als vorzugswürdig. Das ist eine Einordnung, keine Rechtsberatung.

Wie gut sind lokale KI-Modelle im Vergleich zu ChatGPT?

Das hängt von der Aufgabe ab. Zusammenfassen, Einordnen, Auslesen und Entwerfen sind typische Aufgaben für lokale Modelle. Die größten proprietären Modelle der Cloud-Anbieter stehen lokal nicht zur Verfügung. Verlässlich ist nur ein Test mit eigenen Vorgängen.

Welche lokale KI ist die beste?

Ein bestes Modell für alle Aufgaben gibt es nicht. Die Wahl hängt von Aufgabe, Sprache, Lizenz und verfügbarem Grafikspeicher ab. Sinnvoll ist, zwei oder drei offene Modelle mit denselben eigenen Beispielen zu testen und danach zu entscheiden.

Kann lokale KI mit KI-Agenten und eigenen Systemen arbeiten?

Ja, wenn Modell und Laufzeitumgebung Werkzeugaufrufe unterstützen. Die Verbindung zu Buchhaltung, ERP oder CRM läuft über einen MCP-Server, der bei jedem Aufruf die Rechte prüft. Derselbe MCP-Server funktioniert mit lokalen Modellen und mit Cloud-Modellen.