Lokale KI, Rechenzentrum, EU-Anbieter oder Cloud: Welche Lösung für was?

Kurz beantwortet

Es gibt vier grundsätzliche Wege, KI im Unternehmen zu betreiben. Bei jedem gibt ein anderer Faktor den Ausschlag:

• Lokale KI auf dem Arbeitsplatzrechner: Ein offenes Modell läuft direkt auf dem Rechner eines Mitarbeitenden. Entscheidend ist die Leistung: Sie ist der am stärksten begrenzende Faktor.
• KI im eigenen Rechenzentrum: Offene Modelle laufen auf eigener Unternehmenshardware im eigenen Rechenzentrum. Entscheidend sind Beschaffungskosten und Auslastung: Amortisiert sich die Investition im Vergleich zum Betrieb bei einem EU-Anbieter?
• EU-Anbieter: Sie nutzen KI-Modelle oder gemietete Rechenkapazität bei einem Unternehmen mit Sitz und Rechenzentren in der EU. Entscheidend sind rechtliche Erwägungen in Kombination mit der Kostenfrage, mit der Einschränkung, dass die führenden Frontier-Modelle dort nicht verfügbar sind.
• Cloud: Sie nutzen die Dienste der führenden Anbieter wie Anthropic, OpenAI oder Google. Entscheidend ist die Wettbewerbsfähigkeit an der Spitze: höchste Leistung und modernste Systeme für die Anwendungen, die echte Wettbewerbsvorteile bringen.

Die richtige Antwort ergibt sich aus drei Fragen: Welche Daten werden verarbeitet? Wie anspruchsvoll sind die Aufgaben? Wie viele Nutzer erzeugen welche Last? In der Praxis landen die meisten Unternehmen bei einer Kombination.

Lassen Sie sich unabhängig beraten

Bevor Sie hierüber eine Entscheidung treffen, lassen Sie sich von jemandem beraten, der Ihnen keine der Lösungen verkaufen will. Drei Gründe:

• Jeder Anbieter empfiehlt seine eigene Lösung. Systemhäuser und Hardwarehändler verdienen an Servern, Rechenzentrumsbetreiber an Kapazität, Cloud-Anbieter an Abonnements. Die Empfehlung folgt oft der eigenen Marge, nicht Ihrem Bedarf.
• Fehlentscheidungen sind teuer und schwer umkehrbar. Eine GPU-Investition im sechsstelligen Bereich, die sich nicht amortisiert, oder eine tiefe Bindung an einen Anbieter lassen sich nicht einfach zurückdrehen.
• Die richtige Antwort ist meist eine Kombination. Die kann Ihnen kaum jemand neutral empfehlen, der nur eine der vier Optionen im Angebot hat. Dafür braucht es den Blick auf alle Optionen zugleich, technisch, wirtschaftlich und rechtlich.

Die vier Optionen im Überblick

Lokale KI auf dem Arbeitsplatzrechner

Ein offenes Sprachmodell (LLM) wird auf dem Rechner eines einzelnen Mitarbeitenden installiert und läuft dort ohne Verbindung nach außen. Die Daten verlassen das Gerät nicht, die Einrichtung ist schnell erledigt, und die laufenden Kosten sind gering.

Der begrenzende Faktor ist die Leistung. Ein Rechner mit einer starken Grafikkarte mit 24 bis 32 GB Speicher betreibt offene Modelle bis etwa 30 Milliarden Parameter flüssig. Das reicht für Zusammenfassungen, Übersetzungen, Entwürfe und Fragen zu einzelnen Dokumenten. Das Maximum setzen derzeit Rechner mit sehr großem gemeinsamem Arbeitsspeicher wie ein Mac Studio mit 512 GB: Darauf laufen in komprimierter Form selbst Modelle mit mehreren hundert Milliarden Parametern, aber spürbar langsamer und immer nur für eine Person. An die führenden Cloud-Modelle reicht auch das nicht heran.

Lokale KI ist damit eine gute Lösung für einzelne Fachleute mit vertraulichen Unterlagen und überschaubaren Aufgaben, keine Lösung für das ganze Unternehmen.

KI im eigenen Rechenzentrum

Das Unternehmen beschafft eigene Server mit Rechenzentrums-GPUs, betreibt darauf im On-Premise-Betrieb offene Modelle und stellt sie allen Mitarbeitenden zur Verfügung. Die Daten bleiben vollständig unter eigener Kontrolle. Das ist das stärkste Argument für diese Option: geheime Daten, die nicht in eine Cloud sollen, etwa Konstruktionsdaten, Rezepturen, Verteidigungs- oder Übernahmeprojekte.

Der entscheidende Faktor sind Beschaffungskosten und Auslastung. Die Frage lautet: Amortisiert sich die Investition im Vergleich dazu, dieselbe Leistung bei einem EU-Anbieter zu mieten? Das gelingt nur, wenn die Hardware über ihre gesamte Nutzungsdauer gut ausgelastet ist. Da GPU-Generationen derzeit rasend schnell veralten, sollte die Rechnung nach etwa anderthalb Jahren aufgehen.

Vorsicht vor den Investitionskosten: Ein Server für einzelne Anwendungen mit wenigen Nutzern ist überschaubar. Sobald aber mehrere Nutzer gleichzeitig nennenswerte Last erzeugen, kurze Antwortzeiten gefordert sind oder große Datenmengen verarbeitet werden, braucht es schnell mehrere Server mit jeweils acht Rechenzentrums-GPUs. Jeder davon kostet einen mittleren bis hohen sechsstelligen Betrag. Hinzu kommen Strom, Kühlung, die viele bestehende Serverräume gar nicht leisten können, und Fachpersonal für den Betrieb.

EU-Anbieter

Europäische Unternehmen bieten KI-Modelle als Dienst an oder vermieten GPU-Kapazität in Rechenzentren in der EU. Sie zahlen nach Nutzung oder für reservierte Kapazität, haben keinen Hardwareaufwand und einen Vertragspartner, der vollständig europäischem Recht unterliegt.

Das ist der Kern dessen, was oft als souveräne KI bezeichnet wird. Hier zählen in erster Linie rechtliche Erwägungen: kein Drittlandtransfer, kein Zugriff ausländischer Behörden nach deren Recht, klare Verhältnisse für besondere Datenkategorien und Berufsgeheimnisse. Dazu kommt die Kostenfrage als Gegenstück zum eigenen Rechenzentrum: Wer die Kontrolle eines eigenen Rechenzentrums nicht zwingend braucht, bekommt hier vergleichbare Modelle ohne Investition und ohne Auslastungsrisiko.

Die wichtigste Einschränkung: Die führenden Frontier-Modelle werden von ihren Herstellern in aller Regel nicht zum Betrieb in fremden Rechenzentren herausgegeben. Bei EU-Anbietern laufen offene Modelle, oft auch Open-Source-Modelle genannt, und die Modelle europäischer Hersteller. Die sind für viele Aufgaben gut, für die anspruchsvollsten aber nicht auf Augenhöhe mit der Spitze.

Cloud

Die führenden Anbieter haben die leistungsfähigsten Modelle, die neuesten Funktionen und die meisten fertigen Integrationen, etwa in Office-Programme, Entwicklungsumgebungen und Unternehmenssoftware. Für Unternehmenskunden gibt es Verträge mit Auftragsverarbeitung, ohne Training auf Ihren Daten und meist mit wählbarer Datenverarbeitung in der EU.

Das Kriterium hier ist die Wettbewerbsfähigkeit an der KI-Spitze. Für Anwendungen, die echte Wettbewerbsvorteile bringen, etwa selbstständig arbeitende Agenten, Softwareentwicklung, komplexe Analysen oder anspruchsvolle Inhalte, macht der Leistungsvorsprung der Frontier-Modelle den Unterschied. Wer hier aus Vorsicht auf schwächere Modelle ausweicht, überlässt diesen Vorteil der Konkurrenz.

Der Anbieter bleibt allerdings meist ein US-Unternehmen und unterliegt damit auch US-Recht, selbst wenn die Daten in einem europäischen Rechenzentrum verarbeitet werden.

Bewertung nach Kriterien

Welche Lösung für welchen Fall

So treffen Sie die Entscheidung

1. Daten klassifizieren

Teilen Sie die Daten, mit denen KI arbeiten soll, in Klassen ein: keine personenbezogenen Daten, gewöhnliche personenbezogene Daten, besondere Kategorien und Berufsgeheimnisse, geheime Unternehmensdaten. Wie diese Einteilung datenschutzrechtlich funktioniert, steht in DSGVO-konforme KI im Unternehmen. Für jede Klasse legen Sie fest, welche Betriebsmodelle zulässig sind.

2. Wettbewerbsrelevante Anwendungen identifizieren

Wo kann KI Ihnen einen echten Vorsprung verschaffen? Für diese Anwendungen sollte die Leistung den Ausschlag geben, also in der Regel die Cloud, soweit die Daten es zulassen. Für Routineaufgaben genügen oft schwächere Modelle.

3. Last abschätzen

Wie viele Nutzer, wie viele Anfragen, wie gleichmäßig verteilt, welche Antwortzeiten, welche Datenmengen? Diese Zahlen entscheiden, ob ein Arbeitsplatzrechner reicht, wie groß ein eigenes Rechenzentrum sein müsste und was ein EU-Anbieter kosten würde.

4. Amortisation rechnen

Wenn ein eigenes Rechenzentrum in Frage kommt: Stellen Sie Anschaffung, Strom, Kühlung, Personal und Abschreibung über etwa anderthalb Jahre den Kosten gegenüber, die dieselbe Leistung bei einem EU-Anbieter verursachen würde. Rechnen Sie mit realistischer, nicht mit erhoffter Auslastung. Geht die Rechnung nicht auf und gibt es keine geheimen Daten, die das eigene Rechenzentrum zwingend erfordern, ist der EU-Anbieter die bessere Wahl.

5. Kombination festlegen und Wechsel ermöglichen

Legen Sie fest, welche Daten und Aufgaben wohin gehen, und schreiben Sie das in eine verständliche KI-Richtlinie für die Mitarbeitenden. Bauen Sie Anwendungen so, dass das Modell dahinter ausgetauscht werden kann. Der Markt verändert sich schnell, und was heute richtig ist, kann in einem Jahr anders aussehen.

Was Sie beachten müssen

Lokal ist nicht automatisch sicher. Daten auf einzelnen Arbeitsplatzrechnern müssen gesichert, verschlüsselt und vor Verlust geschützt werden. Ein schlecht gewarteter Server im eigenen Rechenzentrum kann unsicherer sein als ein professionell betriebenes Rechenzentrum eines Anbieters.

Datenstandort ist nicht gleich Rechtsraum. Ein US-Anbieter mit Rechenzentrum in Frankfurt unterliegt weiterhin US-Recht, einschließlich möglicher Herausgabeanordnungen von US-Behörden. Für die meisten Daten ist das vertretbar und vertraglich abgesichert, für geheime oder besonders sensible Daten kann es den Ausschlag geben.

Das Data Privacy Framework ist gültig, aber nicht für die Ewigkeit garantiert. Seine beiden Vorgänger wurden vom Europäischen Gerichtshof gekippt. Wer stark auf US-Dienste setzt, sollte einen Plan haben, wie er bei Bedarf wechselt.

Berufsgeheimnisträger. Ärzte, Anwälte, Steuerberater und andere, die unter § 203 StGB fallen, dürfen externe Dienstleister nur einbinden, wenn diese zur Verschwiegenheit verpflichtet sind. Das muss vertraglich geregelt sein.

Schatten-KI. Die beste Infrastrukturentscheidung nützt nichts, wenn Mitarbeitende nebenbei kostenlose Dienste mit privaten Konten nutzen. Ein freigegebenes, leistungsfähiges Werkzeug ist der wirksamste Schutz dagegen.

Typische Stolpersteine

• Aus Vorsicht alles selbst betreiben. Wer nur eigene Hardware zulässt, investiert viel, gibt seinen Mitarbeitenden schwächere Werkzeuge als die Konkurrenz und verzichtet auf die Anwendungen mit dem größten Wettbewerbsvorteil.
• Investition unterschätzt. Ein Testserver ist schnell beschafft. Für viele Nutzer mit kurzen Antwortzeiten wird daraus schnell ein Millionenprojekt, inklusive Strom, Kühlung und Personal.
• Auslastung überschätzt. Teure GPUs, die die meiste Zeit ungenutzt sind, rechnen sich nie.
• Aus Bequemlichkeit alles in die Cloud. Ohne Datenklassifizierung landen irgendwann auch Daten dort, die da nicht hingehören.
• Arbeitsplatzrechner als Unternehmenslösung. Lokale KI auf einzelnen Geräten skaliert nicht und ist schwer einheitlich zu verwalten.

Womit Sie anfangen

Klassifizieren Sie zuerst Ihre Daten und bestimmen Sie die Anwendungen, die Ihnen einen echten Vorsprung verschaffen können. Starten Sie mit einer Unternehmensversion eines Cloud-Dienstes für alles, was die Daten erlauben, und sammeln Sie Erfahrung mit realer Last. Für geheime und besonders sensible Daten vergleichen Sie EU-Anbieter und eigenes Rechenzentrum mit einer ehrlichen Amortisationsrechnung. Investieren Sie in eigene Hardware erst, wenn Sie die tatsächliche Last kennen.