Private KI braucht eine Infrastruktur, die sich an die Arbeitslast anpassen kann

Vor zwei Jahren gingen fast alle Unternehmen, mit denen ich sprach, davon aus, dass KI bedeutet, ein Spitzenmodell über eine API aufzurufen. Diese Annahme gerät ins Wanken. Modelle mit offenen Gewichten sind für viele alltägliche Aufgaben inzwischen gut genug. Der Wert einer KI-Anwendung für Unternehmen beruht in der Regel auf den unternehmenseigenen Daten, nicht auf dem dahinterstehenden Modell. Wenn Unternehmen das erkennen, ist es nur vernünftig, das Modell in der Nähe ihrer Daten und unter ihrer Kontrolle zu halten.

Das ist private KI. Sie betreiben das Modell in Ihrer eigenen Umgebung, passen es an Ihre eigenen Informationen an und entscheiden, wo es eingesetzt wird und worauf es zugreifen darf. Als Bank oder Pharmaunternehmen hätten Sie ohnehin nie Ihre proprietäre Forschung oder Kundendaten in der Mandantenumgebung eines anderen Anbieters speichern wollen. Bei allen anderen geht der Anstoß von den Inferenzkosten im großen Maßstab aus und vom Wunsch, bei etwas, das für den Geschäftsbetrieb immer wichtiger wird, nicht von einem einzigen Anbieter abhängig zu sein. Laut einer Studie der Linux Foundation nutzten 63 % der befragten Unternehmen ein offenes KI-Modell. Das zeigt, wie weit verbreitet diese Alternativen bereits sind.

Was viele unterschätzen: Wenn Sie das Modell ins eigene Unternehmen holen, gehört auch die Infrastruktur dazu. Stromversorgung, Kühlung, Rechenleistung, der Standort und die Anbindung an alles andere. Früher war das die Aufgabe Ihres Cloud-Anbieters. Jetzt liegt sie bei Ihnen. Die meisten Unternehmen mussten solche Entscheidungen noch nie treffen, und die Technologie entwickelt sich schneller, als irgendjemand Beton gießen kann. Wenn Sie falsch dimensionieren, haben Sie am Ende Kapazitäten, die nicht zu Ihrer tatsächlichen Arbeitslast passen. Flexibilität muss von Anfang an eingeplant werden. Bestehende Infrastruktur nachzurüsten, sofern das überhaupt möglich ist, kann teuer sein. Manche Anbieter können es schlicht nicht, weil ihre Anlagen nie für eine derartige Leistungsdichte ausgelegt wurden.

Die Basis selbst aufbauen, Spitzen zukaufen

Machen Sie sich zunächst klar, dass Sie nicht für jede Aufgabe das größte Modell brauchen. Dokumente zusammenfassen, Tickets klassifizieren und Fragen anhand der eigenen Wissensdatenbank beantworten: All das sind Aufgaben, die ein Modell mit offenen Gewichten privat und zu vorhersehbaren Kosten erledigen kann. Heben Sie sich die Spitzenmodelle für Aufgaben auf, die sie wirklich erfordern.

Daraus ergibt sich, wie die Infrastruktur aufgebaut sein sollte. Schaffen Sie private Kapazitäten für den gleichmäßigen Bedarf, der Woche für Woche absehbar ist. Für Bedarfsspitzen und rechenintensive Aufgaben, die Ihre vorhandenen Kapazitäten übersteigen, mieten Sie zusätzliche Kapazitäten von externen Anbietern. Unternehmen betreiben ihre Recheninfrastruktur schon lange nach diesem Prinzip, und KI ändert daran nichts. Sie erhöht lediglich die Leistungsdichte der Grundkapazität und vergrößert die möglichen Ausschläge bei Spitzenlasten.

Die Herausforderung besteht darin, die Grundkapazität genau zu bemessen und zugleich dafür zu sorgen, dass sich die private und die gemietete Umgebung wie ein einziges System verhalten. Beide müssen auf dieselben Daten zugreifen und denselben Kontrollen unterliegen, ohne dass Unternehmen die Pipeline jedes Mal neu aufbauen müssen, wenn eine Arbeitslast von der einen in die andere Umgebung wechselt.

Wohin mit der Infrastruktur?

Die GPUs zu kaufen, erweist sich als die einfache Entscheidung. Danach müssen Sie sie unterbringen, mit Strom versorgen, kühlen und an den Rest Ihrer IT-Landschaft anbinden. KI-Hardware mit hoher Leistungsdichte lässt sich nicht ohne erhebliche Anpassungen an Stromversorgung und Kühlsystemen in ein herkömmliches Unternehmensrechenzentrum integrieren. Außerdem ist nicht jeder Ihrer Standorte dafür geeignet. In der KI-Infrastrukturumfrage 2025 des Uptime Institute nannten 37 % der Befragten die Verfügbarkeit von Strom als einen der wichtigsten Faktoren bei der Wahl des Standorts für Inferenz-Workloads.

Die meisten Unternehmen entscheiden sich für eine Kombination aus Colocation und Cloud. Ausschlaggebend sind meist die Daten. Sie sind bereits auf mehrere Standorte verteilt, lassen sich nur teuer verschieben und dürfen in regulierten Branchen teilweise ein bestimmtes Land oder eine bestimmte Umgebung nicht verlassen. Alles in einem Gebäude neben den GPUs zusammenzuführen, klingt nach einer sauberen Lösung, wird aber so gut wie nie umgesetzt.

Es geht also nicht nur darum, wo die Rechenleistung angesiedelt ist. Entscheidend ist auch, wie sie sicher auf die benötigten Daten zugreift, ohne Kosten und Komplexität zu verursachen, die Sie in drei Jahren bereuen werden. Betrachten Sie das als den dritten grundlegenden Wandel. Beim ersten ging es um das Internet, und Konnektivität löste die damit verbundenen Herausforderungen. Beim zweiten ging es um die Cloud, und eine Fabric löste sie: Sie ermöglichte eine softwaredefinierte Vernetzung, über die Unternehmen von einem einzigen Standort aus Verbindungen zu verschiedenen Anbietern herstellen konnten. KI ist der dritte Wandel, und eine Fabric allein reicht dafür nicht aus. Sie braucht Strom – sehr viel Strom – am selben Ort wie die Fabric. Unternehmen, denen private KI gelingt, werden ihre Rechenleistung dort ansiedeln, wo Stromversorgung und Konnektivität zusammentreffen, statt beides als getrennte Beschaffungsvorhaben zu behandeln.

Private KI verbinden, wenn sich Arbeitslasten verändern

Agentische KI macht die Frage der Konnektivität noch dringlicher. Eine herkömmliche Anwendung nimmt eine Eingabe entgegen, ruft ein Modell auf und gibt eine Antwort zurück. Ein Agent ist währenddessen fortlaufend aktiv. Er ruft mehrere Modelle auf, fragt verschiedene Systeme ab, ruft Daten dort ab, wo sie gerade liegen, und übergibt Aufgaben an andere Agenten. Jeder dieser Schritte überschreitet eine Grenze, verursacht Latenz und wirft die Frage auf, wer auf welche Daten zugreifen darf.

Nun kommt das Modell an einen Ort, die Daten an einen anderen, und hinzu kommt die Vorgabe, dass ein Teil dieser Daten in einem bestimmten Land oder in einer privaten Umgebung bleiben muss. Unternehmen brauchen echte Kontrolle über diese Wege: Welche Systeme auf welche Daten zugreifen können, was geschieht, wenn eine Arbeitslast verlagert wird, und wie sich ein neues Modell einbinden lässt, ohne den laufenden Betrieb zu beeinträchtigen.

Deshalb muss die Infrastruktur programmierbar sein. Die Verbindungen zwischen Modellen, Daten und Umgebungen sollten sich konfigurieren und ändern lassen, statt jedes Mal ein neues Entwicklungsprojekt zu erfordern. Zunehmend wird diese Konfiguration nicht mehr von Menschen vorgenommen. Standards wie das Model Context Protocol (MCP) bieten einem Agenten eine einheitliche Möglichkeit, mit den Tools und Systemen in seiner Umgebung zu kommunizieren. Benötigt ein Agent eine Verbindung zu einer neuen Datenquelle oder einem neuen Modell, könnte er diese anfordern, so wie er jeden anderen Dienst aufrufen würde – während die entsprechenden Richtlinien und Kontrollen weiterhin gelten. Das bedeutet programmierbare Infrastruktur in der Praxis. Alle paar Monate kommen neue Modelle auf den Markt. Neue Anwendungen werden Verbindungen benötigen, die es heute noch nicht gibt. Wenn jede Änderung einen Neuaufbau erfordert, geht genau die Flexibilität verloren, die Sie mit einer privaten Umgebung erreichen wollten.

Wirtschaftlichkeit sicherstellen

Die Kapazität richtig zu bemessen, ist ein entscheidender Erfolgsfaktor – dabei geht es um mehr als nur die Gesamtmenge. Unternehmen, die das gut machen, verstehen genau, in welchem Verhältnis die eingesetzte Energie zu den erzeugten Tokens steht. Dieses Verhältnis ist die wirtschaftliche Kennzahl für private KI. Wer es für die eigenen Arbeitslasten kennt, kann die Umgebung mit echter Planungssicherheit dimensionieren. Hinzu kommt der Spielraum für Wachstum. Jedes Quartal kommen neue Funktionen auf den Markt. Unternehmen, die vorausschauend planen, lassen stets Platz für das, was als Nächstes kommt, statt die Infrastruktur genau auf den heutigen Bedarf zuzuschneiden. Der beste Plan verbindet beides: die eigene Energiebilanz pro Token genau kennen und darauf aufbauend einen angemessenen Puffer einplanen.

Und die GPUs machen nur einen Teil der Kosten aus. Unterbringung, Kühlung, Stromversorgung und Anbindung an den Rest des Unternehmens können ebenso viel kosten wie die Hardware. Hinzu kommen die Fachkräfte. Die meisten Unternehmen haben noch nie eine Rechenumgebung mit hoher Leistungsdichte betrieben, und solche Kompetenzen lassen sich nicht innerhalb eines Quartals ins Unternehmen holen.

Deshalb sind Grundlast und Spitzenlast wichtig. Bauen Sie genügend private Kapazität auf, um den normalen Bedarf zu decken, und mieten Sie zusätzliche Kapazität an, wenn die Nachfrage darüber hinausgeht. So vermeiden Sie, für Hardware zu bezahlen, die den größten Teil des Jahres ungenutzt bleibt. Zugleich behalten Sie die Möglichkeit, den Kurs zu ändern, wenn sich die Modelle und Anwendungen verändern – und das werden sie.

Für das Kommende planen

All dem liegt ein zeitliches Problem zugrunde. Der Bau eines Rechenzentrums dauert etwa zwei Jahre. In zwei Jahren werden die Modelle, die Hardware und die Anwendungen, die Unternehmen ausführen möchten, ganz anders aussehen als heute. Was Sie jetzt auch immer in Auftrag geben: Darauf werden Arbeitslasten laufen, die noch niemand vollständig beschreiben kann.

Unternehmen finden noch heraus, welche Arbeitslasten in eine private Umgebung gehören und wann sie externe Kapazität benötigen – und das ist völlig nachvollziehbar. Zu vermeiden sind Infrastrukturentscheidungen, die Ihnen diese Wahl abnehmen, bevor Sie sie selbst treffen konnten. Lassen Sie Spielraum für unterschiedliche Modelle, für zusätzliche Kapazität bei Bedarf und dafür, Arbeitslasten zu verlagern.

Ob sich private KI langfristig auszahlt, hängt weniger davon ab, für welches Modell Sie sich entscheiden, als davon, ob Ihre Infrastruktur mit den Anforderungen Schritt halten kann, wenn diese klarer werden. Richten Sie die Infrastruktur auf die heutigen Arbeitslasten aus, halten Sie die Verbindungen programmierbar und stellen Sie die Rechenleistung dort bereit, wo Netzwerkinfrastruktur und Stromversorgung zusammenkommen.