KI-Modelle und Plattformen

KI-Rechenleistung 2027: Die Kosten der Inferenz werden das Rechenzentrum verändern

Theo Nash
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
A cutaway data center with a central liquid-cooled accelerator rack, visible copper cooling manifolds and carefully organized optical interconnects; a subtle contrast between dense compute modules and the power infrastructure that supports them.
Wichtige PunkteSoftware-Upgrades können auf bereits installierten Beschleunigern 30 % mehr Durchsatz…
Mehr anzeigen
  • Software-Upgrades können auf bereits installierten Beschleunigern 30 % mehr Durchsatz innerhalb fester Latenzziele freisetzen.
  • Die Trennung von Prefill und Decode zahlt sich nur aus, wenn die Verkehrsform die zusätzliche Netzwerk- und Betriebskomplexität rechtfertigt.
  • Alternative Beschleuniger können ausgewählte Serving-Workloads gewinnen, sobald Vergleiche Migrations- und Betriebskosten einschließen.

Ein Rechenzentrum kann voller teurer Beschleuniger stecken und dennoch nicht über genügend nutzbare Kapazität verfügen. Einige Chips warten auf Speicher. Andere bearbeiten Anfragen, deren Latenzziel sie verfehlen. Ein Benchmark kann hervorragend aussehen, während die Kosten für den Betrieb weiter steigen. Der Besitz der Hardware ist erst der Anfang des wirtschaftlichen Problems.

2027 wird ein größerer Teil des Wettbewerbs um Rechenleistung davon abhängen, was die installierten Systeme unter den Bedingungen leisten, die Kunden tatsächlich voraussetzen. Dadurch rücken Software für die Bereitstellung, die Platzierung von Workloads und die Kosten einer zufriedenstellenden Antwort stärker in den Mittelpunkt.

Der Ausgangspunkt verändert sich bereits rasant. MLPerf-Inferenz v6.1, veröffentlicht im September 2026, ergänzte die durchgängige, informationsgestützte Generierung und einen agentischen Edge-Workload. Außerdem beschrieb die Veröffentlichung den Übergang zu einer API-zentrierten Endpoints-Suite. Das zeigt, dass Benchmark-Entwickler sich auf mehrstufige Workloads einstellen. Es belegt jedoch nicht, dass sich jede KI-Anwendung mit einer einzigen Benchmark-Punktzahl abbilden lässt.

Unterdessen beschreibt die Energieanalyse 2026 der IEA einen Zielkonflikt zwischen Effizienzsteigerungen pro Aufgabe und dem Wachstum anspruchsvollerer Anwendungen. Sie berichtet von einem steigenden Stromverbrauch in Rechenzentren und hebt die Unsicherheit hervor, die durch wechselnde Workloads entsteht. Daraus schließe ich, dass sinkende Stückkosten den Wettbewerb um die Systemarchitektur verschärfen werden, während Stromversorgung und Speicher weiterhin wesentliche Einschränkungen darstellen. Die Gesamtkosten der Infrastruktur werden dadurch nicht automatisch sinken.

1. Software wird auf bereits installierter Hardware einen weiteren beträchtlichen Leistungszuwachs ermöglichen

Der nächste Kapazitätszuwachs könnte durch die Bereitstellung von Software entstehen. Planung, Speicherverwaltung und Ausführungskernels können verändern, wie viel Arbeit ein installierter Beschleuniger erledigt, ohne dass der Chip selbst verändert wird. Ich erwarte für 2027 ein reproduzierbares Ergebnis, das auf der hier festgelegten Hardware und mit dem hier festgelegten Modell mindestens 30 % mehr Durchsatz innerhalb des Latenzziels ausweist. Der interessante geschäftliche Effekt: Es entsteht zusätzliche nutzbare Kapazität aus einer Anschaffung, die der Betreiber bereits getätigt hat.

Der wirtschaftliche Anreiz liegt auf der Hand. Bereits installierte Hardware verursacht Kapazitätskosten, unabhängig davon, ob ihr Scheduler sie effizient nutzt. Durch besseres Batching, die Ausführung von Kernels, die Speicherzuweisung und die Weiterleitung von Anfragen lässt sich die Menge der nutzbaren Ergebnisse steigern, ohne weitere Beschleuniger hinzuzufügen. Das ist besonders wertvoll, wenn ein zusätzliches Rack auch mehr Stromversorgung, Kühlung oder Netzwerkkapazität erfordern würde.

Die ursprüngliche Forschung zu PagedAttention zeigt, warum Speicherverwaltung bei der Leistungsbetrachtung berücksichtigt werden muss: Eine ineffiziente Verwaltung des Key-Value-Caches kann Kapazität verschwenden und das Batching einschränken. Die historischen Ergebnisse lassen sich nicht als allgemeiner Leistungszuwachs auf heutige Systeme übertragen. Sie belegen den Wirkmechanismus, nicht aber die Höhe des nächsten Zuwachses.

Es gibt aktuelle Belege dafür, dass weiterhin Leistungsreserven bestehen. In ihrer Analyse der Einreichungen für v6.1 berichtet AMD von einem höheren Durchsatz auf derselben MI355X-Hardware zwischen den Benchmark-Runden. Dazu gehört eine Verbesserung um 38 % im Server-Benchmark bei der angegebenen GPT-OSS-120B-Konfiguration. Dieser Herstellervergleich bezieht sich auf ein anderes Modell als das meiner Prognose zugrunde liegende. Er stützt die Annahme, dass der Reifegrad der Software weiterhin eine Rolle spielt; er belegt jedoch nicht, dass ein Zuwachs von 30 % bei Llama 3.1 8B garantiert ist.

Der in dieser Prognose festgelegte Workload ist bewusst gewählt. Die Behauptung, ein System erzeuge nach dem Wechsel zu einem kleineren Modell, einer geringeren Qualität oder einem großzügigeren Latenzziel mehr Tokens, beschreibt eine andere wirtschaftliche Situation. Im Test müssen diese Faktoren unverändert bleiben. AMDs veröffentlichte Reproduktionsanleitungen zeigen anschaulich, wie sich Software- und Konfigurationsdetails offenlegen lassen, auch wenn vom Hersteller bereitgestellte Anleitungen weiterhin unabhängig geprüft werden müssen.

Worauf es 2027 zu achten gilt

Achten Sie auf Benchmarks für die Bereitstellung, die den Durchsatz auf bereits installierter Hardware steigern und dabei Modell, Antwortqualität und Anforderungen an die Reaktionszeit unverändert lassen. Veröffentlichte Konfigurationen und Latenzverteilungen erleichtern die Beurteilung solcher Zuwächse. Ergebnisse, die durch kleinere Modelle, geringere Genauigkeit ohne Qualitätsprüfungen oder großzügigere Latenzziele erzielt werden, würden eine andere Aussage stützen.

Was das für Unternehmen bedeutet

Käufer von Infrastruktur sollten die Leistungsreserven ihres aktuellen Bereitstellungs-Stacks messen, bevor sie weitere Beschleuniger anschaffen. Vergleichen Sie die Kosten für Softwareaktualisierungen, Abstimmung und operativen Support mit der Kapazität, die sich dadurch erschließen ließe. Bei Ausbauentscheidungen sollte die Zahl der angenommenen Anfragen innerhalb der Serviceziele der Anwendung maßgeblich sein, damit eine höhere angegebene Tokenrate nicht eine schlechtere Kundenerfahrung verschleiert.

2. Die wirtschaftlichen Vorteile einer Disaggregation hängen vom jeweiligen Workload ab

Einen langen Prompt zu verarbeiten und eine Antwort zu erzeugen, stellt unterschiedliche Anforderungen an ein Bereitstellungssystem. Beide Aufgaben auf derselben Hardware auszuführen ist bequem, doch dadurch können teure Ressourcen schlecht auf die jeweilige Arbeit abgestimmt sein. 2027 werden konkrete Betreiber zeigen, in welchen Fällen die Trennung dieser Phasen die Zahl der pro Beschleunigerstunde bearbeiteten Anfragen deutlich steigert. Das Ergebnis hängt von der Form des Datenverkehrs ab: Eine für einen Dienst bessere Architektur kann für einen anderen eine unnötige Komplikation sein.

Beim Prefill wird der eingehende Kontext verarbeitet. Beim Decoding wird die Antwort Token für Token erzeugt. Die Anforderungen an Ressourcen und Latenzziele unterscheiden sich, sodass ein gemeinsamer Ressourcenpool zu gegenseitigen Beeinträchtigungen führen oder eine Überdimensionierung erzwingen kann. Werden die Phasen getrennt, lassen sich Ressourcen separat zuweisen; dafür entstehen zusätzliche Kosten, weil der Zustand zwischen ihnen übertragen werden muss.

DistServe hat diesen Zielkonflikt anhand des Goodput formalisiert: der Menge an Arbeit, die innerhalb der Latenzvorgaben des Dienstes erledigt wird. Die berichteten Verbesserungen wurden bei bestimmten getesteten Workloads und unter bestimmten Bedingungen erzielt. Sie sollten nicht als allgemeiner Multiplikator für jeden Produktivcluster verstanden werden. Ob sich die Trennung lohnt, hängt von der Netzwerktopologie, der Kontextlänge, der Ausgabelänge und Schwankungen im Datenverkehr ab.

2026 ist das mehr als ein Forschungsvorschlag. NVIDIA Dynamo umfasst einen Planer, cachebewusstes Routing und Komponenten zur Übertragung für verteilte Inferenz. NVIDIAs Analyse der multimodalen Disaggregation ist auch deshalb hilfreich, weil sie Bedingungen aufzeigt, unter denen die Vorteile geringer ausfallen oder eine Topologie schlechter abschneidet. Wenn ein Anbieter auch die ungünstigen Bedingungen beschreibt, erhalten Käufer eine bessere Ausgangsbasis als durch eine einzelne Angabe zur maximalen Beschleunigung.

Meine Prognose gilt unter der Voraussetzung, dass geeignete Workloads ein ausreichendes Volumen erreichen. Lange Prompts und eine ungleichmäßige Nachfrage können so viele Reibungsverluste bei der Planung verursachen, dass sich eine komplexere Serving-Architektur lohnt. Kleine, gleichmäßige Workloads lassen sich möglicherweise kostengünstiger bedienen, wenn das System einfach gehalten wird. Die Trennung der Phasen ist daher eine Entscheidung zum Kapazitätsmanagement, deren Software- und Betriebskosten sich amortisieren müssen.

Worauf es 2027 zu achten gilt

Achten Sie darauf, ob Betreiber Ergebnisse mit realen Anfragemischungen veröffentlichen, die lange Prompts, schwankende Nachfrage und die Kosten für die Übertragung des Zustands zwischen Inferenzphasen berücksichtigen. Die Vorteile sollten auch dann noch erkennbar sein, wenn alle reservierten Beschleuniger und der Übertragungsaufwand eingerechnet sind. Bereitstellungen, die zusätzliche Komplexität verursachen, ohne die nutzbringende Arbeit pro Kapazitätseinheit zu steigern, würden die Argumente für eine Disaggregation schwächen.

Was das für Unternehmen bedeutet

Betrachten Sie die Trennung von Prefill und Decode als Architekturentscheidung, die anhand Ihres Datenverkehrs geprüft werden muss. Teams sollten den zusätzlichen Netzwerk-, Planungs- und Betriebsaufwand modellieren, bevor sie diese Architektur einführen. Bei großen, ungleichmäßigen Workloads kann sich dieser Aufwand lohnen; bei kleineren Diensten sollte zunächst belegt werden, dass die zusätzlichen Komponenten ihre Kosten unter normalen Betriebsbedingungen wieder einspielen.

3. Alternative Beschleuniger werden bei ausgewählten Inferenz-Workloads mit offengelegten Kosten gewinnen

Ein günstigerer Beschleuniger ist nur dann ein Schnäppchen, wenn die fertige Antwort akzeptabel ist und rechtzeitig eintrifft. Dadurch haben Alternativen zu NVIDIA bei ausgewählten Workloads eine Chance, auch wenn der etablierte Anbieter bei der Software-Reife und Verfügbarkeit weiterhin erhebliche Vorteile hat. Ich gehe davon aus, dass unabhängige Vergleiche 2027 bei zwei verschiedenen alternativen Beschleunigerfamilien einen deutlichen Kostenvorteil belegen werden. Dieser Vorteil muss auch dann bestehen bleiben, wenn die Migrations- und Betriebsdetails berücksichtigt werden, die in den technischen Daten eines Chips nicht auftauchen.

Diese Prognose bezieht sich auf bestimmte Betriebspunkte, nicht auf einen umfassenden Plattformwechsel. Ein Serving-Stack kann für ein Modell und ein bestimmtes Datenverkehrsmuster attraktiv, für ein anderes jedoch ungeeignet sein. Der Aufwand für die Portierung, die Vertrautheit der Betreiber mit der Plattform, die unterstützten Kernel und die Verfügbarkeit geeigneter Instanzen können einen günstigen technischen Datenblattwert aufwiegen.

Mehrere Anbieter haben bereits leistungsfähige Alternativen im Angebot. Googles Dokumentation zu Ironwood nennt Kapazität und Bandbreite des Speichers mit hoher Bandbreite sowie Merkmale der Verbindungstechnologie. Die Ankündigung zur Verfügbarkeit von Trainium3 von AWS beschreibt eine Plattform, die für dichte Workloads und Workloads mit Expertenparallelisierung entwickelt wurde. Die MLPerf-Ergebnisse von AMD belegen die Teilnahme an standardisierten Workload-Tests. Keine dieser Quellen belegt für sich genommen den Kostenvorteil meiner Prognose.

Ein Vergleich ist erst dann wirtschaftlich aussagekräftig, wenn der Workload festgelegt ist. Benötigt ein Beschleuniger mehr Hosts, ein anderes Parallelisierungsschema oder längere Reservierungsbindungen, müssen diese Kosten in den Nenner einfließen. Ein angegebener Preis, zu dem in der getesteten Region keine Kapazität erworben werden kann, sollte das Ergebnis nicht bestimmen. Gleiches gilt für ungenutzte reservierte Kapazität und einen günstigen Benchmark, der mit Hardware erstellt wurde, die Kunden tatsächlich nicht erhalten können.

Ich bin mäßig zuversichtlich, denn technische Wettbewerbsfähigkeit und transparente Wirtschaftlichkeit sind zwei getrennte Hürden. Der Test könnte sich durchführen lassen, während die Kostendetails geschäftlich vertraulich bleiben. Ebenso kann ein konkurrierender Beschleuniger beim Durchsatz gewinnen, aber bei der Einfachheit des Betriebs schlechter abschneiden. Eine fundierte Entscheidung sollte die wiederkehrenden Infrastrukturkosten und den einmaligen Migrationsaufwand getrennt ausweisen.

Worauf es 2027 zu achten gilt

Achten Sie auf Vergleiche, die nicht vom jeweils siegreichen Chipanbieter durchgeführt werden und bei denen tatsächlich erwerbbare Kapazität sowie gleichwertige Anforderungen an Qualität und Latenz zugrunde liegen. Zu den entscheidenden Angaben gehören die Annahmen zu Hosts, Netzwerken, Leerlaufkapazität und Migration. Eine überzeugende Spezifikation des Beschleunigers ohne reproduzierbaren Vergleich der Serving-Kosten würde die Wirtschaftlichkeitsprognose unbewiesen lassen.

Was das für Unternehmen bedeutet

Hardwarebewertungen sollten auf einem repräsentativen Modell und einem typischen Lastprofil beruhen; anschließend sollten die Kosten der vollständigen Bereitstellung kalkuliert werden. Wiederkehrende Betriebskosteneinsparungen sollten getrennt von den Kosten für die Portierung, die Umschulung der Mitarbeitenden und die Wartung eines weiteren Software-Stacks betrachtet werden. Ein alternativer Beschleuniger kann für einen bestimmten Dienst attraktiv sein, ohne deshalb die richtige Plattform für jede vom Unternehmen ausgeführte Arbeitslast zu sein.

4. Agenten-Benchmarks werden den Energieverbrauch zusammen mit erledigter Arbeit erfassen

Ein Agent kann Energie verbrauchen, während er nachdenkt, Werkzeuge aufruft, es erneut versucht und schließlich scheitert. Wer nur einen einzelnen Inferenzschritt misst, übersieht diesen Zusammenhang. Bis Ende 2027 werden Agenten-Benchmarks aus dem MLPerf-Umfeld meiner Erwartung nach den gemessenen Energieverbrauch des Systems neben erfolgreich abgeschlossener Arbeit ausweisen. Das würde Betreibern eine bessere Bezugsgröße für eine schwierige Frage liefern: Wie viele Infrastrukturressourcen verbraucht dieser Dienst, um etwas zu erzeugen, das Kundinnen und Kunden tatsächlich nutzen können?

Ein Agent kann wiederholt Modellaufrufe ausführen, einen langen Kontext erneut heranziehen, Werkzeuge aufrufen und fehlgeschlagene Schritte wiederholen. Ein Energieverbrauch pro Token bildet nur einen Teil der Kosten dieses Verhaltens ab. Die relevante Einheit für eine mehrstufige Arbeitslast ist die abgeschlossene Aufgabe – bei klar festgelegten Grenzen der gemessenen Infrastruktur.

Die Ankündigung zu v6.1 beschreibt bereits einen wachsenden Gesprächsverlauf bei der agentischen Inferenz, einen agentischen Test für Edge-Systeme und Arbeiten an agentischem Benchmarking für Rechenzentren. Bei dieser Prognose geht es daher um eine zusätzliche Messanforderung, nicht um die erstmalige Einführung agentischer Benchmarks. Ich erwarte, dass der Druck zunimmt, diese Arbeitslasten mit dem Energieverbrauch des Systems zu verknüpfen, während Käufer von Inferenzlösungen mit Stromengpässen konfrontiert sind.

Die Bewertung der IEA aus dem Jahr 2026 liefert den größeren Zusammenhang, der das Thema relevant macht: Wie Effizienz und Gesamtnachfrage zusammenhängen, hängt von der Verbreitung und der Komplexität der Arbeitslasten ab. Einer Anfrage mit kurzer Antwort und einem lang laufenden Agenten lässt sich nicht derselbe repräsentative Energieverbrauch zuordnen. Ebenso wenig belegt ein effizienter einzelner Beschleuniger, dass auch der gesamte Arbeitsablauf effizient ist.

Diese Prognose ist im Artikel mit der geringsten Sicherheit verbunden, da Messstandards Abstimmung erfordern. Werkzeugdienste laufen möglicherweise außerhalb des gemessenen Systems. Ein Benchmark kann Reproduzierbarkeit gegenüber Realitätsnähe bevorzugen oder den Stromverbrauch ausweisen, ohne den erfolgreichen Abschluss der Aufgabe von Anfang bis Ende als Kriterium einzubeziehen. Solche Entscheidungen können durchaus vertretbar sein, würden diese konkrete Prognose jedoch nicht erfüllen.

Worauf es 2027 zu achten gilt

Achten Sie auf Berichte zu agentischen Benchmarks, die den gemessenen Energieverbrauch neben abgeschlossenen Aufgaben ausweisen und erläutern, welche Komponenten innerhalb der Messgrenzen liegen. Wiederholte Modellaufrufe, erneute Versuche und erfolglose Durchläufe sollten sichtbar bleiben. Wer nur den Stromverbrauch des Beschleunigers oder den Energieverbrauch pro Token angibt, vermittelt Käufern ein unvollständiges Bild der Kosten eines mehrstufigen Agenten.

Was das für Unternehmen bedeutet

Kapazitäts- und Nachhaltigkeitsteams sollten sich auf eine aussagekräftige Arbeitseinheit einigen, bevor sie Energieverbrauchswerte vergleichen. Erfassen Sie, wie viele Aufgaben erfolgreich abgeschlossen werden, welche Ressourcen bei fehlgeschlagenen Versuchen verbraucht werden und welche Infrastruktur in der Schätzung unberücksichtigt bleibt. Eine solche Bilanz kann Teams dabei helfen zu entscheiden, ob ein leistungsfähigerer Agent die verfügbaren Strom- und Rechenbudgets auch effizient nutzt.

Entscheidend ist die relevante Arbeitseinheit

Knapp wird die Kapazität sein, die die Anforderungen des Dienstes zu akzeptablen Kosten erfüllt. Schnellere Chips werden wichtig sein, ebenso aber ein Scheduler, der weniger Ressourcen verschwendet, ein Speicherlayout, das zur Arbeitslast passt, und eine Messung, die Fehlschläge ehrlich erfasst. Der nächste Vorteil im Rechenzentrum ist möglicherweise weniger sichtbar als ein neues Rack – und wirkt sich stärker auf die Rechnung aus.

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.