Modele i platformy AI

Moc obliczeniowa AI w 2027 roku: koszt wnioskowania zmieni oblicze centrum danych

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
A cutaway data center with a central liquid-cooled accelerator rack, visible copper cooling manifolds and carefully organized optical interconnects; a subtle contrast between dense compute modules and the power infrastructure that supports them.
Kluczowe punktyAktualizacje oprogramowania mogą odblokować o 30% większą przepustowość na już…
Zobacz więcej
  • Aktualizacje oprogramowania mogą odblokować o 30% większą przepustowość na już zainstalowanych akceleratorach w ramach stałych celów opóźnienia.
  • Oddzielenie prefill od decode opłaca się tylko wtedy, gdy kształt ruchu uzasadnia dodatkową złożoność sieciową i operacyjną.
  • Alternatywne akceleratory mogą wygrać wybrane obciążenia serwowania, gdy porównania obejmą koszty migracji i eksploatacji.

Centrum danych może być pełne drogich akceleratorów, a mimo to dysponować niewystarczającą użyteczną mocą obliczeniową. Niektóre układy czekają na dostęp do pamięci. Inne obsługują żądania, nie spełniając wymagań dotyczących opóźnień. Wyniki testu porównawczego mogą wyglądać doskonale, podczas gdy rachunek za usługę wciąż rośnie. Posiadanie sprzętu to dopiero początek problemu ekonomicznego.

W 2027 roku coraz większa część rywalizacji o moc obliczeniową będzie dotyczyć tego, co każdy wdrożony system może zapewnić w warunkach faktycznie wymaganych przez klientów. Zmienia to punkt ciężkości i kieruje uwagę na oprogramowanie do obsługi modeli, rozmieszczenie obciążeń oraz koszt uzyskania odpowiedzi spełniającej wymagania.

Punkt odniesienia już szybko się zmienia. Test MLPerf Inference v6.1, opublikowany we wrześniu 2026 roku, uwzględnił generowanie wspomagane wyszukiwaniem (RAG) w całym procesie oraz obciążenie agentowe na urządzeniach brzegowych. Opisano w nim również przejście w kierunku pakietu Endpoints zorientowanego na API. Świadczy to o tym, że twórcy testów porównawczych dostosowują je do wieloetapowych obciążeń, ale nie oznacza, że każdą aplikację AI można opisać jednym wynikiem takiego testu.

Tymczasem analiza energetyczna z 2026 roku Międzynarodowej Agencji Energetycznej (IEA) opisuje napięcie między wzrostem efektywności w przeliczeniu na zadanie a rozwojem bardziej wymagających aplikacji. Wskazuje na rosnące zużycie energii elektrycznej przez centra danych i podkreśla niepewność wynikającą ze zmieniających się obciążeń. Wnioskuję z tego, że spadające koszty jednostkowe zaostrzą konkurencję w zakresie projektowania systemów, nie eliminując przy tym istotnych ograniczeń związanych z mocą i pamięcią. Nie sprawią automatycznie, że całkowity rachunek za infrastrukturę się zmniejszy.

1. Oprogramowanie pozwoli uzyskać kolejny znaczący wzrost wydajności na już wdrożonym sprzęcie

Kolejny wzrost dostępnej mocy obliczeniowej może wynikać z wdrożenia oprogramowania. Planowanie zadań, zarządzanie pamięcią i jądra wykonawcze mogą zmienić ilość pracy wykonywanej przez wdrożony akcelerator bez modyfikowania samego układu. Spodziewam się, że w 2027 roku pojawi się powtarzalny wynik pokazujący co najmniej 30% większą przepustowość przy zachowaniu docelowego opóźnienia, na określonym tu, niezmienionym sprzęcie i modelu. Istotną korzyścią biznesową będzie dodatkowa użyteczna moc obliczeniowa uzyskana dzięki zakupowi, którego operator już dokonał.

Korzyść ekonomiczna jest oczywista. Koszt mocy obliczeniowej zapewnianej przez już wdrożony sprzęt ponosi się niezależnie od tego, czy jego harmonogram zadań wykorzystuje go efektywnie. Lepsze grupowanie zadań, wykonywanie jąder, przydzielanie pamięci i kierowanie żądań mogą zwiększyć ilość użytecznych wyników bez dodawania akceleratorów. Jest to szczególnie cenne tam, gdzie nowa szafa wymagałaby również większej mocy, wydajniejszego chłodzenia lub większej przepustowości sieci.

Pierwotne badania nad PagedAttention pokazują, dlaczego zarządzanie pamięcią należy uwzględniać w analizie wydajności: nieefektywna obsługa pamięci podręcznej klucz-wartość może powodować marnowanie jej zasobów i ograniczać grupowanie zadań. Historycznych wyników tych badań nie należy traktować jako uniwersalnego przyspieszenia na obecnych systemach. Pokazują one mechanizm, a nie skalę kolejnego wzrostu wydajności.

Istnieją współczesne dowody na to, że wciąż można poprawić wydajność. W analizie zgłoszeń do testu v6.1 firma AMD odnotowuje większą przepustowość na tym samym sprzęcie MI355X między kolejnymi edycjami testu, w tym poprawę wyniku Server o 38% w przypadku określonej przez nią konfiguracji GPT-OSS-120B. To porównanie producenta dotyczy innego modelu niż ten, którego dotyczy moja prognoza. Potwierdza, że dojrzałość oprogramowania nadal ma znaczenie, ale nie dowodzi, że 30-procentowy wzrost wydajności na modelu Llama 3.1 8B jest gwarantowany.

Celowo określiłem obciążenie uwzględnione w tej prognozie jako niezmienne. Twierdzenie, że system generuje więcej tokenów po przejściu na mniejszy model, obniżeniu jakości lub poluzowaniu wymagań dotyczących opóźnień, przedstawia inną sytuację ekonomiczną. W teście te parametry muszą pozostać bez zmian. Opublikowane przez AMD instrukcje odtwarzania wyników są przydatnym przykładem ujawniania szczegółów dotyczących oprogramowania i konfiguracji, choć instrukcje dostarczone przez producenta nadal wymagają niezależnej weryfikacji.

Na co zwrócić uwagę w 2027 roku

Warto szukać testów porównawczych obsługi modeli, które wykazują większą przepustowość na już wdrożonym sprzęcie przy niezmienionym modelu, jakości odpowiedzi i wymaganiach dotyczących czasu odpowiedzi. Opublikowane konfiguracje i rozkłady opóźnień ułatwią ocenę tych korzyści. Wyniki uzyskane dzięki mniejszym modelom, niższej precyzji bez kontroli jakości lub złagodzeniu wymagań dotyczących opóźnień potwierdzałyby inną tezę.

Co to oznacza dla firm

Przed zakupem kolejnych akceleratorów nabywcy infrastruktury powinni zmierzyć niewykorzystane możliwości obecnego stosu obsługi modeli. Powinni porównać koszt aktualizacji oprogramowania, dostrajania i wsparcia operacyjnego z mocą obliczeniową, którą mogą dzięki nim uzyskać. Decyzje o rozbudowie należy podejmować na podstawie liczby obsłużonych żądań spełniających wymagania usługi danej aplikacji, tak aby wyższa deklarowana szybkość generowania tokenów nie przesłoniła gorszych doświadczeń klientów.

2. Rozdzielanie etapów uzasadni swoją przydatność dzięki korzyściom ekonomicznym zależnym od obciążenia

Odczytywanie długiego promptu i generowanie odpowiedzi stawiają przed systemem obsługującym modele różne wymagania. Wykonywanie obu zadań na tym samym sprzęcie jest wygodne, ale taka wygoda może prowadzić do niedopasowania drogich zasobów do wykonywanej pracy. W 2027 roku operatorzy występujący z nazwy pokażą, w jakich przypadkach rozdzielenie tych etapów pozwala znacząco zwiększyć liczbę żądań obsługiwanych na akceleratorogodzinę. Wynik będzie zależeć od charakterystyki ruchu; architektura lepsza dla jednej usługi może być zbędnym komplikowaniem innej.

Etap prefill przetwarza kontekst wejściowy. Dekodowanie generuje odpowiedź token po tokenie. Oba etapy mają różne wymagania dotyczące zasobów i opóźnień, więc wspólna pula może prowadzić do wzajemnych zakłóceń lub wymuszać nadmierne przydzielanie zasobów. Rozdzielenie tych etapów pozwala przydzielać zasoby niezależnie, ale wiąże się z kosztem przenoszenia między nimi stanu.

DistServe ujęło ten kompromis w kategoriach goodputu, czyli pracy wykonanej w granicach opóźnień wymaganych przez usługę. Opisane w badaniu usprawnienia uzyskano dla konkretnych obciążeń i warunków. Nie należy traktować ich jako ogólnego mnożnika wydajności dla każdego klastra produkcyjnego. O tym, czy rozdzielenie etapów się opłaci, decydują topologia sieci, długość kontekstu, długość generowanego tekstu i zmienność ruchu.

W 2026 roku nie jest to już tylko propozycja badawcza. NVIDIA Dynamo obejmuje moduł planujący, routing uwzględniający pamięć podręczną oraz komponenty do przesyłania danych na potrzeby rozproszonego wnioskowania. Analiza rozdzielania obciążeń multimodalnych firmy NVIDIA jest przydatna między innymi dlatego, że wskazuje warunki, w których korzyści maleją lub dana topologia działa gorzej. Opisanie przez dostawcę warunków, w których rozwiązanie wypada słabiej, daje kupującym lepszy punkt wyjścia niż podanie jednej maksymalnej wartości przyspieszenia.

Moja prognoza zakłada, że odpowiednie obciążenia osiągną wystarczającą skalę. Długie prompty i nierównomierny popyt mogą powodować na tyle duże trudności z planowaniem zadań, że uzasadnią zastosowanie bardziej złożonej architektury obsługi. W przypadku małych, stabilnych obciążeń prostszy system może okazać się tańszy w eksploatacji. Rozdzielanie etapów jest więc decyzją dotyczącą zarządzania przepustowością, a poniesione na oprogramowanie i obsługę koszty muszą się zwrócić.

Na co zwrócić uwagę w 2027 roku

Warto obserwować, czy operatorzy publikują wyniki uzyskane dla rzeczywistych zestawów żądań, obejmujących długie prompty, zmienny popyt oraz koszt przenoszenia stanu między etapami wnioskowania. Korzyści powinny być widoczne także po uwzględnieniu wszystkich zarezerwowanych akceleratorów i kosztów przesyłania danych. Wdrożenia, które zwiększają złożoność, nie poprawiając ilości użytecznej pracy przypadającej na jednostkę zasobów, osłabiłyby argumenty za rozdzielaniem etapów.

Co to oznacza dla firm

Oddzielenie etapów prefill i dekodowania należy traktować jako wybór architektoniczny, który trzeba zweryfikować na podstawie własnego ruchu. Przed wdrożeniem zespoły powinny oszacować dodatkowe wymagania dotyczące sieci, planowania zadań i eksploatacji. Duże, nierównomierne obciążenia mogą uzasadniać taki wysiłek; w przypadku mniejszych usług należy wymagać dowodów, że dodatkowe komponenty zwracają poniesione na nie koszty w normalnych warunkach działania.

3. Alternatywne akceleratory wygrają w wybranych zadaniach obsługi modeli dzięki ujawnionym kosztom

Tańszy akcelerator jest korzystnym zakupem tylko wtedy, gdy gotowa odpowiedź spełnia wymagania i pojawia się na czas. Dzięki temu alternatywy dla NVIDIA mogą sprawdzić się w wybranych zadaniach, mimo że dojrzałość oprogramowania i dostępność pozostają istotnymi atutami obecnego lidera. Spodziewam się, że niezależne porównania w 2027 roku wykażą istotną przewagę kosztową w przypadku dwóch różnych rodzin alternatywnych akceleratorów. Taki wynik musi uwzględniać szczegóły migracji i eksploatacji, które nie są widoczne w specyfikacji układu.

To prognoza dotycząca konkretnych punktów pracy, a nie całkowitej wymiany platformy. Stos obsługujący modele może być atrakcyjny dla jednego modelu i określonego wzorca ruchu, a nieodpowiedni dla innego. Koszty przeniesienia, znajomość rozwiązania wśród operatorów, obsługiwane jądra obliczeniowe i dostępność przydatnych instancji mogą przeważyć nad korzystną specyfikacją sprzętu.

Kilku dostawców już oferuje poważne alternatywy. Dokumentacja Ironwood firmy Google podaje pojemność i przepustowość pamięci o wysokiej przepustowości oraz parametry połączeń między układami. Ogłoszenie o dostępności Trainium3 firmy AWS opisuje platformę zaprojektowaną z myślą o gęstych obciążeniach i obciążeniach równoległych względem ekspertów. Zgłoszenia AMD do MLPerf potwierdzają udział w standaryzowanych testach obciążeniowych. Żadne z tych źródeł samo w sobie nie dowodzi przewagi cenowej przewidywanej przeze mnie.

Porównanie nabiera znaczenia ekonomicznego dopiero po ustaleniu obciążenia. Jeśli akcelerator wymaga większej liczby hostów, innego schematu równoległości lub dłuższych zobowiązań dotyczących rezerwacji, te koszty należy uwzględnić w mianowniku. Ogłoszona cena, za którą nie można kupić sprzętu w testowanym regionie, nie powinna wpływać na wynik. To samo dotyczy niewykorzystanej zarezerwowanej mocy oraz korzystnego wyniku testu porównawczego uzyskanego na sprzęcie, którego klienci nie mogą faktycznie dostać.

Mam umiarkowaną pewność, ponieważ konkurencyjność techniczna i przejrzystość ekonomiczna to odrębne wyzwania. Test może być wykonalny, a szczegóły kosztów nadal mogą pozostać tajemnicą handlową. Możliwe też, że konkurencyjny akcelerator okaże się wydajniejszy, ale trudniejszy w eksploatacji. Pełna ocena powinna osobno wykazywać powtarzające się wydatki na infrastrukturę i jednorazowy wysiłek związany z migracją.

Na co zwrócić uwagę w 2027 roku

Warto szukać porównań przeprowadzonych przez organizacje inne niż dostawca zwycięskiego układu, z użyciem dostępnych do zakupu zasobów oraz równoważnych wymagań dotyczących jakości i opóźnień. Kluczowe dane będą obejmować założenia dotyczące hostów, sieci, niewykorzystanej mocy i migracji. Atrakcyjna specyfikacja akceleratora, której nie towarzyszy możliwe do odtworzenia porównanie kosztów obsługi modeli, nie potwierdziłaby prognozy ekonomicznej.

Co to oznacza dla firm

Oceniaj sprzęt w oparciu o reprezentatywny model i ślad ruchu, a następnie wyceń całe wdrożenie. Oddzielaj cykliczne oszczędności operacyjne od kosztów przenoszenia oprogramowania, ponownego szkolenia personelu i utrzymywania kolejnego stosu oprogramowania. Alternatywny akcelerator może dobrze sprawdzić się w konkretnej usłudze, nie stając się przy tym odpowiednią platformą dla każdego obciążenia obsługiwanego przez firmę.

4. Benchmarki agentowe zestawią zużycie energii z wykonaną pracą

Agent może zużywać energię podczas rozumowania, wywoływania narzędzi i ponawiania prób, a ostatecznie także wtedy, gdy ponosi porażkę. Pomiar pojedynczego kroku wnioskowania nie oddaje całego obrazu. Oczekuję, że do końca 2027 roku rozwijana przez MLPerf seria benchmarków agentowych będzie zestawiać zmierzone zużycie energii przez system z liczbą pomyślnie ukończonych zadań. Dałoby to operatorom lepszy mianownik dla trudnego pytania: ile zasobów infrastrukturalnych zużywa ta usługa, aby wytworzyć coś, z czego klient może rzeczywiście skorzystać?

Agent może wielokrotnie wywoływać model, wracać do długiego kontekstu, uruchamiać narzędzia i ponawiać nieudane kroki. Wartość zużycia energii na token odzwierciedla tylko część kosztów takiego działania. W przypadku wieloetapowego obciążenia właściwą jednostką jest ukończone zadanie, przy jasno określonych granicach mierzonej infrastruktury.

Ogłoszenie wersji v6.1 już opisuje wydłużającą się historię rozmowy w ramach wnioskowania agentowego, test agentowy na brzegu sieci oraz prace nad benchmarkowaniem agentów w centrach danych. Prognoza dotyczy zatem kolejnego wymogu pomiarowego, a nie pojawienia się benchmarków agentowych. Oczekuję, że nabywcy rozwiązań do wnioskowania, mierząc się z ograniczeniami mocy, będą wywierać presję na powiązanie tych obciążeń ze zużyciem energii przez system.

IEA wskazuje w swojej ocenie z 2026 roku szerszy powód, by zwrócić na to uwagę: zależność między efektywnością a całkowitym popytem zależy od skali upowszechnienia i złożoności obciążeń. Zapytaniu wymagającemu krótkiej odpowiedzi i agentowi działającemu przez długi czas nie można przypisać takiego samego reprezentatywnego kosztu energetycznego. Podobnie wysoka efektywność pojedynczego akceleratora nie dowodzi, że cały proces jest efektywny.

Ta prognoza jest najmniej pewna w całym artykule, ponieważ uzgodnienie standardów pomiarowych wymaga koordynacji. Usługi narzędziowe mogą działać poza mierzonym systemem. Benchmark może przedkładać powtarzalność nad realizm albo podawać zużycie energii bez uwzględnienia warunku pomyślnego ukończenia zadania od początku do końca. Takie decyzje projektowe mogą być uzasadnione, ale nie spełniałyby tej konkretnej prognozy.

Na co zwrócić uwagę w 2027 roku

Zwróć uwagę na raporty z benchmarków agentowych, które zestawiają zmierzone zużycie energii z liczbą ukończonych zadań i wyjaśniają, które komponenty mieszczą się w granicach pomiaru. Wielokrotne wywołania modelu, ponowne próby i nieudane podejścia powinny pozostać widoczne. Podawanie wyłącznie poboru mocy akceleratora lub zużycia energii na token nie dałoby nabywcom pełnego obrazu kosztów wieloetapowego działania agenta.

Co to oznacza dla firm

Zespoły odpowiedzialne za planowanie zasobów i zrównoważony rozwój powinny uzgodnić użyteczną jednostkę pracy, zanim porównają wartości zużycia energii. Należy śledzić liczbę pomyślnie ukończonych zadań, zasoby zużyte na nieudane próby oraz infrastrukturę nieuwzględnioną w szacunkach. Takie rozliczenie może pomóc zespołom ocenić, czy bardziej zaawansowany agent efektywnie wykorzystuje dostępne limity mocy i mocy obliczeniowej.

Liczy się właściwa jednostka

Ograniczonym zasobem będzie dostępna moc obliczeniowa, która pozwala spełnić wymagania usługi przy akceptowalnych kosztach. Szybsze układy będą ważne, ale znaczenie będzie mieć także harmonogram zadań ograniczający straty, układ pamięci dopasowany do obciążenia oraz pomiar, który rzetelnie uwzględnia niepowodzenia. Kolejna przewaga centrum danych może być mniej widoczna niż nowa szafa serwerowa, a zarazem mieć większy wpływ na rachunek.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.