Dlaczego Inferencja AI, a nie szkolenie, jest następnym wielkim wyzwaniem inżynieryjnym

Przez ostatnią dekadę, światło reflektorów w sztucznej inteligencji było zmonopolizowane przez szkolenie. Przełomy następowały głównie dzięki ogromnym klastrom obliczeniowym, modelom o parametrach liczących biliony i miliardom dolarów wydanych na naukę systemów, aby “myślały”. Traktowaliśmy rozwój AI głównie jako projekt budowlany: budowę wieżowca inteligencji. Ale teraz, gdy ten wieżowiec został zbudowany, prawdziwym wyzwaniem jest znalezienie sposobu, aby umożliwić milionom ludzi, którzy muszą żyć i działać w nim jednocześnie. To przesuwa focus badaczy AI i inżynierów z szkolenia (akt tworzenia inteligencji) do inferencji (aktu korzystania z niej). Podczas gdy szkolenie jest ogromnym, jednorazowym wydatkiem kapitałowym (CapEx), inferencja jest ciągłym wydatkiem operacyjnym (OpEx), który trwa nieograniczenie. Gdy przedsiębiorstwa wdrożą agenci obsługujące miliony użytkowników przez całą dobę, odkrywają oni okrutną rzeczywistość: inferencja nie jest po prostu “szkoleniem w odwrotnym kierunku”. Jest to zasadniczo inne, a może nawet trudniejsze, wyzwanie inżynieryjne.

Dlaczego koszty inferencji mają znaczenie więcej niż kiedykolwiek

Aby zrozumieć wyzwanie inżynieryjne, trzeba najpierw zrozumieć podstawową imperatywę ekonomiczną. W fazie szkolenia, nieefektywność jest tolerowana. Jeśli uruchomienie szkolenia trwa cztery tygodnie zamiast trzech, jest to niedogodność. W inferencji jednak nieefektywność może być katastrofalna dla biznesu. Na przykład, szkolenie modelu na granicy może kosztować 100 milionów dolarów. Ale wdrożenie tego modelu do odpowiedzi na 10 milionów zapytań dziennie może przekroczyć ten koszt w ciągu kilku miesięcy, jeśli nie zoptymalizuje się go. To dlatego jesteśmy świadkami przesunięcia rynku, z inwestycjami w inferencję przewidywanymi do przekroczenia inwestycji w szkolenie.

Dla inżynierów to przesuwa słupki. Nie optymalizujemy już dla przepustowości (jak szybko mogę przetworzyć ten ogromny zestaw danych?). Optymalizujemy dla opóźnienia (jak szybko mogę zwrócić jeden token?) i współbieżności (ile użytkowników mogę obsłużyć na jednym GPU?). Podejście “brute force”, które dominowało w fazie szkolenia, po prostu dodając więcej obliczeń, nie działa tutaj. Nie możesz rzucić więcej H100 na problem opóźnienia, jeśli wąskie gardło jest ograniczone przez przepustowość pamięci.

Ściana pamięci: prawdziwe wąskie gardło

Mało znana prawda o inferencji Large Language Model (LLM) jest taka, że rzadko jest ograniczona przez obliczenia; jest ograniczona przez pamięć. Podczas szkolenia przetwarzamy dane w ogromnych partiach, utrzymując jednostki obliczeniowe GPU w pełnym wykorzystaniu. W inferencji, szczególnie w aplikacjach w czasie rzeczywistym, takich jak czatboty lub agenci, żądania przychodzą sekwencyjnie. Każdy wygenerowany token wymaga, aby model załadował swoje biliony parametrów z pamięci o dużej przepustowości do rdzeni obliczeniowych. To jest “Ściana pamięci“. To jak mieć silnik Ferrari (rdzeń GPU) zakleszczony w korku (ograniczonej przepustowości pamięci).

To wyzwanie powoduje, że zespoły inżynierskie muszą przemyśleć architekturę systemu na poziomie krzemowym. To dlatego widzimy wzrost Linear Processing Units (LPUs), takich jak te od Groq, oraz specjalistyczne Neural Processing Units (NPUs). Te układy są zaprojektowane, aby ominąć wąskie gardło pamięci o dużej przepustowości, używając ogromnych ilości pamięci SRAM na chipie, traktując dostęp do pamięci jako ciągły przepływ danych, a nie jako prostą operację pobierania. Dla inżyniera oprogramowania to sygnalizuje koniec ery “domyślnie CUDA”. Musimy teraz pisać kod, który jest świadomy sprzętu, rozumiejąc dokładnie, jak dane przepływają przez przewód.

Nowa granica wydajności AI

Ponieważ nie zawsze możemy zmienić sprzęt, nadchodząca granica inżynieryjna leży w optymalizacji oprogramowania. To tam mają miejsce niektóre z najbardziej innowacyjnych przełomów. Świadkowie jesteśmy renesansu technik, które przedefiniowują, jak komputery implementują i wykonują sieci neuronowe.

• CIĄGŁE PARTIE: Tradycyjne partienie czeka, aż “autobus” się zapełni, zanim odjedzie, co wprowadza opóźnienia. CIĄGŁE PARTIE (pionierskie przez ramy takie jak vLLM) działają jak system metra, pozwalając nowym żądaniom dołączyć lub opuścić pociąg przetwarzania GPU na każdej iteracji. To maksymalizuje przepustowość bez poświęcania opóźnienia, rozwiązując złożony problem harmonogramowania, który wymaga głębokiej ekspertyzy na poziomie systemu operacyjnego.

• Spekulatywne dekodowanie: Ta technika zatrudnia mały, szybki i tani model, aby wykonać odpowiedź, podczas gdy większy, wolniejszy i bardziej zdolny model weryfikuje ją równolegle. Opiera się na fakcie, że weryfikacja tekstu jest znacznie mniej kosztowna obliczeniowo niż generowanie go.
• Zarządzanie pamięcią klucz-wartość: W długich rozmowach “historia” (pamięć klucz-wartość) rośnie szybko, konsumując duże ilości pamięci GPU. Inżynierowie implementują teraz “PagedAttention“, technikę zainspirowaną stronicowaniem pamięci wirtualnej w systemach operacyjnych. Ta technika dzieli pamięć na fragmenty i zarządza nią nieciągle.

Złożoność agentywna

Jeśli standardowa inferencja jest trudna, Agentywna AI ją wykładniczo utrudnia. Standardowy czatbot jest bezstanowy: Użytkownik pyta, AI odpowiada, proces kończy się. Agenty AI mają pętlę. Planują, wykonują narzędzia, obserwują wyniki i iterują. Z punktu widzenia inżynierskiego, to jest koszmar. Ten shift architektoniczny wprowadza kilka fundamentalnych wyzwań:

1. Zarządzanie stanem: Silnik inferencji musi utrzymywać “stan” procesu myślowego agenta na przestrzeni wielu kroków, często rozciągających się na minuty.
2. Pętle nieskończone: W odróżnieniu od przewidywalnego pasa do przodu, agent może utknąć w pętli rozumowania. Inżynierowanie solidnych “watchdogów” i “circuit breakers” dla kodu probabilistycznego jest nowym polem.
3. Zmienna obliczeniowa: Jedno zapytanie użytkownika może spowodować pojedyncze wywołanie inferencji, podczas gdy inne mogą spowodować pięćdziesiąt. Zarządzanie obciążeniem i infrastrukturą autoskalowania, gdy każde żądanie niesie taką ekstremalną zmienność, wymaga całkowicie nowej klasy logiki orchestracji.

Przenosimy się zasadniczo z “obsługi modeli” do “orchestracji architektur kognitywnych.”

Przenoszenie AI do codziennych urządzeń

Wreszcie, ograniczenia energii i opóźnienia sieciowej ostatecznie zmuszą inferencję do krawędzi. Nie możemy oczekiwać, że każda inteligentna żarówka, pojazd autonomiczny czy robot fabryczny będzie kierował swoje żądania przez centrum danych. Wyzwanie inżynieryjne tutaj jest kompresja. Jak zmieścić model, który nauczył się z całego Internetu, na chipie mniejszym niż paznokieć, działającym na baterii?

Techniki takie jak kwantyzacja (zmniejszanie precyzji z 16-bitowej do 4-bitowej lub nawet 1-bitowej) i destylacja modelu (uczenie małego modelu ucznia, aby naśladował duży model nauczyciela) stają się standardową praktyką. Ale prawdziwe wyzwanie polega na wdrożeniu tych modeli do fragmentowanej ekosystemu miliardów urządzeń, takich jak Android, iOS, embedded Linux, niestandardowe sensory, każde z własnymi ograniczeniami sprzętowymi. To jest “koszmar fragmentacji” rozwoju mobilnego, pomnożony przez złożoność sieci neuronowych.

Podsumowanie

Wkraczamy w erę “Dzień 2” generatywnej AI. Dzień 1 był o tym, aby pokazać, że AI może pisać poezję. Dzień 2 jest o inżynierii, robieniu tej zdolności bardziej niezawodnej, przystępnej i wszechobecnnej. Inżynierowie, którzy zdefiniują następną dekadę, niekoniecznie są tymi, którzy wymyślają nowe architektury modeli. Są to inżynierowie systemowi, hakerzy jądra i architekci infrastruktury, którzy mogą się dowiedzieć, jak obsłużyć miliard tokenów na sekundę bez stopienia sieci zasilającej ani bankructwa firmy. Inferencja AI nie jest już tylko detalami czasu wykonywania. Jest produktem. A optymalizacja jest następnym wielkim wyzwaniem inżynieryjnym.