Modele i platformy AI
Dlaczego Inferencja AI, a nie szkolenie, jest nastÄpnym wielkim wyzwaniem inÅžynieryjnym
Przez ostatniÄ dekadÄ, ÅwiatÅo reflektorÃģw w sztucznej inteligencji byÅo zmonopolizowane przez szkolenie. PrzeÅomy nastÄpowaÅy gÅÃģwnie dziÄki ogromnym klastrom obliczeniowym, modelom o parametrach liczÄ cych biliony i miliardom dolarÃģw wydanych na naukÄ systemÃģw, aby âmyÅlaÅyâ. TraktowaliÅmy rozwÃģj AI gÅÃģwnie jako projekt budowlany: budowÄ wieÅžowca inteligencji. Ale teraz, gdy ten wieÅžowiec zostaÅ zbudowany, prawdziwym wyzwaniem jest znalezienie sposobu, aby umoÅžliwiÄ milionom ludzi, ktÃģrzy muszÄ ÅžyÄ i dziaÅaÄ w nim jednoczeÅnie. To przesuwa focus badaczy AI i inÅžynierÃģw z szkolenia (akt tworzenia inteligencji) do inferencji (aktu korzystania z niej). Podczas gdy szkolenie jest ogromnym, jednorazowym wydatkiem kapitaÅowym (CapEx), inferencja jest ciÄ gÅym wydatkiem operacyjnym (OpEx), ktÃģry trwa nieograniczenie. Gdy przedsiÄbiorstwa wdroÅžÄ agenci obsÅugujÄ ce miliony uÅžytkownikÃģw przez caÅÄ dobÄ, odkrywajÄ oni okrutnÄ rzeczywistoÅÄ: inferencja nie jest po prostu âszkoleniem w odwrotnym kierunkuâ. Jest to zasadniczo inne, a moÅže nawet trudniejsze, wyzwanie inÅžynieryjne.
Dlaczego koszty inferencji majÄ znaczenie wiÄcej niÅž kiedykolwiek
Aby zrozumieÄ wyzwanie inÅžynieryjne, trzeba najpierw zrozumieÄ podstawowÄ imperatywÄ ekonomicznÄ . W fazie szkolenia, nieefektywnoÅÄ jest tolerowana. JeÅli uruchomienie szkolenia trwa cztery tygodnie zamiast trzech, jest to niedogodnoÅÄ. W inferencji jednak nieefektywnoÅÄ moÅže byÄ katastrofalna dla biznesu. Na przykÅad, szkolenie modelu na granicy moÅže kosztowaÄ 100 milionÃģw dolarÃģw. Ale wdroÅženie tego modelu do odpowiedzi na 10 milionÃģw zapytaÅ dziennie moÅže przekroczyÄ ten koszt w ciÄ gu kilku miesiÄcy, jeÅli nie zoptymalizuje siÄ go. To dlatego jesteÅmy Åwiadkami przesuniÄcia rynku, z inwestycjami w inferencjÄ przewidywanymi do przekroczenia inwestycji w szkolenie.
Dla inÅžynierÃģw to przesuwa sÅupki. Nie optymalizujemy juÅž dla przepustowoÅci (jak szybko mogÄ przetworzyÄ ten ogromny zestaw danych?). Optymalizujemy dla opÃģÅšnienia (jak szybko mogÄ zwrÃģciÄ jeden token?) i wspÃģÅbieÅžnoÅci (ile uÅžytkownikÃģw mogÄ obsÅuÅžyÄ na jednym GPU?). PodejÅcie âbrute forceâ, ktÃģre dominowaÅo w fazie szkolenia, po prostu dodajÄ c wiÄcej obliczeÅ, nie dziaÅa tutaj. Nie moÅžesz rzuciÄ wiÄcej H100 na problem opÃģÅšnienia, jeÅli wÄ skie gardÅo jest ograniczone przez przepustowoÅÄ pamiÄci.
Åciana pamiÄci: prawdziwe wÄ skie gardÅo
MaÅo znana prawda o inferencji Large Language Model (LLM) jest taka, Åže rzadko jest ograniczona przez obliczenia; jest ograniczona przez pamiÄÄ. Podczas szkolenia przetwarzamy dane w ogromnych partiach, utrzymujÄ c jednostki obliczeniowe GPU w peÅnym wykorzystaniu. W inferencji, szczegÃģlnie w aplikacjach w czasie rzeczywistym, takich jak czatboty lub agenci, ÅžÄ dania przychodzÄ sekwencyjnie. KaÅždy wygenerowany token wymaga, aby model zaÅadowaÅ swoje biliony parametrÃģw z pamiÄci o duÅžej przepustowoÅci do rdzeni obliczeniowych. To jest âÅciana pamiÄciâ. To jak mieÄ silnik Ferrari (rdzeÅ GPU) zakleszczony w korku (ograniczonej przepustowoÅci pamiÄci).
To wyzwanie powoduje, Åže zespoÅy inÅžynierskie muszÄ przemyÅleÄ architekturÄ systemu na poziomie krzemowym. To dlatego widzimy wzrost Linear Processing Units (LPUs), takich jak te od Groq, oraz specjalistyczne Neural Processing Units (NPUs). Te ukÅady sÄ zaprojektowane, aby ominÄ Ä wÄ skie gardÅo pamiÄci o duÅžej przepustowoÅci, uÅžywajÄ c ogromnych iloÅci pamiÄci SRAM na chipie, traktujÄ c dostÄp do pamiÄci jako ciÄ gÅy przepÅyw danych, a nie jako prostÄ operacjÄ pobierania. Dla inÅžyniera oprogramowania to sygnalizuje koniec ery âdomyÅlnie CUDAâ. Musimy teraz pisaÄ kod, ktÃģry jest Åwiadomy sprzÄtu, rozumiejÄ c dokÅadnie, jak dane przepÅywajÄ przez przewÃģd.
Nowa granica wydajnoÅci AI
PoniewaÅž nie zawsze moÅžemy zmieniÄ sprzÄt, nadchodzÄ ca granica inÅžynieryjna leÅžy w optymalizacji oprogramowania. To tam majÄ miejsce niektÃģre z najbardziej innowacyjnych przeÅomÃģw. Åwiadkowie jesteÅmy renesansu technik, ktÃģre przedefiniowujÄ , jak komputery implementujÄ i wykonujÄ sieci neuronowe.
- CIÄGÅE PARTIE: Tradycyjne partienie czeka, aÅž âautobusâ siÄ zapeÅni, zanim odjedzie, co wprowadza opÃģÅšnienia. CIÄGÅE PARTIE (pionierskie przez ramy takie jak vLLM) dziaÅajÄ jak system metra, pozwalajÄ c nowym ÅžÄ daniom doÅÄ czyÄ lub opuÅciÄ pociÄ g przetwarzania GPU na kaÅždej iteracji. To maksymalizuje przepustowoÅÄ bez poÅwiÄcania opÃģÅšnienia, rozwiÄ zujÄ c zÅoÅžony problem harmonogramowania, ktÃģry wymaga gÅÄbokiej ekspertyzy na poziomie systemu operacyjnego.
- Spekulatywne dekodowanie: Ta technika zatrudnia maÅy, szybki i tani model, aby wykonaÄ odpowiedÅš, podczas gdy wiÄkszy, wolniejszy i bardziej zdolny model weryfikuje jÄ rÃģwnolegle. Opiera siÄ na fakcie, Åže weryfikacja tekstu jest znacznie mniej kosztowna obliczeniowo niÅž generowanie go.
- ZarzÄ dzanie pamiÄciÄ klucz-wartoÅÄ: W dÅugich rozmowach âhistoriaâ (pamiÄÄ klucz-wartoÅÄ) roÅnie szybko, konsumujÄ c duÅže iloÅci pamiÄci GPU. InÅžynierowie implementujÄ teraz âPagedAttentionâ, technikÄ zainspirowanÄ stronicowaniem pamiÄci wirtualnej w systemach operacyjnych. Ta technika dzieli pamiÄÄ na fragmenty i zarzÄ dza niÄ nieciÄ gle.
ZÅoÅžonoÅÄ agentywna
JeÅli standardowa inferencja jest trudna, Agentywna AI jÄ wykÅadniczo utrudnia. Standardowy czatbot jest bezstanowy: UÅžytkownik pyta, AI odpowiada, proces koÅczy siÄ. Agenty AI majÄ pÄtlÄ. PlanujÄ , wykonujÄ narzÄdzia, obserwujÄ wyniki i iterujÄ . Z punktu widzenia inÅžynierskiego, to jest koszmar. Ten shift architektoniczny wprowadza kilka fundamentalnych wyzwaÅ:
- ZarzÄ dzanie stanem: Silnik inferencji musi utrzymywaÄ âstanâ procesu myÅlowego agenta na przestrzeni wielu krokÃģw, czÄsto rozciÄ gajÄ cych siÄ na minuty.
- PÄtle nieskoÅczone: W odrÃģÅžnieniu od przewidywalnego pasa do przodu, agent moÅže utknÄ Ä w pÄtli rozumowania. InÅžynierowanie solidnych âwatchdogÃģwâ i âcircuit breakersâ dla kodu probabilistycznego jest nowym polem.
- Zmienna obliczeniowa: Jedno zapytanie uÅžytkownika moÅže spowodowaÄ pojedyncze wywoÅanie inferencji, podczas gdy inne mogÄ spowodowaÄ piÄÄdziesiÄ t. ZarzÄ dzanie obciÄ Åženiem i infrastrukturÄ autoskalowania, gdy kaÅžde ÅžÄ danie niesie takÄ ekstremalnÄ zmiennoÅÄ, wymaga caÅkowicie nowej klasy logiki orchestracji.
Przenosimy siÄ zasadniczo z âobsÅugi modeliâ do âorchestracji architektur kognitywnych.â
Przenoszenie AI do codziennych urzÄ dzeÅ
Wreszcie, ograniczenia energii i opÃģÅšnienia sieciowej ostatecznie zmuszÄ inferencjÄ do krawÄdzi. Nie moÅžemy oczekiwaÄ, Åže kaÅžda inteligentna ÅžarÃģwka, pojazd autonomiczny czy robot fabryczny bÄdzie kierowaÅ swoje ÅžÄ dania przez centrum danych. Wyzwanie inÅžynieryjne tutaj jest kompresja. Jak zmieÅciÄ model, ktÃģry nauczyÅ siÄ z caÅego Internetu, na chipie mniejszym niÅž paznokieÄ, dziaÅajÄ cym na baterii?
Techniki takie jak kwantyzacja (zmniejszanie precyzji z 16-bitowej do 4-bitowej lub nawet 1-bitowej) i destylacja modelu (uczenie maÅego modelu ucznia, aby naÅladowaÅ duÅžy model nauczyciela) stajÄ siÄ standardowÄ praktykÄ . Ale prawdziwe wyzwanie polega na wdroÅženiu tych modeli do fragmentowanej ekosystemu miliardÃģw urzÄ dzeÅ, takich jak Android, iOS, embedded Linux, niestandardowe sensory, kaÅžde z wÅasnymi ograniczeniami sprzÄtowymi. To jest âkoszmar fragmentacjiâ rozwoju mobilnego, pomnoÅžony przez zÅoÅžonoÅÄ sieci neuronowych.
Podsumowanie
Wkraczamy w erÄ âDzieÅ 2â generatywnej AI. DzieÅ 1 byÅ o tym, aby pokazaÄ, Åže AI moÅže pisaÄ poezjÄ. DzieÅ 2 jest o inÅžynierii, robieniu tej zdolnoÅci bardziej niezawodnej, przystÄpnej i wszechobecnnej. InÅžynierowie, ktÃģrzy zdefiniujÄ nastÄpnÄ dekadÄ, niekoniecznie sÄ tymi, ktÃģrzy wymyÅlajÄ nowe architektury modeli. SÄ to inÅžynierowie systemowi, hakerzy jÄ dra i architekci infrastruktury, ktÃģrzy mogÄ siÄ dowiedzieÄ, jak obsÅuÅžyÄ miliard tokenÃģw na sekundÄ bez stopienia sieci zasilajÄ cej ani bankructwa firmy. Inferencja AI nie jest juÅž tylko detalami czasu wykonywania. Jest produktem. A optymalizacja jest nastÄpnym wielkim wyzwaniem inÅžynieryjnym.












