Święty Graal Mocy Obliczeniowej w Sztucznej Inteligencji

Pomimo niesamowitego postępu, możliwości sztucznej inteligencji są nadal ograniczone w porównaniu z oczekiwaniami świata rzeczywistego. Budujemy złożone modele, uruchamiamy sieci neuronowe i testujemy algorytmy, ale postęp czasem zatrzymuje się w miejscach, których najmniej oczekujemy.

Problem często leży nie w algorytmach ani danych, ale w mocy obliczeniowej, czyli zasobach, które pozwalają modelom uczyć się i działać w niezbędnym zakresie. Co więc stoi za tą barierą? Przeanalizujmy krytyczny zasób, bez którego nawet najbardziej obiecujące projekty AI nie mogą wyjść poza laboratorium.

Deficyt obliczeniowy i jego konsekwencje

Aby zrozumieć ten temat, zacznijmy od historii komunikacji mobilnej. Kiedy pojawiły się sieci 3G i później 4G, internet był już prawie globalny. A kiedy wprowadzono 5G, wiele osób zadało sobie pytanie: “Internet będzie szybszy – ale co to zmieni?”

W rzeczywistości wzrost szybkości internetu nie dotyczy tylko wygody użytkownika. Przekształca cały krajobraz technologiczny. Pojawiają się przypadki użycia, które wcześniej były niemożliwe. 5G okazało się znacznie szybsze niż 4G, a ten skok nie był stopniowy, jak skok z 1G na 2G, ale wykładniczy. W efekcie pojawiają się nowe aplikacje, urządzenia i całe klasy technologii.

Kamery na sygnalizacji świetlnej, systemy analizy ruchu w czasie rzeczywistym i mechanizmy regulacji ruchu – wszystko to staje się możliwe dzięki nowym technologiom komunikacyjnym. Policja zyskuje nowe sposoby wymiany danych, a w kosmosie teleskopy i satelity mogą przesyłać ogromne ilości informacji na Ziemię. Jakościowy skok w podstawowej technologii napędza rozwój całego ekosystemu.

Ten sam principio dotyczy mocy obliczeniowej. Wyobraźmy sobie, że całkowita pojemność obliczeniowa ludzkości wynosi pewną ilość jednostek. Dziś możemy mieć, powiedzmy, dziesięć takich jednostek. Z ich pomocą możemy generować obrazy i filmy, pisać teksty, tworzyć materiały marketingowe… To już jest znaczące, ale zakres zastosowań jest ograniczony głównie.

Teraz wyobraźmy sobie, że mamy nie dziesięć, ale tysiąc takich jednostek. Nagle technologie, które były wcześniej zbyt drogie, stają się możliwe, a startupy, które były porzucone z powodu wysokich kosztów obliczeniowych, zaczynają mieć sens ekonomiczny.

Weźmy na przykład taksówki bez kierowcy. Dziś w większości przypadków opierają się one na słabych komputerach lokalnych zainstalowanych w pojeździe. Jednak jeśli nagranie wideo byłoby przesyłane do chmury z ogromnymi zasobami obliczeniowymi, dane mogłyby być przetwarzane i zwracane w czasie rzeczywistym. I to jest kluczowe: samochód jadący z prędkością 100 km/h musi podejmować decyzje w ułamkach sekundy – jechać prosto, skręcić, hamować lub nie hamować.

To jest moment, kiedy w pełni funkcjonalna branża taksówek bez kierowcy staje się możliwa, a nie tylko izolowane rozwiązania, jakie widzimy dzisiaj. Każdy lokalny komputer zainstalowany w samochodzie jest wewnętrznie ograniczony w sposób, który system połączony nie jest. Im szybciej możemy go skalować, tym szybciej zmienia się świat wokół nas.

Dostęp do chipów i “złoty bilet” w AI

W kontekście mocy obliczeniowej pojawia się pytanie: czy dostęp do nowoczesnych chipów staje się “złotym biletem” do wejścia na rynek AI? Czy duzi gracze, którzy podpisują umowy z producentami chipów lub sami je wytwarzają, tworzą przepaść między dużymi firmami a wszystkimi innymi?

Taka przepaść powstaje tylko wtedy, gdy model biznesowy koncentruje się wyłącznie na sprzedaży chipów dużym klientom. W praktyce producenci tacy jak NVIDIA starają się zapewnić rozwiązania chmurowe dla wszystkich. Ich zoptymalizowane chipy są dostępne w chmurze zarówno dla OpenAI, jak i niezależnych deweloperów.

Nawet strategiczne sojusze między firmami takimi jak Google, Anthropic, Microsoft, OpenAI, Amazon i NVIDIA są przede wszystkim partnerstwami na rzecz wspólnego wykorzystania zasobów, a nie próbami zamknięcia rynku. Ten model umożliwia efektywną alokację mocy obliczeniowej, przyspieszając rozwój technologiczny.

Jeśli śledzimy łańcuch wykorzystania zasobów obliczeniowych, zaczyna się on od użytkownika końcowego. Na przykład, kiedy używasz WhatsApp do połączeń wideo i wiadomości, firma musi zapewnić, że usługa działa: przechowywanie i przetwarzanie danych, uruchamianie modeli do oczyszczania wideo, dodawanie efektów i poprawianie jakości obrazu.

Utrzymywanie własnych serwerów jest drogie, stają się one przestarzałe i wymagają ciągłej konserwacji. Dlatego pojawiły się rozwiązania chmurowe, “chmura”. Rynek jest zdominowany przez trzech graczy: Google Cloud, AWS i Microsoft Azure. Inne firmy nie mogą konkurować na tym poziomie: skala infrastruktury jest zbyt ogromna.

Usługi chmurowe to ogromne centra danych z chłodzeniem, zasilaniem i całodobową konserwacją. Znajdują się w nich serwery i specjalistyczne chipy od NVIDIA, AMD i innych producentów, umożliwiające duże procesy obliczeniowe.

Tu dochodzimy do kluczowego pytania, o którym dyskutowałem w moim poprzednim artykule o centrach danych, i chcę je kontynuować: co jest głównym wąskim gardłem w tym systemie? Czy jest to brak energii elektrycznej, czy trudność chłodzenia centrów danych w regionach, gdzie klimat sprawia, że jest to szczególnie wyzwaniem? W rzeczywistości sekret leży w samych chipach…

Święty Graal

Dlaczego NVIDIA jest dziś warte około 5 bilionów dolarów i zaliczane do najbardziej udanych spółek giełdowych na świecie? Powód jest prosty: NVIDIA produkuje chipy, na których trenowane są i uruchamiane są modele AI.

Każdy z tych chipów zużywa ogromne ilości energii elektrycznej podczas trenowania dużych modeli lub przetwarzania coraz większych ilości danych. Ale jak efektywnie jest zużywana ta energia? To jest miejsce, w którym pojawiają się specjalistyczne chipy; radzą sobie one z konkretnymi zadania znacznie bardziej efektywnie niż ogólnego przeznaczenia GPU.

Modele AI różnią się. OpenAI, na przykład, ma jedną rodzinę modeli, Anthropic inną. Pojęcia mogą być podobne, ale struktury matematyczne i procesy obliczeniowe są różne. Jeden chip ogólnego przeznaczenia, podczas trenowania modeli OpenAI (jak ChatGPT) wobec modeli Anthropic (jak Claude), działa jak “narzędzie pasujące do wszystkiego”, zużywając, powiedzmy, 100 000 godzin obliczeń dla jednego modelu i 150 000 dla drugiego. Efektywność różni się znacznie i rzadko jest optymalna.

Firmy rozwiązują ten problem, produkując specjalistyczne chipy. Na przykład, jeden chip może być zoptymalizowany dla architektury ChatGPT i trenować ją w, powiedzmy, 20 minut, podczas gdy inny jest dostosowany do architektury Anthropic i również trenuje w 20 minut. Zużycie energii i czas trenowania są zmniejszane wielokrotnie w porównaniu z chipem ogólnego przeznaczenia.

Kiedy te chipy są sprzedawane dużym firmom, takim jak Google, Amazon, Microsoft lub Azure, są one oferowane jako produkty samodzielne. Użytkownicy mogą wybrać, na przykład, chip zoptymalizowany dla modelu YOLO lub prostszy, tańszy chip dla architektury Xen. W ten sposób firmy zyskują dostęp do zasobów obliczeniowych dopasowanych do ich zadań, a nie kupują chipy ogólnego przeznaczenia. Jeśli użytkownik ma dziesięć różnych funkcji, może użyć dziesięciu różnych specjalistycznych chipów.

Trend jest jasny: specjalistyczne chipy stopniowo zastępują chipy ogólnego przeznaczenia. Wiele startupów teraz pracuje z ASIC (Application-Specific Integrated Circuits), chipami zaprojektowanymi dla konkretnych zadań obliczeniowych. Pierwsze ASIC pojawiły się dla wydobywania Bitcoin: początkowo kryptowaluta była wydobywana na GPU NVIDIA, a następnie zostały stworzone chipy wyłącznie dla Bitcoin i nie były w stanie wykonywać innych zadań.

Widzę to w praktyce: ta sama konfiguracja sprzętu może dać całkowicie różne wyniki w zależności od zadania. W moim startupie Introspector badamy te procesy w rzeczywistych projektach, a jako strategiczny doradca Keymakr obserwuję, jak klienci zyskują efektywność dzięki specjalistycznym chipom, pozwalając modelom działać szybciej. Projekty, które wcześniej zawieszały się podczas trenowania lub inferencji, osiągają stabilne wyniki z tym podejściem.

Jednak wąska specjalizacja niesie ze sobą ryzyko. Chip zoptymalizowany dla architektury Anthropic nie będzie działał do trenowania modeli OpenAI, i vice versa. Każda nowa architektura wymaga nowej generacji sprzętu, tworząc ryzyko dużej “przestarzałości”. Jeśli Anthropic wyda nową architekturę jutro, wszystkie poprzednie generacje chipów stają się niewydajne lub bezużyteczne. Produkcja nowych chipów kosztuje miliardy dolarów i może trwać lata.

To tworzy dylemat: czy powinniśmy tworzyć specjalistyczne chipy, które działają idealnie w wąskim scenariuszu, czy kontynuować produkcję chipów ogólnego przeznaczenia, które rozwiązują wszystkie zadania w miarę dobrze, ale nie wymagają całkowitej wymiany, gdy architektury się zmieniają?

Efektywność w tym kontekście jest mierzona przez trzy podstawowe parametry: czas wykonywania, zużycie energii i generowanie ciepła. Te parametry są bezpośrednio powiązane: im dłużej system działa, tym więcej energii zużywa i tym więcej ciepła wytwarza. Zmniejszenie jednego parametru automatycznie poprawia dwa pozostałe.

To jest “Święty Graal” wydajności AI: jeśli choć jeden z podstawowych parametrów efektywności może być zoptymalizowany, pozostałe parametry prawie automatycznie się poprawiają.

Proces zrównoważony

Wraz ze wzrostem wykorzystania specjalistycznych chipów, problem nadprodukcji stał się palący. Obecnie nadmiar sprzętu jest już znaczący, a firmy zajmują się tym problemem na różne zrównoważone sposoby, w tym przez ponowne wykorzystanie istniejących zasobów.

Recykling sprzętu stał się kluczowym elementem zrównoważonego rozwoju w branżach high-tech. Chipy zawierają znaczne ilości metali szlachetnych i zwykłych, takich jak złoto, miedź, aluminium, pallad i materiały ziem rzadkich, a także materiały stosowane w mikrochipach i tranzystorach. Kiedy sprzęt staje się przestarzały, te cenne zasoby mogą być zwrócone do produkcji, zmniejszając koszt nowych komponentów, a jednocześnie zmniejszając ślad ekologiczny branży.

Niektóre specjalistyczne fabryki i firmy koncentrują się na recyklingu i ekstrakcji metali szlachetnych z przestarzałych komponentów. Na przykład, niektóre zakłady używają procesów hydrometalurgicznych i zaawansowanych metod chemicznych do ekstrakcji złota i miedzi o wysokiej czystości, umożliwiając ponowne wykorzystanie tych materiałów w nowych chipach.

Ponadto, firmy wdrażają modele zamknięte, w których stare urządzenia są ulepszane lub integrowane z nowymi rozwiązaniami, zmniejszając potrzebę pierwotnej ekstrakcji zasobów. Takie podejścia nie tylko pomagają zminimalizować odpad, ale także obniżają ślad węglowy produkcji, ponieważ tradycyjne wydobywanie i przetwarzanie metali wymaga znacznej ilości energii.

Zarządzanie cyklem życia chipów i sprzętu może stać się standardem branżowym, w którym postęp technologiczny łączy się z odpowiedzialnością środowiskową.