Święty Graal Mocy Obliczeniowej w AI

Pomimo niewiarygodnego postępu, możliwości sztucznej inteligencji są nadal ograniczone w porównaniu z oczekiwaniami świata rzeczywistego. Budujemy złożone modele, uruchamiamy sieci neuronowe i testujemy algorytmy, jednak postęp czasami zatrzymuje się w miejscach, których najmniej oczekujemy.

Problem często leży nie w algorytmach ani danych, ale w mocy obliczeniowej, zasobach, które pozwalają modelom uczyć się i działać w niezbędnej skali. Co więc stoi za tą barierą? Przeanalizujmy krytyczny zasób, bez którego nawet najbardziej obiecujące projekty AI nie mogą wyjść poza laboratorium.

Deficyt obliczeniowy i jego konsekwencje

Aby zrozumieć ten temat, zacznijmy od historii łączności komórkowej. Kiedy pojawiły się sieci 3G i później 4G, internet był już prawie globalny. A kiedy wprowadzono 5G, wiele osób zadało całkiem rozsądne pytanie: „Internet będzie szybszy – ale co to zmieni?”

W rzeczywistości zwiększenie prędkości internetu nie sprowadza się do wygody użytkownika. Przekształca cały krajobraz technologiczny. Pojawiają się przypadki użycia, które wcześniej były niemożliwe. 5G okazało się znacznie szybsze niż 4G, a ten skok nie był stopniowy, jak skok z 1G na 2G, ale wykładniczy. W efekcie pojawiają się nowe aplikacje, urządzenia i całe klasy technologii.

Kamery na sygnalizacjach świetlnych, systemy analizy ruchu drogowego w czasie rzeczywistym i mechanizmy automatycznej regulacji ruchu – wszystko to staje się możliwe dzięki nowym technologiom komunikacyjnym. Policja zyskuje nowe sposoby wymiany danych, a w kosmosie teleskopy i satelity mogą przesyłać ogromne ilości informacji na Ziemię. Jakościowy skok w podstawowej technologii napędza rozwój całego ekosystemu.

Ten sam принцип stosuje się do mocy obliczeniowej. Wyobraźmy sobie całkowitą pojemność obliczeniową ludzkości w hipotetycznych jednostkach. Dziś możemy mieć, powiedzmy, dziesięć takich jednostek. Z ich pomocą możemy generować obrazy i filmy, pisać teksty, tworzyć materiały marketingowe… To już jest znaczące, ale zakres zastosowań jest ograniczony głównie.

Teraz wyobraźmy sobie, że mamy nie dziesięć, ale tysiąc takich jednostek. Nagle technologie, które wcześniej były zbyt drogie, stają się wykonalne, a startupy, które zostały porzucone z powodu wysokich kosztów obliczeniowych, zaczynają mieć ekonomiczny sens.

Weźmy na przykład robotaksówki. Dziś w większości polegają one na stosunkowo słabych komputerach lokalnych zainstalowanych w pojeździe. Jednak gdyby sygnał wideo był przesyłany do chmury z ogromnymi zasobami obliczeniowymi, dane mogłyby być przetwarzane i zwracane w czasie rzeczywistym. I to jest kluczowe: samochód poruszający się z prędkością 100 km/h musi podejmować decyzje w ułamkach sekundy – jechać prosto, skręcić, zahamować lub nie zahamować.

Wtedy w pełni funkcjonalna branża robotaksówek staje się możliwa, a nie tylko izolowane rozwiązania, jakie widzimy dzisiaj. Każdy lokalny komputer zainstalowany w samochodzie jest wewnętrznie ograniczony w sposób, który system połączony nie jest. Im szybciej możemy go skalować, tym szybciej świat wokół nas się zmienia.

Dostęp do chipów i „złoty bilet” w AI

W kontekście mocy obliczeniowej pojawia się pytanie: czy dostęp do nowoczesnych chipów staje się „złotym biletem” do wejścia na rynek AI? Czy duzi gracze, którzy podpisują umowy z producentami chipów lub produkują je sami, tworzą przepaść między dużymi firmami a wszystkimi innymi?

Taka przepaść powstaje tylko w jednym przypadku: jeśli model biznesowy koncentruje się wyłącznie na sprzedaży chipów dużym klientom. W praktyce producenci tacy jak NVIDIA starają się zapewnić rozwiązania chmurowe dla wszystkich. Ich zoptymalizowane chipy są dostępne w chmurze zarówno dla OpenAI, jak i niezależnych deweloperów.

Nawet strategiczne sojusze między firmami takimi jak Google, Anthropic, Microsoft, OpenAI, Amazon i NVIDIA są przede wszystkim partnerstwami na rzecz wspólnego wykorzystania zasobów, a nie próbami zamknięcia rynku. Ten model umożliwia efektywną alokację mocy obliczeniowej, przyspieszając rozwój technologiczny.

Jeśli śledzimy łańcuch wykorzystania zasobów obliczeniowych, zaczyna się on od użytkownika końcowego. Na przykład, gdy używasz WhatsApp do połączeń wideo i wiadomości, firma musi zapewnić, że usługa działa: przechowuje i przetwarza dane, uruchamia modele do oczyszczania wideo, dodaje efekty i poprawia jakość obrazu.

Utrzymywanie własnych serwerów jest drogie, stają się one przestarzałe i wymagają ciągłej konserwacji. Dlatego rozwiązania chmurowe, „chmura”, pojawiły się. Rynek dominują trzy gracze: Google Cloud, AWS i Microsoft Azure. Inne firmy nie mogą konkurować na tym poziomie: skala infrastruktury jest zbyt ogromna.

Usługi chmurowe to ogromne centra danych z chłodzeniem, zasilaniem i całodobową konserwacją. Zamieszkują serwery i specjalistyczne chipy od NVIDIA, AMD i innych producentów, umożliwiając procesy obliczeniowe na dużą skalę.

Tu dochodzimy do kluczowego pytania, o którym dyskutowałem w poprzedniej kolumnie o centrach danych, i chcę je kontynuować tutaj: co jest główną wąskim gardłem w tym systemie? Czy jest to brak prądu, czy trudność w chłodzeniu centrów danych w regionach, gdzie klimat sprawia, że jest to szczególnie wyzwaniem? W rzeczywistości sekret leży w samych chipach…

Święty Graal

Dlaczego NVIDIA jest dziś warte około 5 bilionów dolarów i zaliczane do najbardziej udanych spółek giełdowych na świecie? Powód jest prosty: NVIDIA produkuje chipy, na których szkolone są i działają modele AI.

Każdy z tych chipów zużywa ogromne ilości prądu podczas szkolenia dużych modeli lub przetwarzania coraz większych ilości danych. Ale jak efektywnie jest zużywana ta energia? Tutaj pojawiają się specjalistyczne chipy; radzą sobie one z konkretnymi zadaniami znacznie bardziej efektywnie niż ogólnego przeznaczenia GPU.

Modele AI różnią się. OpenAI, na przykład, ma jedną rodzinę modeli, Anthropic inną. Pojęcia mogą być podobne, ale struktury matematyczne i procesy obliczeniowe są różne. Jeden chip ogólnego przeznaczenia, podczas szkolenia modeli OpenAI (jak ChatGPT) w porównaniu z modelami Anthropic (jak Claude), działa jak „narzędzie pasujące do wszystkiego”, zużywając, powiedzmy, 100 000 godzin obliczeń dla jednego modelu i 150 000 dla innego. Efektywność znacznie się różni i rzadko jest optymalna.

Firmy rozwiązują ten problem, produkując specjalistyczne chipy. Na przykład, jeden chip może być zoptymalizowany dla architektury ChatGPT i szkolić ją w, powiedzmy, 20 minut, podczas gdy inny jest dostosowany do architektury Anthropic i również kończy szkolenie w 20 minut. Zużycie energii i czas szkolenia są zmniejszane wielokrotnie w porównaniu z chipem ogólnego przeznaczenia.

Gdy te chipy są sprzedawane dużym firmom, takim jak Google, Amazon, Microsoft lub Azure, są oferowane jako produkty samodzielne. Użytkownicy mogą wybrać, na przykład, chip zoptymalizowany dla modelu YOLO lub prostszy, tańszy chip dla architektury Xen. W ten sposób firmy zyskują dostęp do zasobów obliczeniowych dokładnie dostosowanych do ich zadań, zamiast kupowania chipów ogólnego przeznaczenia. Jeśli użytkownik ma dziesięć różnych funkcji, może użyć dziesięciu różnych specjalistycznych chipów.

Trend jest jasny: specjalistyczne chipy stopniowo zastępują chipy ogólnego przeznaczenia. Wiele startupów obecnie pracuje z ASIC (Application-Specific Integrated Circuits), chipami zaprojektowanymi dla konkretnych zadań obliczeniowych. Pierwsze ASIC pojawiły się dla wydobywania Bitcoin: początkowo kryptowaluta była wydobywana na GPU NVIDIA, a następnie stworzono chipy wyłącznie dla Bitcoin i nie były w stanie wykonywać innych zadań.

Widzę to w praktyce: ta sama konfiguracja sprzętu może dać całkowicie różne wyniki w zależności od zadania. W moim startupie Introspector badamy te procesy w rzeczywistych projektach, a jako strategiczny doradca Keymakr obserwuję, jak klienci zyskują efektywność dzięki specjalistycznym chipom, pozwalając modelom działać szybciej. Projekty, które wcześniej zatrzymywały się podczas szkolenia lub inferencji, osiągają stabilne wyniki z tego podejścia.

Jednak wąska specjalizacja niesie ze sobą ryzyko. Chip zoptymalizowany dla architektury Anthropic nie będzie działał do szkolenia modeli OpenAI, i vice versa. Każda nowa architektura wymaga nowej generacji sprzętu, tworząc ryzyko dużego „przestarzaenia”. Jeśli Anthropic wyda nową architekturę jutro, wszystkie chipy poprzedniej generacji staną się niewydajne lub bezużyteczne. Produkcja nowych chipów kosztuje miliardy dolarów i może trwać lata.

To tworzy dylemat: czy powinniśmy produkować specjalistyczne chipy, które działają idealnie w wąskim scenariuszu, czy kontynuować produkcję chipów ogólnego przeznaczenia, które rozwiązują wszystkie zadania w miarę dobrze, ale nie wymagają całkowitej wymiany, gdy architektury się zmieniają?

Efektywność w tym kontekście jest mierzona przez trzy podstawowe parametry: czas wykonywania, zużycie energii i generowanie ciepła. Te parametry są bezpośrednio ze sobą powiązane: im dłużej system działa, tym więcej energii zużywa i tym więcej ciepła wytwarza. Zmniejszenie jednego parametru automatycznie poprawia pozostałe dwa.

Tu leży „Święty Graal” wydajności AI: jeśli choć jeden z podstawowych parametrów efektywności może być zoptymalizowany, pozostałe parametry prawie automatycznie się poprawiają.

Proces zrównoważony

Wraz ze wzrastającym wykorzystaniem specjalistycznych chipów, problem nadprodukcji stał się palący. Obecnie nadmiar sprzętu jest już znaczący, a firmy zajmują się tym problemem na różne sposoby, w tym przez ponowne wykorzystanie istniejących zasobów.

Recykling sprzętu stał się kluczowym elementem zrównoważonego rozwoju w branżach high-tech. Chipy zawierają znaczne ilości metali szlachetnych i zwykłych, złota, miedzi, aluminium, palladu i rzadkich materiałów ziemnych, a także materiałów wykorzystywanych w mikrochipach i tranzystorach. Gdy sprzęt staje się przestarzały, te cenne zasoby mogą być zwrócone do produkcji, zmniejszając koszt nowych komponentów, a jednocześnie redukując ślad środowiskowy branży.

Niektóre specjalistyczne fabryki i firmy koncentrują się na recyklingu i ekstrakcji metali szlachetnych ze starego sprzętu. Na przykład, niektóre zakłady wykorzystują procesy hydrometalurgiczne i zaawansowane metody chemiczne do ekstrakcji złota i miedzi o wysokiej czystości, umożliwiając ponowne wykorzystanie tych materiałów w nowych chipach.

Ponadto, firmy wdrażają modele zamkniętego obiegu, w których stary sprzęt jest ulepszany lub integrowany z nowymi rozwiązaniami, zmniejszając potrzebę wydobywania pierwotnych zasobów. Takie podejścia nie tylko pomagają minimalizować odpadki, ale także redukują ślad węglowy produkcji, ponieważ tradycyjne wydobywanie i przetwórstwo metali wymagają znacznej ilości energii.

Zrównoważone zarządzanie cyklem życia chipów i sprzętu może stać się standardem branżowym, w którym postęp technologiczny łączy się z odpowiedzialnością środowiskową.