Od prawa Moore’a do „prawa OpenAI”: wykładnicza trajektoria rozwoju sztucznej inteligencji

Sztuczna inteligencja rozwija się w tempie, który jest trudny do pojęcia. Aby opisać to zjawisko, specjaliści zaczęli odnosić się do tego, co niektórzy nazywają „prawem OpenAI” – nowoczesnym odpowiednikiem prawa Moore’a, ale o wiele bardziej stromym. Ten termin został wprowadzony do szerszego obiegu w książce Empire of AI, która opisuje powstanie OpenAI i rozwijającą się walkę o sztuczną inteligencję ogólną (AGI). W książce „prawo OpenAI” jest używane do uchwycenia niezwykle szybkiego tempa, w jakim rosły wymagania obliczeniowe – a tym samym możliwości AI – w ciągu ostatniej dekady.

Jednocześnie „prawo OpenAI” nie jest formalnym prawem naukowym, lecz odnosi się do rzeczywistej i mierzalnej tendencji: gwałtownego podwajania mocy obliczeniowej używanej do szkolenia modeli AI, co następuje w tempie znacznie szybszym niż prawo Moore’a. W praktyce AI compute podwaja się mniej więcej co trzy do czterech miesięcy, w porównaniu z 18-24 miesiącami w prawie Moore’a. Ta wykładnicza krzywa leży u podstaw nowej fali AI i stwarza podstawę dla przyszłości, która nadchodzi szybciej, niż większość ludzi oczekuje.

Prawo Moore’a: Silnik, który napędzał erę cyfrową

Prawo Moore’a było siłą napędową za rozwojem komputerów osobistych, smartfonów i chmury obliczeniowej. Przewidywało, że liczba tranzystorów na chipie podwaja się mniej więcej co dwa lata, prowadząc do wykładniczych zysków w mocy obliczeniowej, efektywności energetycznej i redukcji kosztów.

Przez dziesięciolecia ten prosty wzorzec utrzymywał się, sprawiając, że każde pokolenie sprzętu było wykładniczo potężniejsze niż poprzednie. Jednak gdy w latach 2010-tych osiągnięto fizyczne i ekonomiczne limity, prawo Moore’a zaczęło zwalniać. Inżynierowie odpowiedzieli, używając więcej rdzeni, stosowania chipów 3D i specjalistycznych procesorów, aby wydłużyć wydajność – ale łatwe zyski były już za nami.

To było mniej więcej w tym czasie, gdy badania nad AI, napędzane przez głębokie uczenie, zaczęły odbiegać od tradycyjnej trajektorii prawa Moore’a.

Narodziny prawa OpenAI: Wykładnicza krzywa obliczeń AI

Na początku lat 2010-tych badacze odkryli, że dostarczanie większych ilości obliczeń do dużych sieci neuronowych prowadziło do coraz potężniejszych możliwości AI. Począwszy od około 2012 roku, ilość obliczeń używanych w największych sesjach szkolenia AI zaczęła podwajać się mniej więcej co 3 do 4 miesiące.

To było zdumiewające przyspieszenie – znacznie szybsze niż prawo Moore’a. W ciągu sześciu lat ilość obliczeń używanych w najlepszych modelach AI zwiększyła się o ponad 300 000 razy. Podczas gdy prawo Moore’a dostarczyłoby tylko 7-krotny wzrost w tym czasie, obliczenia AI wzrosły gwałtownie dzięki agresywnemu skalowaniu.

To zjawisko stało się nieoficjalnie znane jako prawo OpenAI – samonakreślona trajektoria przez organizacje takie jak OpenAI, które wierzyły, że skalowanie modeli i obliczeń jest najszybszą drogą do sztucznej inteligencji ogólnej (AGI). Książka Empire of AI opisuje tę zmianę szczegółowo, ilustrując, jak OpenAI i jego liderzy zobowiązali się do tej strategii, pomimo rosnących kosztów, ponieważ wierzyli, że jest to najbardziej bezpośrednia droga do odblokowania transformacyjnych możliwości.

Krytycznie, prawo OpenAI nie jest fizyczną koniecznością – jest strategiczną decyzją. Przekonanie, że „więcej obliczeń oznacza lepszą AI” stało się przewodnim założeniem, wspieranym przez ogromne inwestycje, rozbudowę infrastruktury i partnerstwa z dostawcami chmury.

Hipoteza skalowania i nowa wyścig zbrojeń

U podstaw prawa OpenAI leży hipoteza skalowania: idea, że po prostu robienie modeli większymi i szkolenie ich na większych danych z większymi obliczeniami prowadzi do lepszych wyników. Ta hipoteza zyskała uznanie, gdy każdy kolejny model – GPT-2, GPT-3, GPT-4 – wykazał skoki w płynności, rozumowaniu i zrozumieniu multimodalnym.

W sercu tej tendencji leży intensywna konkurencja między firmami technologicznymi, aby zdominować granicę AI. Wynikiem jest rodzaj wyścigu zbrojeń, gdzie każdy nowy kamień milowy wymaga wykładniczo więcej zasobów obliczeniowych niż poprzedni.

Szkolenie dużych modeli wymaga obecnie tysięcy wysokiej jakości procesorów GPU działających równolegle. Prognozy dla przyszłych modeli obejmują budżety obliczeniowe, które mogą sięgać lub przekraczać 100 miliardów dolarów, z ogromnymi wymogami mocy i infrastruktury.

Ta tendencja doprowadziła do nowego rodzaju wykładniczej krzywej – nie już określonej przez liczbę tranzystorów, ale przez gotowość i zdolność do skalowania obliczeń bez względu na koszty.

Jak to się porównuje: Prawo Huang’a i prawo Kurzweila o przyspieszających zwrotach

Aby w pełni zrozumieć znaczenie prawa OpenAI, pomaga zbadanie innych podstawowych ram, które ukształtowały nasze zrozumienie postępu technologicznego poza prawem Moore’a.

Prawo Huang’a, nazwane na cześć CEO NVIDII Jensena Hwang’a, opisuje obserwację, że wydajność GPU dla obciążeń AI poprawia się w tempie znacznie szybszym niż prawo Moore’a. W ciągu pięciu lat GPU zobaczyły zyski wydajności przekraczające 25-krotnie, znacznie przewyższając oczekiwane 10-krotne poprawy pod względem tradycyjnego skalowania tranzystorów.

To przyspieszenie nie jest spowodowane tylko gęstością chipów – jest wynikiem innowacji na poziomie systemu. Ulepszenia architektury GPU, zwiększona przepustowość pamięci, wysokoprędkowe połączenia i postępy w ekosystemach oprogramowania, takich jak CUDA i biblioteki głębokiego uczenia, wszystkie przyczyniły się do tych zysków. Optymalizacje inżynieryjne w harmonogramie, operacjach tensorowych i równoległości również odegrały istotną rolę.

Poprawy wydajności w zadaniach szkolenia i inferencji na pojedynczym GPU osiągnęły nawet 1000-krotny wzrost w ciągu ostatniej dekady, napędzany przez ten kumulujący się stos innowacji sprzętowych i oprogramowania. W efekcie możliwości GPU dla zadań AI podwajały się co 6 do 12 miesięcy – trzy do czterech razy szybciej niż oryginalna krzywa Moore’a. Ten nieustanny rytm uczynił GPU niezastąpionymi silnikami nowoczesnej AI, umożliwiając ogromne, zrównoleglone sesje szkolenia, które leżą u podstaw prawa OpenAI.

Prawo Kurzweila o przyspieszających zwrotach idzie o krok dalej – proponuje, że tempo wykładniczego wzrostu przyspiesza samo w sobie w czasie. Według tego założenia każde przełomowe odkrycie nie stoi samo – tworzy narzędzia, platformy i wiedzę, które sprawiają, że następne odkrycie następuje szybciej i bardziej efektywnie. To prowadzi do efektu kumulacji, gdzie zmiany technologiczne karmią się samymi sobą, przyspieszając w skali i częstotliwości.

Kurzweil argumentował, że ta dynamika może skompresować to, co mogłoby być wiekami postępu, w zaledwie kilka dekad. Jeśli tempo postępu podwaja się co dziesięć lat, XXI wiek może doświadczyć zdumiewającego skoku – równoważnego dziesiątkom tysięcy lat postępu przy historycznych stopach.

To prawo jest szczególnie istotne dla AI. Nowoczesna AI nie jest już tylko przedmiotem postępu – stała się przyspieszaczem postępu. Systemy AI już teraz pomagają w projektowaniu nowych chipów, optymalizacji sieci neuronowych, prowadzeniu badań naukowych i nawet pisaniu samego kodu, który jest używany do budowy ich następców. To tworzy rekursywną pętlę poprawy, gdzie każde pokolenie AI poprawia następne, skracając czasy rozwoju i mnożąc możliwości.

Ta pętla zaczyna przypominać to, co niektórzy nazywają eksplozją inteligencji: scenariusz, w którym systemy AI stają się w stanie szybko poprawiać same siebie bez interwencji człowieka. Wynikiem jest krzywa, która nie tylko rośnie stromą – ale wygina się dramatycznie w górę, gdy cykle iteracji kurczą się, a przełomy kaskadują. Jeśli ten wzorzec się utrzyma, możemy być świadkami fazy postępu technologicznego, który wydaje się niemal natychmiastowy – gdzie całe branże, dziedziny naukowe i sposoby myślenia ewoluują w miesiącach, a nie dekadach.

Prawo OpenAI wpisuje się w tę linię jako wyraz wykładniczego wzrostu po stronie popytu. W przeciwieństwie do prawa Moore’a lub Huang’a, które opisują tempo poprawy sprzętu, prawo OpenAI odzwierciedla, ile obliczeń badacze są skłonni zużywać w poszukiwaniu lepszych wyników. Pokazuje, że postęp AI nie jest już ściśle związany z tym, co potrafią chipy, ale raczej z tym, co badacze są skłonni i w stanie skalować. Napędzane przez ogromną infrastrukturę chmury i miliardy inwestycji, prawo OpenAI uosabia nową erę, w której zdolność rośnie nie tylko przez innowacje, ale przez celowe, skoncentrowane siły.

Razem, te prawa rysują wielowymiarowy widok wykładniczego wzrostu. Moore i Huang definiują podaż obliczeń. Kurzweil mapuje meta-trend kumulowanego postępu. A prawo OpenAI podkreśla nowy rodzaj technologicznej ambicji – gdzie pchanie granic nie jest już opcjonalne, ale centralną strategią.

Obietnica: Dlaczego wykładnicza AI ma znaczenie

Implikacje prawa OpenAI są głębokie.

Po stronie optymistycznej, wykładnicze skalowanie wytworzyło zdumiewające rezultaty. Systemy AI mogą teraz pisać eseje, generować kod, pomagać w badaniach naukowych i angażować się w zaskakująco płynne rozmowy. Każdy 10-krotny wzrost skali wydaje się odblokowywać nowe, emergentne zdolności, sugerując, że możemy być bliżej AGI.

AI może wkrótce przekształcić branże od edukacji i opieki zdrowotnej po finanse i naukę o materiałach. Jeśli prawo OpenAI będzie się utrzymywało, możemy być świadkami przełomów, które skompresują dekady innowacji w kilka krótkich lat.

To jest istota nowego terminu, który wymyśliliśmy: „prędkość ucieczki AI” – moment, w którym AI zaczyna się sama poprawiać, pchając postęp w samonapędzającą się, wykładniczą falę.

Cena: Środowiskowe, ekonomiczne i etyczne koszty

Jednak wykładniczy wzrost nie przychodzi za darmo.

Szkolenie modeli AI na granicy wymaga obecnie ogromnych ilości energii elektrycznej i wody. Zasilanie tysięcy GPU przez tygodnie stwarza poważne problemy środowiskowe, w tym emisje dwutlenku węgla i odpad cieplny. Łańcuchy dostaw dla chipów AI są również pod presją, podnosząc kwestie geopolityczne i zrównoważonego rozwoju.

Finansowo, tylko największe firmy technologiczne lub dobrze finansowane startupy mogą sobie pozwolić na pozostanie na krzywej. To prowadzi do koncentracji władzy, gdzie mała grupa organizacji kontroluje granicę inteligencji.

Etycznie, prawo OpenAI zachęca do myślenia w kategoriach wyścigu – większego, szybszego, wcześniej – co może prowadzić do przedwczesnego wdrożenia, niesprawdzonych systemów i skrótów bezpieczeństwa. Rosną obawy, że niektóre modele na granicy mogą zostać wydane przedwcześnie, zanim społeczeństwo w pełni zrozumie ich wpływ.

Aby złagodzić to, badacze zaproponowali ramy zarządzania, które śledzą rozwój AI nie przez to, co modele robią, ale przez ile obliczeń zostało użytych do ich szkolenia. Ponieważ obliczenia są jednym z najlepszych predyktorów zdolności modelu, mogą stać się proxy dla oceny ryzyka i regulacji.

Granice skalowania: Co się dzieje, gdy krzywa się wygina?

Pomimo imponujących zysków, istnieje debata na temat tego, jak długo trend skalowania może się utrzymać. Niektórzy uważają, że już widzimy malejące zwroty: większe modele zużywają więcej obliczeń, ale dają tylko niewielkie poprawy.

Inni argumentują, że przełomy w efektywności, projekcie algorytmów lub architekturze modelu mogą spłaszczyć krzywą bez spowolnienia postępu. Mniejsze, inteligentniejsze modele mogą stać się bardziej atrakcyjne niż potężne bestie.

Ponadto presja społeczna, regulacje i ograniczenia infrastruktury mogą zmusić branżę do przemyślenia myślenia „skaluj za wszelką cenę”. Jeśli sieci energetyczne, budżety lub społeczna zgoda nie mogą dotrzymać kroku, wykładnicza AI może uderzyć w sufit – lub przynajmniej w punkt zwrotny.

Przyszłość: Mapowanie przyszłości wykładniczej AI

Na razie prawo OpenAI pozostaje jednym z najjaśniejszych szklanek, przez które można patrzeć na przyszłość sztucznej inteligencji. Wyjaśnia, jak przeszliśmy od prymitywnych chatbotów do multimodalnych systemów ogólnych w ciągu zaledwie dekady – i dlaczego następna fala postępu może być jeszcze bardziej dramatyczna.

Jednak prawo to przychodzi z kompromisami: nierównością dostępu, rosnącymi kosztami, obciążeniami środowiskowymi i wyzwaniami bezpieczeństwa. Podczas gdy przyspieszamy w tę nową erę, społeczeństwo będzie musiało zmierzyć się z fundamentalnymi pytaniami:

• Kto ma kształtować przyszłość AI?
• Jak zrównoważyć postęp z ostrożnością?
• Jakie systemy są potrzebne do zarządzania wykładniczą zdolnością, zanim wyprzedzi kontrolę człowieka?

Prawo OpenAI nie jest niezmienne. Jak prawo Moore’a przed nim, może w końcu zwolnić, spłaszczyć lub zostać zastąpione przez nowy paradygmat. Ale na razie służy jako ostrzeżenie i mapa drogowa – przypominając nam, że przyszłość AI nie tylko postępuje – ale kumuluje się.

Nie tylko jesteśmy świadkami historii – inżynierujemy ją z wykładniczą prędkością. Ale z tą mocą przychodzi odpowiedzialność: upewnić się, że ludzkość nie cierpi wykładniczej szkody wraz z wykładniczym postępem.