Od Mooreova zákona k „OpenAI Law“: Exponenciální trajektorie vývoje umělé inteligence

Umělá inteligence se vyvíjí rychlostí, která je obtížné pochopit. Aby popsala tento jev, insideri začali odkazovat na to, co někteří nazývají „OpenAI Law“ – moderní paralelu k Mooreovu zákonu, ale mnohem strmější. Tento termín byl zaveden v knize Empire of AI, která popisuje vzestup OpenAI a související závod k umělé obecné inteligenci (AGI). V knize je „OpenAI Law“ použita k zachycení závratné rychlosti, s jakou se výpočetní požadavky – a tedy i schopnosti AI – za posledních deset let vyvíjely.

Zatímco to není formální vědecký zákon, OpenAI Law odkazuje na skutečný a měřitelný trend: rychlé zdvojnásobení výpočetní síly používané pro školení modelů AI, ke kterému dochází v tempu mnohem rychlejším než Mooreův zákon. V praktických termínech se výpočetní síla AI zdvojnásobila přibližně každé tři až čtyři měsíce, ve srovnání s 18-24 měsíci u Mooreova zákona. Tato exponenciální křivka je podkladem pro moderní boom AI a vytváří předpoklady pro budoucnost, která se blíží rychleji, než většina lidí očekává.

Mooreův zákon: Motor, který poháněl digitální éru

Mooreův zákon byl hnací silou za vzestupem osobních počítačů, smartphonů a cloud computingu. Předpovídal, že počet tranzistorů na čipu se bude zdvojnásobovat přibližně každé dva roky, což povede k exponenciálnímu zvýšení výpočetní síly, energetické efektivity a snížení nákladů.

Po desetiletí tato jednoduchá vzorce platila, což učinilo každou generaci hardwaru exponenciálně výkonnější než předchozí. Ale když byly v roce 2010 dosaženy fyzické a ekonomické limity, Mooreův zákon začal zpomalovat. Inženýři reagovali použitím více jader, 3D čipového zásobníku a specializovaných procesorů pro prodloužení výkonu – ale snadné zisky byly pryč.

Bylo to kolem této doby, kdy výzkum AI, poháněný hlubokým učením, začal odchylovat od tradiční trajektorie Mooreova zákona.

Vznik OpenAI Law: Exponenciální křivka výpočetní síly AI

Na počátku roku 2010 výzkumníci objevili, že krmení více výpočetní síly do velkých neuronových sítí vedlo k stále výkonnějším schopnostem AI. Od roku 2012 se množství výpočetní síly používané pro největší školení AI zdvojnásobilo přibližně každé 3-4 měsíce.

To byla ohromující akcelerace – mnohem rychlejší než Mooreův zákon. Za šest let se výpočetní síla používaná pro špičkové modely AI zvýšila o více než 300 000×. Zatímco Mooreův zákon by přinesl pouze 7× nárůst za tu dobu, výpočetní síla AI raketově vzrostla díky agresivnímu škálování.

Tento jev se neformálně stal známým jako OpenAI Law – samovolná trajektorie organizací, jako je OpenAI, které se domnívaly, že škálování velikosti modelu a výpočetní síly je nejrychlejší cestou k umělé obecné inteligenci (AGI). Kniha Empire of AI popisuje tuto změnu v detailu, ilustruje, jak OpenAI a jeho vedení se zavázali k této strategii, navzdory rostoucím nákladům, protože se domnívali, že je to nejrychlejší cesta k odemknutí transformačních schopností.

Kriticky, OpenAI Law není fyzickou nevyhnutelností – je to strategické rozhodnutí. Věřilo se, že „více výpočetní síly znamená lepší AI“ se stalo vedoucím principem, podpořeným masivními investicemi, infrastrukturními rozšířeními a partnerstvími s cloudovými poskytovateli.

Hypotéza škálování a nová zbrojní soutěž

Podkladem OpenAI Law je hypotéza škálování: myšlenka, že jednoduše dělání modelů větších a školení je na více datech s více výpočetní sílou vede k kvalitativně lepším výsledkům. Tato hypotéza získala trakci, když každý následující model – GPT-2, GPT-3, GPT-4 – prokázal skoky ve fluiditě, rozumu a multimodálním pochopení.

V srdci tohoto trendu je intenzivní soutěž mezi technologickými společnostmi, aby dominovaly na hranici AI. Výsledkem je druh zbrojní soutěže, kde každé nové milníku vyžaduje exponenciálně více výpočetních zdrojů než předchozí.

Školení velkých modelů nyní vyžaduje desítky tisíc high-end GPU, které fungují paralelně. Prognózy pro budoucí modely zahrnují výpočetní rozpočty, které by mohly dosáhnout nebo přesáhnout 100 miliard dolarů, s masivními požadavky na energii a infrastrukturu.

Tento trend vedl k novému druhu exponenciální křivky – jedné, která již není definována počtem tranzistorů, ale ochotou a schopností škálovat výpočetní sílu za každou cenu.

Jak se to srovnává: Huangův zákon a Kurzweilův zákon zrychlených návratů

Abychom plně pochopili význam OpenAI Law, pomáhá prozkoumat další základní rámce, které formovaly naše chápání technologického pokroku za hranice Mooreova zákona.

Huangův zákon, pojmenovaný po CEO NVIDIA Jensenovi Huangovi, popisuje pozorování, že výkon GPU pro úkoly AI se zlepšuje rychlostí, která je podstatně rychlejší než Mooreův zákon. Během pětiletého období se GPU prokázaly výkonnostními zisky přesahujícími 25×, daleko překračujícími přibližně 10× zlepšení očekávaná podle tradičního škálování tranzistorů.

Tohoto zrychlení není způsobeno pouze hustotou čipu – je výsledkem systémové inovace. Zlepšení architektury GPU, zvýšená šířka pásma paměti, vysokorychlostní propojení a pokroky v softwarových ekosystémech, jako jsou CUDA a knihovny hlubokého učení,すべて přispěly k těmto ziskům. Inženýrské optimalizace v plánování, tensorových operacích a paralelnosti také sehrály vitální roli.

Zlepšení výkonu v úkolech školení a inference na jednom GPU dosáhly až 1 000× za posledních deset let, poháněné touto kompozitní hromadou hardwarové a softwarové inovace. V důsledku toho se schopnost GPU pro úkoly AI zdvojnásobila každé 6-12 měsíců – třikrát až čtyřikrát rychleji než Mooreova původní křivka. Tento neúprosný tempo učinil GPU nezbytnými motory moderní AI, umožňujícími masivní paralelní školení, které podkládá OpenAI Law.

Kurzweilův zákon zrychlených návratů bere myšlenku exponenciálního růstu o krok dále – navrhuje, že rychlost exponenciálního růstu sám zrychluje s časem. Podle tohoto principu každý technologický průlom neonly stojí sám o sobě; vytváří nástroje, platformy a znalosti, které činí další průlom rychlejší a efektivnější. To vede k kompozitnímu efektu, kde technologická změna se živí sama sebou, zrychluje jak ve škále, tak v frekvenci.

Kurzweil argumentoval, že tato dynamika bude komprimovat to, co by mohlo být staletími pokroku, do pouhých desetiletí. Pokud se rychlost pokroku zdvojnásobí každé desetiletí, 21. století by mohlo zažít ohromující skok – ekvivalent desítek tisíc let pokroku při historických rychlostech.

Tento zákon je zvláště relevantní pro AI. Moderní AI již není pouze předmětem pokroku – stalo se urychlovačem pokroku. Systémy AI již pomáhají při navrhování nových čipů, optimalizaci neuronových sítí, provádění vědeckého výzkumu a dokonce i při psaní kódu, který se používá k jejich následovníkům. To vytváří rekurentní zlepšovací smyčku, kde každá generace AI zlepšuje tu následující, zkracuje dobu vývoje a násobí schopnosti.

Tato zpětná vazba začíná připomínat to, co někteří nazývají inteligentní explozí: scénář, ve kterém systémy AI se stanou schopnými rychle se zlepšovat bez lidského zásahu. Výsledkem je křivka, která se nezvýší pouze strmě – ohýbá se dramaticky nahoru, protože cykly iterace se zkracují a průlomy se řetězí. Pokud tento vzorec pokračuje, můžeme být svědky fáze technologického pokroku, která se bude cítit téměř okamžité – kde celé odvětví, vědecká pole a způsoby myšlení se vyvíjejí v měsících spíše než v desetiletích.

OpenAI Law se vejde do tohoto dědictví jako poptávková vyjádření exponenciálního růstu. Na rozdíl od Mooreova nebo Huangova zákona, které popisují tempo hardwarových vylepšení, OpenAI Law odráží, kolik výpočetní síly výzkumníci skutečně spotřebují při hledání lepších výsledků. Ukazuje, že pokrok AI již není přísně vázaný tím, co mohou čipy dělat, ale tím, co jsou výzkumníci ochotni – a schopni – škálovat. Poháněno rozsáhlou cloudovou infrastrukturou a miliardami investic, OpenAI Law představuje novou éru, ve které schopnost roste nejen prostřednictvím inovací, ale prostřednictvím úmyslné, koncentrované síly.

Společně tyto zákony vykreslují vícedimenzionální pohled na exponenciální růst. Moore a Huang definují nabídku výpočetní síly. Kurzweil mapuje meta-trend kompozitního pokroku. A OpenAI Law zdůrazňuje nový druh technologické ambice – kde tlačení limitů již není volitelné, ale centrální strategie.

Slib: Proč exponenciální AI záleží

Implikace OpenAI Law jsou hluboké.

Na optimistické straně, exponenciální škálování přineslo ohromující výsledky. Systémy AI mohou nyní psát eseje, generovat kód, asistovat ve vědeckém výzkumu a účastnit se překvapivě fluidních konverzací. Každé 10× zvýšení škály zdá se odemyká nové emergentní schopnosti, naznačující, že se možná blížíme k AGI.

AI by mohlo brzy transformovat odvětví, od vzdělávání a zdravotnictví po finance a materiálovou vědu. Pokud OpenAI Law bude pokračovat, mohli bychom být svědky průlomů, které komprimují desetiletí inovací do několika krátkých let.

To je podstata nového termínu, který jsme vytvořili: „AI úniková rychlost“ – okamžik, kdy AI začne zlepšovat sama sebe, pohánějící pokrok do sebe-utvrzující, exponenciální vlny.

Cena: Environmentální, ekonomické a etické náklady

Ale exponenciální růst nepřichází zdarma.

Školení modelů na hranici spotřebovává enormní množství elektřiny a vody. Napájení tisíců GPU po týdny vytváří vážné environmentální obavy, včetně emisí uhlíku a tepelného odpadu. Dodavatelské řetězce pro čipy AI jsou také pod tlakem, zvyšují se geopolitické a udržitelnostní otázky.

Finančně, pouze největší technologické společnosti nebo dobře financované startupy si mohou dovolit zůstat na křivce. To vede k koncentraci moci, kde malá skupina organizací kontroluje hranici inteligence.

Etnicky, OpenAI Law podporuje závodnický přístup – větší, rychlejší, brzy – který může vést k předčasnému nasazení, nestestovaným systémům a bezpečnostním zkratkám. Existuje rostoucí obava, že některé modely na hranici mohou být vydány, než společnost plně pochopí jejich dopady.

Aby se to zmírnilo, výzkumníci navrhli rámce governance, které sledují vývoj AI, ne podle toho, co modely dělají, ale podle toho, kolik výpočetní síly bylo použito k jejich školení. Jelikož výpočetní síla je jedním z nejlepších prediktorů schopnosti modelu, mohla by se stát proxy pro hodnocení rizika a regulaci.

Limity škálování: Co se stane, když se křivka ohýbá?

Navzdory ohromujícím ziskům existuje debata o tom, jak dlouho může škálovací trend pokračovat. Někteří se domnívají, že již vidíme snižující se návraty: větší modely spotřebují více výpočetní síly, ale přinášejí pouze marginální zlepšení.

Jiní argumentují, že průlomy v efektivitě, návrhu algoritmu nebo architektuře modelu by mohly křivku zplošit, aniž by zpomalily pokrok. Menší, chytrější modely by mohly být atraktivnější než brute-force obři.

Navíc, veřejný tlak, regulace a omezení infrastruktury mohou donutit průmysl přehodnotit přístup „škálovat za každou cenu“. Pokud elektrické sítě, rozpočty nebo společenské svolení nemohou držet krok, exponenciální AI by mohla narazit na strop – nebo alespoň na obratný bod.

Cesta vpřed: Mapování budoucnosti exponenciální AI

Prozatím OpenAI Law zůstává jedním z nejjasnějších pohledů na budoucnost umělé inteligence. Vysvětlí, jak jsme se dostali od primitivních chatbotů k multimodálním generalistickým systémům za méně než deset let – a proč další vlna pokroku by mohla být ještě dramatičtější.

Ještě, zákon přichází s kompromisy: nerovnost přístupu, rostoucí náklady, environmentální zátěž a bezpečnostní výzvy. Jak urychlujeme do této nové éry, společnost bude muset řešit fundamentální otázky:

• Kdo bude formovat budoucnost AI?
• Jak vyvážíme pokrok s opatrností?
• Jaké systémy jsou potřebné k řízení exponenciální schopnosti, než bude moci uniknout lidské kontrole?

OpenAI Law není neměnný. Jako Mooreův zákon před ním, může nakonec zpomalit, zplošit nebo být nahrazen novým paradigmatem. Ale prozatím slouží jako varování a mapa – připomínající nám, že budoucnost AI není pouze pokroková, ale kompozitní.

Nejsme pouze svědky historie – inženýrujeme ji exponenciální rychlostí. Ale s touto mocí přichází odpovědnost: zajistit, aby lidstvo netrpělo exponenciální újmou spolu s exponenciálním pokrokem.