Från Moores lag till “OpenAI:s lag”: Den exponentiella banan för AI-utveckling

Artificiell intelligens utvecklas i en takt som är svår att förstå. För att beskriva denna fenomen har insidare börjat hänvisa till vad som kallas “OpenAI:s lag” – en modern parallell till Moores lag, men mycket brantare. Denna term introducerades i boken Empire of AI, som skildrar uppkomsten av OpenAI och kapplöpningen mot artificiell allmän intelligens (AGI). I boken används “OpenAI:s lag” för att beskriva den hisnande takt i vilken beräkningskraven – och därmed AI-förmågorna – har skalats upp under det senaste decenniet.

Medan det inte är en formell vetenskaplig lag, hänvisar OpenAI:s lag till en verklig och mätbar trend: den snabba fördubblingen av den beräkningskraft som används för att träna frontlinjens AI-modeller, som sker i en takt som är mycket snabbare än Moores lag. I praktiken har AI-beräkningarna fördubblats ungefär var tredje till fjärde månad, jämfört med Moores 18-24 månader. Denna exponentiella kurva ligger till grund för den moderna AI-boomen och skapar scenen för en framtid som anländer snabbare än de flesta förväntar sig.

Moores lag: Motorn som drev den digitala eran

Moores lag var den drivande kraften bakom uppkomsten av persondatorer, smartphones och molntjänster. Den förutsade att antalet transistorer på en krets skulle fördubblas ungefär varannan år, vilket ledde till exponentiella vinster i beräkningskraft, energieffektivitet och kostnadsreduktion.

För decennier höll denna enkla mönster i sig, vilket gjorde varje generation av hårdvara exponentiellt mer kraftfull än den föregående. Men när fysiska och ekonomiska begränsningar nåddes i början av 2010-talet, började Moores lag att sakta ner. Ingenjörer svarade genom att använda fler kärnor, 3D-chipstacking och specialiserade processorer för att förlänga prestandan – men de enkla vinsterna var borta.

Det var runt den här tiden som AI-forskning, driven av djupinlärning-genombrott, började avvika från den traditionella banan för Moores lag.

Födelsen av OpenAI:s lag: AI:s explosiva beräkningskurva

I början av 2010-talet upptäckte forskare att att mata mer beräkningskraft till stora neuronnät ledde till allt kraftfullare AI-förmågor. Från och med 2012 började den mängd beräkningskraft som användes i de största AI-träningskörningarna att fördubblas ungefär var tredje till fjärde månad.

Detta var en hisnande acceleration – mycket snabbare än Moores lag. Under sex år ökade den beräkningskraft som användes i state-of-the-art AI-modeller med mer än 300 000 gånger. Medan Moores lag endast skulle ha gett en 7-gånger ökning under den tiden, sköt AI-beräkningarna i höjden på grund av aggressiv skalning.

Denna fenomen blev informellt känd som OpenAI:s lag – en självinförd bana för organisationer som OpenAI, som trodde att skalning av modellstorlek och beräkningskraft var den snabbaste vägen till artificiell allmän intelligens (AGI). Boken Empire of AI beskriver denna skiftning i detalj, och visar hur OpenAI och dess ledning åtagit sig denna strategi trots de ökande kostnaderna, eftersom de trodde att det var den mest direkta vägen till att låsa upp transformerande förmågor.

Kritiskt sett är OpenAI:s lag inte en fysisk ofrånkomlighet – det är ett strategiskt beslut. Troheten att “mer beräkningskraft är bättre AI” blev en ledande princip, backad av massiva investeringar, infrastruktursbyggnader och partnerskap med molntjänstleverantörer.

Skalningshypotesen och den nya kapplöpningen

Under OpenAI:s lag ligger skalningshypotesen: idén att enbart att göra modellerna större och träna dem på mer data med mer beräkningskraft leder till kvalitativt bättre resultat. Denna hypotes fick fart när varje efterföljande modell – GPT-2, GPT-3, GPT-4 – visade på språng i flyt, resonemang och multimodal förståelse.

I hjärtat av denna trend ligger en intensiv konkurrens mellan teknikföretag för att dominera AI-fronten. Resultatet har blivit en sorts kapplöpning, där varje ny milstolpe kräver exponentiellt fler beräkningsresurser än den föregående.

Att träna stora modeller kräver nu tiotusentals högpresterande GPU:er som opererar i parallell. Prognoser för framtida modeller involverar beräkningsbudgetar som kan nå eller överstiga 100 miljarder dollar, med massiva effekt- och infrastrukturbehov.

Denna trend har lett till en ny sorts exponentiell kurva – en som inte längre definieras av transistorantal, utan av viljan och förmågan att skala beräkningskraft till varje pris.

Hur det jämför sig: Huangs lag och Kurzweils lag om accelererande återvinning

För att fullständigt förstå betydelsen av OpenAI:s lag, hjälper det att utforska andra grundläggande ramar som har format vår förståelse av teknisk framsteg bortom Moores lag.

Huang’s lag, uppkallad efter NVIDIA (NVDA ):s VD Jensen Huang, beskriver observationen att GPU-prestanda för AI-arbetsbelastningar har förbättrats i en takt som är betydligt snabbare än Moores lag. Under en femårsperiod har GPU:er sett prestandaförbättringar som överstiger 25 gånger, långt utöver de cirka 10-gånger förbättringar som förväntades under traditionell transistor skalning.

Denna acceleration beror inte enbart på chipdensitet – det är resultatet av systemnivåinnovation. Förbättringar av GPU-arkitektur, ökad minnesbandbredd, höghastighetsinterconnects och framsteg inom programvaruekosystem som CUDA och djupinlärningsbibliotek har alla bidragit till dessa vinster. Ingenjörsoptimeringar inom schemaläggning, tensoroperationer och parallellism har också spelat en avgörande roll.

Prestandaförbättringar inom enskilda GPU-inferens- och träningsuppgifter har nått upp till 1 000 gånger under det senaste decenniet, driven av denna ackumulerade stack av hårdvaru- och programvaruinnovation. I effekt har GPU-kapacitet för AI-uppgifter fördubblats var 6 till 12 månad – tre till fyra gånger snabbare än Moores ursprungliga kurva. Denna outtröttliga takt har gjort GPU:er till de oumbärliga motorerna för modern AI, möjliggörande de massiva parallella träningskörningarna som ligger till grund för OpenAI:s lag.

Kurzweils lag om accelererande återvinning tar idén om exponentiell tillväxt ett steg längre – den föreslår att takten för exponentiell tillväxt i sig accelererar över tiden. Enligt denna princip skapar varje teknisk genombrott inte bara en ny nivå av prestanda, utan också de verktyg, plattformar och kunskaper som gör det möjligt för nästa genombrott att ske snabbare och mer effektivt. Detta leder till en ackumulerande effekt där teknisk förändring matar på sig själv, accelererande i både skala och frekvens.

Kurzweil har hävdat att denna dynamik kommer att komprimera vad som annars skulle ha varit århundraden av framsteg till bara några decennier. Om takten för framsteg fördubblas varje decennium, kan 2000-talet uppleva en hisnande språng – motsvarande tiotusentals år av framsteg vid historiska takter.

Denna lag är särskilt relevant för AI. Modern AI är inte längre bara ett ämne för framsteg – det har blivit en accelerator för framsteg. AI-system assisterar redan vid design av nya chip, optimering av neuronnät, genomförande av vetenskaplig forskning och till och med skrivande av den kod som används för att bygga deras efterföljare. Detta skapar en rekursiv förbättringsslinga, där varje generation av AI förbättrar den nästa, krymper utvecklingstider och multiplicerar förmågor.

Denna återkopplingscykel börjar likna vad som kallas en intelligensexplosion: ett scenario där AI-system blir kapabla att snabbt förbättra sig utan mänskligt ingripande. Resultatet är en kurva som inte bara stiger brant – den böjer sig dramatiskt uppåt, när iterationsscykler kollapsar och genombrott kaskader. Om denna trend fortsätter, kan vi vittna om en fas av teknisk framsteg som känns nästan ögonblicklig – där hela industrier, vetenskapliga fält och tankesätt utvecklas på månader snarare än decennier.

OpenAI:s lag passar in i denna linje som en efterfrågestyrd uttryck för exponentiell tillväxt. Till skillnad från Moores eller Huangs lag, som beskriver takten för hårdvaruförbättringar, reflekterar OpenAI:s lag hur mycket beräkningskraft forskare faktiskt väljer att konsumera i jakten på bättre resultat. Den visar att AI-framsteg inte längre är strikt bundet av vad chip kan göra, utan snarare av vad forskare är villiga – och kapabla – att skala. Driven av omfattande molninfrastruktur och miljarder i investeringar, exemplifierar OpenAI:s lag en ny era där kapacitet växer inte bara genom innovation, utan genom avsiktlig, koncentrerad kraft.

Tillsammans ritade dessa lagar en multi-dimensionell vy av exponentiell tillväxt. Moore och Huang definierar utbudet av beräkningskraft. Kurzweil kartlägger meta-trenden för ackumulerande framsteg. Och OpenAI:s lag betonar en ny sorts teknisk ambition – där att pressa gränserna inte längre är valfritt, utan den centrala strategin.

Löftet: Varför exponentiell AI är viktig

Konsekvenserna av OpenAI:s lag är djupgående.

På den optimistiska sidan har exponentiell skalning producerat häpnadsväckande resultat. AI-system kan nu skriva essäer, generera kod, assistera i vetenskaplig forskning och engagera sig i förvånansvärt flytande samtal. Varje 10-gånger ökning av skala tycks låsa upp nya emergenta förmågor, vilket antyder att vi kanske närmar oss AGI.

AI kan snart omvandla industrier som utbildning och hälsovård till finans och materialvetenskap. Om OpenAI:s lag fortsätter att gälla, kan vi vittna om genombrott som komprimerar decennier av innovation till bara några få år.

Detta är kärnan i en ny term vi har myntat: “AI-utbrytning” – ögonblicket då AI börjar förbättra sig själv, och skjuter framsteg in i en självförstärkande, exponentiell våg.

Priset: Miljö-, ekonomiska och etiska kostnader

Men exponentiell tillväxt kommer inte gratis.

Att träna frontlinjens modeller kräver nu enorma mängder el och vatten. Att driva tusentals GPU:er i veckor skapar allvarliga miljöproblem, inklusive koldioxidutsläpp och termisk avfall. Leverantörskedjorna för AI-chip är också under press, vilket väcker geopolitiska och hållbarhetsfrågor.

Ekonomiskt sett kan endast de största teknikföretagen eller välfinansierade startup-företag följa med på kurvan. Detta leder till en koncentration av makt, där en liten grupp organisationer kontrollerar AI-fronten.

Etiskt sett uppmuntrar OpenAI:s lag en tävlingsmentalitet – större, snabbare, snarare – som kan leda till för tidig distribution, outestade system och säkerhetsåtgärder. Det finns en växande oro för att vissa frontlinjens modeller kan släppas ut innan samhället fullständigt förstår deras inverkan.

För att mildra detta har forskare föreslagit styrningsramar som spårar AI-utveckling inte efter vad modellerna gör, utan efter hur mycket beräkningskraft som används för att träna dem. Eftersom beräkningskraft är en av de bästa prediktorerna för modellförmåga, kan den bli en proxy för riskbedömning och reglering.

Gränser för skalning: Vad händer när kurvan böjer sig?

Trots de imponerande vinsterna finns det en debatt om hur länge skalningstrenden kan fortsätta. Vissa tror att vi redan ser avtagande avkastning: större modeller konsumerar mer beräkningskraft men ger endast marginella förbättringar.

Andra hävdar att genombrott inom effektivitet, algoritmdesign eller modellarkitektur kan platta till kurvan utan att sakta ner framstegen. Mindre, smartare modeller kan bli mer attraktiva än brutala jättar.

Dessutom kan offentlig press, reglering och infrastruktursbegränsningar tvinga industrin att ompröva “skala till varje pris”-mentaliteten. Om elnät, budgetar eller socialt samtycke inte kan hålla jämna steg, kan exponentiell AI träffa en tak eller åtminstone en vändpunkt.

Vägen framåt: Att kartlägga framtiden för exponentiell AI

För tillfället förblir OpenAI:s lag en av de tydligaste linserna genom vilka vi kan se framtiden för artificiell intelligens. Den förklarar hur vi har flyttat från rudimentära chatbots till multimodala allmänna system på mindre än ett decennium – och varför den nästa vågen av framsteg kan vara ännu mer dramatisk.

Men lagen kommer också med avvägningar: ojämlik tillgång, stigande kostnader, miljöbelastningar och säkerhetsutmaningar. När vi accelererar in i denna nya era, kommer samhället att behöva konfrontera grundläggande frågor:

• Vem får forma framtiden för AI?
• Hur balanserar vi framsteg med försiktighet?
• Vilka system behövs för att hantera exponentiell kapacitet innan den springer förbi mänsklig kontroll?

OpenAI:s lag är inte oföränderlig. Liksom Moores lag före den, kan den så småningom sakta ner, plana ut eller ersättas av en ny paradigm. Men för tillfället fungerar den som både en varning och en vägledning – påminnande oss om att framtiden för AI inte bara framskrider, den ackumulerar.

Vi är inte bara vittnen till historien – vi konstruerar den i exponentiell hastighet. Men med den kraften följer ett ansvar: att säkerställa att mänskligheten inte lider exponentiell skada bredvid exponentiellt framsteg.