Fra Moore’s Lov til “OpenAI’s Lov”: Den eksponentielle banen for AI-utvikling

Kunstig intelligens utvikler seg i en fart som er vanskelig å fatte. For å beskrive dette fenomenet, har insiderne begynt å referere til hva noen kaller “OpenAI’s Lov” – en moderne parallell til Moore’s Lov, men mye brattere. Dette begrepet ble introdusert i boken Empire of AI, som skildrer oppblomstringen av OpenAI og kappløpet mot kunstig generell intelligens (AGI). I boken brukes “OpenAI’s Lov” for å fange den rasende takten hvori beregningskrav – og dermed AI-egenskaper – har skalert over de siste ti årene.

Mens det ikke er en formell vitenskapelig lov, refererer OpenAI’s Lov til en reell og målbare trend: den raske fordobling av beregningskraft brukt i trening av front AI-modeller, som skjer i en fart som er mye raskere enn Moore’s Lov. I praksis har AI-beregningskraft fordoblet seg omtrent hver tre til fire måneder, sammenlignet med Moore’s 18-24 måneder. Denne eksponentielle kurven ligger til grunn for den moderne AI-boomen og setter scenen for en fremtid som kommer raskere enn de fleste forventer.

Moore’s Lov: Motoren som drev den digitale tidsalderen

Moore’s Lov var drivkraften bak oppblomstringen av personlige datamaskiner, smarttelefoner og skydatamaskiner. Den forutså at antallet transistorer på en chip ville fordoble seg omtrent hver to år, noe som ledet til eksponentielle gevinster i beregningskraft, energieffektivitet og kostnadsreduksjon.

I flere tiår holdt denne enkle mønsteren, og hver generasjon av maskinvare ble eksponentielt mer kraftig enn den foregående. Men da fysiske og økonomiske grenser ble nådd i 2010-årene, begynte Moore’s Lov å sakke. Ingeniører svarte med å bruke flere kerner, 3D-chip-stacking og spesialiserte prosessorer for å utvide ytelsen – men de enkle gevinstene var borte.

Det var omtrent på denne tiden at AI-forskning, drevet av dypt læring-gjennombrudd, begynte å divergere fra den tradisjonelle banen til Moore’s Lov.

Fødselen av OpenAI’s Lov: AI’s eksplosive beregningskurve

Tidlig i 2010-årene oppdaget forskerne at å mata mer beregning inn i store neurale nettverk ledet til stadig mer kraftige AI-egenskaper. Fra omtrent 2012 begynte mengden beregning brukt i de største AI-treningene å fordoble seg omtrent hver 3-4 måned.

Dette var en forbløffende akselerasjon – mye raskere enn Moore’s Lov. Over seks år økte mengden beregning brukt i state-of-the-art AI-modeller med over 300 000 ganger. Mens Moore’s Lov bare ville ha levert en 7-gangers økning i den tiden, skjøt AI-beregningene i været på grunn av aggressiv skalerings.

Dette fenomenet ble uoffisielt kjent som OpenAI’s Lov – en selvvalgt bane for organisasjoner som OpenAI, som trodde at å skalerer modellstørrelse og beregning var den raskeste veien til kunstig generell intelligens (AGI). Boken Empire of AI beskriver denne skiftet i detalj, og viser hvordan OpenAI og dens ledelse var dedikert til denne strategien, til tross for de økende kostnadene, fordi de trodde det var den mest direkte veien til å låse opp transformative evner.

Kritisk, OpenAI’s Lov er ikke en fysisk uunngåelighet – det er en strategisk beslutning. Troen på at “mer beregning = bedre AI” ble en ledende prinsipp, støttet av massive investeringer, infrastruktur-utbygginger og partnerskap med skytjenesteleverandører.

Skaleringshypotesen og det nye våpenkappløpet

Under OpenAI’s Lov ligger skaleringshypotesen: tanken om at å bare gjøre modellene større og trene dem på mer data med mer beregning, leder til kvalitativt bedre resultater. Denne hypotesen fikk grep da hver etterfølgende modell – GPT-2, GPT-3, GPT-4 – viste store sprang i flyt, resonnering og multimodal forståelse.

I hjertet av denne trenden ligger en intens konkurranse mellom teknologiselskaper for å dominere fronten av AI. Resultatet har vært en slags våpenkappløp, hvor hver ny milepæl krever eksponentielt flere beregningsressurser enn den foregående.

Å trene store modeller krever nå titusener av høykvalitets-GPUer som opererer i parallell. Prognoser for fremtidige modeller involverer beregningsbudsjett som kan nærme seg eller overstige 100 milliarder dollar, med massive kraft- og infrastruktur-krav.

Denne trenden har ledet til en ny type eksponentiell kurve – en som ikke lenger er definert av transistor-teller, men av evnen og villigheten til å skalerer beregning til enhver pris.

Hvordan det sammenlignes: Huang’s Lov og Kurzweil’s Lov om akselererende tilbakevendelser

For å fullt forstå betydningen av OpenAI’s Lov, hjelper det å utforske andre grunnleggende rammer som har formet vår forståelse av teknologisk fremgang utover Moore’s Lov.

Huang’s Lov, oppkalt etter NVIDIA-sjef Jensen Huang, beskriver observasjonen av at GPU-ytelse for AI-arbeidsbelastninger har forbedret seg i en rate som er betydelig raskere enn Moore’s Lov. Over en femårsperiode har GPU-er sett ytelsesforbedringer som overstiger 25 ganger, langt over de omtrent 10 ganger forbedringene som forventes under tradisjonell transistor-skalerings.

Dette akselerasjonen skyldes ikke bare chip-tetthet alene – det er resultatet av systemnivå-innovasjon. Forbedringer i GPU-arkitektur, økt minne-båndbredde, høyhastighets-interconnects og fremgang i programvare-økosystemer som CUDA og dypt-lærings-biblioteker har alle bidratt til disse gevinstene. Ingeniør-optimaliseringer i planlegging, tensor-operasjoner og parallellitet har også spilt en vital rolle.

Ytelsesforbedringer i enkelt-GPU-inferens og trening-oppgaver har nådd opptil 1 000 ganger over de siste ti årene, drevet av denne kumulative stabelen av hardware- og programvare-innovasjon. I praksis har GPU-kapasitet for AI-oppgaver fordoblet seg hver 6-12 måned – tre til fire ganger raskere enn Moore’s originale kurve. Denne uavbrutte farten har gjort GPU-er til de uunnværlige motorene i moderne AI, og muliggjort de massive parallelliserte treningene som ligger til grunn for OpenAI’s Lov.

Kurzweil’s Lov om akselererende tilbakevendelser tar ideen om eksponentiell vekst et skritt videre – den foreslår at hastigheten av eksponentiell vekst selv akselererer over tid. Ifølge denne prinsippet, hver teknologisk gjennombrudd ikke bare står alene; det skaper verktøyene, plattformene og kunnskapen som gjør at det neste gjennombruddet skjer raskere og mer effektivt. Dette leder til en kumulativ effekt hvor teknologisk endring føder på seg selv, akselererer i både skala og frekvens.

Kurzweil har argumentert for at denne dynamikken vil komprimere hva som ville ha vært århundrer av fremgang til bare noen få tiår. Hvis hastigheten av fremgang fordobler seg hver tiår, kan det 21. århundre oppleve et forbløffende sprang – ekvivalent til titusener av år med fremgang ved historiske rater.

Dette lover er særlig relevant for AI. Moderne AI er ikke lenger bare et emne for fremgang – det har blitt en akselerator av fremgang. AI-systemer assisterer allerede i design av nye chip, optimalisering av neurale nettverk, gjennomføring av vitenskapelig forskning og selv skriving av koden som brukes til å bygge deres etterfølgere. Dette skaper en rekursiv forbedrings-syklus, hvor hver generasjon av AI forbedrer den neste, krymper utviklingstider og multipliserer evner.

Denne tilbakemeldings-syklusen begynner å ligne hva noen kaller en intelligens-eksplosjon: en scenario hvor AI-systemer blir i stand til å forbedre seg selv raskt uten menneskelig inngripen. Resultatet er en kurve som ikke bare stiger bratt – den bøyer seg dramatisk oppover, ettersom iterasjonssykluser kollapser og gjennombrudd kaskader. Hvis denne trenden fortsetter, kan vi være vitne til en fase av teknologisk fremgang som føles nesten øyeblikkelig – hvor hele industrier, vitenskapelige felt og tanker utvikler seg på måneder i stedet for tiår.

OpenAI’s Lov passer inn i denne linjen som en etterspørsels-side-uttrykk for eksponentiell vekst. I motsetning til Moore’s eller Huang’s Lover, som beskriver hastigheten av hardware-forbedringer, reflekterer OpenAI’s Lov hvor mye beregning forskerne faktisk velger å forbruke i jakten på bedre resultater. Den viser at AI-fremgang ikke lenger er strengt bundet av hva chip kan gjøre, men snarere av hva forskerne er villige – og i stand til – å skalerer. Drevet av omfattende sky-infrastruktur og milliarder i investeringer, eksemplifiserer OpenAI’s Lov en ny æra hvor evne vokser ikke bare gjennom innovasjon, men gjennom intention, konsentrert kraft.

Sammen tegner disse lovene en flerdimensjonal visning av eksponentiell vekst. Moore og Huang definerer tilbudet av beregning. Kurzweil kartlegger meta-trenden av kumulativ fremgang. Og OpenAI’s Lov understreker en ny type teknologisk ambisjon – hvor å presse grensene ikke lenger er valgfritt, men den sentrale strategien.

Løftet: Hvorfor eksponentiell AI betyr noe

Konsekvensene av OpenAI’s Lov er dyptgående.

På den optimistiske siden, har eksponentiell skaleringsproduktet forbløffende resultater. AI-systemer kan nå skrive essays, generere kode, assisterer i vitenskapelig forskning og engasjerer i overraskende flytende samtaler. Hver 10-gangers økning i skala synes å låse opp nye, emergente evner, og antyder at vi kan være på vei mot AGI.

AI kan snart transformere industrier som utdanning, helse, finanse og materialevitenskap. Hvis OpenAI’s Lov fortsetter å holde, kan vi være vitne til gjennombrudd som komprimerer tiår av innovasjon til noen få år.

Dette er essensen av en ny term vi har funnet opp: “AI-escapeteknikk” – øyeblikket når AI begynner å forbedre seg selv, og driver fremgang inn i en selvforsterkende, eksponentiell bølge.

Prisen: Miljømessige, økonomiske og etiske kostnader

Men eksponentiell vekst kommer ikke uten kostnader.

Å trene frontmodeller krever nå enorme mengder strøm og vann. Å drive titusener av GPU-er i ukevis på rad skaper alvorlige miljømessige bekymringer, inkludert karbonutslipp og termisk avfall. Forsyningskjedene for AI-chip er også under press, og øker geopolitiske og bærekraftsmessige bekymringer.

Økonomisk sett kan bare de største teknologiselskapene eller godt finansierte startup-selskaper holde tritt med kurven. Dette leder til konsentrasjon av makt, hvor en liten gruppe organisasjoner kontrollerer fronten av intelligens.

Etisk sett oppmuntres OpenAI’s Lov til en kappløps-mentalitet – større, raskere, snart – som kan føre til forhastet utrulling, utestede systemer og sikkerhetsshortcuts. Det er en voksende bekymring for at noen frontmodeller kan bli utgitt før samfunnet fullt ut forstår deres impakt.

For å mildne dette, har forskere foreslått styringsrammer som sporer AI-utvikling ikke etter hva modellene gjør, men etter hvor mye beregning som ble brukt til å trene dem. Siden beregning er en av de beste prediktorer for modell-kapasitet, kan det bli en proxy for risikovurdering og regulering.

Grensene for skalerings: Hva skjer når kurven bøyer seg?

Til tross for de imponerende gevinstene, er det debatt om hvor lenge skalerings-trenden kan fortsette. Noen mener vi allerede ser avtagende gevinst: større modeller forbruker mer beregning, men gir bare marginale forbedringer.

Andre argumenterer for at gjennombrudd i effektivitet, algoritme-design eller modell-arkitektur kunne flatt kurven uten å sakke fremgangen. Mindre, smartere modeller kan bli mer attraktive enn brutt-styrke-kjemper.

I tillegg kan offentlig press, regulering og infrastruktur-begrensninger tvinge industrien til å omvurdere “skaler på alle måter”-mentaliteten. Hvis strømnettet, budsjett eller sosialt samtykke ikke kan holde tritt, kan eksponentiell AI treffe en tak – eller i det minste en vendepunkt.

Vei fremover: Kartlegging av fremtiden for eksponentiell AI

For nå er OpenAI’s Lov en av de klareste linser gjennom hvilken vi kan se fremtiden for kunstig intelligens. Den forklarer hvordan vi har beveget oss fra rudimentære chatboter til multimodale generalister på mindre enn et tiår – og hvorfor den neste bølgen av fremgang kan være enda mer dramatisk.

Likevel kommer loven også med kompromisser: tilgangs-ulevilhet, økende kostnader, miljømessige byrder og sikkerhets-utfordringer. Mens vi akselererer inn i denne nye æraen, vil samfunnet måtte konfrontere grunnleggende spørsmål:

• Hvem får forme fremtiden for AI?
• Hvordan balanserer vi fremgang med forsiktighet?
• Hvilke systemer er nødvendige for å håndtere eksponentiell evne før den overgår menneskelig kontroll?

OpenAI’s Lov er ikke uforanderlig. Like som Moore’s Lov før den, kan den eventuelt sakke, plate ut eller bli erstattet av en ny paradigm. Men for nå tjener den som både en advarsel og en veikart – og minner oss om at fremtiden for AI ikke bare er i fremgang – den er i eksponentiell akselerasjon.

Vi er ikke bare vitne til historie – vi designer den i eksponentiell fart. Men med denne kraften kommer ansvar: å sikre at menneskeheten ikke lider eksponentielle skader sammen med eksponentiell fremgang.