Fra Moore’s Lov til “OpenAI’s Lov”: Den eksponentielle Traektorie for AI-Udvikling

Kunstig intelligens udvikler sig i en hastighed, der er svær at fatte. For at beskrive dette fænomen er insiderne begyndt at henvise til, hvad nogle kalder “OpenAI’s Lov” – en moderne parallel til Moore’s Lov, men langt stejlere. Dette begreb blev bragt til bredere opmærksomhed i bogen Empire of AI, der kronikerer opkomsten af OpenAI og løbet mod kunstig almen intelligens (AGI). I bogen bruges “OpenAI’s Lov” til at fange det rasende tempo, hvormed beregningskrav – og dermed AI-kapaciteter – har skaleret over de sidste ti år.

Mens det ikke er en formel videnskabelig lov, henviser OpenAI’s Lov til en reel og målbart trend: det hurtige dobling af beregningskraften, der bruges til at træne frontmodeller for AI, sker i en hastighed, der er langt hurtigere end Moore’s Lov. I praksis har AI-beregning doblet sig omtrent hver tre til fire måneder, sammenlignet med Moore’s 18-24 måneder. Denne eksponentielle kurve danner grundlag for den moderne AI-boom og sætter scenen for en fremtid, der ankommer hurtigere, end de fleste forventer.

Moore’s Lov: Motoren, der drev den digitale tidsalder

Moore’s Love var drivkraften bag opkomsten af personlige computere, smartphones og cloud-computing. Den forudsagde, at antallet af transistorer på en chip ville doble sig omtrent hver to år, hvilket førte til eksponentielle gevinster i beregningskraft, energoeffektivitet og omkostningsreduktion.

I årtier holdt dette enkle mønster sig, og hver generation af hardware blev eksponentielt mere kraftfuld end den foregående. Men da fysiske og økonomiske begrænsninger blev nået i 2010’erne, begyndte Moore’s Lov at aftrappe. Ingeniører svarede ved at bruge flere kerner, 3D-chip-stacking og specialiserede processorer til at udvide ydelsen – men de lette gevinster var væk.

Det var omkring denne tid, at AI-forskning, drevet af dyb læring-gennembrud, begyndte at afvige fra den traditionelle trajektorie for Moore’s Lov.

Fødslen af OpenAI’s Lov: AI’s eksplosive beregningskurve

I begyndelsen af 2010’erne opdagede forskere, at det at give mere beregning til store neurale netværk førte til stadig mere kraftfulde AI-kapaciteter. Fra omkring 2012 begyndte mængden af beregning, der blev brugt i de største AI-træningsløb, at doble sig omtrent hver tre til fire måneder.

Dette var en forbløffende acceleration – langt hurtigere end Moore’s Lov. Over seks år øgede beregningen, der blev brugt i state-of-the-art AI-modeller, med mere end 300.000 gange. Mens Moore’s Lov kun ville have leveret en 7-gangs øgning i den periode, eksploderede AI-beregning på grund af aggressiv skalerings.

Dette fænomen blev informelt kendt som OpenAI’s Lov – en selvvalgt trajektorie af organisationer som OpenAI, der mente, at skaleringsmodelstørrelse og beregning var den hurtigste vej til kunstig almen intelligens (AGI). Bogen Empire of AI beskriver denne skift i detaljer, og illustrerer, hvordan OpenAI og dens ledelse forpligtede sig til denne strategi, på trods af de stigende omkostninger, fordi de mente, det var den mest direkte vej til at låse op for transformative kapaciteter.

Kritisk set er OpenAI’s Lov ikke en fysisk uundgåelighed – det er en strategisk beslutning. Troen på, at “mere beregning giver bedre AI”, blev en ledende princip, bakket op af massive investeringer, infrastruktur-udbygninger og partnerskaber med cloud-udbydere.

Skaleringshypotesen og den nye våbenkapløb

Under OpenAI’s Lov ligger skaleringshypotesen: idéen om, at det blot at gøre modeller større og træne dem på mere data med mere beregning fører til kvalitativt bedre resultater. Denne hypotese fik fodfæste, da hver efterfølgende model – GPT-2, GPT-3, GPT-4 – demonstrerede spring i flydende, argumentation og multimodal forståelse.

I hjertet af denne trend ligger en intens konkurrence mellem tech-virksomheder for at dominere fronten af AI. Resultatet har været en slags våbenkapløb, hvor hver ny milepæl kræver eksponentielt flere beregningsressourcer end den foregående.

Træning af store modeller kræver nu tusindvis af højendeprocessorer, der opererer i parallel. Prognoser for fremtidige modeller indebærer beregningsbudgetter, der kunne nærme sig eller overstige 100 milliarder dollar, med massive krav til strøm og infrastruktur.

Denne trend har ført til en ny type eksponentiel kurve – en, der ikke længere er defineret af transistorantal, men af viljen og evnen til at skale beregning på alle omkostninger.

Hvordan det sammenlignes: Huang’s Lov og Kurzweil’s Lov om accelererende retur

For at fuldt ud forstå betydningen af OpenAI’s Lov, hjælper det at udforske andre grundlæggende rammer, der har formet vores forståelse af teknologisk fremgang ud over Moore’s Lov.

Huang’s Lov, opkaldt efter NVIDIA’s CEO Jensen Huang, beskriver observationen af, at GPU-præstation for AI-arbejdsbelastninger har forbedret sig i en hastighed, der er betydeligt hurtigere end Moore’s Lov. Over en femårsperiode har GPU’er set præstationsgevinster, der overstiger 25 gange, langt overgående de cirka 10 gange forbedringer, der forventedes under traditionel transistor-skalerings.

Dette acceleration skyldes ikke kun chip-tætheden alene – det er resultatet af systemniveau-innovation. Forbedringer i GPU-arkitektur, øget hukommelsesbåndbredde, højhastigheds-interconnects og fremskridt i software-økosystemer som CUDA og dyb læring-biblioteker har alle bidraget til disse gevinster. Ingeniør-optimeringer i planlægning, tensor-operationer og parallelisme har også spillet en vital rol.

Præstationsforbedringer i enkelt-GPU-inferens og træningsopgaver har nået op til 1.000 gange over de sidste ti år, drevet af denne kompenserende stak af hardware- og software-innovation. I virkeligheden har GPU-kapacitet for AI-opgaver doblet sig hver 6 til 12 måneder – tre til fire gange hurtigere end Moore’s originale kurve. Denne uafbrudte hastighed har gjort GPU’er til de uundværlige motorer i moderne AI, og muliggjort de massive paralleliserede træningsløb, der ligger til grund for OpenAI’s Lov.

Kurzweil’s Lov om accelererende retur tager idéen om eksponentiel vækst et skridt videre – den foreslår, at hastigheden af eksponentiel vækst selv accelererer over tid. Ifølge denne princip vil hver enkelt teknologisk gennembrud ikke blot stå alene; det skaber de værktøjer, platforme og viden, der gør det næste gennembrud hurtigere og mere effektivt. Dette fører til en kompenserende effekt, hvor teknologisk ændring føder på sig selv, og accelererer i både skala og hyppighed.

Kurzweil har argumenteret for, at denne dynamik vil komprimere, hvad der ellers ville have været århundreder af fremgang, til blot få årtier. Hvis hastigheden af fremgang dobles hver tiende år, kan det 21. århundrede opleve et forbløffende spring – svarende til titusinder af års fremgang ved historiske satser.

Dette lov er særligt relevant for AI. Moderne AI er ikke længere blot et emne for fremgang – det er blevet en accelerator af fremgang. AI-systemer assisterer allerede i design af nye chip, optimering af neurale netværk, videnskabelig forskning og endda skrivning af den kode, der bruges til at bygge deres efterfølgere. Dette skaber en rekursiv forbedringsløkke, hvor hver generation af AI forbedrer den næste, og reducerer udviklingstider og multipliserer kapaciteter.

Denne feedback-cyklus begynder at ligne, hvad nogle kalder en intelligens-eksplosion: en scenario, hvor AI-systemer bliver i stand til hurtigt at forbedre sig selv uden menneskelig indgriben. Resultatet er en kurve, der ikke blot stiger stejlt – den bøjer op dramatisk, da iterations-cykler kollapser og gennembrud kaskader. Hvis denne trend fortsætter, kan vi opleve en fase af teknologisk fremgang, der føles næsten øjeblikkelig – hvor hele industrier, videnskabelige felter og tankeformer udvikler sig på måneder i stedet for årtier.

OpenAI’s Lov passer ind i denne linje som en efterspørgsels-side-udtryk for eksponentiel vækst. I modsætning til Moore’s eller Huang’s Love, der beskriver hastigheden af hardware-forbedringer, reflekterer OpenAI’s Lov, hvor meget beregning forskere faktisk vælger at forbruge i jagten på bedre resultater. Det viser, at AI-fremgang ikke længere er strengt bundet af, hvad chip kan gøre, men snarere af, hvad forskere er villige – og i stand til – at skale. Drevet af massiv cloud-infrastruktur og milliarder i investeringer, eksemplificerer OpenAI’s Lov en ny æra, hvor kapacitet vokser ikke kun gennem innovation, men gennem intentionel, koncentreret kraft.

Sammen tegner disse love et multi-dimensionelt billede af eksponentiel vækst. Moore og Huang definerer tilbud af beregning. Kurzweil kortlægger meta-trenden af kompenserende fremgang. Og OpenAI’s Lov fremhæver en ny type teknologisk ambition – hvor at skubbe grænserne ikke længere er valgfrit, men den centrale strategi.

Løftet: Hvorfor eksponentiel AI betyder noget

Konsekvenserne af OpenAI’s Lov er dybtgående.

På den optimistiske side har eksponentiel skalerings frembragt forbløffende resultater. AI-systemer kan nu skrive essays, generere kode, assisterer i videnskabelig forskning og deltage i overraskende flydende samtaler. Hver 10-gangs øgning i skala synes at låse op for nye, emergente evner, hvilket antyder, at vi måske er tæt på AGI.

AI kunne snart transformere industrier, der spænder fra uddannelse og sundhedspleje til finans og materialevidenskab. Hvis OpenAI’s Lov fortsætter med at holde, kan vi opleve gennembrud, der komprimerer årtiers innovation til få år.

Dette er essensen af en ny term, vi har opfundet: “AI-undslipningshastighed” – øjeblikket, hvor AI begynder at forbedre sig selv, og fremdrifter fremgang i en selvforstærkende, eksponentiel bølge.

Prisen: Miljømæssige, økonomiske og etiske omkostninger

Men eksponentiel vækst kommer ikke gratis.

Træning af frontmodeller kræver nu enorme mængder af elektricitet og vand. At drive tusindvis af GPU’er i uger på enden skaber alvorlige miljømæssige bekymringer, herunder CO2-udledning og termisk affald. Forsyningskæderne for AI-chip er også under pres, og rejser geopolitiske og bæredygtighedsproblemer.

Økonomisk set kan kun de største tech-virksomheder eller velfinansierede startups betale for at blive på kurven. Dette fører til en koncentration af magt, hvor en lille gruppe organisationer kontrollerer fronten af intelligens.

Etisk set opmuntrer OpenAI’s Lov til en kapløbs-mentalitet – større, hurtigere, snærrere – hvilket kan føre til forhastet udvikling, utilstrækkeligt testede systemer og sikkerhedsnedskæringer. Der er en voksende bekymring for, at nogle frontmodeller kan blive udgivet, før samfundet fuldt ud forstår deres indvirkninger.

For at afhjælpe dette har forskere foreslået styringsrammer, der sporer AI-udvikling ikke efter, hvad modeller gør, men efter, hvor meget beregning der blev brugt til at træne dem. Da beregning er en af de bedste prædiktorer for model-kapacitet, kunne det blive en proxy for risikovurdering og regulering.

Grænserne for skalerings: Hvad sker, når kurven bøjer?

Trods de imponerende gevinster er der debat om, hvor længe skalerings-trenden kan fortsætte. Nogle mener, vi allerede ser aftagende afkast: større modeller forbruger mere beregning, men giver kun marginale forbedringer.

Andre argumenterer for, at gennembrud i effektivitet, algoritme-design eller model-arkitektur kunne flade kurven uden at bremse fremgang. Mindre, smartere modeller kunne blive mere attraktive end brutalt-kraftfulde kæmper.

Desuden kan offentlig pres, regulering og infrastruktur-begrænsninger tvinge industrien til at omvurdere “skalér på alle omkostninger”-mentaliteten. Hvis strømnet, budgetter eller social samtykke ikke kan følge med, kan eksponentiel AI måske ramme en loft – eller i hvert fald en vendepunkt.

Vejene frem: At kortlægge fremtiden for eksponentiel AI

For nuværende er OpenAI’s Lov en af de klareste linser, gennem hvilke vi kan se fremtiden for kunstig intelligens. Den forklarer, hvordan vi er gået fra rudimentære chatbots til multimodale generalist-systemer på under en årti – og hvorfor den næste bølge af fremgang måske bliver endnu mere dramatisk.

Alligevel kommer loven også med kompromiser: adgangs-ulydighed, stigende omkostninger, miljømæssige byrder og sikkerhedsudfordringer. Mens vi accelererer ind i denne nye æra, vil samfundet være nødt til at konfrontere fundamentale spørgsmål:

• Hvem får lov til at forme fremtiden for AI?
• Hvordan balancerer vi fremgang med forsigtighed?
• Hvilke systemer er nødvendige for at styre eksponentiel kapacitet, før den overhaler menneskelig kontrol?

OpenAI’s Lov er ikke uforanderlig. Ligesom Moore’s Lov før den kan den måske langsomt aftrappe, flade ud eller blive erstattet af en ny paradigm. Men for nuværende fungerer den som både en advarsel og en vejviser – minder os om, at fremtiden for AI ikke blot avancerer, men kompenserer.

Vi er ikke bare vidner til historie – vi konstruerer den i eksponentiel hastighed. Men med denne kraft følger en ansvar: at sikre, at menneskeheden ikke lider eksponentiel skade sammen med eksponentiel fremgang.