Det hellige gral av beregningskraft i AI

Til tross for enorm fremgang, er evnene til kunstig intelligens fortsatt begrenset sammenlignet med forventningene i den virkelige verden. Vi bygger komplekse modeller, kjører neurale nettverk og tester algoritmer, men fremgangen stopper av og til på steder vi minst ventar.

Problemet ligger ofte ikke i algoritmene eller dataene, men i beregningskraften, ressursene som tillater modellene å lære og fungere på nødvendig skala. Så hva ligger bak denne barrieren? La oss undersøke den kritiske ressursen uten hvilken selv de mest lovende AI-prosjektene ikke kan flytte seg utenfor laboratoriet.

Den beregningsmessige underskuddet og dens konsekvenser

For å forstå dette emnet, la oss starte med historien om mobilkommunikasjon. Når 3G- og senere 4G-nettverk dukket opp, var internettet allerede nesten globalt. Og når 5G ble introdusert, spurte mange mennesker en fullstendig rimelig spørsmål: “Internettet vil bli raskere – men så hva?”

I virkeligheten kommer økningen i internett-hastighet ikke ned til brukerens behagelighet. Det transformerer hele teknologilandskapet. Bruksområder oppstår som tidligere var umulige. 5G viste seg å være mye raskere enn 4G, og dette spranget var ikke gradvis, som spranget fra 1G til 2G, men eksponentielt. Som resultat kan nye applikasjoner, enheter og hele klasser av teknologi oppstå.

Trafikklys-kameraer, sanntids trafikkanalyse-systemer og automatiserte trafikkreguleringsmekanismer – all dette blir mulig takket være nye kommunikasjonsteknologier. Politiet får nye måter å utveksle data på, og i rommet kan teleskoper og satellitter overføre enorme mengder informasjon til jorden. Et kvalitativt sprang i en grunnleggende teknologi driver utviklingen av hele økosystemet.

Samme prinsipp gjelder for beregningskraft. La oss forestille oss menneskehetens totale beregningskapasitet i hypotetiske enheter. I dag kan vi ha, si, ti slike enheter. Med dem kan vi generere bilder og videoer, skrive tekster, lage markedsføringsmateriell… Dette er allerede betydelig, men rekkevidden av applikasjoner er begrenset hovedsakelig.

La oss nå forestille oss at vi hadde ikke ti, men tusen slike enheter. Plutselig blir teknologier som tidligere var for dyre, mulige, og startupene som ble forkastet på grunn av høye beregningskostnader begynner å få økonomisk mening.

Ta for eksempel robotaksjer. I dag er de hovedsakelig avhengige av relativt svake lokale datamaskiner installert i kjøretøyet. Men hvis videostrømmen ble overført til skyen med enorme beregningsressurser, kunne dataene bli prosessert og returnert i sanntid. Og dette er kritisk: en bil som flytter seg i 100 km/t må ta beslutninger på brøkdeler av et sekund – gå rett frem, sving, bremse eller ikke bremse.

Da blir en fullt fungerende robotakseindustri mulig, ikke bare isolerte løsninger som de vi ser i dag. Enhver lokal datamaskin installert i en bil er innebygget begrenset på en måte som en koblet system ikke er. Jo raskere vi kan skalerer det, jo raskere vil verden omkring oss endre seg.

Tilgang til chip og den “gyldne billett” i AI

I sammenheng med beregningskraft, reiser spørsmålet seg: blir tilgangen til moderne chip den “gyldne billett” for å komme inn i AI-markedet? Skaper store spillere som signerer kontrakter med chip-produsenter, eller produserer dem selv, en kløft mellom store bedrifter og alle andre?

Sådan en kløft oppstår bare i ett tilfelle: hvis en forretningsmodell er fokusert eksklusivt på å selge chip til store kunder. I praksis har produsenter som NVIDIA som mål å tilby sky-løsninger for alle. Deres optimerte chip er tilgjengelige i skyen for både OpenAI og uavhengige utviklere.

Selv strategiske allianser mellom selskaper som Google, Anthropic, Microsoft, OpenAI, Amazon og NVIDIA er primært partnerskap for felles ressursutnyttelse, snarere enn forsøk på å lukke markedet. Denne modellen muliggjør en effektiv allokering av beregningskraft, og dermed akselererer teknologisk utvikling.

Hvis vi sporer kjeden av beregningsressursbruk, begynner det med sluttbrukeren. For eksempel, når du bruker WhatsApp for video-samtaler og meldinger, må selskapet sikre at tjenesten fungerer: lagre og prosessere data, kjøre modeller for video-rengjøring, legge til effekter og forbedre bilde kvalitet.

Å vedlikeholde egne servere er dyrt, de blir foreldet og krever konstant vedlikehold. Derfor har sky-løsninger, “skyen”, oppstått. Markedet domineres av tre spillere: Google Cloud, AWS og Microsoft Azure. Andre selskaper kan ikke konkurrere på dette nivået: skalaen av infrastruktur er for stor.

Sky-tjenester er massive data-sentre med kjøling, strøm-forsyning og døgnkontinuerlig vedlikehold. De huser servere og spesialiserte chip fra NVIDIA, AMD og andre produsenter, og muliggjør stor-skala beregningsprosesser.

Her kommer vi til det kritiske spørsmålet jeg diskuterte i min tidligere kolonne om data-sentre, og ønsker å fortsette her: hva er hoved-bottlenecket i dette systemet? Er det mangel på elektrisitet, eller vanskeligheten med å kjøle data-sentre i regioner hvor klimaet gjør det spesielt utfordrende? I virkeligheten ligger hemmeligheten i chip-ene selv…

Det hellige gral

Hvorfor er NVIDIA i dag verdsatt til rundt 5 billioner dollar og regnet blant de mest suksessfulle børsnoterte selskaper i verden? Årsaken er enkel: NVIDIA produserer chip-ene som AI-modellene blir trent og kjørt på.

Hver av disse chip-forbruker enorme mengder elektrisitet når de trener store modeller eller prosesserer stadig voksende volumer av data. Men hvor effektivt blir denne energien brukt? Her kommer spesialiserte chip inn i bildet; de håndterer bestemte oppgaver mye mer effektivt enn generelle formål-GPU-er.

AI-modellene er forskjellige. OpenAI, for eksempel, har en familie av modeller, Anthropic en annen. Konseptene kan være like, men de matematiske strukturer og beregningsprosessene er forskjellige. En enkelt generell formål-chip, når den trener OpenAI-modeller (som ChatGPT) versus Anthropic-modeller (som Claude), fungerer som et “en-størrelse-passer-alle”-verktøy, som forbruker, si, 100 000 timer med beregning for en modell og 150 000 for en annen. Effektiviteten varierer betydelig og er sjelden optimal.

Selskaper løser dette problemet ved å produsere spesialiserte chip. For eksempel, en chip kan være optimalisert for ChatGPT-arkitekturen og trenere den på, si, 20 minutter, mens en annen er tilpasset Anthropics arkitektur og også fullfører treningsprosessen på 20 minutter. Energiforbruk og trenings-tid blir redusert flere ganger sammenlignet med en generell formål-chip.

Når disse chip-ene selges til store selskaper, som Google, Amazon, Microsoft eller Azure, tilbys de som selvstendige produkter. Brukerne kan velge, for eksempel, en chip optimalisert for en YOLO-modell eller en enklere, billigere chip for en Xen-arkitektur. På denne måten får selskaper tilgang til beregningsressurser som er tilpasset deres oppgaver, snarere enn å kjøpe generelle formål-GPU-er. Hvis en bruker har ti forskjellige funksjoner, kan de bruke ti forskjellige spesialiserte chip.

Trenden er tydelig: spesialiserte chip erstatter gradvis generelle formål-chip. Mange startup-selskaper arbeider nå med ASIC-er (Application-Specific Integrated Circuits), chip designet for bestemte beregningsoppgaver. De første ASIC-ene dukket opp for Bitcoin-utvinning: initialt ble kryptovaluta utvunnet på NVIDIA-GPU-er, deretter ble chip-ene skapt kun for Bitcoin og var ikke i stand til å utføre andre oppgaver.

Jeg ser dette i praksis: samme maskinvare-konfigurasjon kan produsere fullstendig forskjellige resultater avhengig av oppgaven. I mitt startup Introspector, studerer vi disse prosessene i virkelige prosjekter, og som en strategisk rådgiver for Keymakr, observerer jeg hvordan kundene får effektivitet fra spesialiserte chip, som tillater modellene å kjøre raskere. Prosjekter som tidligere stoppet under trenings- eller inferens-prosesser, når stabile resultater med denne tilnærmingen.

Men smal spesialisering bærer risiko. En chip optimalisert for Anthropics arkitektur vil ikke fungere for å trene OpenAI-modeller, og vice versa. Hver ny arkitektur krever en ny generasjon av maskinvare, og skaper en risiko for stor-skala “avskrivning”. Hvis Anthropic lanserer en ny arkitektur i morgen, blir alle tidligere generasjoner av chip ineffektive eller ubrukelige. Å produsere nye chip koster milliarder av dollar og kan ta år.

Dette skaper en dilemma: skal vi lage spesialiserte chip som fungerer perfekt i en smal scenario, eller fortsette å produsere generelle formål-chip som løser alle oppgaver moderat godt, men ikke krever fullstendig erstattning når arkitekturer endrer seg?

Effektivitet i denne sammenhengen måles av tre primære parametre: kjøretid, elektrisitetsforbruk og varme-generering. Disse parametrene er direkte relatert: jo lenger et system kjører, jo mer energi forbrukes og jo mer varme genereres. Å redusere en parameter forbedrer automatisk de andre to.

Her ligger “det hellige gral” av AI-ytelse: hvis minst en av de grunnleggende effektivitets-målene kan optimaliseres, vil de andre målene nesten automatisk forbedres også.

Bærekraftig prosess

Med den økende bruken av spesialiserte chip, har problemet med overproduksjons-risiko blitt presserende. For tiden er overskuddet av utstyr allerede betydelig, og selskaper adresserer dette problemet på ulike bærekraftige måter, inkludert gjenbruk av eksisterende ressurser.

Gjenbruk av utstyr har blitt en nøkkel-element i bærekraftig utvikling i høy-teknologi-industrien. Chip inneholder betydelige mengder edle- og basis-metaller, gull, kopar, aluminium, palladium og sjeldne jord-arter, samt materialer brukt i mikrochip og transistorer. Når utstyret blir foreldet, kan disse verdifulle ressursene returneres til produksjon, redusere kostnadene for nye komponenter samtidig som industrienøkologiske fotavtrykk blir redusert.

Noen spesialiserte fabrikker og selskaper fokuserer på gjenbruk og utvinning av edle metaller fra utdaterte komponenter. For eksempel, noen anlegg bruker hydrometallurgiske prosesser og avanserte kjemiske metoder for å utvinne gull og kopar med høy renhet, og tillater disse materialene å bli gjenbrukt i nye chip.

I tillegg implementerer selskaper lukkede modeller, hvor gammelt utstyr blir oppgradert eller integrert i nye løsninger, og dermed reduserer behovet for primær ressurs-utvinning. Slike tilnærminger hjelper ikke bare med å minimere avfall, men også å senke karbon-fotavtrykket av produksjon, siden tradisjonell gruvedrift og metall-behandling krever betydelig energi.

Bærekraftig forvaltning av chip- og utstyr-livssyklus kan bli en industristandard, hvor teknologisk fremgang sammenfaller med miljø-ansvar.