Det hellige gral av beregningskraft i AI

Til tross for enorm fremgang, er evnene til kunstig intelligens fortsatt begrenset når de sammenlignes med forventningene i den virkelige verden. Vi bygger komplekse modeller, kjører neurale nettverk og tester algoritmer, men fremgangen kan noen ganger stoppe opp i de stedene vi minst ventar.

Problemet ligger ofte ikke i algoritmene eller dataene, men i beregningskraften, ressursene som tillater modellene å lære og fungere på det nødvendige nivået. Så hva ligger bak denne barrieren? La oss undersøke den kritiske ressursen uten hvilken selv de mest lovende AI-prosjektene ikke kan gå utenfor laboratoriet.

Beregningsunderskuddet og dens konsekvenser

For å forstå dette temaet, la oss starte med historien om mobilkommunikasjon. Når 3G- og 4G-nettene dukket opp, var internettet allerede nesten globalt. Og når 5G ble introdusert, spurte mange mennesker en fullstendig rimelig spørsmål: “Internettet vil bli raskere – men hva så?”

I virkeligheten handler økningen i internett-hastighet ikke om brukerens behagelighet. Det transformerer hele den teknologiske landskapsutviklingen. Bruksområder oppstår som tidligere var umulige. 5G viste seg å være mye raskere enn 4G, og dette spranget var ikke gradvis, som spranget fra 1G til 2G, men eksponentielt. Som resultat kan nye applikasjoner, enheter og hele klasser av teknologi oppstå.

Trafikklys-kameraer, sanntids trafikanalyse-systemer og automatiserte trafikksreguleringsmekanismer – alt dette blir mulig takket være nye kommunikasjonsteknologier. Politiet får nye måter å utveksle data på, og i rommet kan teleskoper og satellitter overføre enorme mengder informasjon til jorden. Et kvalitativt sprang i en grunnleggende teknologi driver utviklingen av hele økosystemet.

Samme prinsipp gjelder for beregningskraft. La oss forestille oss menneskehetens totale beregningskapasitet i hypotetiske enheter. I dag kan vi ha, si, ti slike enheter. Med dem kan vi generere bilder og videoer, skrive tekster, lage markedsføringsmateriell… Dette er allerede betydelig, men rekkevidden av applikasjoner er begrenset hovedsakelig.

La oss nå forestille oss at vi ikke hadde ti, men tusen slike enheter. Plutselig blir teknologier som tidligere var for dyre, mulige, og startupene som ble forkastet på grunn av høye beregningskostnader begynner å få økonomisk mening.

La oss ta robotaksjer som eksempel. I dag er de mest basert på relativt svake lokale datamaskiner installert i kjøretøyet. Men hvis videostrømmen ble overført til skyen med enorme beregningsressurser, kunne dataene bli prosessert og returnert i sanntid. Og dette er kritisk: en bil som beveger seg i 100 km/t må ta beslutninger på brøkdeler av et sekund – gå rett frem, sving, bremse eller ikke bremse.

Dette er når en fullt fungerende robotaksje-industri blir mulig, ikke bare isolerte løsninger som de vi ser i dag. Enhver lokal datamaskin installert i en bil er i seg selv begrenset på en måte som en koblet system ikke er. Jo raskere vi kan skalerer det, jo raskere vil verden omkring oss endre seg.

Tilgang til chip og den “gyldne billetten” i AI

I sammenheng med beregningskraft, oppstår spørsmålet: blir tilgangen til moderne chip den “gyldne billetten” for å komme inn i AI-markedet? Skaper store spillere som inngår kontrakter med chip-produsenter eller produserer dem selv, en gap mellom store bedrifter og alle andre?

Sådan en gap oppstår bare i ett tilfelle: hvis en forretningsmodell er fokusert eksklusivt på å selge chip til store kunder. I praksis har produsenter som NVIDIA som mål å tilby sky-løsninger for alle. Deres optimerte chip er tilgjengelige i skyen for både OpenAI og uavhengige utviklere.

Even strategiske allianser mellom selskaper som Google, Anthropic, Microsoft, OpenAI, Amazon og NVIDIA er primært partnerskap for felles ressursutnyttelse, snarere enn forsøk på å stenge markedet. Denne modellen muliggjør en effektiv allokering av beregningskraft, og akselererer dermed teknologisk utvikling.

Hvis vi sporer kjeden av beregningsressursbruk, begynner den med sluttbrukeren. For eksempel, når du bruker WhatsApp for video-samtaler og meldinger, må selskapet sikre at tjenesten fungerer: lagre og prosessere data, kjøre modeller for video-rengjøring, legge til effekter og forbedre bilde kvalitet.

Å vedlikeholde egne servere er dyrt, de blir foreldet og krever konstant oppdatering. Derfor har sky-løsninger, “skyen”, oppstått. Markedet domineres av tre spillere: Google Cloud, AWS og Microsoft Azure. Andre selskaper kan ikke konkurrere på dette nivået: skalaen av infrastruktur er for stor.

Cloud-tjenester er enorme datasentre med kjøling, strømforsyning og døgnkontinuerlig vedlikehold. De huser servere og spesialiserte chip fra NVIDIA, AMD og andre produsenter, og muliggjør store beregningsprosesser.

Her kommer vi til det kritiske spørsmålet jeg diskuterte i min tidligere artikkel om datasentre, og ønsker å fortsette her: hva er hovedbottlenecket i dette systemet? Er det mangel på strøm, eller vanskeligheten med å kjøle datasentre i regioner hvor klimaet gjør det spesielt utfordrende? I virkeligheten ligger hemmeligheten i chipene selv…

Det hellige gral

Hvorfor er NVIDIA i dag verdsatt til rundt 5 billioner dollar og regnet blant de mest suksessfulle børsnoterte selskapene i verden? Grunnen er enkel: NVIDIA produserer chipene som AI-modellene blir trent og kjørt på.

Hver av disse chipene forbruker enorme mengder strøm når de trener store modeller eller prosesserer stadig voksende mengder data. Men hvordan effektivt er denne energien brukt? Her kommer spesialiserte chip inn i bildet; de håndterer bestemte oppgaver mye mer effektivt enn generiske GPU-er.

AI-modellene er forskjellige. OpenAI har for eksempel en familie av modeller, Anthropic en annen. Konseptene kan være like, men de matematiske strukturene og beregningsprosessene er forskjellige. En enkelt generisk chip, når den trener OpenAI-modeller (som ChatGPT) versus Anthropic-modeller (som Claude), fungerer som en “en-størrelse-passer-alle-verktøy”, som forbruker, si, 100 000 timer med beregning for en modell og 150 000 for en annen. Effektiviteten varierer betydelig og er sjelden optimal.

Selskaper løser dette problemet ved å produsere spesialiserte chip. For eksempel kan en chip være optimalisert for ChatGPT-arkitekturen og trene den på, si, 20 minutter, mens en annen er tilpasset Anthropics arkitektur og også fullfører treningen på 20 minutter. Energiforbruk og trenings tid blir redusert flere ganger sammenlignet med en generisk chip.

Når disse chipene blir solgt til store selskaper, som Google, Amazon, Microsoft eller Azure, blir de tilbudt som selvstendige produkter. Brukerne kan velge, for eksempel, en chip optimalisert for en YOLO-modell eller en enklere, billigere chip for en Xen-arkitektur. På denne måten får selskaper tilgang til beregningsressurser som er tilpasset deres oppgaver, snarere enn å kjøpe generiske GPU-er. Hvis en bruker har ti forskjellige funksjoner, kan de bruke ti forskjellige spesialiserte chip.

Trenden er klar: spesialiserte chip erstatter gradvis generiske chip. Mange startup-selskaper arbeider nå med ASIC-er (Application-Specific Integrated Circuits), chip designet for bestemte beregningsoppgaver. De første ASIC-ene dukket opp for Bitcoin-utvinning: først ble kryptovaluta utvunnet på NVIDIA-GPU-er, deretter ble chip designet kun for Bitcoin og var ikke i stand til å utføre andre oppgaver.

Jeg ser dette i praksis: samme maskinvare-konfigurasjon kan produsere helt forskjellige resultater avhengig av oppgaven. I mitt startup Introspector studerer vi disse prosessene i virkelige prosjekter, og som strategisk rådgiver for Keymakr observerer jeg hvordan kunder får effektivitet fra spesialiserte chip, som gjør at modellene kan kjøres raskere. Prosjekter som tidligere stoppet under trening eller inferens når de nådde stabile resultater med denne tilnærmingen.

Men smal spesialisering bærer risiko. En chip optimalisert for Anthropics arkitektur vil ikke fungere for å trene OpenAI-modeller, og vice versa. Hver ny arkitektur krever en ny generasjon av maskinvare, og skaper en risiko for storstilt “avskrivning”. Hvis Anthropic slipper en ny arkitektur i morgen, blir alle tidligere generasjoner av chip ineffektive eller ubrukelige. Å produsere nye chip koster milliarder av dollar og kan ta år.

Dette skaper en dilemma: skal vi lage spesialiserte chip som fungerer perfekt i en smal scenario, eller fortsette å produsere generiske chip som løser alle oppgaver moderat godt, men ikke krever fullstendig erstattning når arkitekturerne endres?

Effektivitet i denne sammenhengen måles ved tre primære parametre: kjøretid, strømforbruk og varmeproduksjon. Disse parameterne er direkte relatert: jo lenger et system kjører, jo mer energi forbrukes og jo mer varme produseres. Redusere en parameter forbedrer automatisk de andre to.

Her ligger “det hellige gral” av AI-ytelse: hvis minst en av de grunnleggende effektivitetsparameterne kan optimaliseres, vil de andre parameterne nesten automatisk forbedres også.

Bærekraftig prosess

Med den økende bruken av spesialiserte chip, har problemet med overproduksjonsrisiko blitt presserende. For tiden er overskuddet av utstyr allerede betydelig, og selskaper håndterer dette problemet på ulike bærekraftige måter, inkludert gjenbruk av eksisterende ressurser.

Gjenbruk av utstyr har blitt en nøkkelkomponent i bærekraftig utvikling i høyteknologiske industrier. Chip inneholder betydelige mengder edle- og basismetaller, gull, kobber, aluminium, palladium og sjeldne jordarter, samt materialer brukt i mikrochip og transistorer. Når utstyret blir foreldet, kan disse verdifulle ressursene returneres til produksjon, redusere kostnadene for nye komponenter samtidig som industrienes miljøavtrykk reduceres.

Noen spesialiserte fabrikker og selskaper fokuserer på gjenbruk og utvinning av edle metaller fra gamle komponenter. For eksempel bruker noen anlegg hydrometallurgiske prosesser og avanserte kjemiske metoder for å utvinne gull og kobber med høy renhet, noe som gjør det mulig å gjenbruke disse materialene i nye chip.

I tillegg implementerer selskaper lukkede modeller, hvor gammelt utstyr oppgraderes eller integreres i nye løsninger, og dermed reduserer behovet for primær ressursutvinning. Slike tilnærminger hjelper ikke bare med å minimere avfall, men også å redusere karbonavtrykket fra produksjonen, ettersom tradisjonell gruvedrift og metallprosessering krever betydelig energi.

Bærekraftig håndtering av chip- og utstyr-livssyklus kan bli en industri-standard, hvor teknologisk fremgang sammenfaller med miljøansvar.