Den heliga graalen av beräkningskraft inom AI

Trots otroliga framsteg är den artificiella intelligensens kapacitet fortfarande begränsad jämfört med verkliga förväntningar. Vi bygger komplexa modeller, kör neurala nätverk och testar algoritmer, men framstegen stannar ibland av på de platser vi minst anar.

Problemet ligger ofta inte i algoritmerna eller data, utan i beräkningskraften, de resurser som gör att modeller kan lära sig och fungera i nödvändig skala. Så vad ligger bakom denna barriär? Låt oss undersöka den kritiska resurs utan vilken även de mest lovande AI-projekten inte kan komma bortom laboratoriet.

Beräkningsunderskottet och dess konsekvenser

För att förstå detta ämne, låt oss börja med mobilkommunikationens historia. När 3G och senare 4G-nätverk dök upp var internet redan nästan globalt. Och när 5G introducerades ställde många en helt rimlig fråga: "Internet kommer att bli snabbare – men vad händer då?"

I verkligheten handlar ökningen av internethastigheten inte om användarvänlighet. Den förändrar hela det tekniska landskapet. Användningsfall uppstår som tidigare var omöjliga. 5G visade sig vara mycket snabbare än 4G, och detta språng var inte gradvis, som hoppet från 1G till 2G, utan exponentiellt. Som ett resultat kan nya applikationer, enheter och hela teknikklasser dyka upp.

Trafikljuskameror, system för trafikanalys i realtid och automatiserade trafikregleringsmekanismer – allt detta blir möjligt tack vare ny kommunikationsteknik. Polisen får nya sätt att utbyta data, och i rymden kan teleskop och satelliter överföra stora mängder information till jorden. Ett kvalitativt språng inom en grundläggande teknologi driver utvecklingen av hela ekosystemet.

Samma princip gäller för beräkningskraft. Tänk dig mänsklighetens totala beräkningskapacitet i hypotetiska enheter. Idag kan vi ha, säg, tio sådana enheter. Med dem kan vi generera bilder och videor, skriva texter, skapa marknadsföringsmaterial… Detta är redan betydande, men användningsområdet är i huvudsak begränsat.

Tänk dig nu att vi inte hade tio, utan tusen sådana enheter. Plötsligt blir tekniker som tidigare var för dyra genomförbara, och startups som övergavs på grund av höga beräkningskostnader börjar bli ekonomiskt vettiga.

Ta robotaxi, till exempel. Idag förlitar de sig mest på relativt svaga lokala datorer installerade i fordonet. Men om videoflödet överfördes till molnet med enorma beräkningsresurser skulle informationen kunna bearbetas och returneras i realtid. Och detta är avgörande: en bil som rör sig i 100 km/h måste fatta beslut på bråkdelar av en sekund – kör rakt fram, sväng, bromsa eller inte bromsa.

Det är då en fullt fungerande robottaxiindustri blir möjlig, inte bara isolerade lösningar som de vi ser idag. Varje lokal dator installerad i en bil är i sig begränsad på ett sätt som ett uppkopplat system inte är. Ju snabbare vi kan skala upp den, desto snabbare kommer världen omkring oss att förändras.

Tillgång till chips och den "gyllene biljetten" inom AI

I samband med beräkningskraft uppstår frågan: håller tillgången till moderna chip på att bli den "gyllene biljetten" för att komma in på AI-marknaden? Skapar stora aktörer som tecknar kontrakt med chiptillverkare, eller producerar dem själva, ett gap mellan stora företag och alla andra?

En sådan lucka uppstår bara i ett fall: om en affärsmodell uteslutande fokuserar på att sälja chip till stora kunder. I praktiken strävar tillverkare som NVIDIA efter att tillhandahålla molnlösningar för alla. Deras optimerade chip är tillgängliga i molnet för både OpenAI och oberoende utvecklare.

Även strategiska allianser mellan företag som Google, Anthropic, Microsoft, OpenAI, Amazon och NVIDIA är främst partnerskap för gemensamt resursutnyttjande, snarare än försök att stänga av marknaden. Denna modell möjliggör effektiv allokering av beräkningskraft, vilket accelererar den tekniska utvecklingen.

Om vi ​​spårar kedjan av resursanvändning börjar den med slutanvändaren. När man till exempel använder WhatsApp för videosamtal och meddelanden måste företaget se till att tjänsten fungerar: lagra och bearbeta data, köra modeller för videorensning, lägga till effekter och förbättra bildkvaliteten.

Att underhålla proprietära servrar är dyrt, de blir föråldrade och kräver ständigt underhåll. Det är därför molnlösningar, ”molnet”, har uppstått. Marknaden domineras av tre aktörer: Google Cloud, AWS och Microsoft Azure. Andra företag kan inte konkurrera på denna nivå: infrastrukturens skala är för stor.

Molntjänster är massiva datacenter med kylning, strömförsörjning och dygnet runt-underhåll. De innehåller servrar och specialiserade kretsar från NVIDIA, AMD och andra tillverkare, vilket möjliggör storskaliga beräkningsprocesser.

Här kommer vi till den viktigaste frågan jag diskuterade i min föregående kolumn om datacenter, och vill fortsätta här: vad är den största flaskhalsen i detta system? Är det bristen på el, eller svårigheten att kyla datacenter i regioner där klimatet gör det särskilt utmanande? I verkligheten ligger hemligheten i själva chippen…

Den heliga graal

Varför värderas NVIDIA idag till cirka 5 biljoner dollar och räknas bland de mest framgångsrika börsnoterade företagen i världen? Anledningen är enkel: NVIDIA producerar de chip som AI-modeller tränas på och kör inferens på.

Var och en av dessa chip förbrukar enorma mängder el när de tränar stora modeller eller bearbetar ständigt växande datamängder. Men hur effektivt används den energin? Det är här specialiserade chip kommer in i bilden; de hanterar specifika uppgifter mycket mer effektivt än vanliga GPU:er.

AI-modeller skiljer sig åt. OpenAI har till exempel en modellfamilj, Anthropic en annan. Koncepten må vara likartade, men de matematiska strukturerna och beräkningsprocesserna skiljer sig åt. Ett enda universalchip fungerar som ett "one-size-fits-all"-verktyg vid träning av OpenAI-modeller (som ChatGPT) kontra Anthropic-modeller (som Claude), vilket förbrukar, säg, 100 000 timmars beräkning för en modell och 150 000 för en annan. Effektiviteten varierar avsevärt och är sällan optimal.

Företag löser detta problem genom att producera specialiserade chip. Till exempel kan ett chip optimeras för ChatGPT-arkitekturen och tränas på, säg, 20 minuter, medan ett annat är anpassat till Anthropics arkitektur och också slutför träningen på 20 minuter. Energiförbrukning och träningstid minskas mångfaldigt jämfört med ett chip för allmänt bruk.

När dessa chip säljs till stora företag, som Google, Amazon, Microsoft eller Azure, erbjuds de som fristående produkter. Användare kan till exempel välja ett chip optimerat för en YOLO-modell eller ett enklare, billigare chip för en Xen-arkitektur. På så sätt får företag tillgång till beräkningsresurser som är exakt anpassade till deras uppgifter, snarare än att köpa generella GPU:er. Om en användare har tio olika funktioner kan de använda tio olika specialiserade chip.

Trenden är tydlig: specialiserade chip ersätter gradvis de för allmänt bruk. Många startups arbetar nu med ASIC:er (Application-Specific Integrated Circuits), chip designade för specifika beräkningsuppgifter. De första ASIC:erna dök upp för Bitcoin-mining: initialt utvanns kryptovaluta på NVIDIA GPU:er, sedan skapades chip enbart för Bitcoin och kunde inte utföra andra uppgifter.

Jag ser detta i praktiken: samma hårdvarukonfiguration kan ge helt olika resultat beroende på uppgiften. I min startup Introspektör, studerar vi dessa processer i verkliga projekt, och som strategisk rådgivare för KeymakrJag observerar hur klienter får effektivitet från specialiserade chip, vilket gör att modeller kan köras snabbare. Projekt som tidigare stannade upp under träning eller inferens når stabila resultat med denna metod.

Snäv specialisering medför dock risker. Ett chip optimerat för Anthropics arkitektur fungerar inte för att träna OpenAI-modeller, och vice versa. Varje ny arkitektur kräver en ny generation hårdvara, vilket skapar en risk för storskalig "deprecation". Om Anthropic släpper en ny arkitektur imorgon blir alla chip från föregående generation ineffektiva eller oanvändbara. Att producera nya chip kostar miljarder dollar och kan ta år.

Detta skapar ett dilemma: ska vi tillverka specialiserade chip som fungerar perfekt i ett snävt scenario, eller fortsätta producera chip för allmänna ändamål som löser alla uppgifter någorlunda bra men inte kräver fullständig ersättning när arkitekturer ändras?

Effektivitet i detta sammanhang mäts med tre primära parametrar: drifttid, elförbrukning och värmeproduktion. Dessa mätvärden är direkt relaterade: ju längre ett system körs, desto mer energi förbrukar det och desto mer värme producerar det. Att minska en parameter förbättrar automatiskt de andra två.

Här ligger den "heliga graalen" för AI-prestanda: om åtminstone ett av de grundläggande effektivitetsmåtten kan optimeras, förbättras de andra måtten nästan automatiskt också.

Hållbar process

Med den ökande användningen av specialiserade chips har problemet med överproduktionsrisker blivit akut. För närvarande är överskottet av utrustning redan betydande, och företag tar itu med detta problem på olika hållbara sätt, inklusive återanvändning av befintliga resurser.

Återvinning av utrustning har blivit en viktig del av hållbar utveckling inom högteknologiska industrier. Chips innehåller betydande mängder ädelmetaller och basmetaller, guld, koppar, aluminium, palladium och sällsynta jordartsmetaller, samt material som används i mikrochips och transistorer. När utrustningen blir föråldrad kan dessa värdefulla resurser återföras till produktionen, vilket minskar kostnaden för nya komponenter samtidigt som branschens miljöavtryck minskas.

Vissa specialiserade fabriker och företag fokuserar på återvinning och utvinning av ädelmetaller från föråldrade komponenter. Till exempel använder vissa anläggningar hydrometallurgiska processer och avancerade kemiska metoder för att utvinna guld och koppar med hög renhet, vilket gör att dessa material kan återanvändas i nya flisor.

Dessutom implementerar företag slutna modeller, där gammal utrustning uppgraderas eller integreras i nya lösningar, vilket minskar behovet av utvinning av primära resurser. Sådana metoder hjälper inte bara till att minimera avfall utan också minska koldioxidavtrycket från produktionen, eftersom traditionell gruvdrift och metallbearbetning kräver betydande energi.

Hållbar hantering av livscykeln för chips och utrustning skulle kunna bli en branschstandard, där tekniska framsteg är i linje med miljöansvar.