Det Heliga Graalet för Beräkningskraft i AI

Trots otroliga framsteg är förmågor inom artificiell intelligens fortfarande begränsade när de jämförs med förväntningar i den verkliga världen. Vi bygger komplexa modeller, kör neuronnät och testar algoritmer, men framstegen stannar av ibland på platser där vi minst väntar det.

Problemet ligger ofta inte i algoritmerna eller data, utan i beräkningskraften, de resurser som tillåter modeller att lära sig och fungera i den nödvändiga skalan. Så vad ligger bakom denna barriär? Låt oss undersöka den kritiska resursen utan vilken inte ens de mest lovande AI-projekten kan flytta utanför laboratoriet.

Den beräkningsmässiga underskottet och dess konsekvenser

För att förstå detta ämne, låt oss börja med historien om mobilkommunikation. När 3G- och senare 4G-nätverk introducerades, var internet redan nästan globalt. Och när 5G introducerades, ställde många människor en fullständigt rimlig fråga: “Internet kommer att bli snabbare – men vad betyder det?”

I verkligheten handlar ökningen av internet hastighet inte om användarbequemlighet. Den förvandlar hela den teknologiska landskapsbilden. Användningsfall dyker upp som tidigare var omöjliga. 5G visade sig vara mycket snabbare än 4G, och detta språng var inte gradvis, som språnget från 1G till 2G, utan exponentiellt. Som ett resultat kan nya applikationer, enheter och hela klasser av teknologi dyka upp.

Trafikljuskameror, system för realtidsanalys av trafik och automatiserade trafikregleringsmekanismer – allt detta blir möjligt tack vare nya kommunikationsteknologier. Polisen får nya sätt att utbyta data, och i rymden kan teleskop och satelliter sända stora mängder information till jorden. Ett kvalitativt språng i en grundläggande teknologi driver utvecklingen av hela ekosystemet.

Samma princip gäller för beräkningskraft. Tänk er mänsklighetens totala beräkningsförmåga i hypotetiska enheter. Idag kan vi ha, säg, tio sådana enheter. Med dem kan vi generera bilder och videor, skriva texter, skapa marknadsföringsmaterial… Detta är redan betydande, men utbudet av applikationer är begränsat främst.

Tänk nu att vi inte hade tio, utan tusen sådana enheter. Plötsligt blir teknologier som tidigare var för dyra möjliga, och startups som övergavs på grund av höga beräkningskostnader börjar bli ekonomiskt lönsamma.

Ta robotaxi, till exempel. Idag förlitar de sig främst på relativt svaga lokala datorer installerade i fordonet. Men om videoflödet skulle sändas till molnet med enorma beräkningsresurser, kunde data bearbetas och returneras i realtid. Och detta är avgörande: en bil som rör sig i 100 km/h måste fatta beslut på bråkdelar av en sekund – fortsätt rakt, sväng, bromsa eller inte bromsa.

Då blir en fullt fungerande robotaxiindustri möjlig, inte bara isolerade lösningar som de vi ser idag. Varje lokal dator installerad i en bil är medfödd begränsad på ett sätt som en ansluten system inte är. Ju snabbare vi kan skala det, desto snabbare kommer världen omkring oss att förändras.

Tillgång till chip och den “gyllene biljetten” i AI

I sammanhanget med beräkningskraft uppstår frågan: blir tillgång till moderna chip den “gyllene biljetten” för att komma in på AI-marknaden? Skapar stora spelare som tecknar kontrakt med chip-tillverkare, eller producerar dem själva, en klyfta mellan stora företagsföretag och alla andra?

En sådan klyfta uppstår bara i ett fall: om en affärsmodell är inriktad uteslutande på att sälja chip till stora kunder. I praktiken syftar tillverkare som NVIDIA till att tillhandahålla molnlösningar för alla. Deras optimerade chip är tillgängliga i molnet för både OpenAI och oberoende utvecklare.

Även strategiska allianser mellan företag som Google, Anthropic, Microsoft, OpenAI, Amazon och NVIDIA är primärt partnerskap för delad resursanvändning, snarare än försök att stänga av marknaden. Denna modell möjliggör en effektiv tilldelning av beräkningskraft, vilket påskyndar teknisk utveckling.

Om vi spårar kedjan av beräkningsresursanvändning, börjar den med slutanvändaren. Till exempel, när du använder WhatsApp för videokonferenser och meddelanden, måste företaget se till att tjänsten fungerar: lagring och bearbetning av data, körning av modeller för videorensning, läggande till effekter och förbättring av bildkvalitet.

Att underhålla egna servrar är dyrt, de blir föråldrade och kräver konstant underhåll. Därför har molnlösningar, “molnet”, dykt upp. Marknaden domineras av tre aktörer: Google Cloud, AWS och Microsoft Azure. Andra företag kan inte konkurrera på denna nivå: skalan av infrastruktur är för stor.

Molntjänster är enorma datacenter med kylning, strömförsörjning och dygnet-runt-underhåll. De innehåller servrar och specialiserade chip från NVIDIA, AMD och andra tillverkare, vilket möjliggör storskaliga beräkningsprocesser.

Här kommer vi till den viktiga frågan som jag diskuterade i min tidigare kolumn om datacenter, och vill fortsätta här: vad är den största flaskhalsen i detta system? Är det bristen på el, eller svårigheten att kyla datacenter i regioner där klimatet gör det särskilt utmanande? I verkligheten ligger hemligheten i chipen själva…

Det heliga graalet

Varför är NVIDIA idag värderat till cirka 5 biljoner dollar och räknas bland de mest framgångsrika börsnoterade företagen i världen? Anledningen är enkel: NVIDIA producerar chipen som AI-modeller tränas och körs på.

Var och en av dessa chip förbrukar enorma mängder el när de tränar stora modeller eller bearbetar alltmer växande volymer av data. Men hur effektivt används den här energin? Här kommer specialiserade chip in i bilden; de hanterar specifika uppgifter mycket mer effektivt än allmänna GPU:er.

AI-modeller skiljer sig åt. OpenAI, till exempel, har en familj av modeller, Anthropic en annan. Koncepten kan vara liknande, men de matematiska strukturerna och beräkningsprocesserna är olika. En enda allmän chip, när den tränar OpenAI-modeller (som ChatGPT) jämfört med Anthropic-modeller (som Claude), fungerar som ett “en-storlek-passar-alla-verktyg”, som förbrukar, säg, 100 000 timmar av beräkning för en modell och 150 000 för en annan. Effektiviteten varierar avsevärt och är sällan optimal.

Företag löser detta problem genom att producera specialiserade chip. Till exempel kan ett chip optimeras för ChatGPT-arkitekturen och träna den på, säg, 20 minuter, medan ett annat är anpassat till Anthropics arkitektur och också slutför träningen på 20 minuter. Energiförbrukning och tränings tid reduceras med flera gånger jämfört med en allmän chip.

När dessa chip säljs till stora företag, som Google, Amazon, Microsoft eller Azure, erbjuds de som fristående produkter. Användare kan välja, till exempel, ett chip optimerat för en YOLO-modell eller ett enklare, billigare chip för en Xen-arkitektur. På detta sätt får företag tillgång till beräkningsresurser som är exakt anpassade till deras uppgifter, snarare än att köpa allmänna GPU:er. Om en användare har tio olika funktioner, kan de använda tio olika specialiserade chip.

Trenden är tydlig: specialiserade chip ersätter gradvis allmänna chip. Många startups arbetar idag med ASIC (Application-Specific Integrated Circuits), chip som är utformade för specifika beräkningsuppgifter. De första ASIC:erna dök upp för Bitcoin-gruvdrift: initialt gruvdes kryptovaluta på NVIDIA-GPU:er, sedan skapades chip uteslutande för Bitcoin och kunde inte utföra andra uppgifter.

Jag ser detta i praktiken: samma maskinvara kan producera helt olika resultat beroende på uppgiften. I mitt startup Introspector studerar vi dessa processer i verkliga projekt, och som strategisk rådgivare till Keymakr observerar jag hur kunderna får effektivitet från specialiserade chip, vilket gör att modellerna kan köras snabbare. Projekt som tidigare stannade av under träning eller inferens når stabila resultat med denna metod.

Men smal specialisering medför risker. Ett chip optimerat för Anthropics arkitektur kommer inte att fungera för att träna OpenAI-modeller, och vice versa. Varje ny arkitektur kräver en ny generation av hårdvara, vilket skapar en risk för stor skala “inaktuella”. Om Anthropic släpper en ny arkitektur i morgon, blir alla tidigare generationers chip ineffektiva eller värdelösa. Att producera nya chip kostar miljarder dollar och kan ta år.

Detta skapar ett dilemma: ska vi producera specialiserade chip som fungerar perfekt i en smal scenarie, eller fortsätta producera allmänna chip som löser alla uppgifter ganska bra men inte kräver fullständig ersättning när arkitekturer förändras?

Effektivitet i detta sammanhang mäts av tre primära parametrar: körtid, elförbrukning och värmeutveckling. Dessa parametrar är direkt relaterade: ju längre ett system körs, desto mer energi förbrukar det och desto mer värme det producerar. Att minska en parameter förbättrar automatiskt de andra två.

Här ligger “det heliga graalet” för AI-prestanda: om åtminstone en av de grundläggande effektivitetsparametrarna kan optimeras, förbättras de andra parametrarna nästan automatiskt också.

Hållbar process

Med den ökande användningen av specialiserade chip har frågan om överproduktionsrisker blivit angelägen. För närvarande är överskottet av utrustning redan betydande, och företag hanterar denna fråga på olika hållbara sätt, inklusive återanvändning av befintliga resurser.

Återvinning av utrustning har blivit en nyckelkomponent i hållbar utveckling inom högteknologiska industrier. Chip innehåller betydande mängder ädla och basmetaller, guld, koppar, aluminium, palladium och sällsynta jordartsmetaller, samt material som används i mikrochip och transistorer. När utrustningen blir föråldrad kan dessa värdefulla resurser återföras till produktion, vilket minskar kostnaden för nya komponenter samtidigt som industrins miljöpåverkan minskas.

Vissa specialiserade fabriker och företag fokuserar på återvinning och utvinning av ädla metaller från föråldrade komponenter. Till exempel använder vissa anläggningar hydrometallurgiska processer och avancerade kemiska metoder för att utvinna guld och koppar med hög renhet, vilket möjliggör att dessa material kan återanvändas i nya chip.

Dessutom implementerar företag slutna modeller, där gammal utrustning uppgraderas eller integreras i nya lösningar, vilket minskar behovet av primär resursutvinning. Sådana tillvägagångssätt hjälper inte bara till att minimera avfall, utan minskar också produktionens koldioxidavtryck, eftersom traditionell gruvdrift och metallbearbetning kräver betydande energi.

Hållbar hantering av chipens och utrustningens livscykel kunde bli en branschstandard, där teknisk framsteg sammanfaller med miljöansvar.