AI:s trillionsproblem

När vi går in i 2025 står den artificiella intelligenssektorn vid en avgörande vändpunkt. Medan branschen fortsätter att dra till sig oöverträffade investerings- och uppmärksamhetsnivåer – särskilt inom generativ AI-landskapet – tyder flera underliggande marknadsdynamiker på att vi är på väg mot en stor förändring i AI-landskapet under det kommande året.

Med utgångspunkt från min erfarenhet av att leda ett AI-startup och observera branschens snabba utveckling tror jag att detta år kommer att medföra många grundläggande förändringar: från stora konceptmodeller (LCM) som förväntas bli allvarliga konkurrenter till stora språkmodeller (LLM), till uppkomsten av specialiserad AI-hårdvara, till att de stora tech-företagen påbörjar stora AI-infrastruktursbyggen som slutligen kommer att ge dem möjlighet att konkurrera med startups som OpenAI och Anthropic – och vem vet, kanske till och med säkra sin AI-monopol i slutändan.

Det unika utmaningen för AI-företag: varken programvara eller hårdvara

Det grundläggande problemet ligger i hur AI-företag opererar i en tidigare osedd mittfält mellan traditionella programvaru- och hårdvaruföretag. Till skillnad från rena programvaruföretag som främst investerar i mänskligt kapital med relativt låga driftskostnader, eller hårdvaruföretag som gör långsiktiga kapitalinvesteringar med tydliga vägar till avkastning, står AI-företag inför en unik kombination av utmaningar som gör deras nuvarande finansieringsmodeller prekära.

Dessa företag kräver massiva initiala kapitalutgifter för GPU-kluster och infrastruktur, och spenderar 100-200 miljoner dollar per år enbart på datorresurser. Men till skillnad från hårdvaruföretag kan de inte skriva av dessa investeringar under långa perioder. Istället opererar de på komprimerade tvåårs cykler mellan finansieringsrundor, varje gång de behöver visa exponentiell tillväxt och toppmoderna prestanda för att motivera sin nästa värderingsökning.

LLM:s differentieringsproblem

Till detta strukturella problem kommer en oroväckande trend: den snabba konvergensen av stora språkmodellens (LLM) förmågor. Startups, som den franska enhörningen Mistral AI och andra, har visat att öppen källkodsmodell kan uppnå prestanda som är jämförbara med deras slutna motsvarigheter, men den tekniska differentieringen som tidigare motiverade himla-höga värderingar blir allt svårare att upprätthålla.

Med andra ord, medan varje ny LLM skryter med imponerande prestanda baserat på standardbenchmark, sker ingen verkligt betydande förändring i den underliggande modellarkitekturen.

Nuvarande begränsningar inom detta område härrör från tre kritiska områden: datatillgänglighet, eftersom vi håller på att ta slut på högkvalitativ träningsmaterial (som nyligen bekräftats av Elon Musk); kurationsmetoder, eftersom de alla antar liknande mänskliga återkopplingsmetoder som banats av OpenAI; och beräkningsarkitektur, eftersom de alla förlitar sig på samma begränsade pool av specialiserad GPU-hårdvara.

Vad som håller på att utvecklas är ett mönster där vinster alltmer kommer från effektivitet snarare än skala. Företag fokuserar på att komprimera mer kunskap i färre token och utveckla bättre ingenjörsartefakter, som till exempel återvinningssystem som graf-RAG (retrieval-augmented generation). I grund och botten närmar vi oss en naturlig platå där kastning av fler resurser på problemet ger avtagande avkastning.

På grund av den oöverträffade takten i innovation under de senaste två åren sker denna konvergens av LLM-förmågor snabbare än någon kunde ha förutsett, vilket skapar en kapplöpning mot tiden för företag som har samlat in pengar.

Baserat på de senaste forskningstrenderna är den nästa fronten för att ta itu med detta problem uppkomsten av stora konceptmodeller (LCM) som en ny, banbrytande arkitektur som konkurrerar med LLM i deras kärnområde, som är naturligt språkförståelse (NLP).

Tekniskt sett kommer LCM att ha flera fördelar, inklusive potentialen för bättre prestanda med färre iterationer och förmågan att uppnå liknande resultat med mindre lag. Jag tror att dessa nästa generations LCM kommer att utvecklas och kommersialiseras av spin-off-lag, de berömda ‘ex-big tech’-maverickerna som grundar nya startups för att leda denna revolution.

Monetiserings-tidsplan-missmatch

Komprimeringen av innovationscykler har skapat ett annat kritiskt problem: missmatchningen mellan tid-till-marknad och hållbar monetisering. Medan vi ser en oöverträffad hastighet i vertikaliseringsprocessen för AI-applikationer – med till exempel röst-AI-agenter som går från koncept till intäktsgenererande produkter på bara några månader – döljer denna snabba kommersialisering ett djupare problem.

Tänk på det här: ett AI-startup som värderas till 20 miljarder dollar idag kommer troligen att behöva generera runt 1 miljard dollar i årlig omsättning inom 4-5 år för att motivera att gå publikt till en rimlig multiplikator. Detta kräver inte bara teknisk excellens utan en dramatisk omvandling av hela affärsmodellen, från FoU-fokuserad till försäljningsdriven, samtidigt som man upprätthåller innovations takten och hanterar enorma infrastrukturkostnader.

I den meningen kommer de nya LCM-fokuserade startups som kommer att dyka upp 2025 att vara i en bättre position för att samla in pengar, med lägre initiala värderingar som gör dem mer attraktiva för investerare.

Hårdvarubrist och framväxande alternativ

Låt oss ta en närmare titt specifikt på infrastruktur. Idag köps varje ny GPU-kluster innan den ens är byggd av de stora spelarna, vilket tvingar mindre spelare att antingen åta sig långsiktiga kontrakt med molntjänstleverantörer eller riskera att stängas ute från marknaden helt.

Men här är vad som är riktigt intressant: medan alla slåss om GPU:er, har det skett en fascinerande förändring i hårdvarulandskapet som fortfarande till stor del förbises. Den nuvarande GPU-arkitekturen, kallad GPGPU (General Purpose GPU), är otroligt ineffektiv för vad de flesta företag faktiskt behöver i produktion. Det är som att använda en superdator för att köra en miniräknare.

Därför tror jag att specialiserad AI-hårdvara kommer att vara den nästa stora förändringen i vår bransch. Företag som Groq och Cerebras (CBRS ) bygger inferens-specifik hårdvara som är 4-5 gånger billigare att driva än traditionella GPU:er. Ja, det finns en högre ingenjörskostnad initialt för att optimera modellerna för dessa plattformar, men för företag som kör stora inferensarbetsbelastningar är effektivitetsvinningarna tydliga.

Data-densitet och uppkomsten av mindre, smartare modeller

Att flytta till nästa innovationsfront inom AI kommer troligen att kräva inte bara större beräkningskraft – särskilt för stora modeller som LCM – utan också rikare, mer omfattande datamängder.

Intressant nog börjar mindre, effektivare modeller utmana större modeller genom att kapitalisera på hur tätt de tränas på tillgängliga data. Till exempel opererar modeller som Microsofts FeeFree eller Googles Gema2B med betydligt färre parametrar – ofta runt 2 till 3 miljarder – men uppnår prestandanivåer som är jämförbara med mycket större modeller med 8 miljarder parametrar.

Dessa mindre modeller är alltmer konkurrenskraftiga på grund av deras höga data-densitet, vilket gör dem robusta trots deras storlek. Denna förändring mot kompakta, men kraftfulla, modeller överensstämmer med de strategiska fördelarna som företag som Microsoft (MSFT ) och Google har: tillgång till enorma, varierade datamängder via plattformar som Bing och Google Sök.

Denna dynamik avslöjar två kritiska “krig” som utvecklas inom AI-utveckling: ett om beräkningskraft och ett annat om data. Medan beräkningsresurser är avgörande för att driva gränserna, blir data-densitet alltmer avgörande. Företag med tillgång till enorma datamängder är unikt positionerade för att träna mindre modeller med en oöverträffad effektivitet och robusthet, vilket befäster deras dominans i det föränderliga AI-landskapet.

Vem kommer att vinna AI-kriget?

I detta sammanhang undrar alla vem i det nuvarande AI-landskapet som är bäst positionerad för att komma ut som segrare. Här är något att fundera på.

Stora teknologi-företag har förköpt hela GPU-kluster innan de ens är byggda, vilket skapar en bristsituation för mindre spelare. Oracles beställning av 100 000+ GPU:er och liknande drag av Meta och Microsoft exemplifierar denna trend.

Efter att ha investerat hundratals miljarder i AI-initiativ kräver dessa företag tusentals specialiserade AI-ingengörer och forskare. Detta skapar en oöverträffad efterfrågan på talang som bara kan tillgodoses genom strategiska förvärv – vilket troligen kommer att resultera i att många startups absorberas under de kommande månaderna.

Medan 2025 kommer att ägnas åt storskalig FoU och infrastruktursbyggen för dessa aktörer, kommer de att vara i en position att slå till som aldrig förr på grund av oöverträffade resurser.

Detta betyder inte att mindre AI-företag är dömda – långt ifrån. Sektorn kommer att fortsätta att innovativa och skapa värde. Vissa nyckelinnovationer inom sektorn, som LCM, kommer troligen att ledas av mindre, framväxande aktörer under året som kommer, tillsammans med Meta, Google/Alphabet (GOOG ) och OpenAI med Anthropic, som alla arbetar på spännande projekt just nu.

Men vi kommer troligen att se en grundläggande omstrukturering av hur AI-företag finansieras och värderas. När riskkapital blir mer diskriminerande kommer företag att behöva visa tydliga vägar till hållbara enhetsekonomier – ett särskilt utmanande för öppen källkods-företag som konkurrerar med välresurserade proprietära alternativ.

För öppen källkods-AI-företag specifikt kan vägen framåt kräva att fokusera på specifika vertikala applikationer där deras transparens och anpassningsförmåga ger tydliga fördelar över proprietära lösningar.