Bygg inte din företags-AI på lånad åtkomst

Alla AI-applikationer och företagsdistributioner har byggts hittills med antagandet att åtkomst till gränsöverskridande AI-modeller kommer att förbli möjlig och nästan obegränsad. Det var rätt inställning, tills nu. Trenden var att gränsöverskridande modellers nya funktioner kommodifierades eller öppenkodades inom 6 månader och därför fokuserades endast på att förstå framtida funktioner så tidigt som möjligt. Företagen, teamen eller personerna som kunde bygga produkter genom att förstå och anpassa sig till nya gränsöverskridande funktioner så tidigt som möjligt för att bygga applikationer har vunnit. Men flera signaler kan tyda på att denna era kommer att sluta snart. USA:s handelsdepartements beslut att begränsa åtkomst till Anthropics Fable och Mythos-modeller för USA-medborgare var bara ett första tecken. Men den begränsningen lyftes senare efter samordning med Anthropic, vilket visar hur snabbt åtkomstvillkoren kan ändras och behovet av anpassningsbara företags-AI-system.

De fyra anledningarna till varför gränsöverskridande modellåtkomst inte är garanterad

Inställningen att bygga för gränsöverskridande modeller bara kan sluta vara rätt om deras tillgänglighet slutar vara garanterad. Det finns minst fyra anledningar till varför det kan hända. Först är ekonomin för gränsöverskridande AI byggd på subventionerad prissättning som inte kommer att vara långsiktig. De nyliga börsnoteringsförberedelserna från OpenAI och Anthropic har tvingat dem att öppna böckerna och tydligt avslöja den verkliga kostnaden för nuvarande sponsrade AI-tjänster, som kanske inte är ekonomiskt hållbara efter börsnoteringen. Rykten säger att den privata prenumerationen på 200 dollar som erbjuds av Anthropic faktiskt kostar flera tusen dollar för företaget. Därför förväntas tokenpriserna fortsätta att stiga, och eran med konstgjort billiga gränsöverskridande modellåtkomst kommer att ta slut.

Andra, gränsöverskridande modeller blir inte billigare att köra. Till skillnad från klassisk datoranvändning, där Moores lag stadigt minskade kostnaden för varje given operation över tid, verkar AI inte följa denna kurva. Modellerna blir större men också mer beräkningsintensiva. Alla våra ingenjörer har förbrukat sina Claude-krediter inom 10 minuter efter den tillfälliga utgåvan av Fable 5. Detta kan tyda på att nästa gränsöverskridande modell kommer att kräva fler token, mer beräkning och mer infrastruktur med varje iteration.

Tredje, det verkar som att allt färre aktörer faktiskt stannar kvar i racet för de riktiga gränsöverskridande modellerna. Mistral, som en gång var Europas hopp att konkurrera på den globala arenan för gränsöverskridande modeller, har reviderat sina ambitioner för att bli en modest följare. Kinesiska modeller är snabba följare men fortsätter att ligga efter de ledande laboratoriernas bästa utgåvor.

Fjärde, gränsöverskridande modeller kan vara för farliga för att användas i varje applikation. Vi använder inte miniaturiserade kärnreaktorer i bilar, delvis för att detta område är starkt reglerat och det är farligt. Anthropics egna experiment visar att det är mycket svårt att hålla en gränsöverskridande modell under kontroll för att säkerställa att den förblir ofarlig samtidigt som den behåller sina funktioner. Detta kan vara en långsiktig verklig läxa och underliggande motiv bakom den amerikanska regleringen av Fable 5. I vilket fall som helst är det mycket troligt att gränsöverskridande modeller kommer att behandlas som strategiska tillgångar av stater och därför inte kommer att vara lika fritt tillgängliga som de är nu.

Därför kan vi vara på väg in i en värld där tokenkostnader spelar roll och där gränsöverskridande modeller inte är tillgängliga för alla applikationer i alla länder.

Applikationslagret går in

I en värld där inte varje modellanrop går till den bästa tillgängliga modellen, hur kan vi fortfarande garantera att varje uppgift löses pålitligt och med den bästa möjliga prestandan? Svaret kan ligga i det så kallade “applikationslagret”.

NVIDIA:s VD Jensen Huang beskrev AI som en 5-lagig tårta: energi, chip, datacenter, modeller och applikationer. Han hävdar att applikationslagret är både det viktigaste och det som fortfarande till stor del saknas.

För vissa applikationer, som chatbots, är detta lager extremt tunt – i princip bara en chattgränssnitt. I andra, som avancerade industriella och tekniska applikationer, är det mycket viktigare och kritiskt. Det är det avgörande lagret i värdekedjan. När åtkomst till en specifik gränsöverskridande modell inte längre är garanterad, kommer applikationslagrets roll att vara att uniformera resultatet över modeller och hålla tokenkostnaderna under kontroll.

Konkret, om jag vill utföra en komplex, kritisk uppgift som att omforma min tillverkningskedja för en ny flygplansmodell, kommer jag att be en kraftfull gränsöverskridande modell att hjälpa mig. Modellen kan komma att lyckas med att göra det på egen hand, bygga en planeringsverktyg för mig och kommunicera resultatet till alla mina team. Men om jag byter modell till en mer kapabel, en billigare eller en från en annan leverantör, kan jag förlora prestanda eller förlora konsekvens i min slutliga utdata. I många praktiska fall i företagsmiljöer är denna oförutsägbarhet inte acceptabel. Här är applikationslagrets roll kritisk: istället för att låta modellen operera i ett öppet utrymme och förlita sig på dess råa funktioner för att producera resultatet, definierar applikationslagret en tydlig canvas, en begränsad uppsättning tillgängliga åtgärder och en definierad gräns inom vilken den kan operera. Modellen är inte längre tvungen att lösa allt från scratch, den får en väldefinierad canvas som kommer att öka sannolikheten att varje modell kommer att fungera bra.

Kostnadsmässigt kan min modell också besluta att utföra mycket lågnivååtgärder för att nå sitt mål. Den kan skriva om en planeringsalgoritm från scratch, bygga en ny gränssnitt för mig för att visualisera sitt arbete eller till och med utveckla en ny optimeringssolver. Men detta kan vara oerhört token-expensivt, medan bra riktlinjer eller förbyggda verktyg kan hjälpa modellen att uppnå samma resultat med färre token. Detta är applikationslagrets roll. Den goda nyheten är att modeller tenderar att vara lata och leta efter kortare vägar, så vi kanske inte behöver begränsa dem alltför mycket när de har tillgång till rätt uppsättning färdigheter, verktyg och beräkningsresurser.

Sammanfattningsvis kommer ett bra applikationslager att tillhandahålla tydliga färdigheter, verktyg och riktlinjer för modellen att operera pålitligt och kostnadseffektivt. Utöver att förbättra prestanda och kontrollera tokenkostnader innebär detta också att beroendet av en specifik modell minskar. Om du inbäddar din intelligens i applikationslagret snarare än i modellen själv, blir den underliggande modellen utbytbar. I många fall kan det vara vad som gör skillnaden mellan experimentell och skalbar företags-AI.

Upprop till handling för företagsledare

Över hela branschen möter vi dagligen företagsledare som arbetar för att etablera sin AI-stack. De flesta företag börjar med en eller flera gränsöverskridande modellleverantörer för att etablera sitt nödvändiga modellager i sin stack. För applikationslagret förlitar de sig antingen på hembyggda verktyg, fullständigt inköpta funktioner eller en kombination av båda.

Anthropic-förbudet var en påminnelse om att denna stack kan störas över en natt. Företagens arkitekturer måste vara redo för när det kommer att hända igen. För att vara redo måste företag överväga deploymentshastighet, men också bygga lösningar som kommer att mildra effekterna av modellförändringar samt ökande tokenkostnader. Det är inte en lätt väg, men min råd skulle vara:

• Investera i ditt applikationslager strategiskt och tidigt. Företag som missar tåget kommer alltid att ha ett gap jämfört med tidiga antagare
• Gör modell-agnosticism till en designprincip, inte en lösning
• Kostnaden för att byta modell bör inte vara en existentiell fråga för din verksamhet
• Samarbeta med specialiserade företag som kan benchmarka modeller, validera prestanda över flera konfigurationer och hjälpa till att säkerställa långsiktiga prestandagarantier.

Företagen som kommer att vinna spelet i nästa företags-AI-fas är inte nödvändigtvis de som har tillgång till de bästa modellerna, utan de som kommer att ha byggt rätt lager runt dem.