Bygg ikke ditt bedrifts AI på lånt tilgang

Alle AI-applikasjoner og bedriftsinstallasjoner har vært bygget inntil nå med antagelsen at tilgang til grenseoverskridende AI-modeller vil forbli mulig og nesten ubegrenset. Det var riktig holdning, inntil nå. Trenden var at grenseoverskridende modellers nye egenskaper ble kommodifisert eller åpnet kildekode innen 6 måneder, og derfor var fokus kun på å forstå fremtidige egenskaper så tidlig som mulig. Selskapene, teamene eller personene som kunne bygge produkter ved å gripe og tilpasse seg nye grenseoverskridende egenskaper så tidlig som mulig for å bygge applikasjoner, har vunnet. Imidlertid kan flere signaler indikere at denne epoken vil stoppe snart. USAs handelsdepartements beslutning å begrense tilgang til Anthropics Fable og Mythos-modeller for amerikanske nasjonale, var bare et første tegn. Imidlertid ble denne begrensningen senere løftet etter koordinering med Anthropic, og viser hvordan tilgangsforhold kan skifte raskt og behovet for tilpasningsdyktige bedrifts AI-systemer.

De fire grunnene til at grenseoverskridende modelltilgang ikke er garantert

Holdningen til å bygge for grenseoverskridende modeller alene, kan stoppe med å være riktig hvis deres tilgjengelighet stopper med å være garantert. Det finnes minst fire grunner til at dette kan skje. Først er økonomien for grenseoverskridende AI bygget på subsidiert prising som ikke vil vare. De nylige IPO-forberedelsene fra OpenAI og Anthropic har tvunget dem til å åpne bøkene og tydelig avsløre den virkelige kostnaden for nåværende sponsede AI-tjenester, som kanskje ikke er økonomisk bærekraftige etter IPO. Rykter er at den private abonnementsprisen på 200 dollar som tilbys av Anthropic, faktisk koster flere tusen dollar for selskapet. Derfor forventes tokenprisene å fortsette å stige, og epoken med kunstig billig grenseoverskridende modelltilgang vil ende.

For det andre er grenseoverskridende modeller ikke billigere å kjøre. I motsetning til klassisk databehandling, hvor Moores lov jevnt reduerte kostnaden for enhver gitt operasjon over tid, ser det ikke ut til at AI følger denne kurven. Modellene blir større, men også mer beregningsintensive. Alle våre ingeniører har brukt opp sine Claude-kredittene innen 10 minutter etter den midlertidige utgivelsen av Fable 5. Dette kan hinte om at de neste grenseoverskridende modellene vil kreve flere token, mer beregning og mer infrastruktur med hver iterasjon.

Tredje er det slik at færre og færre spillere faktisk er igjen i kappløpet for de virkelige grenseoverskridende modellene. Mistral, som en gang var Europas håp om å konkurrere på det globale grenseoverskridende modellmarkedet, har revidert sine ambisjoner til å være en beskjeden følger. Kinesiske modeller er raske følgere, men fortsetter å ligge bak de ledende laboratoriets beste utgaver.

Til slutt kan grenseoverskridende modeller være for farlige å bruke i hver enkelt applikasjon. Vi bruker ikke miniaturiserte atomreaktorer i biler, delvis fordi dette feltet er høyt regulert og det er farlig. Anthropics egne eksperimenter viser at det er svært vanskelig å holde en grenseoverskridende modell under kontroll for å sikre at den forblir harmløs samtidig som den beholder sine evner. Dette kan være en langvarig virkelig lære og underliggende begrunnelse bak USAs regulering av Fable 5. Uansett er det svært sannsynlig at grenseoverskridende modeller vil bli behandlet som strategiske aktiver av stater og derfor ikke vil være like fritt tilgjengelige som de er nå.

Derfor kan vi være i ferd med å gå inn i en verden hvor tokenkostnader teller og hvor grenseoverskridende modeller ikke er tilgjengelige for alle applikasjoner i alle land.

Grenseoverskridende modelltilgang går inn i applikasjonslaget

I en verden hvor ikke hver modellkall går til den beste tilgjengelige modellen, hvordan kan vi fortsatt garantere at hver oppgave løses pålitelig og med det beste mulige nivå av ytelse? Svaret kan ligge i det såkalte “applikasjonslaget”.

NVIDIAs CEO Jensen Huang beskrev AI som en 5-lags kake: energi, chip, datacentre, modeller og applikasjoner. Han argumenterer for at applikasjonslaget er både det viktigste og det som fortsatt mangler.

For noen applikasjoner, som chatboter, er dette laget ekstremt tynnt—essensielt bare et chattegrensesnitt. I andre, som avanserte industrielle og ingeniørapplikasjoner, er det mye viktigere og kritisk. Det er avgjørende laget i verdikjeden. Ettersom tilgang til en bestemt grenseoverskridende modell ikke lenger er garantert, vil applikasjonslagets rolle være å standardisere utfallet over modeller og å holde tokenkostnader under kontroll.

Konkret, hvis jeg ønsker å utføre en kompleks, kritisk oppgave som å redesigne min produksjonskjede for en ny flymodell, vil jeg be en kraftig grenseoverskridende modell om å hjelpe meg. Modellen kan kanskje finne ut hvordan å gjøre det alene, bygge en planleggingsverktøy for meg og kommunisere resultatet til alle mine team. Imidlertid, hvis jeg bytter modell til en mer kapabel en, en mindre kostbar en eller en fra en annen leverandør, kan jeg miste ytelse eller miste konsistens i min endelige utgang. I mange praktiske tilfeller i bedriftsoppsett er denne uforutsigbarheten ikke akseptabel. Dette er hvor applikasjonslagets rolle er kritisk: i stedet for å la modellen operere i et åpent rom og stole på dens rå evner til å produsere utfallet, definerer applikasjonslaget et tydelig canvas, et begrenset sett av tilgjengelige handlinger og en definert perimetre innenfor hvilket den kan operere. Modellen blir ikke lenger bedt om å finne ut alt fra scratch, den blir gitt et veldefinert canvas som vil øke sannsynligheten for at noen modell vil fungere godt.

Kostnadsmessig kan min modell også velge å utføre svært lavnivåhandlingar for å nå sitt mål. Den kan omskrive en planleggingsalgoritme fra scratch, bygge en ny grensesnitt for meg til å visualisere dens arbeid eller sogar utvikle en ny optimeringssolver. Men dette kan være usedvanlig tokenkostbart, hvor god veiledning eller forhåndsbygde verktøy kan hjelpe modellen å nå samme utfall med færre token. Dette er applikasjonslagets rolle. Det gode nyheten er at modeller tenderer til å være late og søke etter kortere stier, så vi kanskje ikke trenger å begrense dem så mye en gang den har tilgang til riktige sett av ferdigheter, verktøy og beregningsressurser.

Kort sagt, et godt applikasjonslag vil gi tydelige ferdigheter, verktøy og retningslinjer for modellen til å operere pålitelig og kosteffektivt. I tillegg til å forbedre ytelse og kontrollere tokenkostnader, betyr dette også at avhengighet av en bestemt modell minker. Hvis du integrerer din intelligens i applikasjonslaget i stedet for i modellen selv, blir den underliggende modellen utskiftbar. I mange tilfeller kan dette være hva som gjør forskjellen mellom eksperimentell og skalerbar bedrifts AI.

Oppfordring til handling for bedriftsledere

Over hele industrien møter vi hver dag bedriftsledere som arbeider for å etablere sin AI-stakk. De fleste selskaper starter med en eller flere grenseoverskridende modellleverandører for å etablere deres nødvendige modelllag i sin stakk. For applikasjonslaget avhenger de enten av hjemmebygde verktøy, fullt kjøpte evner eller en blanding av begge.

Anthropic-forbudet var en påminnelse om at denne stakken kan bli forstyrret over natten. Selskapenes arkitekturer må være klare for når det skjer igjen. For å være klare, må selskaper vurdere deployeringshastighet, men også bygge løsninger som vil mildne effektene av modellendringer samt økende tokenkostnader. Det er ikke en enkel vei, men min råd ville være:

• Investér i ditt applikasjonslag strategisk og tidlig. Selskaper som mangler toget, vil alltid ha et gap sammenlignet med tidlige adoptører
• Gjør modell-agnostisisme til en designprinsipp, ikke en midlertidig løsning
• Kostnaden ved å bytte modell bør ikke være en eksistensiell spørsmål for din drift
• Sammen med spesialiserte selskaper som kan benchmark modeller, validere ytelse over flere oppsett og hjelpe med å sikre langsiktige ytelsesgarantier.

Selskapene som vil vinne spillet i neste bedrifts AI-fase er ikke nødvendigvis de som har tilgang til de beste modellene, men de som vil ha bygget det riktige laget rundt dem.