Byg ikke din virksomheds AI på lånt adgang

Alle AI-applikationer og virksomhedsinstallationer er indtil nu blevet bygget med antagelsen af, at adgangen til frontiers AI-modeller vil forblive mulig og næsten ubegrænset. Det var den rigtige holdning, indtil nu. Tendensen var, at frontiersmodellernes nye funktioner blev kommercialiseret eller open-source inden for 6 måneder, og derfor var fokus kun på at forstå fremtidige funktioner så tidligt som muligt. Virksomheder, teams eller personer, der kunne bygge produkter ved at gribe og tilpasse sig nye frontiersfunktioner så tidligt som muligt for at bygge applikationer, har vundet. Men flere signaler kan indikere, at denne æra snart vil stoppe. Udenrigsministeriets beslutning om at begrænse adgangen til Anthropics Fable og Mythos-modeller til amerikanske statsborgere var kun et første tegn. Men denne begrænsning blev senere ophævet efter koordination med Anthropic, hvilket viser, hvor hurtigt adgangsforhold kan ændre sig, og behovet for fleksible virksomheds AI-systemer.

De fire årsager til, at adgang til frontiersmodeller ikke er garanteret

Holdningen til at bygge kun for frontiersmodeller kan stoppe med at være den rigtige, hvis deres tilgængelighed stopper med at være garanteret. Der er mindst fire årsager til, at det kan ske. Først er økonomien bag frontiers AI bygget på subsidieret prissætning, der ikke vil vare ved. De seneste IPO-forberedelser fra OpenAI og Anthropic har tvunget dem til at åbne bogerne og tydeligt afsløre den virkelige omkostning ved nuværende sponsoreret AI-tjenester, der måske ikke er økonomisk bæredygtige efter IPO. Rygterne er, at den $200 private abonnement, der tilbydes af Anthropic, faktisk koster flere tusinde til virksomheden. Derfor forventes tokenpriserne at fortsætte med at stige, og æraen med kunstigt billig adgang til frontiersmodeller vil stoppe.

Anden, frontiersmodellerne er ikke blevet billigere at køre. I modsætning til klassisk computing, hvor Moores lov stadig reducerede omkostningerne ved enhver given operation over tid, synes AI ikke at følge denne kurve. Modellerne bliver større, men også mere compute-intensiver. Alle vores ingeniører har brugt alle deres Claude-kreditter inden for 10 minutter efter den (midlertidige) udgivelse af fable 5. Dette kan antyde, at de næste frontiersmodeller vil kræve flere tokens, mere compute og mere infrastruktur med hver iteration.

Tredje, det synes, at færre og færre spillere faktisk er tilbage i kapløbet om de sande frontiersmodeller. Mistral, der engang var Europas håb om at konkurrere på det globale frontiersarena, har ændret sine ambitioner til at være en beskeden følger. Kinesiske modeller er hurtige følgere, men fortsætter med at ligge bag de førende laboratoriers bedste udgaver.

Fjerde, frontiersmodellerne kan være for farlige til at blive brugt i enhver applikation. Vi bruger ikke miniaturiserede atomreaktorer i biler, delvist fordi dette felt er højt reguleret, og det er farligt. Anthropics egne eksperimenter viser, at det er meget svært at holde en frontiersmodel i tømme for at sikre, at den forbliver harmløs, samtidig med at den bevares sine evner. Dette kan være en langsigtede virkelig lære og underliggende rationales bag U.S.-regulering af Fable 5. I alle tilfælde er det meget sandsynligt, at frontiersmodellerne vil blive behandlet som strategiske aktiver af stater og derfor ikke vil være så frit tilgængelige, som de er nu.

Derfor kan vi være på vej ind i en verden, hvor tokenomkostninger er vigtige, og hvor frontiersmodellerne ikke er tilgængelige for alle applikationer i alle lande.

Indtager applikationslaget

I en verden, hvor ikke hver modelopkald går til den bedst tilgængelige model, hvordan kan vi stadig garantere, at hver opgave løses pålideligt og med det bedst mulige niveau af præstation? Svaret kan ligge i det såkaldte “applikationslag”.

NVIDIAs CEO Jensen Huang beskrev AI som en 5-lags kage: energi, chips, datacentre, modeller og applikationer. Han argumenterer for, at applikationslaget er både det vigtigste og det, der stadig mangler.

For nogle applikationer, såsom chatbots, er dette lag ekstremt tyndt – næsten kun en chatgrænseflade. I andre, såsom avancerede industrielle og tekniske applikationer, er det langt vigtigere og kritiskere. Det er det afgørende lag i værdikæden. Da adgangen til en bestemt frontiersmodel ikke længere er garanteret, vil applikationslagets rol være at uniformere resultater på tværs af modeller og at holde tokenomkostninger under kontrol.

Konkret, hvis jeg vil udføre en kompleks, mission-kritisk opgave, såsom at redesigne min produktionskæde for en ny flymodel, vil jeg bede en kraftfuld frontiersmodel om hjælp. Modellen kan måske selv finde ud af, hvordan den kan gøres, bygge en planlægningsværktøj til mig og kommunikere resultatet til alle mine teams. Men hvis jeg skifter modeller til en mere kapabel, en billigere eller en fra en anden leverandør, kan jeg miste præstation eller miste konsistens i min endelige output. I mange praktiske tilfælde i virksomhedsopsætninger er denne uforudsigelighed ikke acceptabel. Her er applikationslagets rol kritisk: i stedet for at lade modellen operere i et åbent rum og stole på dens rå kapaciteter til at producere resultatet, definerer applikationslaget en klar canvas, en begrænset sæt af tilgængelige handlinger og en defineret periferi, inden for hvilken den kan operere. Modellen er ikke længere bedt om at finde alt ud fra scratch, men fås en veldefineret canvas, der vil øge sandsynligheden for, at enhver model vil præstere godt.

Kostnadsøkonomisk set kan min model også beslutte at udføre meget lavniveuhandlinger for at nå sit mål. Den kan genskabe en planlægningsalgoritme fra scratch, bygge en ny grænseflade til mig for at visualisere dens arbejde eller endda udvikle en ny optimeringssolver. Men dette kan være utroligt token dyrt, hvorimod gode retningslinjer eller forudbyggede værktøjer kan hjælpe modellen med at opnå det samme resultat med færre tokens. Dette er applikationslagets rol. Det gode nyheder er, at modellerne har en tendens til at være dovne og søger efter kortere stier, så vi måske ikke behøver at begrænse dem for meget, når det har adgang til det rigtige sæt af færdigheder, værktøjer og compute-resourcer.

I kort, et godt applikationslag vil give klare færdigheder, værktøjer og retningslinjer for modellen til at operere pålideligt og omkostningseffektivt. Ud over at forbedre præstation og kontrollere tokenomkostninger, betyder dette også, at afhængigheden af en bestemt model mindskes. Hvis du integrerer din intelligens i applikationslaget i stedet for i modellen selv, bliver den underliggende model udskiftelig. I mange tilfælde kan det være, hvad der gør forskellen på eksperimentel og skalerbar virksomheds AI.

Opfordring til handling for virksomhedsledere

På tværs af brancher møder vi hver dag virksomhedsledere, der arbejder på at etablere deres AI-stack. De fleste virksomheder starter med en eller flere frontiersmodel-leverandører for at etablere deres nødvendige model-lag i deres stack. For applikationslaget afhænger de enten af hjembyggede værktøjer, fuldt købte funktioner eller en blanding af begge.

Anthropic-forbuddet var en påmindelse om, at denne stack kan blive forstyrret over nat. Virksomhedernes arkitekturer må være klar til, når det sker igen. For at være klar må virksomheder overveje udviklingstempo, men også bygge løsninger, der kan mindske effekterne af modelændringer samt stigende tokenomkostninger. Det er ikke en let vej, men mit råd ville være:

• Investér i din applikation strategisk og tidligt. Virksomheder, der mangler toget, vil altid have et gap i forhold til tidlige adopterer
• Gør model-agnostik til en designprincip, ikke en workaround
• Kosten for at skifte modeller skal ikke være en eksistensspørgsmål for jeres operationer
• Partner med specialiserede virksomheder, der kan benchmark-modeller, validere præstationer på tværs af multiple opsætninger og hjælpe med at sikre langsigtede præstationsgarantier.

Virksomhederne, der vil vinde spillet i den næste virksomheds AI-fase, er ikke nødvendigvis dem, der har adgang til de bedste modeller, men dem, der har bygget det rigtige lag omkring dem.