Bouw uw Enterprise AI niet op geleend toegang

Alle AI-toepassingen en enterprise-implementaties zijn tot nu toe gebouwd met de veronderstelling dat toegang tot frontier AI-modellen blijvend mogelijk en vrijwel onbeperkt zal zijn. Dat was de juiste mentaliteit, tot nu toe. De trend was dat de nieuwe mogelijkheden van frontier-modellen binnen 6 maanden werden geïmplementeerd of open-source werden gemaakt, en daarom lag de focus alleen op het begrijpen van toekomstige mogelijkheden zo vroeg mogelijk. De bedrijven, teams of personen die producten konden bouwen door nieuwe frontier-mogelijkheden zo vroeg mogelijk te begrijpen en aan te passen, hebben gewonnen. Echter, verschillende signalen kunnen aangeven dat deze periode snel zal stoppen. Het besluit van het Amerikaanse ministerie van Handel om toegang tot Anthropic’s Fable en Mythos-modellen te beperken tot Amerikaanse burgers, was slechts een eerste teken. Echter, deze beperking werd later opgeheven na overleg met Anthropic, wat aantoont hoe snel toegangsvoorwaarden kunnen veranderen en de noodzaak van adaptieve enterprise AI-systemen.

De vier redenen waarom toegang tot frontier-modellen niet gegarandeerd is

De mentaliteit van het bouwen voor frontier-modellen alleen kan stoppen met de juiste zijn als hun beschikbaarheid stopt met gegarandeerd te zijn. Er zijn ten minste vier redenen waarom dit kan gebeuren. Ten eerste zijn de economie van frontier AI gebaseerd op gesubsidieerde prijzen die niet blijvend zullen zijn. De recente voorbereidingen voor een beursgang van OpenAI en Anthropic hebben hen gedwongen hun boeken te openen en hebben duidelijk de werkelijke kosten van de huidige gesponsorde AI-diensten onthuld, die mogelijk niet economisch haalbaar zullen zijn na de beursgang. Er gaan geruchten dat het $200 privé-abonnement dat door Anthropic wordt aangeboden, eigenlijk enkele duizenden dollars kost voor het bedrijf. Daarom zullen tokenprijzen naar verwachting blijven stijgen, en de periode van kunstmatig goedkope toegang tot frontier-modellen zal eindigen.

Ten tweede worden frontier-modellen niet goedkoper om te draaien. In tegenstelling tot klassieke computing, waar de wet van Moore de kosten van elke operatie in de loop van de tijd gestaag verlaagde, lijkt AI niet deze curve te volgen. De modellen worden groter, maar ook rekenintensiever. Alle onze ingenieurs hebben hun Claude-credits binnen 10 minuten uitgeput na de (tijdelijke) release van fable 5. Dit kan erop duiden dat de volgende frontier-modellen meer tokens, meer rekenkracht en meer infrastructuur zullen vereisen bij elke iteratie.

Ten derde lijkt het erop dat steeds minder spelers daadwerkelijk in de race zitten voor de echte frontier-modellen. Mistral, ooit Europa’s hoop om te concurreren op het gebied van frontier-modellen, heeft zijn ambities herzien om een bescheiden volger te worden. Chinese modellen zijn snelle volgers, maar blijven achter bij de beste releases van de leidende laboratoria.

Ten slotte kunnen frontier-modellen gewoon te gevaarlijk zijn om in elke toepassing te gebruiken. We gebruiken geen miniaturized nucleaire reactoren in auto’s, deels omdat dit veld zeer gereguleerd is en het gevaarlijk is. Anthropic’s eigen experimenten laten zien dat het zeer moeilijk is om een frontier-model in toom te houden om ervoor te zorgen dat het onschadelijk blijft en zijn mogelijkheden behoudt. Dit kan een lange-termijnles en onderliggende reden zijn achter de Amerikaanse regelgeving van Fable 5. In elk geval is het zeer waarschijnlijk dat frontier-modellen als strategische activa door staten zullen worden behandeld en daarom niet zo vrij beschikbaar zullen zijn als ze nu zijn.

Daarom kunnen we een wereld binnen gaan waarin tokenkosten ertoe doen en waarin frontier-modellen niet voor alle toepassingen in alle landen beschikbaar zullen zijn.

De toepassingslaag komt in beeld

In een wereld waarin niet elke modelaanroep naar het beste beschikbare model gaat, hoe kunnen we ervoor zorgen dat elke taak betrouwbaar en met het beste mogelijke prestatieniveau wordt opgelost? Het antwoord kan liggen in de zogenaamde “toepassingslaag”.

NVIDIA’s CEO Jensen Huang beschreef AI als een 5-laags cake: energie, chips, datacentra, modellen en toepassingen. Hij stelt dat de toepassingslaag zowel de belangrijkste is als de laag die nog grotendeels ontbreekt.

Voor sommige toepassingen, zoals chatbots, is deze laag extreem dun – het is eigenlijk alleen een chat-interface. In andere toepassingen, zoals geavanceerde industriële en technische toepassingen, is het veel belangrijker en kritischer. Het is de bepalende laag in de waardeketen. Als toegang tot een specifiek frontier-model niet langer gegarandeerd is, zal de rol van de toepassingslaag zijn om de resultaten over modellen heen te uniformeren en de tokenkosten onder controle te houden.

Concreet, als ik een complexe, kritieke taak wil uitvoeren, zoals het herontwerpen van mijn productieketen voor een nieuw vliegtuigmodel, zal ik een krachtig frontier-model vragen om me te helpen. Het model kan misschien zelfstandig uitvinden hoe het moet doen, een planningsinstrument voor me bouwen en het resultaat communiceren met al mijn teams. Echter, als ik overschakel naar een meer capabel model, een minder duur model of een model van een andere aanbieder, kan ik prestaties verliezen of consistentie in mijn eindresultaat verliezen. In veel praktische gevallen in enterprise-opstellingen is deze onvoorspelbaarheid niet acceptabel. Dit is waar de rol van de toepassingslaag kritiek is: in plaats van het model te laten opereren in een open-eindige ruimte en te vertrouwen op zijn ruwe mogelijkheden om het resultaat te produceren, definieert de toepassingslaag een duidelijk canvas, een beperkte set beschikbare acties en een gedefinieerde perimeter waarbinnen het kan opereren. Het model wordt niet langer gevraagd om alles van scratch uit te vinden, het krijgt een goed gedefinieerd canvas dat de kans zal vergroten dat elk model goed zal presteren.

Kostenwijs kan mijn model ook besluiten om zeer lage acties uit te voeren om zijn doel te bereiken. Het kan een planningsalgoritme van scratch herschrijven, een nieuwe interface voor me bouwen om zijn werk te visualiseren of zelfs een nieuwe optimalisatiesolver ontwikkelen. Maar dit kan enorm token-duur zijn, terwijl goede richtlijnen of vooraf gebouwde instrumenten het model kunnen helpen om hetzelfde resultaat te bereiken met minder tokens. Dit is de rol van de toepassingslaag. Het goede nieuws is dat modellen lui zijn en naar kortere paden zoeken, dus we hoeven ze niet te veel te beperken zodra ze toegang hebben tot de juiste set vaardigheden, instrumenten en rekenbronnen.

Kortom, een goede toepassingslaag zal duidelijke vaardigheden, instrumenten en richtlijnen bieden voor het model om betrouwbaar en kostenefficiënt te opereren. Naast het verbeteren van de prestaties en het controleren van tokenkosten, betekent dit ook dat de afhankelijkheid van een specifiek model afneemt. Als je je intelligentie in de toepassingslaag embedt in plaats van in het model zelf, wordt het onderliggende model omwisselbaar. In veel gevallen kan dit het verschil maken tussen experimentele en schaalbare enterprise AI.

Oproep tot actie voor enterprise-leiders

Over de industrieën heen, ontmoeten we elke dag enterprise-leiders die werken aan het opzetten van hun AI-stack. De meeste bedrijven beginnen met een of meerdere frontier-modelaanbieders om hun noodzakelijke model-laag in hun stack te vestigen. Voor de toepassingslaag vertrouwen ze op zelfgebouwde instrumenten, volledig aangekochte capaciteiten of een mix van beide.

Het Anthropic-verbod was een herinnering dat deze stack over nacht kan worden verstoord. Bedrijven moeten hun architectuur klaar hebben voor wanneer dit weer zal gebeuren. Om klaar te zijn, moeten bedrijven zowel de snelheid van implementatie als de opbouw van oplossingen overwegen die de effecten van modelwijzigingen en de stijgende tokenkosten zullen mitigeren. Het is geen gemakkelijke weg, maar mijn advies zou zijn:

• Investeer strategisch en vroeg in uw toepassingslaag. Bedrijven die de trein missen, zullen altijd een kloof hebben ten opzichte van vroege adoptanten
• Maak model-agnostisch een ontwerpprincipe, niet een workaround
• De kosten van het wisselen van modellen moeten geen existentiële vraag zijn voor uw operaties
• Partner met gespecialiseerde bedrijven die modellen kunnen benchmarken, prestaties kunnen valideren over meerdere opstellingen en helpen bij het garanderen van langetermijngaranties.

De bedrijven die het spel zullen winnen in de volgende enterprise AI-fase zijn niet noodzakelijkerwijs degenen met toegang tot de beste modellen, maar degenen die de juiste laag rondom hen hebben gebouwd. Bedrijven die kunnen benchmarken, prestaties valideren over meerdere opstellingen en helpen bij het garanderen van langetermijngaranties.