Nikunj Bajaj, medgrundare och VD för TrueFoundry – Intervju-serie

Du har arbetat med maskinlärningsforskning, produktions-AI på Facebook (META ) och storskaliga rekommendationssystem innan du grundade TrueFoundry — vilka erfarenheter ledde dig mest direkt till att bygga ett företags-AI-infrastrukturföretag, och vilken smärta kände du att inte blev tillgodosedd vid den tiden?

På Meta såg vi maskinlärning som ett specialfall av programvara, och GenAI som ett specialfall av maskinlärning, vilket resulterade i en vertikal stack med programvara längst ner, maskinlärning i mitten och GenAI högst upp. I denna konfiguration, om jag är en maskinläringsutvecklare, följer modellerna jag bygger samma distributionsmönster som resten av programvaran, vilket gör det väldigt enkelt att skala system.

De flesta företag hade dock parallella stackar, vilket innebar att de hade separata stackar för programvara, maskinlärning och GenAI. Så fort du har dessa parallella stackar blir skalning mer komplex på grund av de överlämningspunkter som krävs mellan maskinlärning och programvaruvärlden.

Vårt team har alltid arbetat i skärningspunkten mellan att bygga maskinlärningsmodeller och maskinlärningsinfrastruktur, så vi hade en unik synvinkel som vi kunde ta med oss till företag och anpassa dem till deras specifika krav. Vi hade också en hypotes i slutet av 2021 att maskinlärning närmade sig en inflexionspunkt, och när den gjorde det, skulle fler företag behöva en vertikalt integrerad stack för att distribuera och skala dessa system effektivt. Detta ledde oss till att grunda TrueFoundry, och vår hypotes var rätt. AI-antagandet accelererade efter lanseringen av ChatGPT i slutet av 2022.

När AI-system flyttar från experiment till vardagliga operationer, vad har förändrats i hur organisationer bör tänka på tillförlitlighet och fel?

Insatserna för Gen AI är betydligt högre jämfört med traditionella maskinlärningssystem. När dessa system flyttar in i produktion hanterar organisationer en mycket högre nivå av osäkerhet och icke-determinism eftersom LLM:er är stokastiska av naturen. Agenta system byggda ovanpå dem lägger till ytterligare osäkerhet.

Dessutom är fel inte längre binära. Istället för att systemen antingen misslyckas eller inte misslyckas, visas många problem som partiella fel eller tysta försämringar. Systemen kan svara med högre latens, försämrad kvalitet eller felaktigt beteende över tid. I många fall kan dessa försämringar vara svårare att upptäcka och ibland till och med mer skadliga än ett hårt avbrott.

Organisationer behöver tänka på tillförlitlighet inte bara i termer av uptime utan också prestandaförsämring över tid.

TrueFailover lanserades mitt i en våg av högprofilerade moln- och AI-tjänsteavbrott. Vilka nyliga händelser gjorde det tydligt att AI-tillförlitlighet hade förändrats från en “nice to have” till en kärnarkitekturkrav?

En av våra hälsovårdskunder som bearbetar realtids-, tidskritiska patientförfrågningar relaterade till recept påverkades av ett avbrott orsakat av en modellfel. Deras arbetsflöden genererar tusentals dollar i intäkt per sekund, och avbrottet störde några av dessa kritiska arbetsflöden. Som en tidig TrueFailover-kund kunde vi hjälpa till med snabb återhämtning, och påverkan var begränsad.

Händelser som denna väcker en viktig fråga. När insatserna för Gen AI-system fortsätter att öka, varför är återhämtningsprocesser fortfarande i stor utsträckning manuella? Det förstärkte idén att system bör byggas med antagandet att fel kommer att inträffa, och de bör vara utformade för att automatiskt korrigera sig själva. Tillförlitlighet måste också byggas in i AI-stacken själv genom användning av AI-gateways, som kan tillhandahålla centraliserad routing, övervakning, skydd och intelligent modellväxling mellan leverantörer.

Många AI-avbrott presenteras fortfarande som tekniska hakor. Var ser du de verkliga ekonomiska och mänskliga kostnaderna börjar dyka upp när AI-system går ner?

Företags-AI har utvecklats till den punkt där dessa hakor inte längre bara påverkar interna arbetsflöden. Idag påverkar avbrott och försämringar direkt och omedelbart allmänhetens uppfattning och vinster, eftersom produktionsanvändningsfallen nu är kundorienterade. Detta skifte från intern testning till högrisk-, kundorienterade applikationer är varför vi ser en ökad efterfrågan på verkställande uppmärksamhet och tillsyn.

När AI-system blir mer inbäddade i operativa arbetsflöden är avbrott inte längre bara tekniska problem. De har alltmer direkt affärs-, kund- och rykteskonsekvenser.

I uppdragskritiska miljöer som apotek, hälsovårdsverksamhet eller kundsupport, hur snabbt kan AI-nedtid eskalera till operativ eller ryktesrisk?

I uppdragskritiska miljöer sker eskalering nästan omedelbart eftersom dessa system stöder realtids-, tidskritiska arbetsflöden. Även ett kort avbrott kan stoppa kritiska processer, försena tjänsteleverans eller avbryta nedströms system som är beroende av dessa utdata, vilket skapar en kaskad av operativa effekter över hela organisationen.

I sektorer som hälsovård sträcker sig påverkan bortom operativ störning till kundupplevelse och serviceutfall. Om en patient inte kan utföra sitt recept i tid kan det ha verkliga konsekvenser. Detta är inte bara ett problem för patienten, utan kan också skada ett apoteks eller hälsovårdspersonals rykte. I uppdragskritiska miljöer där förtroende är en faktor är det av största vikt att system förblir online. Detta är varför organisationer alltmer erkänner att AI-system måste utformas med antagandet att fel kommer att inträffa och att återhämtningsmekanismer behöver aktiveras automatiskt för att minimera risk.

Du har sagt att många team arkitekter för kapacitet snarare än kontinuitet. Varför tror du att motståndskraft har historiskt sett prioriterats lägre i AI-systemdesign?

Detta beror till stor del på incitament inom organisationer. Nya kapaciteter är synliga och spännande. De låser upp demon, funktioner och produktmöjligheter som ledningen omedelbart kan se.

Kontinuitet, per definition, är osynlig när allt fungerar bra. På grund av detta tenderar belöningssystemen att vara snedvridna mot att leverera nya funktioner snarare än att säkerställa att ingenting bryts. Som ett resultat investerar organisationer ofta oproportionerligt mycket i kapacitetsutveckling snarare än i motståndskraftsingenjörskap.

När företag alltmer förlitar sig på externa modeller och API:er, vilka nya sårbarheter introduceras i AI-stacken som ledare kanske inte fullständigt uppskattar än?

LLM:er är i grunden delade resurser, och företag äger dem inte som de gör traditionell infrastruktur. Dessutom körs viktiga affärskritiska system med företag på externa system som inte är fullständigt tidstestade. LLM:er utvecklas snabbt, vilket innebär att en modellleverantör inte kan hållas ansvarig för saker som latens eller modellprestanda som minskar något, eftersom de itererar på sin forskning mycket snabbt.

Eftersom LLM:er är delade resurser kan latens öka eftersom en annan konsument av dessa LLM:er vidtar en specifik åtgärd. Det finns många av dessa felpunkter som introduceras på grund av LLM:ernas grundläggande natur, och företag i denna nya värld har helt enkelt inte full kontroll. Utan full kontroll kan det bästa ett företag kan göra är att skapa tillräckligt med systemredundanser för att utforma ett motståndskraftigt system.

Utifrån ett generellt perspektiv, hur bör organisationer omdefiniera AI-arkitektur för att anta fel snarare än att behandla avbrott som sällsynta kanter?

Organisationer bör återgå till de första principerna för distribuerad systemdesign. Programsystem byggdes på antagandet att nätverkskomponenter och maskiner skulle misslyckas, och att en hel region kunde gå ner.

AI-system bör inte vara annorlunda. Vi bör anta att modellleverantörer kommer att uppleva latensproblem, försämringar eller avbrott, och inkorporera redundans så att applikationer förblir motståndskraftiga över olika felscenarier.

Förväntar du dig att AI-motståndskraft kommer att bli en avgörande faktor i plattforms- och leverantörsval, liknande hur uptime och redundans formade molninfrastrukturbeslut?

När fler AI-system flyttar in i produktion kommer motståndskraft att bli en grundförutsättning. Om en leverantör inte kan visa sina grafer och mått på uptime och total motståndskraft kommer de inte ens att övervägas. När motståndskraft blir en baslinjeförväntan över leverantörer kommer avgörande faktorer att skifta mot användarupplevelse, prestandaoptimering, övervakning och högre nivåproduktfunktioner. Över tid kommer komponenter som en AI-gateway och automatisk felöverföringsfunktioner att bli kärnelement i företags-AI-infrastruktur.

Om du ser framåt, vad betyder “produktionsklar” AI verkligen i en värld där AI förväntas vara kontinuerligt tillgänglig, inte bara ibland användbar?

Produktionsklara AI-system bör vara övervakningsbara, kontrollerbara och återhämtbara. Alla tre av dessa punkter måste vara ikryssade.

För att produktion-AI ska vara övervakningsbart behöver teamen djup insikt i modellbeteende, latens, felrater, tokenanvändning, drift och felmönster. Utan stark övervakning blir det mycket svårt att upptäcka försämringar innan användarna börjar märka dem.

För att system ska vara kontrollerbara inkluderar det trafikformning, ratbegränsning, skydd, principgenomförande och intelligent routing över modeller och leverantörer. Detta är där en AI-gateway blir grundläggande, fungerande som en centraliserad kontrollplan som upprätthåller skydd, tillhandahåller konsekvent styrning och möjliggör dynamisk modellväxling när prestanda eller tillförlitlighet minskar.

Och sist men inte minst, när det gäller att vara återhämtbara bör system utformas med antagandet att komponenter kan vara partiellt eller helt trasiga, antingen på grund av leverantörsavbrott, försämrad modellkvalitet, ratbegränsningar eller oväntade indata från skadliga aktörer. Automatisk felöverföring och självläkande mekanismer bör vara infödda i arkitekturen, inte manuella handböcker som utlöses efter att något gått fel.

Detta är den riktning vi arbetar mot på TrueFoundry. Leverantörer som definierar produktionsklarhet på detta sätt, som kombinerar övervakning, centraliserad kontroll och automatisk återhämtning, kommer att vinna långsiktig kundförtroende och kommer att kunna fortsätta att lösa nya problem som uppstår.

Tack för den utmärkta intervjun, läsare som vill lära sig mer bör besöka TrueFoundry.