Nikunj Bajaj, medgrundare och vd för TrueFoundry – Intervjuserie

Innan du grundade TrueFoundry arbetade du med maskininlärningsforskning, AI i produktion på Facebook (META ) och storskaliga rekommendationssystem. Vilka erfarenheter fick dig mest direkt att vilja bygga ett företag som erbjuder AI-infrastruktur för företagsbruk, och vilket problem upplevde du att ingen löste då?

På Meta såg vi maskininlärning som ett specialfall av programvara och generativ AI som ett specialfall av maskininlärning. Det gav en vertikal teknikstack med programvara längst ned, maskininlärning i mitten och generativ AI högst upp. I den strukturen följer de modeller jag bygger som maskininlärningsutvecklare samma mönster för driftsättning som den övriga programvaran, vilket gör det mycket enkelt att skala systemen.

De flesta företag byggde däremot parallella stackar, alltså separata stackar för programvara, maskininlärning och generativ AI. Så snart stackarna är parallella blir skalningen mer komplicerad på grund av överlämningarna mellan maskininlärningen och programvaruvärlden.

Vårt team har alltid arbetat i skärningspunkten mellan att bygga maskininlärningsmodeller och infrastruktur för maskininlärning. Därför hade vi ett unikt perspektiv: vi kunde ge företag liknande vertikala stackar och anpassa dem efter deras särskilda krav. Mot slutet av 2021 hade vi också en hypotes om att maskininlärning närmade sig en brytpunkt. När den väl kom skulle fler företag behöva en vertikalt integrerad stack för att effektivt driftsätta och skala systemen. Det var detta som till slut ledde till att vi grundade TrueFoundry, och hypotesen stämde. Införandet av AI accelererade efter lanseringen av ChatGPT i slutet av 2022.

När AI-system går från experiment till den dagliga verksamheten, hur har organisationers sätt att tänka kring tillförlitlighet och fel behövt förändras?

Det står betydligt mer på spel med generativ AI än med traditionella maskininlärningssystem. När systemen går i produktion möter organisationer mycket större tvetydighet och icke-determinism, eftersom stora språkmodeller till sin natur är stokastiska. Agentbaserade system ovanpå dem tillför ytterligare tvetydighet.

Dessutom är fel inte längre binära. I stället för att systemen antingen fungerar eller havererar visar sig många problem som partiella fel eller försämringar som sker i det tysta. System kan med tiden svara långsammare, ge sämre kvalitet eller bete sig felaktigt. Dessa försämringar kan ofta vara svårare att upptäcka och ibland till och med skadligare än ett fullständigt driftstopp.

Organisationer behöver bedöma tillförlitlighet både utifrån drifttid och utifrån hur prestandan försämras över tid.

TrueFailover lanserades under en våg av uppmärksammade avbrott i moln- och AI-tjänster. Vilka händelser den senaste tiden visade att AI:s tillförlitlighet hade gått från ett trevligt tillägg till ett grundläggande arkitekturkrav?

En av våra vårdkunder behandlar tidskritiska patientförfrågningar om recept i realtid och drabbades av ett avbrott som orsakades av ett modellfel. Kundens arbetsflöden genererar tusentals dollar i intäkter per sekund, och avbrottet störde några av dessa kritiska flöden. Kunden var en av de tidiga användarna av TrueFailover, så vi kunde hjälpa till med en snabb återställning och begränsa konsekvenserna.

Sådana händelser väcker en viktig fråga: När allt mer står på spel med generativa AI-system, varför är återställningsprocesserna fortfarande till stor del manuella? Det stärkte uppfattningen att system bör byggas utifrån att fel kommer att inträffa och utformas för att automatiskt rätta till dem. Tillförlitligheten måste också byggas in i själva AI-stacken med hjälp av AI Gateway-komponenter. De kan ge centraliserad routning, observerbarhet, skyddsräcken och intelligent växling mellan modeller från olika leverantörer.

Många AI-avbrott beskrivs fortfarande som små tekniska störningar. Var ser du att de verkliga ekonomiska och mänskliga kostnaderna börjar visa sig när AI-system ligger nere?

AI i företag har utvecklats så långt att dessa störningar inte längre bara påverkar interna arbetsflöden. I dag slår avbrott och försämringar direkt och omedelbart mot allmänhetens bild av företaget och mot vinsten, eftersom systemen i produktion nu möter kunderna. Övergången från interna tester till publika applikationer där mycket står på spel förklarar det ökande behovet av ledningens uppmärksamhet och tillsyn.

När AI-system blir allt djupare integrerade i verksamhetens arbetsflöden är avbrott inte längre bara tekniska problem. De får i allt högre grad direkta följder för affärsverksamhet, kunder och anseende.

Hur snabbt kan ett driftstopp i AI bli en risk för verksamheten eller anseendet i verksamhetskritiska miljöer som apotek, vårdverksamhet och kundsupport?

I verksamhetskritiska miljöer sker upptrappningen nästan omedelbart, eftersom systemen stöder tidskritiska arbetsflöden i realtid. Även ett kort avbrott kan stoppa avgörande processer, försena tjänster eller slå ut efterföljande system som är beroende av resultaten. Det skapar kedjeeffekter i hela organisationens verksamhet.

Inom exempelvis vården sträcker sig effekten bortom driftstörningen till kundupplevelsen och utfallet av tjänsterna. Om en patient inte kan få sitt recept expedierat i tid kan det få verkliga konsekvenser. Det är inte bara ett problem för patienten utan kan också skada apotekets eller vårdgivarens anseende. I verksamhetskritiska miljöer där förtroende spelar roll är det avgörande att systemen förblir tillgängliga. Därför inser allt fler organisationer att AI-system måste utformas utifrån att fel kommer att inträffa och att återställningsmekanismer behöver aktiveras automatiskt för att minimera risken.

Du har sagt att många team bygger arkitektur för funktionalitet snarare än kontinuitet. Varför tror du att motståndskraft historiskt har fått lägre prioritet vid utformningen av AI-system?

Det handlar till stor del om organisationernas incitament. Ny funktionalitet är synlig och spännande. Den möjliggör demonstrationer, funktioner och produktmöjligheter som ledningen genast kan se.

Kontinuitet är per definition osynlig när allt fungerar bra. Därför tenderar belöningssystem att gynna lanseringen av nya funktioner snarare än arbetet med att se till att inget går sönder. Följden är att organisationer ofta satsar oproportionerligt mycket på att utveckla funktionalitet jämfört med att tekniskt bygga in motståndskraft.

När företag alltmer förlitar sig på externa modeller och API:er, vilka nya sårbarheter uppstår i AI-stacken som ledningen kanske ännu inte förstår fullt ut?

Stora språkmodeller är i grunden delade resurser, och företag äger dem inte på samma sätt som traditionell infrastruktur. Dessutom körs viktiga affärskritiska system i företagen på externa system som ännu inte har prövats ordentligt över tid. Språkmodellerna utvecklas själva snabbt. Därför kan en modellleverantör inte hållas ansvarig för exempelvis svarstid eller något försämrad modellprestanda, eftersom leverantörerna gör nya forskningsiterationer i mycket snabb takt.

Eftersom stora språkmodeller är delade resurser kan svarstiden plötsligt skjuta i höjden när någon annan användare gör något särskilt. Språkmodellernas grundläggande natur tillför många sådana felpunkter, och företagen har helt enkelt inte full kontroll i denna nya värld. Utan full kontroll är det bästa ett företag kan göra att bygga in tillräcklig redundans för att skapa ett motståndskraftigt system.

Utan att fokusera på enskilda produkter, hur bör organisationer tänka om kring AI-arkitektur för att utgå från att fel uppstår i stället för att behandla avbrott som sällsynta undantagsfall?

Organisationer bör återvända till grundprinciperna för utformning av distribuerade system. Programvarusystem byggdes med antagandet att nätverkskomponenter och maskiner skulle fallera och att en hel region kunde slås ut.

AI-system bör inte vara annorlunda. Vi bör utgå från att modellleverantörer kommer att få problem med svarstider, försämringar och avbrott, och bygga in redundans så att applikationerna förblir motståndskraftiga i olika felscenarier.

Tror du att AI:s motståndskraft blir avgörande vid val av plattform och leverantör, på samma sätt som drifttid och redundans har påverkat beslut om molninfrastruktur?

När fler AI-system går i produktion blir motståndskraft ett grundkrav. Om en leverantör inte kan visa diagram och mätvärden för drifttid och övergripande motståndskraft kommer den inte ens att övervägas. När detta blivit en grundförväntan på alla leverantörer skiftar de avgörande faktorerna till användarupplevelse, prestandaoptimering, observerbarhet och mer avancerade produktfunktioner. Med tiden blir komponenter som en AI Gateway och automatisk växling till reservsystem grundläggande delar av företagens AI-infrastruktur.

Vad betyder produktionsklar AI egentligen framöver, i en värld där AI förväntas vara ständigt tillgänglig och inte bara användbar ibland?

Produktionsklara AI-system ska vara observerbara, styrbara och möjliga att återställa. Alla tre kraven måste vara uppfyllda.

För att AI i produktion ska vara observerbar behöver teamen djup insyn i modellernas beteende, svarstider, felfrekvenser, tokenanvändning, gradvisa förändringar i modellernas beteende och felmönster. Utan stark observerbarhet blir det mycket svårt att upptäcka försämringar innan användarna märker dem.

Styrbarhet omfattar trafikstyrning, begränsning av anropsfrekvens, skyddsräcken, tillämpning av policyer och intelligent routning mellan modeller och leverantörer. Här blir en AI Gateway grundläggande: den fungerar som ett centraliserat styrplan som upprätthåller skyddsräcken, ger enhetlig styrning och möjliggör dynamiska modellbyten när prestandan eller tillförlitligheten sjunker.

Slutligen innebär återställbarhet att systemen byggs med antagandet att komponenter kan sluta fungera helt eller delvis. Det kan bero på leverantörsavbrott, försämrad modellkvalitet, anropsbegränsningar eller oväntade indata från illvilliga aktörer. Automatisk växling till reservsystem och självläkande mekanismer ska vara inbyggda i arkitekturen, inte manuella åtgärdsplaner som sätts i gång först när något har gått fel.

Det är åt det hållet vi arbetar på TrueFoundry. Leverantörer som definierar produktionsberedskap så, genom att förena observerbarhet, centraliserad styrning och automatisk återställning, kommer att vinna kundernas långsiktiga förtroende. De kommer också att kunna fortsätta lösa nya problem efter hand som de uppstår.

Tack för en givande intervju. Läsare som vill veta mer kan besöka TrueFoundry.