Randall Newman, CPTO og medstifter af Satisfi Labs – Interviewserie

Randall Newman, CPTO og medstifter af Satisfi Labs, er en teknologisk og produktledelsesleder med omfattende erfaring i at bygge AI‑platforme, finansiel teknologi og højtydende systemer. Siden han medstiftede Satisfi Labs, har Newman spillet en central rolle i at forestille sig, designe og skalere virksomhedens konverserende AI‑teknologi, mens han har haft overblikket over produktudvikling, arkitektur, ingeniørteams og strategiske integrationer. Før Satisfi Labs var han Produktchef hos Satisfi Inc. og medstiftede mobilmarketing‑firmaet Right On Mobile. Tidligere i sin karriere tilbragte Newman mere end 17 år hos CIBC World Markets, hvor han havde seniorledelsesroller inden for strategisk risiko, højfrekvent handel og aktie‑arbitrage, og kombinerede kvantitativ handels‑ekspertise med praktisk teknologisk udvikling.

Satisfi Labs er en AI‑virksomhed, der fokuserer på at implementere specialiserede AI‑agenter til sport, underholdning, turisme, attraktioner og andre live‑oplevelses‑virksomheder. Grundlagt i 2016 har virksomheden udviklet sig fra konverserende AI og dens Answer Engine til en agentbaseret platform designet til at hjælpe organisationer med at automatisere gæstesupport, øge billet‑ og handelskonverteringer samt udtrække indsigt fra kundesamtaler. Dens AI‑agenter kan operere på mere end 50 sprog og koble til billetsystemer, CRM, indholdsstyringssystemer og andre forretningssystemer for at udføre handlinger såsom at sælge billetter, eskalere samtaler til menneskeligt personale, indsamle kundeinformation og levere personlige svar. Satisfi Labs siger, at deres teknologi nu er betroet af mere end 775 mærker, med integrationer og partnerskaber, der spænder over virksomheder som Ticketmaster, Simpleview, MappedIn, Ventrata og Vozzi.

Du tilbragte næsten to årtier i finansmarkederne, herunder opbygning af lavlatens handels‑systemer og ledelse af højfrekvente handelsstrategier hos CIBC, før du gik over til teknologisk iværksætteri og til sidst medstiftede Satisfi Labs. Hvilke erfaringer fra drifts‑systemer, hvor hastighed, pålidelighed og risikostyring var afgørende, har i højeste grad påvirket, hvordan du i dag bygger produktions‑klare AI‑agenter?

Handel lærte mig, at en god idé og en god forretning er to forskellige ting. Du kan identificere en mulighed korrekt og stadig tabe penge, fordi din udførelse er langsom, dine omkostninger er for høje, eller dine risikoforudsætninger er forkerte. AI er det samme. Model‑kapacitet er én input. Forretningen afhænger af, om du kan omsætte den kapacitet til et gentageligt resultat til en acceptabel pris og risiko.

At drive en indeks‑arbitragebog lærer dig også at se ud over individuelle beslutninger. En lille fejl, der gentages på tværs af en portefølje, bliver til en meget stor eksponering. Med AI kan du have tusindvis af agenter, der træffer individuelle fornuftige beslutninger, som samlet skaber et problem. De afhænger alle af de samme dårlige data, eller de gentager alle den samme fejlslagne tjeneste. Du skal styre systemet, ikke kun den enkelte respons.

Og hastighed betyder kun noget, når den forbedrer resultatet. I handel var der øjeblikke, hvor mikrosekunder var afgørende. I AI foretrækker jeg at bruge et sekund ekstra på at bekræfte en transaktion frem for at levere det forkerte resultat med det samme. Disciplinen er at vide, hvor hastighed skaber værdi, og hvor den blot accelererer en fejl.

Den sidste lektie er den, der startede hele forretningen. Fordelen kommer fra at opdage en forkert prisfastsættelse, før alle andre gør det. Jeg mener, at den nuværende forkert prisfastsættelse er, at de fleste virksomheder ser AI‑agenter som en måde at reducere supportomkostninger på. Hos Satisfi Labs ser vi dem som en indtægtskanal. På vores sportsarenaer handler omkring 40 % af agent‑samtalerne om billetter. Disse fans kommer ikke for at klage. De ankommer med penge i hånden og spørger, hvor de skal sidde. Find den ting, markedet har prissat forkert, og gå efter den. Samme instinkt som i arbitrage‑forretningen.

Satisfi Labs blev grundlagt i 2017, langt før den nuværende generative AI‑bølge, og har udviklet sig fra kontekstuel naturlig sprogbehandling og konverserende AI til en agentbaseret platform. Hvad var de største arkitektoniske ændringer, der var nødvendige for at gå fra systemer, der primært var designet til at besvare spørgsmål, til agenter, der kan udføre handlinger på vegne af brugerne?

Vi har brugt et årti på at bygge tusindvis af AI‑agenter for over 800 virksomhedskunder, herunder MLB/NFL‑hold, underholdningssteder og turistorganisationer. Den største ændring er, at du giver systemet autoritet, ikke blot information.

Hvis en assistent fortæller dig, hvilke billetter der er tilgængelige, giver den et svar. Hvis den udveksler dine billetter, ændrer den lagerbeholdning, kunderegistre og potentielt penge. Nu skal du vide, hvem der har godkendt handlingen, hvad der faktisk skete, og hvordan du kan genoprette, hvis processen stopper halvvejs.

Derfor adskiller vi modellens vurdering fra autoriteten til at udføre. Modellen kan fortolke en anmodning og foreslå det næste skridt. Systemerne under den håndhæver tilladelser, forretningsregler og transaktionsgrænser. En overbevisende forklaring fra modellen kan ikke tilsidesætte disse kontroller.

Du har også brug for en klar sondring mellem “agenten sagde, at den fuldførte opgaven” og “forretningssystemet bekræftede fuldførelsen”. De er ikke det samme. Hvis en købsanmodning får timeout, bør du finde ud af, om købet fandt sted, før du prøver igen.

Strategisk bør bedre modeller ikke tvinge dig til at genopbygge dine forretningskontroller. Jeg vil udnytte enhver forbedring i ræsonnement uden at skulle genforhandle, hvad systemet må gøre, hver gang en ny model udgives.

Begrebet “agentic AI” anvendes nu på en bred vifte af produkter. Set fra et ingeniørperspektiv, hvor trækker du grænsen mellem en avanceret chatbot, en AI‑copilot og en ægte autonom AI‑agent?

Jeg vil stille ét spørgsmål: hvilket ansvar har personen faktisk delegere​t?

En chatbot leverer information. En copilot hjælper dig med at få arbejdet gjort, men du styrer stadig og godkender de vigtige trin. En autonom agent har tilladelse til selv at træffe nogle af disse beslutninger, mens den forfølger et mål.

Brugerfladen fortæller dig ikke, hvilken du ser på. Et samtalebaseret produkt kan have reel autonomi bagved. Noget, der markedsføres som en agent, kan stadig kræve, at en person godkender hver nyttig handling.

For en virksomhed bør autonomi være en specifik aftale: dette system må udføre disse handlinger, for disse brugere, inden for disse grænser, og skal stoppe under disse betingelser. Det er noget, du faktisk kan teste og styre.

Jeg ville heller ikke gøre maksimal autonomi til målet. Nogle gange stiller det bedste produkt ét veltimed spørgsmål og håndterer resten. At fjerne det spørgsmål gør demonstrationen mere imponerende, men virksomheden mindre sikker. Målet er at fjerne unødvendigt menneskeligt arbejde, ikke nødvendig menneskelig dømmekraft.

Satisfi Labs lancerede for nylig Satisfi Forward, en fremadrettet ingeniørpraksis. Hvilket hul så du mellem at bygge en kapabel AI‑platform og faktisk få agenter til at fungere pålideligt i en kundes virkelige miljø, som førte dig til at skabe denne model?

Den sidste mil blev flaskehalsen. En platform kan standardisere meget, men den kan ikke antage, at hver kundes forretning fungerer på samme måde. Deres billetsystem har visse begrænsninger. Deres godkendelsesproces går gennem tre afdelinger. Deres definition af en kvalificeret lead er anderledes end den næste kundes. Disse detaljer afgør, om implementeringen faktisk er nyttig.

Du kan købe en færdig platform og sammensætte en demo, der imponerer folk. At kommercialisere den som en robust oplevelse for rigtige brugere er noget andet. Det er her, fremadrettede ingeniører kommer ind i billedet. Vores team hos Satisfi Forward har til opgave at forstå resultatet, finde ud af, hvad der blokerer det, og bygge de arbejdsprocesser og integrationer oven på platformen, der får det til at ske.

Men vi sætter klare grænser omkring hver engagement. Før vi bygger, bliver vi enige om, hvad succes betyder, hvem der ejer forretningsprocessen, hvad der afhænger af kunden, og hvem der vedligeholder den efter lanceringen. Ellers bliver et sidste‑mil‑projekt en ubegrænset forpligtelse. Og engagementet er ikke færdigt, når koden leveres. Det er færdigt, når arbejdsprocessen fungerer i kundens drift, og nogen er ansvarlig for at holde den i gang.

Kode er også blevet meget billigere at producere, hvilket gør denne model langt mere praktisk, end den var før. Men jeg ser ikke Satisfi Forward som en servicearm, der er fastgjort til et SaaS‑produkt. Hvert engagement lærer os, hvad det næste produkt skal være. Når tre kunder efterspørger den samme arbejdsproces, er det ikke en supportbyrde. Det er selve køreplanen, med betalende kunder knyttet til. Den gamle SaaS‑model gættede på funktioner og ventede på beviser. På denne måde får vi beviserne først og indtægterne, mens vi indsamler dem. Jeg tror, det er sådan produktvirksomheder bygges i AI‑æraen.

Dine agenter kan koble til billetsystemer, CRM‑platforme, indholdsstyringssystemer og andre kilder til realtidsinformation. Når agenter får evnen til at foretage transaktioner og udløse handlinger, hvordan balancerer du realtidsdatatilgang og lav latenstid med forankring, sikkerhed og beskyttelse mod forkerte handlinger?

Først ville jeg aldrig lade hastighed kompensere for en sikkerhedsfejl. Nogle krav er begrænsninger. Du optimerer inden for dem.

Derefter skelner du mellem typer af arbejde. At besvare et parkeringsspørgsmål og at gennemføre et billetkøb kræver ikke den samme datafriskhed eller de samme kontroller. Du kan cache stabil information. Når penge skifter hænder, har du brug for det autoritative transaktionssystem til at bekræfte pris, tilgængelighed og gennemførelse.

De farlige tilfælde er dem, hvor systemet ikke ved, hvad der er sket. En backend accepterer et køb, men svaret kommer aldrig. Hvis agenten antager fejl og prøver igen, får du to køb. Det er ikke et sprogproblem. Det er et transaktions‑gendannelsesproblem.

Og du måler oplevelsen under de betingelser, der virkelig betyder noget. Gennemsnitlig latenstid på en rolig tirsdag fortæller dig næsten ingenting. Hvis en begivenhed aflyses på grund af regn, får du pludselig tusindvis af mennesker, der spørger, hvad der sker med deres billetter, på én gang. Hvis du kun planlægger ud fra gennemsnitlig trafik per minut, går du glip af den kapacitet, du har brug for i den spidsbelastning. Det lærte jeg direkte fra handelssystemer.

Denne beslutning involverer også omkostninger. Ikke hver anmodning kræver den dyreste model eller en kæde af agenter. Brug den enkleste vej, der opfylder kravet, og brug ekstra tid eller beregning, hvor det væsentligt forbedrer beslutningen. Brugeren bør få et ærligt resultat, inklusive en ærlig udtalelse om, at noget ikke kunne bekræftes.

Satisfi Labs beskriver en model, hvor specialiserede agenter kan arbejde sammen som en AI‑arbejdsstyrke. Hvad er de sværeste tekniske problemer ved at orkestrere flere specialiserede agenter, især omkring routing, delt kontekst, modstridende beslutninger og bestemmelse af, hvilken agent der skal handle?

Den sværeste del er at bevare ansvarligheden, når du fordeler arbejdet.

Start med at spørge, om du overhovedet har brug for en ekstra agent. Nogle gange har du brug for en specialist. Nogle gange har du blot brug for et værktøjskald eller en simpel arbejdsgang. Hver agent, du tilføjer, er en ny fortolkning af anmodningen, en ny afhængighed, et nyt sted for en fejl. Og antallet af agenter, der kører i baggrunden, bør være usynligt for brugeren.

Når flere agenter er berettigede, vil jeg have, at én agent ejer interaktionen. Specialister kan levere information eller udføre afgrænset arbejde. En billetagent håndterer lager og udvekslinger, en kundeservice‑agent håndterer politikker. Men nogen skal afstemme resultaterne og afgøre, om brugeren faktisk fik, hvad de kom for.

Routing er svært, fordi folk ikke stiller spørgsmål i pæne kategorier. En anmodning kan berøre tre agenter. Systemet skal beslutte: kan én håndtere den, skal flere køre i sekvens, eller skal brugeren stilles et ekstra spørgsmål, før der gøres noget?

Det samme gælder kontekst. Du sender ikke alt til hver agent. Det tilføjer latenstid, skaber støj og kan afsløre information, som en agent ikke har brug for. Og en agents antagelse bør ikke blive en kendsgerning, blot fordi den er videregivet til den næste agent.

Hvis to agenter er uenige, vil jeg ikke have, at de diskuterer, indtil den ene virker mere overbevisende. Der skal være en klar autoritetsmodel. Billetsystemet fastlægger tilgængelighed. Virksomheden fastlægger udvekslingspolitik. Realtidsdata slår cachede data, forretningsregler slår modelvurdering, og hvis det stadig ikke kan løses, spørger du brugeren eller bringer en person ind. Den svære del er ikke at få agenterne til at tale med hinanden. Det er at kunne rekonstruere præcis, hvilken agent der gjorde hvad, og hvor ansvaret lå.

Satisfi Labs har i stigende grad fokuseret på at måle agenter i forhold til mål og forretningsresultater frem for metrikker som samtalevolumen. Hvad bør virksomheder faktisk måle for at afgøre, om en AI‑agent præsterer godt, og hvordan evaluerer du pålidelighed, før du giver en agent større autonomi?

Start med forretningsresultatet, og spørg derefter, hvor meget af det resultat agenten faktisk forårsagede.

Hvis nogen køber billetter efter at have talt med en agent, betyder det ikke automatisk, at agenten skabte salget. De kan have købt alligevel. Hvor du kan, vil du have kontrollerede sammenligninger eller et troværdigt grundlag, ikke blot kredit til den sidste interaktion. For en billetkunde betyder det at måle, om fanen endte med at få pladser, ikke om agenten svarede høfligt. For en spillested, der forsøger at reducere køerne ved billetkontoret, betyder det at måle, hvad agenten løste, før nogen behøvede at stå i kø.

Se derefter på økonomien i et vellykket udfald: modelomkostninger, infrastruktur, menneskelig gennemgang, eskaleringer og omkostninger ved at rette fejl. En agent, der virker billig, indtil du tæller de mennesker, der reparerer dens arbejde, er ikke billig.

Pålidelighed kræver sin egen scorecard. Fuldførelse, korrekthed, uautoriserede handlinger, genopretning efter fejl, eskaleringskvalitet. Du kan ikke gennemsnitliggøre en alvorlig privatlivshændelse i en god konverteringsrate.

For mere autonomi vil jeg kræve bevis på den specifikke handlingstype, der delegeres. Test den, observer den under tilsyn, udvid inden for grænser, og hold en måde at stoppe den på. En god samlet nøjagtighedsscore beviser ikke, at systemet er klar til hver transaktion. Og vær forsigtig med incitamenterne. Nogle gange er det korrekte resultat at bringe en person ind. Hvis du kun belønner agenten for at undgå overdragelser, så bliv ikke overrasket, når den beholder problemer, den burde have eskaleret.

Du argumenterede for nylig, at stemme‑AI skal designes omkring målbare resultater i stedet for at blive behandlet som en ekstra grænseflade til en eksisterende chatbot. Hvilke tekniske gennembrud er stadig nødvendige, før stemmeagenter kan blive en primær grænseflade for komplekse, realtidsinteraktioner, især i miljøer som stadioner, attraktioner og live‑begivenheder?

Mange kunder spørger, om man bare kan tage chat‑applikationen og tilslutte stemme til den? Det kan vi. Men det betyder ikke, at det bliver en god oplevelse. Den næste reelle forbedring er ikke en mere menneskelig lydende stemme. Det er en interaktion, der overlever de forhold, folk faktisk bruger den i.

På et stadion taler nogen over publikumslarm, bruger et ukendt spiller‑navn, skifter mening midt i en sætning og forsøger at afslutte et køb, før portene åbner. Systemet skal håndtere afbrydelse, usikkerhed og backend‑forsinkelser uden at miste opgaven.

Vær særlig opmærksom på kritiske detaljer. At misforstå en uformel sætning er én ting. At misforstå antallet af billetter eller begivenhedsdatoen er en anden. Agenten skal bekræfte de detaljer, der ændrer konsekvensen af handlingen, uden at gøre hele samtalen kedelig.

Og stemmen bør ikke tvinges til at gøre alting. At sammenligne tyve siddepladser er bedre på en skærm. En person kan starte med at skrive, komme ind i bilen og ønske at fortsætte den samme samtale ved at tale. Systemet skal bevare den kontekst og bruge stemme, tekst og visuelle elementer, alt efter hvad der passer bedst i øjeblikket.

Noget af dette har brug for bedre modeller. Meget af det har brug for bedre integration og interaktionsdesign. At vente på et gennembrud vil ikke løse en arbejdsproces, der er designet omkring tekst og derefter læses højt. Jeg vil vurdere fremskridt på én måde: fuldfører folk opgaven nøjagtigt, med mindre indsats, under reelle forhold?

Efterhånden som agenter bevæger sig fra at levere information til at sælge billetter, indsamle kundedata, personliggøre oplevelser og interagere med operationelle systemer, hvordan skal virksomheder afgøre, hvilke beslutninger en agent kan træffe autonomt, og hvilke der altid skal kræve menneskelig kontrol?

Det er risikostyring. Hvis dette går galt, hvilken skade kan det forårsage? Åbner agenten en dør, den ikke kan lukke?

Omvendelighed er en nyttig første test, men man skal også se på den samlede eksponering. En enkelt refundering kan være lille og omvendelig. Ti tusinde fejlagtige refunderinger, før nogen bemærker det, er et andet problem. Du har brug for grænser for individuelle handlinger og for systemets samlede aktivitet.

Hvis handlingen er lavrisiko og omvendelig, giv den mere autonomi: opdatér en præference, tjek en ordre, hold en vare. Efterhånden som konsekvenserne stiger, tilføj bekræftelse eller godkendelse. Et køb kan kræve, at kunden bekræfter prisen. En stor refundering kan kræve en medarbejders godkendelse. En sikkerhedstrussel eskaleres straks. Og nogle beslutninger bør blot forblive hos en person, punktum.

Kundens samtykke og virksomhedens godkendelse er forskellige ting, for øvrigt. En kunde, der bekræfter et køb, giver ikke agenten tilladelse til at omgå virksomhedens politik. En medarbejder, der godkender en undtagelse, betyder ikke, at kunden har accepteret en opkrævning.

Grænserne skal håndhæves af de systemer, der udfører handlingen, og ikke blot beskrives i en prompt. Man giver ikke en agent bred adgang og så stoler på, at en prompt fortæller den at være forsigtig. Og når en person er påkrævet, skal man give vedkommende nok kontekst til at træffe en reel beslutning. Giver man nogen hundrede godkendelser uden information, har man bygget en gummistempel, ikke tilsyn. Placer menneskelig opmærksomhed, hvor den reducerer væsentlig risiko. Spred den ikke tyndt over hver interaktion.

Ser vi fremad, forventer du, at teknologier som Model Context Protocol og agent-til-agent-kommunikation fundamentalt vil ændre, hvordan enterprise-AI-systemer bygges, og flytte os fra isolerede agenter til økosystemer, hvor agenter kan opdage værktøjer, udveksle kontekst og koordinere handlinger på tværs af virksomheder og platforme?

Jeg mener, at protokollerne er et middel til et mål. MCP giver AI-applikationer en fælles måde at få adgang til værktøjer og kontekst på. Agent-til-agent-protokoller håndterer samarbejde mellem agenter. Det er værdifuldt. Man bør ikke skulle bygge en specialintegration hver eneste gang en agent har brug for et værktøj. Det svarer til, hvad API’er gjorde for softwareintegrationer.

Men et fælles format betyder ikke, at to virksomheder er enige om, hvad en handling betyder, hvem der kan godkende den, eller hvad der sker, når den fejler. Bare fordi en agent kan opdage et værktøj, betyder det ikke, at den må bruge det. Man skal stadig afklare identitet, tilladelser, tillid og ansvarlighed. Hvis en agent beder en anden om at gøre noget, og det går galt, hvem ejer så den beslutning?

Her er, hvad jeg mener faktisk ændrer sig. I dag har en spillested en hjemmeside og en app. Om få år vil den have en agent, som andre agenter kan forhandle med. En fans personlige assistent beder stedets agent om to billetter til en bestemt pris, plus en parkeringspas, og hele transaktionen foregår mellem de to agenter. At finde de rette funktioner er det lette skridt. At kende kundens forbrugsautoritet, bekræfte den samlede pris og håndtere situationen, hvor billetterne lykkes, men parkeringen fejler, er de reelle problemer.

Og jeg tror ikke, at drift af en agent automatisk giver dig kundeforholdet. Det skal fortjennes. Men jeg tror heller ikke, at spillesteder vil overlade disse transaktioner til et søgefirma eller en billetmarked. Vores mål hos Satisfi Labs er at være den agent, der repræsenterer stedet i den økonomi, den, der er pålidelig nok til, at en virksomhed stiller sit navn på den. Alt, hvad vi har bygget omkring pålidelighed, tilladelser og ansvarlighed, er det, der sikrer den plads.

Tak for det gode interview, læsere der ønsker at lære mere, bør besøge Satisfi Labs.