Dimitri Masin, CEO & Co-Founder hos Gradient Labs – Intervieuserie

Dimitri Masin er CEO og medstifter af Gradient Labs, et AI-startup, der bygger autonome kundesupportagenter specifikt designed til regulerede brancher som finansielle tjenester. Før han stiftede Gradient Labs i 2023, havde Masin ledende roller hos Monzo Bank, herunder vicepræsident for datavidenskab, finansielle forbrydelser og svindel, og havde tidligere arbejdet hos Google. Under hans ledelse har Gradient Labs hurtigt fået fart, og nået en årlig omsætning på 1 million pund blot fem måneder efter lanceringen. Masins fokus er på at udvikle AI-systemer, der kombinerer høj ydeevne med streng overholdelse af regler, hvilket muliggør sikker og skalerbar automatisering af komplekse kundeoperationer.

Hvad inspirerede dig til at lancere Gradient Labs efter en så succesfuld rejse hos Monzo?

Hos Monzo havde vi brugt år på at arbejde med automatisering af kundesupport, typisk med målet om at opnå beskedne effektivitetsgevinster på 10%. Men i begyndelsen af 2023 oplevede vi en seismisk teknologisk skift med udgivelsen af GPT-4. Pludselig blev det muligt at automatisere 70-80% af manuelt, repetitivt arbejde fuldstændigt autonomt gennem AI.

Denne teknologiske gennembrud, vi er midt i lige nu, inspirerede os til at starte Gradient Labs. I min karriere har jeg set to sådanne revolutionerende bølger: mobilrevolutionen (der skete tidligt i min karriere), og nu AI. Når du erkender, at du er midt i en sådan transformation, der vil ændre, hvordan verden fungerer, må du gribe chancen. Vores team vidste – det er tid.

Hos Monzo hjalp du med at lede virksomheden gennem massiv hypertilvækst. Hvad var nogle af de største lærdomme fra den oplevelse, som du nu anvender hos Gradient Labs?

Først og fremmest handler det om at balancere autonomi med retning. Hos Monzo antog vi oprindeligt, at mennesker blot trives på autonomi – at det er, hvad der motiverer dem mest. Men den synsvinkel synes nu at være for enkel. Jeg tror, at mennesker også værdsætter vejledning. Sand autonomi handler ikke om at sige til mennesker “gør, hvad du vil”, men om at give dem en klar retning, samtidig med at de har friheden til at løse godt definerede problemer på deres egen måde.

For det andet kræver top-talent top-kompensation. Hvis du har til hensigt at ansætte de bedste 5% i din funktion, må du betale derefter. Ellers vil store teknologivirksomheder ansætte dem, når det bliver kendt, at du har top-talent, der er underbetalt.

For det tredje skal man ikke opfinde hjulet på ny. Hos Monzo prøvede vi at skabe innovative tilgange til arbejdsstrukturer, kompensationsystemer og karriereforløb. Den vigtigste lærdom var, at man ikke skal spilde energi på at innovere på organisatoriske grundlæggende principper – tusindvis af virksomheder har allerede etableret bedste praksis. Jeg ser stadig LinkedIn-indlæg om “at afskaffe alle titler og hierarki” – jeg har set det spille ud gang på gang, og næsten alle virksomheder ender med at vende tilbage til traditionelle strukturer.

Gradient Labs fokuserer på regulerede brancher, der traditionelt har komplekse behov. Hvordan tilgik du opgaven med at bygge en AI-agent (som Otto) der kan fungere effektivt i denne omgang?

Vi tog en usædvanlig tilgang, hvor vi afviste den typiske råd om at udgive hurtigt og iterere på et live-produkt. I stedet brugte vi 14 måneder på at udgive Otto, mens vi fastholdt en meget høj kvalitetsstandard fra starten. Vi var nødt til at skabe noget, som banker og finansielle institutioner ville stole på til at håndtere deres support fuldstændigt autonomt.

Vi byggede ikke co-piloter – vi byggede en fuldstændig automatisering af kundesupport. Med vores baggrund i finansielle tjenester havde vi en præcis intern benchmark for “hvad der ser godt ud”, hvilket gjorde det muligt for os at vurdere kvaliteten uden at afhænge af kundefeedback. Dette gav os friheden til at besætte os med kvalitet, samtidig med at vi kunne iterere hurtigt. Uden levende kunder kunne vi tage større spring, bryde ting frit og ændre retning hurtigt – og til sidst levere et overlegen produkt ved lanceringen.

Otto går ud over at besvare simple spørgsmål og håndterer komplekse arbejdsgange. Kan du forklare, hvordan Otto håndterer multi-step eller højrisikopgaver, som typiske AI-agenter måske ikke kan klare?

Vi har bygget Otto omkring konceptet med SOP’er (Standard Operating Procedures) – grundlæggende vejledningsdokumenter skrevet på almindeligt sprog, der beskriver, hvordan man håndterer bestemte problemer, ligesom det, man ville give en menneskelig agent.

To nøglearkitektoniske beslutninger gør Otto særligt effektiv til at håndtere komplekse arbejdsgange:

Først og fremmest begrænser vi værktøjseksponering. En almindelig fejltype for AI-agenter er at vælge forkert fra for mange muligheder. For hvert procedur eksponerer vi kun en lille undermængde af relevante værktøjer til Otto. For eksempel i en korthedskiftearbejdsgang kan Otto måske kun se 1-2 værktøjer i stedet for alle 30 registrerede i systemet. Dette forbedrer nøjagtigheden ved at reducere beslutningsrummet.

For det andet har vi genopbygget en stor del af den typiske AI-assistent-infrastruktur for at muliggøre omfattende kæde af tankegang. I stedet for blot at kaste procedurer på en OpenAI- eller Anthropic-assistent tillader vores arkitektur multiple processtrin mellem input og output. Dette muliggør dybere tankegang og mere pålidelige resultater.

Gradient Labs nævner, at de opnår “superhumant kvalitet” i kundesupport. Hvad betyder “superhumant kvalitet” for dig, og hvordan måler du det internt?

Superhumant kvalitet betyder at levere kundesupport, der målbart er bedre end det, mennesker kan opnå. Følgende tre eksempler illustrerer dette:

Først og fremmest omfattende viden. AI-agenter kan behandle enorme mængder af information og have detaljeret kendskab til et firma. I modsætning hertil lærer mennesker typisk kun en lille undermængde af information, og når de ikke ved noget, må de konsultere videnbasen eller eskalere til kolleger. Dette fører til en frustrerende oplevelse, hvor kunder bliver sendt mellem hold. En AI-agent har derimod en dyb forståelse af virksomheden og dens processer og kan levere konsistente, fuldstændige svar – ingen eskalering nødvendig.

For det andet ikke-lazy-søgninger – AI er hurtig til at samle information. Mens mennesker forsøger at spare tid ved at stille kunderne spørgsmål, før de undersøger, søger AI proaktivt i kontooplysninger, flags, advarsler og fejlmeddelelser, før samtalen begynder. Så når en kunde vagt siger “Jeg har et problem med X”, kan AI-agenterne straks tilbyde en løsning i stedet for at stille flere afklarende spørgsmål.

Til sidst tålmodighed og kvalitetskonsekvens. I modsætning til mennesker, der står under pres for at håndtere et bestemt antal svar per time, fastholder vores AI en konsekvent høj kvalitet, tålmodighed og koncis kommunikation. Den besvarer tålmodigt så længe, som det er nødvendigt, uden at skynde sig.

Vi måler dette primært gennem kundetilfredsheds-score. For alle nuværende kunder opnår vi en gennemsnitlig kundetilfredsheds-score på 80-90% – typisk højere end deres menneskelige hold.

Du har bevidst undgået at binde Gradient Labs til en enkelt LLM-leverandør. Hvorfor var dette valg vigtigt, og hvordan påvirker det ydeevne og pålidelighed for dine kunder?

I løbet af de sidste to år har vi observeret, at vores største forbedringer af ydeevnen kom fra vores evne til at skifte til den næste bedste model, hver gang OpenAI eller Anthropic udgav noget hurtigere, bedre eller mere præcist. Model-agilitet har været afgørende.

Denne fleksibilitet giver os mulighed for kontinuerligt at forbedre kvaliteten, samtidig med at vi kan styre omkostningerne. Nogle opgaver kræver mere avancerede modeller, andre mindre. Vores arkitektur giver os mulighed for at tilpasse os og udvikle os over tid, og vælge den optimale model til hver situation.

Til sidst vil vi støtte private open-source LLM’er, der er installeret på kundernes infrastruktur. Takket være vores arkitektur vil dette være en ret nem overgang, hvilket er særligt vigtigt, når vi betjener banker, der måske har bestemte krav til modeludvikling.

Gradient Labs bygger ikke kun en chatbot — I sigter mod at håndtere back-office-processer også. Hvad er de største tekniske eller operationelle udfordringer i at automatisere disse typer opgaver med AI?

Der er to forskellige kategorier af processer, hver med deres egne udfordringer:

For simple processer findes teknologien stort set allerede. Den største udfordring er integration – forbindelse til de mange specialbyggede backend-systemer og værktøjer, som finansielle institutioner bruger, da de fleste kundeoperationer indebærer adskillige interne systemer.

For komplekse processer er der stadig betydelige tekniske udfordringer. Disse processer kræver typisk, at mennesker ansættes og trænes i 6-12 måneder for at udvikle ekspertise, såsom undersøgelser af svindel eller vurderinger af hvidvaskning. Udfordringen her er vidensoverførsel — hvordan giver vi AI-agenter den samme domæne-ekspertise? Det er et hårdt problem, som alle i denne branche stadig forsøger at løse.

Hvordan balancerer Gradient Labs behovet for AI-hastighed og effektivitet med de strenge krav til overholdelse af regler i regulerede brancher?

Det er bestemt en balance, men på samtale-niveau tager vores agent blot mere tid til at tænke. Den vurderer flere faktorer: Forstår jeg, hvad kunden spørger om? Giver jeg det rigtige svar? Viser kunden tegn på sårbarhed? Ønsker kunden at indgive en klage?

Denne bevidste tilgang øger latencyen – vores median svar tid kan være 15-20 sekunder. Men for finansielle institutioner er det en rimelig pris. Et 15-sekunders svar er stadig meget hurtigere end et menneskeligt svar, mens kvalitetsgarantierne er langt vigtigere for de regulerede virksomheder, vi arbejder med.

Forudser du en fremtid, hvor AI-agenter ikke kun er tillidsfulde til support, men også til højrisikodecisioner inden for finansielle institutioner?

Finansielle institutioner brugte allerede mere traditionelle AI-teknikker til højrisikodecisioner, før den nuværende bølge af generativ AI. Hvor jeg ser den rigtige mulighed nu, er i orkestrering – ikke ved at træffe beslutningen, men ved at koordinere hele processen.

For eksempel uploader en kunde dokumenter, en AI-agent sender dem til en valideringssystem, modtager bekræftelse på gyldighed og udløser derefter de relevante handlinger og kundekommunikation. Denne orkestreringsfunktion er, hvor AI-agenter excellerer.

For de højrisikodecisioner i sig selv ser jeg ikke meget, der ændrer sig i den nærmeste fremtid. Disse modeller kræver forklarbarhed, forebyggelse af bias og godkendelse gennem modelrisikokomiteer. Store sprogmodeller ville stå over for betydelige udfordringer med overholdelse i disse sammenhænge.

Hvordan vil AI forme kundeservicen for banker, fintech-virksomheder og andre regulerede sektorer i de næste 3-5 år?

Jeg ser fem store tendenser, der former kundeservicen:

Først og fremmest sand omni-kanal-interaktion. Forestil dig, at du starter en chat i din bank-app og derefter uden problemer skifter til tale med den samme AI-agent. Tale, opkald og chat vil blande sig sammen til en enkelt kontinuerlig oplevelse.

For det andet adaptive brugerflader, der minimiserer navigationen i appen. I stedet for at lede efter bestemte funktioner i menuerne kan kunderne blot udtrykke deres behov: “Øg mine grænser” – og handlingen sker straks gennem samtalen.

For det tredje bedre enhedsekonomi. Support og drift er massive omkostningscentre. Reducerer disse omkostninger kunne lade banker servere tidligere ikke-profitable kunder eller overføre besparelser til brugerne – især i underbankede segmenter.

For det fjerde exceptionel support i stor skala. Lige nu kan startups med få kunder levere personlig support, men kvaliteten degraderer typisk, når virksomhederne vokser. AI gør det muligt at skala større med god support, ikke kun muligt.

Til sidst vil kundesupport forvandle sig fra en frustrerende nødvendighed til en virkelig nyttig service. Den vil ikke længere blive set som en arbejdskrævende infrastruktur-omkostning, men som en værdifuld, effektiv kundekontakt, der forbedrer den samlede oplevelse.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Gradient Labs.