Dimitri Masin, CEO og medgrunnlegger i Gradient Labs – Intervju-serie

Dimitri Masin er CEO og medgrunnlegger av Gradient Labs, en AI-startup som bygger autonome kundesupportagenter spesifikt designet for regulerte industrier som finanstjenester. Før han grunnla Gradient Labs i 2023, hadde Masin ledende stillinger i Monzo Bank, inkludert visepresident for datavitenskap, finansiell kriminalitet og svindel, og arbeidet tidligere i Google. Under hans ledelse har Gradient Labs raskt fått fart, og nådde £1 million i årlig gjentakende inntekt innen fem måneder etter lanseringen. Masins fokus er på å utvikle AI-systemer som kombinerer høy ytelse med streng regulatorisk overholdelse, og muliggjør trygg og skalerbar automatisering av komplekse kundeoperasjoner.

Hva inspirerte deg til å lansere Gradient Labs etter en så suksessfull reise i Monzo?

I Monzo hadde vi brukt år på å arbeide med kundesupportautomatisering, typisk med mål om beskjedne 10% effektivitetsgevinster. Men tidlig i 2023 så vi en seismisk teknologisk skift med lanseringen av GPT-4. Plutselig ble det mulig å automatisere 70-80% av manuell, repetitiv arbeid fullstendig autonomt gjennom AI.

Denne teknologiske gjennombruddet vi nå er midt i, inspirerte oss til å starte Gradient Labs. I min karriere har jeg sett to slike revolusjonære bølger: mobilrevolusjonen (som skjedde tidlig i min karriere), og nå AI. Når du erkjenner at du er midt i en slik transformasjon som vil fullstendig endre hvordan verden fungerer, må du gripe muligheten. Vårt team visste – dette er tiden.

I Monzo, hjalp du med å lede selskapet gjennom massiv hypervekst. Hva var noen av de største lærdommene fra denne erfaringen som du nå anvender i Gradient Labs?

Først, balanse mellom autonomi og retning. I Monzo antok vi opprinnelig at mennesker bare trives på autonomi – at det er det som motiverer dem mest. Imidlertid ser denne visjonen nå ut til å være for enkel. Jeg tror mennesker også setter pris på veiledning. Ekte autonomi er ikke å si til mennesker “gjør hva du bestemmer”, men å gi klar retning samtidig som de får frihet til å løse godt definerte problemer på sin egen måte.

For det andre, krever topp-talent topp-kompensasjon. Hvis du har som mål å ansette de beste 5% i din funksjon, må du betale i henhold til det. Ellers vil store teknologiselskaper ansette dem når det blir kjent at du har topp-talent som blir underbetalt.

For det tredje, ikke oppfinn hjulet på nytt. I Monzo prøvde vi å skape innovative tilnærminger til arbeidsstrukturer, kompensasjonssystemer og karriere-stiger. Hovedpoenget var: ikke kaste bort energi på å innovere på organisatoriske grunnleggende prinsipper – tusenvis av selskaper har allerede etablert beste praksis. Jeg ser fortsatt LinkedIn-innlegg om “å bli kvitt alle titler og hierarki” – jeg har sett dette spille ut gjentatte ganger, og nesten alle selskaper går tilbake til tradisjonelle strukturer.

Gradient Labs fokuserer på regulerte industrier, som tradisjonelt har komplekse behov. Hvordan nærmet du deg å bygge en AI-agent (som Otto) som kan operere effektivt i denne omgangen?

Vi tok en uvanlig tilnærming, og avviste det typiske rådet om å utgi raskt og iterere på et live-produkt. I stedet brukte vi 14 måneder før vi utga Otto, og opprettholdt en svært høy kvalitetsstandard fra starten. Vi måtte skape noe som banker og finansielle institusjoner ville stole på å håndtere deres support fullstendig autonomt.

Vi bygde ikke co-piloter – vi bygde fullstendig automatisering av kundesupport. Med vår bakgrunn i finanstjenester, hadde vi et presist intern benchmark for “hva som ser bra ut”, som tillot oss å vurdere kvalitet uten å være avhengig av kundetilbakemeldinger. Dette ga oss friheten til å fokusere på kvalitet samtidig som vi itererte raskt. Uten live-kunder, kunne vi gjøre større sprang, bryte ting fritt og snu raskt – og til slutt levere et overlegent produkt ved lanseringen.

Otto går utover å svare på enkle spørsmål og håndterer komplekse arbeidsflyter. Kan du forklare hvordan Otto håndterer multi-steg eller høyrisikoprosesser som typiske AI-agenter kan feile på?

Vi har bygget Otto rundt konseptet med SOP-er (Standard Operating Procedures) – essensielt veiledningsdokumenter skrevet på vanlig engelsk som detaljerer hvordan man håndterer bestemte problemer, liknende det man ville gi en menneskelig agent.

To nøkkelarkitektoniske beslutninger gjør Otto spesielt effektiv i å håndtere komplekse arbeidsflyter:

Først, begrenser vi verktøy-eksponering. En vanlig feilmodus for AI-agenter er å velge feil fra for mange alternativer. For hver prosedyre, eksponerer vi bare en liten undergruppe av relevante verktøy til Otto. For eksempel, i en prosess for å erstatte et kort, kan Otto kanskje bare se 1-2 verktøy i stedet for alle 30 registrerte i systemet. Dette forbedrer nøyaktigheten dramatisk ved å redusere beslutningsrommet.

For det andre, har vi bygget om mye av den typiske AI-assistent-infrastrukturen for å muliggjøre omfattende kjede-av-tenkning. I stedet for å bare kaste prosedyrer på en OpenAI eller Anthropic-assistent, tillater vår arkitektur flere prosesseringssteg mellom inndata og utdata. Dette muliggjør dypere resonnering og mer pålitelige resultater.

Gradient Labs nevner å oppnå “overmenneskelig kvalitet” i kundesupport. Hva betyr “overmenneskelig kvalitet” for deg, og hvordan måler du det internt?

Overmenneskelig kvalitet betyr å levere kundesupport som er målbart bedre enn hva mennesker kan oppnå. Følgende tre eksempler illustrerer dette:

Først, omfattende kunnskap. AI-agenter kan prosessere enorme mengder informasjon og har detaljert kunnskap om et selskap. I motsetning til dette lærer mennesker vanligvis bare en liten undergruppe av informasjon, og når de ikke vet noe, må de konsultere kunnskapsbasen eller eskalere til kolleger. Dette fører til en frustrerende opplevelse hvor kunder blir sendt mellom team. En AI-agent, på den andre siden, har en dyp forståelse av selskapet og prosessene, og leverer konsistente, fullstendige svar – ingen eskalering nødvendig.

For det andre, ikke-late søk – AI er rask til å samle informasjon. Mens mennesker prøver å spare tid ved å stille kunder spørsmål før de undersøker, undersøker AI proaktivt kontoinformasjon, flagg, varsler og feilmeldinger før samtalen begynner. Så, når en kunde vagt sier “Jeg har et problem med X”, kan AI umiddelbart tilby en løsning i stedet for å stille flere klargjørende spørsmål.

Til slutt, tålmodighet og kvalitetskonsistens. I motsetning til mennesker som står under press for å håndtere et visst antall svar per time, opprettholder vår AI konsekvent høy kvalitet, tålmodighet og konsistente kommunikasjon. Den svarer tålmodig så lenge som nødvendig uten å haste.

Vi måler dette primært gjennom kundetilfredshetspoeng. For alle våre nåværende kunder, oppnår vi en gjennomsnittlig kundetilfredshetspoeng på 80%-90% – vanligvis høyere enn deres menneskelige team.

Du har medvilje unngått å knytte Gradient Labs til en enkelt LLM-leverandør. Hvorfor var dette valget viktig, og hvordan påvirker det ytelse og pålitelighet for dine kunder?

De siste to årene har vi observert at våre største ytelsesforbedringer kom fra vår evne til å bytte til den neste beste modellen hver gang OpenAI eller Anthropic lanserte noe raskere, bedre eller mer nøyaktig. Modell-agilitet har vært nøkkel.

Denne fleksibiliteten tillater oss å kontinuerlig forbedre kvalitet samtidig som vi håndterer kostnader. Noen oppgaver krever mer kraftfulle modeller, andre mindre. Vår arkitektur muliggjør oss å tilpasse og utvikle over tid, og velge den optimale modellen for hver situasjon.

Til slutt, vil vi støtte private åpne kilde-LLM-er som vertes på kundens infrastruktur. På grunn av vår arkitektur, vil dette være en enkel overgang, som er spesielt viktig når vi betjener banker som kan ha bestemte krav om modell-utplassering.

Gradient Labs bygger ikke bare en chatbot — dere har som mål å håndtere bakkontorprosesser også. Hva er de største tekniske eller operative utfordringene i å automatisere slike oppgaver med AI?

Det finnes to distinkte kategorier av prosesser, hver med sine egne utfordringer:

For enklere prosesser, finnes teknologien allerede. Hovedutfordringen er integrasjon – å koble til de mange spesifikke baksystemer og verktøy som finansielle institusjoner bruker, da de fleste kundeoperasjoner involverer flere interne systemer.

For komplekse prosesser, finnes det betydelige tekniske utfordringer. Disse prosessene krever vanligvis at mennesker blir ansatt og trent i 6-12 måneder for å utvikle ekspertise, som for eksempel svindel-etterforskning eller pengeskjule-analyse. Utfordringen her er kunnskaps-overføring — hvordan kan vi gi AI-agenter samme domene-ekspertise? Det er et hardt problem som alle i denne bransjen fortsatt prøver å løse.

Hvordan balanserer Gradient Labs behovet for AI-hastighet og effisiens med de strenge kravene til overholdelse i regulerte industrier?

Det er absolutt en balanse, men på samtale-nivå, tar vår agent bare mer tid til å tenke. Den vurderer flere faktorer: Er jeg forstående hva kunden spør om? Er jeg gitt riktig svar? Viser kunden tegn på sårbarhet? Ønsker kunden å melde en klage?

Denne bevisste tilnærmingen øker latency – vår median-responstid kan være 15-20 sekunder. Men for finansielle institusjoner, er det en rimelig handel. En 15-sekunders respons er fortsatt mye raskere enn et menneskelig svar, mens kvalitetsgarantiene er langt viktigere for de regulerte selskapene vi samarbeider med.

Ser du en fremtid hvor AI-agenter blir stolte på ikke bare for support, men også for høyere-stakes beslutningsoppgaver innen finansielle institusjoner?

Finansielle institusjoner brukte allerede mer tradisjonelle AI-teknikker for høy-stakes beslutninger før den nåværende bølgen av generativ AI. Hvor jeg ser den virkelige muligheten nå, er i orkestrering – ikke å ta beslutningen, men å koordinere hele prosessen.

For eksempel, laster en kunde opp dokumenter, en AI-agent sender dem til en valideringssystem, mottar bekreftelse på gyldighet og utløser deretter passende handlinger og kundekommunikasjon. Denne orkestreringsfunksjonen er hvor AI-agenter utmerker seg.

For de høyest-stakes beslutningene selv, ser jeg ikke mye endring i nær fremtid. Disse modellene krever forklarbarhet, bias-forebygging og godkjenning gjennom modell-risikokomiteer. Store språkmodeller ville møte betydelige overholdelsesutfordringer i disse sammenhengene.

I din mening, hvordan vil AI forme kundeserfaringen for banker, finansteknologiselskaper og andre regulerte sektorer de neste 3-5 årene?

Jeg ser fem store trender som former kundeserfaringen:

Først, ekte omni-kanal interaksjon. Forestill deg å starte en chat i din bank-app, og deretter ubrutt gå over til tale med samme AI-agent. Tale, samtaler og chat vil smelte sammen til en enkelt kontinuerlig erfaring.

For det andre, adaptive brukergrensesnitt som minimerer navigasjon innen appen. I stedet for å jakte gjennom menyer for å finne bestemte funksjoner, kan kunder bare uttrykke sine behov: “Vennligst øk grensene mine” – og handlingen skjer umiddelbart gjennom samtale.

For det tredje, bedre enhetsøkonomi. Support og operasjoner er massive kostsenter. Redusere disse kostnadene kunne la banker betjene tidligere uøkonomiske kunder eller overføre besparelser til brukerne — spesielt i underbankede segmenter.

For det fjerde, unik support i stor skala. Nå kan startup-selskaper med få kunder levere personlig support, men kvaliteten forringes vanligvis når selskapene vokser. AI gjør god support skalerbar, ikke bare mulig.

Til slutt, vil kundesupport transformere fra en frustrerende nødvendighet til en genuint nyttig tjeneste. Den vil ikke lenger bli sett på som en arbeidskrevende infrastrukturkostnad, men som en verdifull, effektiv kundekontakt som forbedrer den totale erfaringen.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, kan besøke Gradient Labs.