Dimitri Masin, VD och medgrundare på Gradient Labs – Intervjuerien

Dimitri Masin är VD och medgrundare av Gradient Labs, ett AI-startup som bygger autonoma kundsupportagenter specifikt utformade för reglerade branscher som finansiella tjänster. Innan han grundade Gradient Labs 2023 hade Masin ledande roller på Monzo Bank, inklusive vice VD för data science, finansiell brottslighet och bedrägeri, och tidigare arbetade han på Google. Under hans ledning har Gradient Labs snabbt fått fart och nått en årlig återkommande intäkt på 1 miljon pund inom fem månader efter lanseringen. Masins fokus ligger på att utveckla AI-system som kombinerar hög prestanda med strikt regelefterlevnad, vilket möjliggör säker och skalbar automatisering av komplexa kundoperationer.

Vad inspirerade dig att lansera Gradient Labs efter en sådan framgångsrik resa på Monzo?

På Monzo hade vi tillbringat år med att arbeta på kundsupportautomatisering, vanligtvis med målet att uppnå modesta 10% effektivitetsvinster. Men i början av 2023 upplevde vi en seismisk teknisk förändring med lanseringen av GPT-4. Plötsligt blev det möjligt att automatisera 70-80% av manuellt, upprepande arbete helt autonomt med hjälp av AI.

Denna tekniska genombrott som vi för närvarande upplever inspirerade oss att starta Gradient Labs. Under min karriär har jag sett två sådana revolutionerande vågor: den mobila revolutionen (som skedde tidigt i min karriär) och nu AI. När du inser att du befinner dig mitt i en sådan transformation som kommer att förändra hur världen fungerar, måste du gripa tillfället. Vårt team visste – det är nu.

På Monzo hjälpte du till att leda företaget genom en massiv tillväxt. Vilka var de största lärdomarna från den erfarenheten som du nu tillämpar på Gradient Labs?

Först, balansera autonomi med riktning. På Monzo antog vi initialt att människor enbart trivs på autonomi – att det är det som motiverar dem mest. Men den synen verkar nu vara alltför förenklad. Jag tror att människor också värdesätter vägledning. Sann autonomi är inte att säga till människor “gör vad du vill”, utan snarare att ge tydlig riktning samtidigt som de ges frihet att lösa väldefinierade problem på sitt eget sätt.

Sedan, toppbegåvning kräver toppkompensation. Om du siktar på att anställa de bästa 5% inom din funktion, måste du betala därefter. Annars kommer stora teknikföretag att anställa dem när det blir känt att du har toppbegåvning som är underbetald.

Tredje, återuppfinn inte hjulet. På Monzo försökte vi skapa innovativa tillvägagångssätt för arbetsstrukturer, kompensationssystem och karriärstegar. Den viktigaste lärdomen är: slösa inte energi på att innovera på organisationsfundament – tusentals företag har redan etablerat bästa praxis. Jag ser fortfarande inlägg på LinkedIn om “att bli av med alla titlar och hierarkier” – jag har sett detta spelas ut upprepade gånger, och nästan alla företag återgår till traditionella strukturer.

Gradient Labs fokuserar på reglerade branscher, som traditionellt har komplexa behov. Hur gick du tillväga för att bygga en AI-agent (som Otto) som kan fungera effektivt i denna miljö?

Vi tog en ovanlig tillvägagångssätt, avvisade den typiska rådan att släppa snabbt och iterera på en liveprodukt. Istället tillbringade vi 14 månader innan vi släppte Otto, med en mycket hög kvalitetsnivå från början. Vi behövde skapa något som banker och finansiella institutioner kunde lita på för att hantera deras support helt autonomt.

Vi byggde inte co-piloter – vi byggde slut-till-slut-automatisering av kundsupport. Med vår bakgrund inom finansiella tjänster hade vi en exakt intern benchmark för “vad som ser bra ut”, vilket gjorde att vi kunde bedöma kvalitet utan att förlita oss på kundfeedback. Detta gav oss friheten att fokusera på kvalitet medan vi itererade snabbt. Utan levande kunder kunde vi göra större språng, bryta saker fritt och vända snabbt – och till slut leverera en överlägsen produkt vid lanseringen.

Otto går utöver att svara på enkla frågor och hanterar komplexa arbetsflöden. Kan du gå igenom hur Otto hanterar multi-stegs- eller högriskuppgifter som typiska AI-agenter kanske misslyckas med?

Vi har byggt Otto kring konceptet med SOP:er (Standard Operating Procedures) – i princip vägledningsdokument skrivna på vanligt språk som beskriver hur man hanterar specifika frågor, liknande det man skulle ge en mänsklig agent.

Två nyckelarkitekturbeslut gör Otto särskilt effektiv för att hantera komplexa arbetsflöden:

Först, begränsar vi verktygsexponering. En vanlig felkälla för AI-agenter är att välja felaktigt från för många alternativ. För varje procedur exponerar vi endast en liten delmängd av relevanta verktyg för Otto. Till exempel i en arbetsflöde för kreditkorters ersättning kan Otto bara se 1-2 verktyg istället för alla 30 registrerade i systemet. Detta förbättrar dramatiskt noggrannheten genom att minska beslutsutrymmet.

Sedan, har vi byggt om mycket av den typiska AI-assistentinfrastrukturen för att möjliggöra omfattande kedjetänkande. Istället för att bara kasta procedurer på en OpenAI- eller Anthropic-assistent, tillåter vår arkitektur flera bearbetningssteg mellan indata och utdata. Detta möjliggör djupare resonemang och mer tillförlitliga resultat.

Gradient Labs nämner att de uppnår “supermänsklig kvalitet” i kundsupport. Vad betyder “supermänsklig kvalitet” för dig, och hur mäter ni det internt?

Supermänsklig kvalitet betyder att leverera kundsupport som är mätbart bättre än vad människor kan uppnå. Följande tre exempel illustrerar detta:

Först, omfattande kunskap. AI-agenter kan bearbeta stora mängder information och ha detaljerad kunskap om ett företag. I kontrast lär sig människor vanligtvis bara en liten delmängd av informationen, och när de inte vet något måste de konsultera kunskapsbaser eller eskalera till kollegor. Detta leder till en frustrerande upplevelse där kunderna skickas mellan team. En AI-agent, å andra sidan, har en djup förståelse för företaget och dess processer, och levererar konsekventa, slut-till-slut-svar – ingen eskalering behövs.

Sedan, icke-lata sökningar – AI är snabb på att samla information. Medan människor försöker spara tid genom att ställa kunderna frågor innan de undersöker, undersöker AI proaktivt kontoinformation, flaggor, varningar och felmeddelanden innan samtalet börjar. Så när en kund vagt säger “Jag har ett problem med X”, kan AI omedelbart erbjuda en lösning istället för att ställa flera förtydligande frågor.

Slutligen, tålamod och kvalitetskonsekvens. Till skillnad från människor som står under tryck för att hantera ett visst antal svar per timme, upprätthåller vår AI konsekvent hög kvalitet, tålamod och koncist kommunikation. Den svarar tåligt så länge det behövs utan att skynda på.

Vi mäter detta främst genom kundtillfredsställelsepoäng. För alla nuvarande kunder uppnår vi kundtillfredsställelsepoäng som i genomsnitt ligger på 80-90% – vanligtvis högre än deras mänskliga team.

Du har medvetet undvikit att knyta Gradient Labs till en enda LLM-leverantör. Varför var detta val viktigt, och hur påverkar det prestanda och tillförlitlighet för dina kunder?

Under de senaste två åren har vi observerat att våra största prestandaförbättringar kom från vår förmåga att byta till den bästa modellen när OpenAI eller Anthropic släppte något snabbare, bättre eller mer exakt. Modellagilitet har varit nyckeln.

Denna flexibilitet gör att vi kan förbättra kvaliteten kontinuerligt samtidigt som vi hanterar kostnader. Vissa uppgifter kräver kraftfullare modeller, andra mindre. Vår arkitektur möjliggör att vi kan anpassa och utvecklas över tid, välja den optimala modellen för varje situation.

Till slut kommer vi att stödja privata öppen källkods-LLM:er som distribueras på kundernas infrastruktur. På grund av vår arkitektur kommer detta att vara en enkel övergång, vilket är särskilt viktigt när vi betjänar banker som kan ha specifika krav på modelldistribution.

Gradient Labs bygger inte bara en chattbot – ni siktar på att hantera bakkontorsprocesser också. Vilka är de största tekniska eller operativa utmaningarna i att automatisera dessa typer av uppgifter med AI?

Det finns två distinkta kategorier av processer, var och en med sina egna utmaningar:

För enklare processer finns tekniken redan till stor del. Den största utmaningen är integration – att ansluta till de många anpassade backend-system och verktyg som finansiella institutioner använder, eftersom de flesta kundoperationer involverar många interna system.

För komplexa processer kvarstår betydande tekniska utmaningar. Dessa processer kräver vanligtvis att människor anställs och utbildas i 6-12 månader för att utveckla expertis, såsom bedrägeriutredningar eller penningtvättsbedömningar. Utmaningen här är kunskapsöverföring – hur ger vi AI-agenter samma domänexpertis? Det är ett svårt problem som alla i den här branschen fortfarande försöker lösa.

Hur balanserar Gradient Labs behovet av AI-hastighet och effektivitet med de rigorösa kraven på regelefterlevnad i reglerade branscher?

Det är verkligen en balans, men på samtalsnivå tar vår agent helt enkelt mer tid att tänka. Den utvärderar flera faktorer: Förstår jag vad kunden frågar? Ger jag rätt svar? Visar kunden tecken på sårbarhet? Vill kunden lämna in en klagomål?

Detta medvetna tillvägagångssätt ökar svarstiden – vår median svarstid kan vara 15-20 sekunder. Men för finansiella institutioner är det ett rimligt byte. Ett 15-sekunders svar är fortfarande mycket snabbare än ett mänskligt svar, medan kvalitetsgarantierna är avsevärt viktigare för de reglerade företag vi arbetar med.

Förutser du en framtid där AI-agenter är betrodda inte bara för support, utan också för högrisksbeslut inom finansiella institutioner?

Finansiella institutioner använde redan traditionella AI-tekniker för högrisksbeslut innan den nuvarande vågen av generativ AI. Där jag ser den riktiga möjligheten nu är i orkestrering – inte att fatta beslut, utan att koordinera hela processen.

Till exempel laddar en kund upp dokument, en AI-agent dirigerar dem till ett valideringssystem, tar emot bekräftelse på giltighet och utlöser sedan lämpliga åtgärder och kundkommunikation. Denna orkestreringsfunktion är där AI-agenter excellerar.

För de högsta riskerna i sig ser jag inte mycket som förändras på kort sikt. Dessa modeller kräver förklarbarhet, biasförebyggande och godkännande genom modellriskkommittéer. Stora språkmodeller skulle möta betydande regelefterlevnadsutmaningar i dessa sammanhang.

I ditt perspektiv, hur kommer AI att omforma kundupplevelsen för banker, fintech-företag och andra reglerade sektorer under de kommande 3-5 åren?

Jag ser fem stora trender som omformar kundupplevelsen:

Först, sann omnikanalsinteraktion. Tänk dig att starta en chatt i din bankapp, sedan sömlöst växla till röst med samma AI-agent. Röst, samtal och chatt kommer att smälta samman till en enda kontinuerlig upplevelse.

Sedan, adaptiva användargränssnitt som minimerar navigering inom appen. Istället för att leta efter specifika funktioner i menyer kan kunderna enkelt uttrycka sina behov: “Öka mina gränser” – och åtgärden sker omedelbart genom samtal.

Tredje, bättre enhets ekonomi. Support och drift är enorma kostnadscentra. Att minska dessa kostnader kunde låta banker betjäna tidigare olönsamma kunder eller vidarebefordra besparingar till användare – särskilt i underbankade segment.

Fjärde, exceptionell support i stor skala. För närvarande kan startups med få kunder tillhandahålla personlig support, men kvaliteten försämras vanligtvis när företagen växer. AI gör det möjligt att skala upp bra support, inte bara möjliggöra den.

Slutligen, kundsupport kommer att omvandlas från en frustrerande nödvändighet till en genuint hjälpsam tjänst. Den kommer inte längre att ses som en arbetsintensiv infrastrukturkostnad, utan som en värdefull, effektiv kundkontakt som förbättrar den övergripande upplevelsen.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Gradient Labs.