Dimitri Masin, CEO & Co-Founder w Gradient Labs – Seria wywiadów

Dimitri Masin jest CEO i współzałożycielem Gradient Labs, startupu AI budującego autonomiczne agenty wsparcia klienta specjalnie zaprojektowane dla branż regulowanych, takich jak usługi finansowe. Przed założeniem Gradient Labs w 2023 roku Masin pełnił stanowiska kierownicze w Monzo Bank, w tym wiceprezesa ds. nauki o danych, przestępstw finansowych i oszustw, oraz wcześniej pracował w Google. Pod jego kierownictwem Gradient Labs szybko zyskał uznanie, osiągając 1 milion funtów przychodu rocznego w ciągu pięciu miesięcy od uruchomienia. Głównym celem Masina jest rozwijanie systemów AI, które łączą wysoką wydajność z surowymi wymogami regulacyjnymi, umożliwiając bezpieczną i skalowalną automatyzację złożonych operacji klienta.

Czym skłoniło Cię do założenia Gradient Labs po tak udanej karierze w Monzo?

W Monzo przez lata pracowaliśmy nad automatyzacją wsparcia klienta, koncentrując się na umiarkowanych zyskach wydajności w wysokości 10%. Jednak na początku 2023 roku byliśmy świadkami przełomowej zmiany technologicznej związanej z wydaniem GPT-4. Nagle stało się możliwe całkowite automatyczne przetwarzanie 70-80% pracy ręcznej za pomocą AI.

Ta technologiczna przełom, którym obecnie żyjemy, zainspirował nas do założenia Gradient Labs. W mojej karierze widziałem dwa takie rewolucyjne fale: rewolucję mobilną (która nastąpiła na początku mojej kariery) i teraz AI. Kiedy rozpoznajesz, że jesteś w środku takiej transformacji, która całkowicie zmieni sposób, w jaki działa świat, musisz to wykorzystać. Nasz zespół wiedział – to jest ten moment.

W Monzo pomogłeś poprowadzić firmę przez ogromny wzrost. Jakie były największe lekcje z tego doświadczenia, które teraz stosujesz w Gradient Labs?

Po pierwsze, równowaga między autonomią a kierunkiem. W Monzo początkowo zakładaliśmy, że ludzie po prostu prosperują na autonomii – że to jest to, co ich najbardziej motywuje. Jednak ten pogląd teraz wydaje się zbyt uproszczony. Uważam, że ludzie również cenią sobie kierunek. Prawdziwa autonomia nie polega na tym, że mówisz ludziom “zrób, co chcesz”, ale raczej na tym, że zapewniasz im wyraźny kierunek, jednocześnie dając im swobodę rozwiązywania dobrze zdefiniowanych problemów na swój sposób.

Po drugie, najlepszy talent wymaga najlepszej rekompensaty. Jeśli chcesz zatrudnić najlepsze 5% w Twojej funkcji, musisz płacić odpowiednio. W przeciwnym razie duże firmy technologiczne zabiorą ich, gdy tylko stanie się wiadome, że masz najlepszy talent, który jest niedopłacany.

Po trzecie, nie wymyślaj koła na nowo. W Monzo próbowaliśmy tworzyć innowacyjne podejścia do struktur pracy, systemów wynagrodzeń i drabinek kariery. Kluczowa nauka: nie marnuj energii na innowacjach w podstawach organizacyjnych – tysiące firm już ustaliły najlepsze praktyki. Nadal widzę posty na LinkedIn o “pozbyciu się wszystkich tytułów i hierarchii” – obserwowałem to wielokrotnie, a prawie wszystkie firmy ostatecznie wracają do tradycyjnych struktur.

Gradient Labs koncentruje się na branżach regulowanych, które tradycyjnie mają złożone potrzeby. Jak podejście do budowy agenta AI (takiego jak Otto), który może skutecznie działać w tym środowisku?

Zastosowaliśmy nietypowe podejście, odrzucając typowy radę, aby wydać szybko i iterować na żywym produkcie. Zamiast tego spędziliśmy 14 miesięcy przed wydaniem Otto, utrzymując bardzo wysoką jakość od samego początku. Musieliśmy stworzyć coś, czego banki i instytucje finansowe będą ufać, aby całkowicie samodzielnie obsługiwać ich wsparcie.

Nie budowaliśmy współpilotów – budowaliśmy pełną automatyzację wsparcia klienta. Z naszym doświadczeniem w usługach finansowych mieliśmy precyzyjne wewnętrzne benchmarki dla “wyglądu dobrej jakości”, co pozwoliło nam ocenić jakość bez polegania na opinii klientów. To dało nam swobodę, aby obsesjonować się jakością, jednocześnie szybko iterując. Bez żywych klientów mogliśmy robić większe skoki, łamać rzeczy swobodnie i szybko zmieniać kierunek – ostatecznie dostarczając lepszy produkt przy starcie.

Otto idzie dalej niż odpowiedzi na proste pytania i obsługuje złożone procesy robocze. Czy możesz nas przeprowadzić przez to, jak Otto zarządza wieloetapowymi lub wysokiego ryzyka zadaniami, na które typowi agenci AI mogliby nie powiedzieć?

Zbudowaliśmy Otto wokół pojęcia SOP (Standard Operating Procedures) – podstawowo dokumentów wytycznych napisanych w zwykłym języku, które szczegółowo opisują, jak obsłużyć określone problemy, podobnie jak te, które byś dał agentowi ludzkiemu.

Dwa kluczowe decyzje architektoniczne sprawiają, że Otto jest szczególnie skuteczny w zarządzaniu złożonymi procesami roboczymi:

Po pierwsze, ograniczamy ekspozycję na narzędzia. Powszechny sposób, w jaki agenci AI zawodzą, polega na wyborze niepoprawnym z zbyt wielu opcji. Dla każdej procedury eksponujemy tylko niewielką część istotnych narzędzi Otto. Na przykład w procesie wymiany karty Otto mógłby zobaczyć tylko 1-2 narzędzia, zamiast wszystkich 30 zarejestrowanych w systemie. To dramatycznie poprawia dokładność, zmniejszając przestrzeń decyzyjną.

Po drugie, odbudowaliśmy wiele typowej infrastruktury asystenta AI, aby umożliwić obszerny łańcuch myślenia. Zamiast po prostu rzucać procedurami na asystenta OpenAI lub Anthropic, nasza architektura pozwala na wiele kroków przetwarzania między wejściami i wyjściami. To umożliwia głębsze rozumowanie i bardziej niezawodne wyniki.

Gradient Labs wspomina o osiągnięciu “nadludzkiej jakości” w wsparciu klienta. Co “nadludzka jakość” oznacza dla Ciebie, i jak ją mierzyłeś wewnętrznie?

Nadludzka jakość oznacza dostarczanie wsparcia klienta, które jest mierzalnie lepsze niż to, co ludzie mogą osiągnąć. Poniższe trzy przykłady ilustrują to:

Po pierwsze, kompleksowa wiedza. Agenci AI mogą przetwarzać ogromne ilości informacji i mają szczegółową wiedzę o firmie. W przeciwieństwie do tego ludzie zwykle uczą się tylko niewielkiej części informacji, a gdy nie wiedzą czegoś, muszą konsultować się z bazami wiedzy lub eskalować do kolegów. To prowadzi do frustrującego doświadczenia, w którym klienci są przenoszeni między zespołami. Agent AI, z drugiej strony, ma głębokie zrozumienie firmy i jej procesów, dostarczając spójne, kompleksowe odpowiedzi – bez potrzeby eskalacji.

Po drugie, nie leniwe wyszukiwania – AI jest szybki w gromadzeniu informacji. Podczas gdy ludzie starają się zaoszczędzić czas, zadając klientom pytania przed zbadaniem, AI proaktywnie sprawdza informacje o koncie, flagi, alerty i komunikaty o błędach przed rozpoczęciem rozmowy. Więc gdy klient powie niejasno “Mam problem z X”, AI może natychmiast zaproponować rozwiązanie, zamiast zadawać wiele pytań wyjaśniających.

Wreszcie, cierpliwość i spójność jakości. W przeciwieństwie do ludzi, którzy są pod presją, aby obsłużyć określoną liczbę odpowiedzi na godzinę, nasz AI utrzymuje stale wysoką jakość, cierpliwość i zwięzłą komunikację. Odpowiada cierpliwie tak długo, jak potrzeba, bez pośpiechu.

Mierzymy to głównie za pomocą wskaźników satysfakcji klienta. Dla wszystkich obecnych klientów osiągamy wskaźniki satysfakcji klienta w średnim zakresie 80-90% – zwykle wyższe niż ich zespoły ludzkie.

Dlaczego celowo uniknąłeś powiązania Gradient Labs z jednym dostawcą LLM. Dlaczego ten wybór był ważny, i jak wpływa na wydajność i niezawodność dla Twoich klientów?

W ciągu ostatnich dwóch lat zaobserwowaliśmy, że nasze największe poprawy wydajności pochodziły z naszej zdolności do przełączenia się na następny najlepszy model, gdy OpenAI lub Anthropic wydali coś szybszego, lepszego lub bardziej dokładnego. Elastyczność modelu była kluczowa.

Ta elastyczność pozwala nam na ciągłe poprawianie jakości, jednocześnie zarządzając kosztami. Niektóre zadania wymagają bardziej potężnych modeli, inne mniej. Nasza architektura umożliwia nam dostosowanie i ewolucję w czasie, wybierając optymalny model dla każdej sytuacji.

Ostatecznie będziemy wspierać prywatne, open-source’owe LLM hostowane na infrastrukturze klientów. Dzięki naszej architekturze będzie to prosta transakcja, co jest szczególnie ważne przy obsłudze banków, które mogą mieć określone wymagania dotyczące wdrożenia modelu.

Gradient Labs nie tylko buduje chatbota — celujesz w obsługę procesów back-office. Jakie są największe wyzwania techniczne lub operacyjne w automatyzowaniu tego rodzaju zadań za pomocą AI?

Istnieją dwie odrębne kategorie procesów, z których każda ma własne wyzwania:

Dla prostszych procesów technologia w dużej mierze już istnieje. Głównym wyzwaniem jest integracja – połączenie z wieloma niestandardowymi systemami i narzędziami backendu, których używają instytucje finansowe, ponieważ większość operacji klienta obejmuje wiele wewnętrznych systemów.

Dla złożonych procesów pozostają znaczne wyzwania techniczne. Procesy te zwykle wymagają, aby ludzie byli zatrudniani i szkoleni przez 6-12 miesięcy, aby rozwinąć ekspertyzę, taką jak dochodzenia w sprawie oszustw lub oceny prania brudnych pieniędzy. Wyzwaniem jest tutaj transfer wiedzy – jak dajemy agentom AI tę samą ekspertyzę branżową? To jest trudny problem, z którym boryka się każdy w tym sektorze.

Jak Gradient Labs balansuje potrzebę szybkości i wydajności AI z surowymi wymogami regulacyjnymi branż regulowanych?

To jest z pewnością równowaga, ale na poziomie rozmowy nasz agent po prostu zajmuje więcej czasu na myślenie. Ocena wielu czynników: Czy rozumiem, o co pyta klient? Czy daję poprawną odpowiedź? Czy klient pokazuje oznaki podatności? Czy klient chce złożyć skargę?

To celowe podejście zwiększa opóźnienie – nasz średni czas odpowiedzi może wynosić 15-20 sekund. Ale dla instytucji finansowych to jest uczciwa wymiana. 15-sekundowa odpowiedź jest nadal znacznie szybsza niż odpowiedź ludzka, podczas gdy gwarancje jakości są znacznie ważniejsze dla regulowanych firm, z którymi współpracujemy.

Czy widzisz przyszłość, w której agenci AI będą ufać nie tylko wsparciu, ale także zadaniom podejmowania decyzji o wysokim ryzyku w instytucjach finansowych?

Instytucje finansowe już używały bardziej tradycyjnych technik AI do podejmowania decyzji o wysokim ryzyku przed obecną falą generatywnej AI. Gdzie widzę prawdziwą okazję, to w orchestracji – nie podejmowaniu decyzji, ale koordynowaniu całego procesu.

Na przykład klient przesyła dokumenty, agent AI kieruje je do systemu walidacji, otrzymuje potwierdzenie ważności, a następnie wyzwala odpowiednie działania i komunikację z klientem. Ta funkcja orchestracji jest tym, w czym agenci AI się wyróżniają.

Dla samych decyzji o wysokim ryzyku nie widzę wielu zmian w najbliższej przyszłości. Te modele wymagają wyjaśnialności, zapobiegania stronniczości i zatwierdzenia przez komitety ryzyka modelu. Duże modele językowe stanęłyby przed znaczącymi wyzwaniami zgodności w tych kontekstach.

Twoim zdaniem, jak AI zmieni doświadczenie klienta dla banków, firm fintech i innych sektorów regulowanych w ciągu najbliższych 3-5 lat?

Widzę pięć głównych trendów, które zmienią doświadczenie klienta:

Po pierwsze, prawdziwa interakcja wielokanałowa. Wyobraź sobie rozpoczęcie czatu w aplikacji bankowej, a następnie płynne przejście do głosu z tym samym agentem AI.

Po drugie, adaptacyjne interfejsy użytkownika, które minimalizują nawigację w aplikacji. Zamiast przeszukiwania menu w poszukiwaniu konkretnych funkcji, klienci po prostu wyrażają swoje potrzeby: “Proszę, zwiększ moje limity” – i akcja następuje natychmiast za pomocą rozmowy.

Po trzecie, lepsza ekonomika jednostkowa. Wsparcie i operacje to ogromne centra kosztów. Zmniejszenie tych kosztów mogłoby pozwolić bankom na obsługę wcześniej nieopłacalnych klientów lub przekazanie oszczędności użytkownikom – szczególnie w niedofinansowanych sektorach.

Po czwarte, wyjątkowe wsparcie w skali. Obecnie startupy z niewielką liczbą klientów mogą zapewnić personalizowane wsparcie, ale jakość zwykle pogarsza się, gdy firmy rosną. AI sprawia, że wsparcie jest nie tylko możliwe, ale także skalowalne.

Wreszcie, wsparcie klienta przekształci się z frustrującej konieczności w prawdziwie pomocną usługę. Nie będzie już postrzegane jako pracochłonne koszty infrastruktury, ale jako cenna, wydajna punkt kontaktu z klientem, który poprawia ogólne doświadczenie.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Gradient Labs.