Dimitri Masin, Gradient Labs’in CEO’su ve Kurucu Ortağı – Röportaj Serisi

Dimitri Masin, finansal hizmetler gibi düzenlenmiş endüstriler için özel olarak tasarlanmış özerk müşteri destek ajanları geliştiren bir AI şirketi olan Gradient Labs‘in CEO’su ve kurucu ortağıdır. Gradient Labs’i 2023 yılında kurmadan önce, Masin, Monzo Bank’ta Veri Bilimi, Finansal Suç ve Dolandırıcılık Başkan Yardımcısı dahil olmak üzere üst düzey liderlik rollerinde bulunmuştur ve daha önce Google’da çalışmıştır. Liderliği altında, Gradient Labs kısa sürede ivme kazanmıştır ve lansmanından beş ay içinde yıllık tekrar eden geliri 1 milyon sterline ulaşmıştır. Masin’in odak noktası, yüksek performans ile sıkı düzenleyici uyumluluk birleştiren AI sistemleri geliştirmektir, bu da kompleks müşteri operasyonları için güvenli ve ölçeklenebilir otomasyonu sağlar.

Sizi Monzo’daki başarılı yolculuğunuzdan sonra Gradient Labs’i kurmaya iten şey nedir?

Monzo’da, müşteri destek otomasyonunda yıllar geçirdik ve genellikle %10’luk verimlilik kazancı hedefledik. Ancak 2023 yılı başlarında, GPT-4’ün yayınlanmasıyla birlikte teknolojide bir deprem yaşandı. Aniden, AI aracılığıyla kompleks, tekrarlı işlerin %70-80’ini tamamen özerk olarak otomatikleştirmek mümkün hale geldi.

Bu teknolojik atılım, bizi Gradient Labs’i kurmaya yöneltti. Kariyerim boyunca, iki such devrimci dalgayı gördüm: mobil devrim (kariyerimin başlarında gerçekleşti) ve şimdi AI. Dünya nasıl çalışacağını tamamen değiştirecek bir dönüşümün ortasında olduğunuzu fark ettiğinizde, bu fırsatı değerlendirmelisiniz. Ekibimiz biliyordu – bu zaman.

Monzo’da, şirketin büyük bir büyüme yaşadığı bir dönemde liderlik ettiniz. Gradient Labs’te uyguladığınız en büyük dersler nelerdir?

İlk olarak, özerklik ile yönü dengeleyin. Monzo’da, insanların sadece özerklikten yararlandıklarını ve bunun onları en çok motive ettiğini varsaydık. Ancak bu görüş şimdi fazla basitleştirilmiş görünüyor. İnsanların rehberlik değer verdiğine inanıyorum. Gerçek özerklik, insanlara “ne yapmak istediğinize karar verin” demekten ziyade, net bir yön verirken, iyi tanımlanmış sorunları kendi yollarıyla çözmeleri için özgürlük tanır.

İkincisi, üst düzey yetenek için üst düzey ücret gerekir. Fonksiyonunuzun en iyi %5’ini işe almak istiyorsanız, buna uygun şekilde ödemeniz gerekir. Aksi takdirde, büyük teknoloji şirketleri yetenekli personelinizi düşük ücretle çalıştırıyorsanız, onları çalıştırmaya devam edemezsiniz.

Üçüncüsü, tekerleği yeniden icat etmeyin. Monzo’da, iş yapıları, ücret sistemleri ve kariyer merdivenleri için yenilikçi yaklaşımlar geliştirmeye çalıştık. Ana alınan ders şudur: organizasyonel temelde enerji harcamayın – binlerce şirket zaten en iyi uygulamaları belirledi. Hala “tüm unvanları ve hiyerarşileri ortadan kaldırmak” hakkında LinkedIn gönderileri görüyorum – bu durumun tekrar tekrar oynandığını ve neredeyse tüm şirketlerin sonunda geleneksel yapılara döndüğünü izledim.

Gradient Labs, geleneksel olarak karmaşık ihtiyaçları olan düzenlenmiş endüstrilere odaklanıyor. Bu ortamda etkili bir şekilde çalışabilen bir AI aracını (Örneğin Otto) nasıl geliştirdiniz?

Alışılmadık bir yaklaşım izledik, hızlı bir şekilde yayınlamak ve canlı bir ürün üzerinde iterasyon yapmak için tipik tavsiyeyi reddettik. Bunun yerine, Otto’yu yayınlamadan önce 14 ay boyunca çok yüksek bir kalite standardını koruduk. Bankaların ve finansal kurumların tamamen özerk olarak müşteri desteğini ele alabilecek bir şey yaratmak zorunda olduğumuz için, bankerlerin ve finansal kurumların güvenebileceği bir şey yaratmak zorunda olduğumuz için.

Biz pilotlar değil, müşteri desteğinin uçtan uca otomasyonunu geliştirdik. Finansal hizmetlerdeki geçmişimiz, “ne iyi görünüyor” için içsel bir referans noktası oluşturmamızı sağladı, böylece müşteri geri bildirimi olmadan kaliteyi değerlendirebildik. Bu, kaliteye odaklanmamızı ve hızlı bir şekilde iterasyon yapmamızı sağladı. Canlı müşteriler olmadan, daha büyük adımlar atabilir, şeyleri özgürce kırabilir ve hızlı bir şekilde pivot yapabilirdik – sonunda lansman sırasında üstün bir ürün sunabildik.

Otto, basit soruları yanıtlamaktan öteye geçer ve karmaşık iş akışlarını ele alır. Otto’nun tipik AI ajanlarının başarısız olabileceği çok adımlı veya yüksek riskli görevleri nasıl ele aldığını açıklar mısınız?

Otto’yu SOP’ler (Standart İşlem Prosedürleri) kavramı etrafında geliştirdik – esasen belirli sorunları ele almak için yazılmış, insanların bir ajana verebileceği talimatlara benzer, düz metin olarak yazılmış rehber belgeler.

Otto’nun özellikle karmaşık iş akışlarını etkili bir şekilde yönetmesini sağlayan iki ana mimari karar vardır:

İlk olarak, araç maruziyetini sınırlarız. AI ajanları için yaygın bir hata modu, çok fazla seçenekten yanlış seçmektir. Her prosedür için, Otto’ya yalnızca ilgili araçların küçük bir alt kümesini açarız. Örneğin, bir kart değiştirme iş akışında, Otto yalnızca 1-2 araç görebilir, sistemde kayıtlı 30 araç değil. Bu, karar alanını azaltarak doğruluğu önemli ölçüde artırır.

İkincisi, derinlemesine akıl yürütme ve daha güvenilir sonuçlar sağlamak için AI asistan altyapısının büyük bir kısmını yeniden inşa ettik. Basitçe prosedürleri OpenAI veya Anthropic asistanına atmak yerine, girdiler ve çıktılar arasında çoklu işleme adımları sağlayan bir mimari geliştirdik.

Gradient Labs, müşteri desteğinde “süper insan kalitesi”ne ulaştığını belirtiyor. “Süper insan kalitesi” size göre ne anlama geliyor ve bunu içsel olarak nasıl ölçüyorsunuz?

Süper insan kalitesi, insanların ulaşabileceğinden daha iyi müşteri desteği sunmayı ifade eder. Aşağıdaki üç örnek bunu açıklar:

İlk olarak, kapsamlı bilgi. AI ajanları, bir şirket hakkında geniş bilgi işleyebilir ve şirketin işleyişini derinlemesine anlar. İnsanlar genellikle sadece belirli bir bilgi kümesini öğrenir ve bilmedikleri şeyleri öğrendiklerinde, bilgi tabanlarına veya meslektaşlarına başvurmak zorunda kalırlar. Bu, müşterilerin farklı ekiplere yönlendirildiği ve hizmetin kalitesinin düştüğü bir deneyim yaratır. Bir AI ajanı, ise şirketin derinlemesine anlaşılmasını sağlar ve tutarlı, uçtan uca cevaplar verir – hiçbir şekilde yönlendirme gerekmez.

İkincisi, tembel aramalar değil – AI, bilgi toplamak için hızlıdır. İnsanlar, müşterilere soru sormadan önce zaman kazanmaya çalışırlar, AI ajanı ise proaktif olarak hesap bilgilerini, bayrakları, uyarıları ve hata mesajlarını inceler. Böylece, müşteri “X ile ilgili bir sorunum var” derse, AI ajanı hemen bir çözüm sunabilir, birçok açıklama sorusunu sormak yerine.

Son olarak, sabır ve tutarlılık – İnsanlar, belirli bir saatte belirli sayıda cevap vermek için baskı altında olabilirken, AI ajanımız tutarlı olarak yüksek kaliteli, sabırlı ve kısa iletişim sağlar. Gerektiği kadar uzun cevap verir, acele etmez.

Bunları主要 olarak müşteri memnuniyeti puanları aracılığıyla ölçeriz. Mevcut tüm müşterilerimiz için, %80-90 gibi yüksek CSAT puanları elde ederiz – genellikle insan ekiplerinden daha yüksek.

Tek bir LLM sağlayıcısına Gradient Labs’i bağlamaktan kasıtlı olarak kaçındınız. Bu seçim neden önemliydi ve müşterileriniz için performansı ve güvenilirliği nasıl etkiler?

Son iki yıl içinde, en büyük performans iyileştirmelerimizin, bir sonraki en iyi modeli her zaman seçebilme yeteneğinden geldiğini gözlemledik – OpenAI veya Anthropic daha hızlı, daha iyi veya daha doğru bir şey yayınladığında. Model esnekliği anahtardı.

Bu esneklik, sürekli olarak kaliteyi iyileştirirken maliyetleri yönetmemizi sağlar. Bazı görevler daha güçlü modellere ihtiyaç duyar, diğerleri daha az. Mimariğimiz, her durumda optimal modeli seçmemizi ve zaman içinde gelişmemizi sağlar.

Sonuçta, müşterilerin altyapısında barındırılan özel açık kaynak LLM’lerini destekleyeceğiz. Mimariğimiz sayesinde, bu geçiş kolay olacak – özellikle bankalar için, model dağıtımı ile ilgili belirli gereksinimleri olan müşterilerimiz için özellikle önemli.

Gradient Labs sadece bir sohbet botu değil, aynı zamanda arka ofis işlemlerini de ele alıyor. Bu tür görevleri AI ile otomatikleştirmenin en büyük teknik veya operasyonel zorlukları nelerdir?

İki ayrı kategori vardır, her biri kendi zorluklarına sahiptir:

Basit prosedürler için, teknoloji zaten mevcuttur. Ana zorluk, finansal kurumların kullandığı birçok özel arka uç sistem ve aracı ile entegrasyondur – müşteri operasyonlarının çoğu, birçok iç sistem içerir.

Karmaşık prosedürler için, önemli teknik zorluklar vardır. Bu prosedürler genellikle, sahtecilik soruşturmaları veya para aklama değerlendirmeleri gibi, 6-12 ay süren eğitim ve uzmanlık gerektirir. Burada zorluk, AI ajanlarına aynı alan uzmanlığını nasıl vereceğimizdir – bu, herkesin masih çalıştığı bir sorudur.

Gradient Labs, AI hız ve verimlilik ihtiyacını, düzenlenmiş endüstrilerin katı uyum gereksinimleri ile nasıl dengelemektedir?

Elbette bir denge var, ancak sohbet seviyesinde, ajanımız sadece daha fazla zaman alıyor. Müşterinin ne sorduğunu anlıyor muyum? Doğru cevabı veriyorum muyum? Müşteri zayıflık belirtileri gösteriyor mu? Müşteri şikayette bulunmak istiyor mu?

Bu bilinçli yaklaşım, gecikmeyi artırır – median yanıt süremiz 15-20 saniye olabilir. Ancak finansal kurumlar için, bu adil bir takastır. 15 saniyelik bir cevap, insan cevabından çok daha hızlıdır, kalite garantileri ise düzenlenmiş şirketlerimiz için çok daha önemlidir.

AI ajanlarının, sadece destek için değil, aynı zamanda finansal kurumlar içindeki daha yüksek riskli karar alma görevleri için de güvenileceği bir gelecek öngörüyor musunuz?

Finansal kurumlar, zaten geleneksel AI tekniklerini yüksek riskli kararlarda kullanıyordu. Benim gördüğüm gerçek fırsat, koordinasyonda – karar verme değil, tüm süreci koordine etme.

Örneğin, bir müşteri belgeler yükler, AI ajanı bunları doğrulama sistemine yönlendirir, geçerlilik onayını alır ve ardından uygun eylemleri ve müşteri iletişimlerini tetikler. Bu koordinasyon fonksiyonu, AI ajanlarının excellediği bir alandır.

En yüksek riskli kararlarda, yakın zamanda büyük bir değişiklik görmüyorum. Bu modeller, açıklanabilirlik, önyargı önleme ve model risk komitelerinden onay gerektirir. Büyük dil modelleri, bu bağlamlarda önemli uyum zorlukları ile karşılaşacaktır.

Banks, fintech şirketleri ve diğer düzenlenmiş sektörler için müşteri deneyimini, önümüzdeki 3-5 yıl içinde AI nasıl şekillendirecek?

Beş ana eğilim görüyorum:

İlk olarak, gerçek omni-kanal etkileşimi. Bir bankacılık uygulamasında sohbeti başlatıp, aynı AI ajanı ile sesli olarak geçiş yapmayı hayal edin. Ses, çağrılar ve sohbet, tek bir sürekli deneyim haline gelecektir.

İkincisi, navigasyonu en aza indiren uyarlanabilir arayüzler. Müşterilerin belirli işlevler için menüleri aramaktan ziyade, yalnızca ihtiyaçlarını söylemeleri yeterli olacaktır: “Lütfen limitlerimi artırın” – ve eylem hemen sohbet aracılığıyla gerçekleşir.

Üçüncüsü, daha iyi birim ekonomisi. Destek ve operasyonlar, büyük maliyet merkezleridir. Bu maliyetleri azaltmak, bankaların daha önce karlı olmayan müşterilere hizmet vermesine veya tasarrufları kullanıcılara aktarmasına izin verebilir – özellikle bankasız segmentlerde.

Dördüncüsü, mükemmel destek, ölçeklenebilir. Şu anda, küçük müşteri kitlesine sahip startups, kişiselleştirilmiş destek sağlayabilir, ancak kalite genellikle şirket büyüdükçe düşer. AI, mükemmel desteği sadece mümkün kılmakla kalmaz, aynı zamanda ölçeklenebilir hale getirir.

Son olarak, müşteri desteği, bir frustran zorunluluktan ziyade gerçekten faydalı bir hizmete dönüşecektir. Artık emek yoğun bir altyapı maliyeti olarak görülmez, sondern değerli, verimli bir müşteri temas noktası olarak görülür ve genel deneyimi geliştirir.

Harika röportaj için teşekkür ederiz, daha fazla öğrenmek isteyen okuyucular Gradient Labs‘i ziyaret edebilir.