Dimitri Masin, CEO & Co-Founder di Gradient Labs – Seri Wawancara

Dimitri Masin adalah CEO dan Co-Founder dari Gradient Labs, sebuah startup AI yang membangun agen dukungan pelanggan otonom yang dirancang khusus untuk industri yang diatur seperti layanan keuangan. Sebelum mendirikan Gradient Labs pada 2023, Masin menjabat sebagai pemimpin senior di Monzo Bank, termasuk Wakil Presiden Ilmu Data, Kejahatan Keuangan, dan Penipuan, dan sebelumnya bekerja di Google. Di bawah kepemimpinannya, Gradient Labs dengan cepat mendapatkan traksi, mencapai £1 juta dalam pendapatan berulang tahunan dalam lima bulan setelah peluncuran. Fokus Masin adalah mengembangkan sistem AI yang menggabungkan kinerja tinggi dengan kepatuhan regulasi yang ketat, memungkinkan otomatisasi yang aman dan dapat diskalakan untuk operasi pelanggan yang kompleks.

Apa yang menginspirasi Anda untuk meluncurkan Gradient Labs setelah perjalanan yang sukses di Monzo?

Di Monzo, kami telah menghabiskan bertahun-tahun bekerja pada otomatisasi dukungan pelanggan, biasanya menargetkan peningkatan efisiensi sebesar 10%. Namun pada awal 2023, kami menyaksikan pergeseran teknologi yang luar biasa dengan dirilisnya GPT-4. Tiba-tiba, menjadi mungkin untuk mengotomatisasi 70-80% pekerjaan manual dan berulang sepenuhnya secara otonom melalui AI.

Pemecahan teknologi yang kami alami saat ini menginspirasi kami untuk memulai Gradient Labs. Dalam karir saya, saya telah melihat dua gelombang revolusioner seperti ini: revolusi mobile (yang terjadi di awal karir saya), dan sekarang AI. Ketika Anda menyadari bahwa Anda berada di tengah-tengah transformasi yang akan mengubah cara kerja dunia, Anda harus menyambut momen itu. Tim kami tahu – ini adalah saatnya.

Di Monzo, Anda membantu memimpin perusahaan melalui pertumbuhan hiper. Apa saja pelajaran terbesar dari pengalaman itu yang sekarang Anda terapkan di Gradient Labs?

Pertama, keseimbangan antara otonomi dan arahan. Di Monzo, kami awalnya menganggap orang-orang hanya tumbuh dengan otonomi – bahwa itu adalah yang paling memotivasi mereka. Namun, pandangan itu sekarang tampak terlalu sederhana. Saya percaya orang-orang juga menghargai arahan. Otonomi sejati bukanlah mengatakan kepada orang-orang “lakukan apa saja yang Anda putuskan untuk dilakukan,” tetapi memberikan arahan yang jelas sambil memberi mereka kebebasan untuk menyelesaikan masalah yang telah ditentukan dengan caranya sendiri.

Kedua, bakat terbaik memerlukan kompensasi terbaik. Jika Anda bertujuan untuk merekrut 5% teratas dalam fungsi Anda, Anda harus membayar sesuai. Jika tidak, perusahaan teknologi besar akan merekrut mereka setelah diketahui Anda memiliki bakat terbaik yang underpaid.

Ketiga, jangan menciptakan roda baru. Di Monzo, kami mencoba menciptakan pendekatan inovatif untuk struktur kerja, sistem kompensasi, dan tangga karir. Kesimpulan utama: jangan menghabiskan energi untuk menginovasi pada fondasi organisasi – ribuan perusahaan telah menetapkan praktik terbaik. Saya masih melihat postingan LinkedIn tentang “menghilangkan semua gelar dan hierarki” – saya telah menyaksikan ini berulang kali, dan hampir semua perusahaan akhirnya kembali ke struktur tradisional.

Gradient Labs fokus pada industri yang diatur, yang tradisional memiliki kebutuhan yang kompleks. Bagaimana Anda mendekati pembangunan agen AI (seperti Otto) yang dapat beroperasi secara efektif dalam lingkungan ini?

Kami mengambil pendekatan yang tidak konvensional, menolak saran untuk merilis dengan cepat dan mengiterasi pada produk langsung. Sebaliknya, kami menghabiskan 14 bulan sebelum merilis Otto, mempertahankan batang kualitas yang sangat tinggi dari awal. Kami perlu menciptakan sesuatu yang bank dan lembaga keuangan akan percayai untuk menangani dukungan mereka sepenuhnya secara otonom.

Kami tidak membangun co-pilot – kami membangun otomatisasi ujung-ke-ujung dari dukungan pelanggan. Dengan latar belakang kami di layanan keuangan, kami memiliki benchmark internal yang tepat untuk “apa yang terlihat baik,” yang memungkinkan kami untuk menilai kualitas tanpa bergantung pada umpan balik pelanggan. Ini memberi kami kebebasan untuk terobsesi dengan kualitas sambil mengiterasi dengan cepat. Tanpa pelanggan langsung, kami dapat membuat lompatan yang lebih besar, memecahkan hal-hal dengan bebas, dan berubah dengan cepat – pada akhirnya menghasilkan produk yang superior pada peluncuran.

Otto melampaui menjawab pertanyaan sederhana dan menangani alur kerja yang kompleks. Bisakah Anda menjelaskan bagaimana Otto mengelola tugas multi-langkah atau tugas berisiko tinggi yang mungkin gagal pada agen AI biasa?

Kami telah membangun Otto di sekitar konsep SOP (Standard Operating Procedure) – pada dasarnya dokumen panduan yang ditulis dalam bahasa Inggris yang menjelaskan bagaimana menangani masalah tertentu, mirip dengan apa yang Anda berikan kepada agen manusia.

Dua keputusan arsitektur kunci membuat Otto sangat efektif dalam mengelola alur kerja yang kompleks:

Pertama, kami membatasi eksposur alat. Mode kegagalan umum untuk agen AI adalah memilih secara tidak benar dari terlalu banyak pilihan. Untuk setiap prosedur, kami hanya mengekspos subset kecil alat yang relevan kepada Otto. Misalnya, dalam alur kerja penggantian kartu, Otto mungkin hanya melihat 1-2 alat bukan semua 30 yang terdaftar di sistem. Ini secara dramatis meningkatkan akurasi dengan mengurangi ruang keputusan.

Kedua, kami telah membangun kembali sebagian besar infrastruktur asisten AI biasa untuk memungkinkan penalaran rantai pikiran yang ekstensif. Daripada hanya melemparkan prosedur ke asisten OpenAI atau Anthropic, arsitektur kami memungkinkan beberapa langkah pemrosesan antara input dan output. Ini memungkinkan penalaran yang lebih dalam dan hasil yang lebih dapat diandalkan.

Gradient Labs menyebutkan mencapai “kualitas superhuman” dalam dukungan pelanggan. Apa yang dimaksud dengan “kualitas superhuman” bagi Anda, dan bagaimana Anda mengukurnya secara internal?

Kualitas superhuman berarti menyediakan dukungan pelanggan yang dapat diukur lebih baik daripada yang dapat dicapai oleh manusia. Tiga contoh berikut mengilustrasikan ini:

Pertama, pengetahuan yang komprehensif. Agen AI dapat memproses sejumlah besar informasi dan memiliki pengetahuan yang rinci tentang perusahaan. Sebaliknya, manusia biasanya hanya mempelajari subset kecil informasi, dan ketika mereka tidak tahu sesuatu, mereka harus berkonsultasi dengan basis pengetahuan atau mengalihkan ke rekan. Ini menyebabkan pengalaman yang frustrasi di mana pelanggan dipindahkan antara tim. Sebaliknya, agen AI memiliki pemahaman yang mendalam tentang perusahaan dan prosesnya, menyediakan jawaban yang konsisten dan ujung-ke-ujung – tidak ada pengalihan diperlukan.

Kedua, pencarian yang tidak malas – AI cepat dalam mengumpulkan informasi. Sementara manusia mencoba menghemat waktu dengan mengajukan pertanyaan kepada pelanggan sebelum menyelidiki, AI secara proaktif memeriksa informasi akun, bendera, peringatan, dan pesan kesalahan sebelum percakapan dimulai. Jadi, ketika pelanggan secara samar mengatakan “Saya memiliki masalah dengan X,” AI dapat segera menawarkan solusi daripada mengajukan beberapa pertanyaan klarifikasi.

Ketiga, kesabaran dan konsistensi kualitas. Tidak seperti manusia yang menghadapi tekanan untuk menangani sejumlah balasan per jam, AI kami mempertahankan kualitas yang konsisten, kesabaran, dan komunikasi yang ringkas. Ini menjawab dengan sabar selama yang diperlukan tanpa terburu-buru.

Kami mengukur ini terutama melalui skor kepuasan pelanggan. Untuk semua pelanggan saat ini, kami mencapai skor CSAT rata-rata 80%-90% – biasanya lebih tinggi daripada tim manusia mereka.

Anda telah sengaja menghindari mengikat Gradient Labs ke penyedia LLM tunggal. Mengapa pilihan ini penting, dan bagaimana ini mempengaruhi kinerja dan keandalan untuk klien Anda?

Selama dua tahun terakhir, kami telah mengamati bahwa perbaikan kinerja terbesar kami datang dari kemampuan kami untuk beralih ke model terbaik berikutnya setiap kali OpenAI atau Anthropic merilis sesuatu yang lebih cepat, lebih baik, atau lebih akurat. Kelenturan model telah menjadi kunci.

Fleksibilitas ini memungkinkan kami untuk terus meningkatkan kualitas sambil mengelola biaya. Beberapa tugas memerlukan model yang lebih kuat, yang lain kurang. Arsitektur kami memungkinkan kami untuk beradaptasi dan berevolusi seiring waktu, memilih model optimal untuk setiap situasi.

Akhirnya, kami akan mendukung LLM open-source pribadi yang dihosting pada infrastruktur pelanggan. Karena arsitektur kami, ini akan menjadi transisi yang sederhana, yang sangat penting ketika melayani bank yang mungkin memiliki persyaratan khusus tentang penerapan model.

Gradient Labs tidak hanya membangun chatbot — Anda bertujuan untuk menangani proses back-office juga. Apa saja tantangan teknis atau operasional terbesar dalam mengotomatisasi tugas-tugas tersebut dengan AI?

Ada dua kategori proses yang berbeda, masing-masing dengan tantangannya sendiri:

Untuk proses yang lebih sederhana, teknologi sudah ada. Tantangan utama adalah integrasi – menghubungkan ke banyak sistem dan alat khusus yang digunakan lembaga keuangan, karena sebagian besar operasi pelanggan melibatkan sistem internal yang beragam.

Untuk proses yang kompleks, tantangan teknis yang signifikan masih ada. Proses ini biasanya memerlukan manusia untuk dilatih selama 6-12 bulan untuk mengembangkan keahlian, seperti penyelidikan penipuan atau penilaian pencucian uang. Tantangan di sini adalah transfer pengetahuan — bagaimana kami memberi agen AI pengetahuan domain yang sama? Itu adalah masalah yang sulit yang masih semua orang di ruang ini coba selesaikan.

Bagaimana Gradient Labs mengimbangkan kebutuhan akan kecepatan dan efisiensi AI dengan persyaratan kepatuhan yang ketat di industri yang diatur?

Ini memang keseimbangan, tetapi pada tingkat percakapan, agen kami hanya membutuhkan waktu lebih lama untuk berpikir. Ini mengevaluasi beberapa faktor: Apakah saya memahami apa yang pelanggan tanyakan? Apakah saya memberikan jawaban yang benar? Apakah pelanggan menunjukkan tanda-tanda kerentanan? Apakah pelanggan ingin mengajukan keluhan?

Pendekatan yang disengaja ini meningkatkan latensi – waktu respons median kami mungkin 15-20 detik. Namun bagi lembaga keuangan, itu adalah pertukaran yang adil. Waktu respons 15 detik masih jauh lebih cepat daripada balasan manusia, sementara jaminan kualitas jauh lebih penting bagi perusahaan yang diatur yang kami kerjakan.

Apakah Anda memprediksi masa depan di mana agen AI dipercaya tidak hanya untuk dukungan tetapi juga untuk tugas pengambilan keputusan yang lebih berisiko di dalam lembaga keuangan?

Lembaga keuangan sudah menggunakan teknik AI tradisional untuk keputusan berisiko tinggi sebelum gelombang AI generatif saat ini. Di mana saya melihat kesempatan nyata sekarang adalah dalam orkestrasi – bukan membuat keputusan, tetapi mengoordinasikan seluruh proses.

Misalnya, pelanggan mengunggah dokumen, agen AI mengalihkannya ke sistem validasi, menerima konfirmasi keabsahan, dan kemudian memicu tindakan dan komunikasi pelanggan yang sesuai. Fungsi orkestrasi ini adalah di mana agen AI unggul.

Untuk keputusan berisiko tinggi itu sendiri, saya tidak melihat banyak perubahan dalam waktu dekat. Model ini memerlukan keterjelasan, pencegahan bias, dan persetujuan melalui komite risiko model. Model bahasa besar akan menghadapi tantangan kepatuhan yang signifikan dalam konteks ini.

Menurut Anda, bagaimana AI akan mengubah pengalaman pelanggan untuk bank, perusahaan fintech, dan sektor yang diatur lainnya dalam 3-5 tahun ke depan?

Saya melihat lima tren utama yang mengubah pengalaman pelanggan:

Pertama, interaksi omni-channel yang sebenarnya. Bayangkan memulai obrolan di aplikasi perbankan Anda, lalu beralih dengan mulus ke suara dengan agen AI yang sama. Suara, panggilan, dan obrolan akan melebur menjadi satu pengalaman yang berkelanjutan.

Kedua, antarmuka pengguna yang adaptif yang meminimalkan navigasi dalam aplikasi. Daripada berburu melalui menu untuk fungsi tertentu, pelanggan hanya akan menyuarakan kebutuhan mereka: “Tolong tingkatkan batas saya” – dan tindakan itu terjadi segera melalui percakapan.

Ketiga, ekonomi unit yang lebih baik. Dukungan dan operasi adalah pusat biaya yang besar. Mengurangi biaya ini bisa memungkinkan bank untuk melayani pelanggan yang sebelumnya tidak menguntungkan atau mengalihkan penghematan kepada pengguna — terutama di segmen yang belum terlayani.

Keempat, dukungan yang luar biasa pada skala. Saat ini, startup dengan sedikit pelanggan dapat menyediakan dukungan yang dipersonalisasi, tetapi kualitas biasanya memburuk ketika perusahaan tumbuh. AI membuat dukungan yang hebat dapat diskalakan, bukan hanya memungkinkan.

Kelima, dukungan pelanggan akan bertransformasi dari kebutuhan yang frustrasi menjadi layanan yang benar-benar membantu. Ini tidak lagi dianggap sebagai biaya infrastruktur yang intensif tenaga kerja, tetapi sebagai titik kontak pelanggan yang berharga, efisien, dan yang meningkatkan pengalaman secara keseluruhan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Gradient Labs.