Dimitri Masin, CEO & Co-Founder di Gradient Labs – Seri Wawancara

Dimitri Masin adalah CEO dan Co-Founder dari Gradient Labs, sebuah startup AI yang membangun agen dukungan pelanggan otonom yang dirancang khusus untuk industri yang diatur seperti jasa keuangan. Sebelum mendirikan Gradient Labs pada tahun 2023, Masin menjabat sebagai pemimpin senior di Monzo Bank, termasuk Wakil Presiden Ilmu Data, Kejahatan Keuangan, dan Penipuan, dan sebelumnya bekerja di Google. Di bawah kepemimpinannya, Gradient Labs telah dengan cepat mendapatkan traksi, mencapai £1 juta dalam pendapatan berulang tahunan dalam lima bulan setelah peluncuran. Fokus Masin adalah mengembangkan sistem AI yang menggabungkan kinerja tinggi dengan kepatuhan regulasi yang ketat, memungkinkan otomatisasi yang aman dan skalabel untuk operasi pelanggan yang kompleks.

Apa yang menginspirasi Anda untuk meluncurkan Gradient Labs setelah perjalanan yang sukses di Monzo?

Di Monzo, kami telah menghabiskan beberapa tahun bekerja pada otomatisasi dukungan pelanggan, biasanya menargetkan peningkatan efisiensi sebesar 10%. Namun, pada awal 2023, kami menyaksikan pergeseran teknologi yang sangat besar dengan dirilisnya GPT-4. Tiba-tiba, menjadi mungkin untuk mengotomatisasi 70-80% pekerjaan manual yang berulang-ulang secara otonom melalui AI.

Peralihan teknologi yang kami alami saat ini menginspirasi kami untuk memulai Gradient Labs. Dalam karir saya, saya telah melihat dua gelombang revolusioner seperti ini: revolusi mobile (yang terjadi pada awal karir saya), dan sekarang AI. Ketika Anda menyadari bahwa Anda berada di tengah-tengah perubahan yang akan mengubah cara kerja dunia, Anda harus memanfaatkan momen itu. Tim kami tahu – ini adalah saatnya.

Di Monzo, Anda membantu memimpin perusahaan melalui pertumbuhan yang sangat cepat. Apa yang menjadi pelajaran terbesar dari pengalaman itu yang sekarang Anda terapkan di Gradient Labs?

Pertama, keseimbangan antara otonomi dan arahan. Di Monzo, kami awalnya menganggap bahwa orang-orang hanya tumbuh dengan otonomi – bahwa itu yang paling memotivasi mereka. Namun, pandangan itu sekarang tampaknya terlalu sederhana. Saya percaya bahwa orang-orang juga menghargai arahan. Otonomi yang sebenarnya bukanlah mengatakan kepada orang-orang “lakukan apa saja yang Anda putuskan”, melainkan memberikan arahan yang jelas sambil memberi mereka kebebasan untuk menyelesaikan masalah yang telah ditentukan dengan caranya sendiri.

Kedua, bakat terbaik memerlukan kompensasi terbaik. Jika Anda bertujuan untuk merekrut 5% teratas dalam fungsi Anda, Anda harus membayar sesuai. Jika tidak, perusahaan teknologi besar akan merekrut mereka setelah mereka tahu Anda memiliki bakat terbaik yang dibayar kurang.

Ketiga, jangan menciptakan roda baru. Di Monzo, kami mencoba menciptakan pendekatan inovatif untuk struktur kerja, sistem kompensasi, dan tangga karir. Kesimpulan utama: jangan menghabiskan energi untuk menginovasi pada fondasi organisasi – ribuan perusahaan telah menetapkan praktik terbaik. Saya masih melihat postingan LinkedIn tentang “menghilangkan semua judul dan hierarki” – saya telah menyaksikan hal ini berulang kali, dan hampir semua perusahaan akhirnya kembali ke struktur tradisional.

Gradient Labs fokus pada industri yang diatur, yang secara tradisional memiliki kebutuhan yang kompleks. Bagaimana Anda mendekati pembangunan agen AI (seperti Otto) yang dapat beroperasi secara efektif dalam lingkungan ini?

Kami mengambil pendekatan yang tidak biasa, menolak saran untuk merilis dengan cepat dan mengiterasi produk secara langsung. Sebaliknya, kami menghabiskan 14 bulan sebelum merilis Otto, mempertahankan batang kualitas yang sangat tinggi dari awal. Kami perlu menciptakan sesuatu yang bank dan lembaga keuangan akan percayai untuk menangani dukungan pelanggan mereka secara otonom.

Kami tidak membangun co-pilot – kami membangun otomatisasi ujung-ke-ujung dari dukungan pelanggan. Dengan latar belakang kami di jasa keuangan, kami memiliki benchmark internal yang tepat untuk “apa yang terlihat baik”, yang memungkinkan kami untuk menilai kualitas tanpa bergantung pada umpan balik pelanggan. Ini memberi kami kebebasan untuk mengutamakan kualitas sambil berinovasi dengan cepat. Tanpa pelanggan langsung, kami dapat membuat lompatan yang lebih besar, memecahkan hal-hal dengan bebas, dan berubah dengan cepat – pada akhirnya menghasilkan produk yang superior pada peluncuran.

Otto melampaui menjawab pertanyaan sederhana dan menangani alur kerja yang kompleks. Bisakah Anda menjelaskan bagaimana Otto mengelola tugas multi-langkah atau risiko tinggi yang agen AI biasa mungkin gagal?

Kami telah membangun Otto di sekitar konsep SOP (Standar Operasional Prosedur) – pada dasarnya dokumen pedoman yang ditulis dalam bahasa Inggris yang menjelaskan bagaimana menangani masalah tertentu, mirip dengan apa yang Anda berikan kepada agen manusia.

Dua keputusan arsitektur kunci membuat Otto sangat efektif dalam mengelola alur kerja yang kompleks:

Pertama, kami membatasi paparan alat. Mode kegagalan yang umum untuk agen AI adalah memilih secara salah dari terlalu banyak pilihan. Untuk setiap prosedur, kami hanya mengekspos subset kecil alat yang relevan ke Otto. Misalnya, dalam alur kerja penggantian kartu, Otto mungkin hanya melihat 1-2 alat bukan semua 30 yang terdaftar dalam sistem. Ini secara dramatis meningkatkan akurasi dengan mengurangi ruang keputusan.

Kedua, kami telah membangun kembali sebagian besar infrastruktur asisten AI biasa untuk memungkinkan penalaran berantai yang luas. Daripada hanya melemparkan prosedur ke asisten OpenAI atau Anthropic, arsitektur kami memungkinkan beberapa langkah pemrosesan antara input dan output. Ini memungkinkan penalaran yang lebih dalam dan hasil yang lebih dapat diandalkan.

Gradient Labs menyebutkan mencapai “kualitas super” dalam dukungan pelanggan. Apa yang dimaksud dengan “kualitas super” bagi Anda, dan bagaimana Anda mengukurnya secara internal?

Kualitas super berarti menyediakan dukungan pelanggan yang secara terukur lebih baik dari apa yang dapat dicapai oleh manusia. Tiga contoh berikut mengilustrasikan hal ini:

Pertama, pengetahuan yang komprehensif. Agen AI dapat memproses sejumlah besar informasi dan memiliki pengetahuan yang rinci tentang perusahaan. Sebaliknya, manusia biasanya hanya mempelajari subset kecil informasi, dan ketika mereka tidak tahu sesuatu, mereka harus berkonsultasi dengan basis pengetahuan atau mengalihkan ke rekan. Ini menyebabkan pengalaman yang frustrasi di mana pelanggan dipindahkan antar tim. Sebaliknya, agen AI memiliki pemahaman yang mendalam tentang perusahaan dan prosesnya, menyediakan jawaban yang konsisten dan ujung-ke-ujung – tanpa eskalasi.

Kedua, pencarian yang tidak malas – AI cepat dalam mengumpulkan informasi. Sementara manusia mencoba menyelamatkan waktu dengan mengajukan pertanyaan kepada pelanggan sebelum menyelidiki, AI secara proaktif memeriksa informasi akun, bendera, peringatan, dan pesan kesalahan sebelum percakapan dimulai. Jadi, ketika pelanggan secara samar mengatakan “Saya memiliki masalah dengan X”, AI dapat segera menawarkan solusi daripada mengajukan pertanyaan klarifikasi yang berulang-ulang.

Ketiga, kesabaran dan konsistensi kualitas. Tidak seperti manusia yang menghadapi tekanan untuk menangani sejumlah balasan per jam, AI kami mempertahankan kualitas yang konsisten, kesabaran, dan komunikasi yang ringkas. Ini menjawab dengan sabar selama yang diperlukan tanpa terburu-buru.

Kami mengukur ini terutama melalui skor kepuasan pelanggan. Untuk semua pelanggan saat ini, kami mencapai skor CSAT rata-rata 80%-90% – biasanya lebih tinggi dari tim manusia mereka.

Anda telah sengaja menghindari mengikat Gradient Labs ke penyedia LLM tunggal. Mengapa pilihan ini penting, dan bagaimana ini memengaruhi kinerja dan keandalan untuk klien Anda?

Selama dua tahun terakhir, kami telah mengamati bahwa perbaikan kinerja terbesar kami datang dari kemampuan kami untuk beralih ke model terbaik berikutnya setiap kali OpenAI atau Anthropic merilis sesuatu yang lebih cepat, lebih baik, atau lebih akurat. Kelenturan model telah menjadi kunci.

Fleksibilitas ini memungkinkan kami untuk terus memperbaiki kualitas sambil mengelola biaya. Beberapa tugas memerlukan model yang lebih kuat, yang lain kurang. Arsitektur kami memungkinkan kami untuk beradaptasi dan berkembang seiring waktu, memilih model optimal untuk setiap situasi.

Pada akhirnya, kami akan mendukung LLM open-source pribadi yang dihosting pada infrastruktur klien. Karena arsitektur kami, ini akan menjadi transisi yang sederhana, yang sangat penting ketika melayani bank yang mungkin memiliki persyaratan khusus tentang penerapan model.

Gradient Labs tidak hanya membangun chatbot — Anda juga bertujuan untuk menangani proses back-office. Apa yang menjadi tantangan teknis atau operasional terbesar dalam mengotomatisasi tugas-tugas tersebut dengan AI?

Ada dua kategori proses yang berbeda, masing-masing dengan tantangannya sendiri:

Untuk proses yang lebih sederhana, teknologi sudah ada. Tantangan utama adalah integrasi – menghubungkan ke banyak sistem dan alat backend yang dimiliki lembaga keuangan, karena sebagian besar operasi pelanggan melibatkan sistem internal yang beragam.

Untuk proses yang kompleks, tantangan teknis yang signifikan masih ada. Proses-proses ini biasanya memerlukan manusia untuk dipekerjakan dan dilatih selama 6-12 bulan untuk mengembangkan keahlian, seperti penyelidikan penipuan atau penilaian pencucian uang. Tantangan di sini adalah transfer pengetahuan — bagaimana kami memberi agen AI pengetahuan domain yang sama? Itu adalah masalah yang sulit yang masih dicoba oleh semua orang di ruang ini.

Bagaimana Gradient Labs menyeimbangkan kebutuhan akan kecepatan dan efisiensi AI dengan persyaratan kepatuhan yang ketat di industri yang diatur?

Ini tentu saja keseimbangan, tetapi pada tingkat percakapan, agen kami hanya membutuhkan waktu lebih lama untuk berpikir. Ini mengevaluasi beberapa faktor: Apakah saya memahami apa yang ditanyakan pelanggan? Apakah saya memberikan jawaban yang benar? Apakah pelanggan menunjukkan tanda-tanda kerentanan? Apakah pelanggan ingin mengajukan keluhan?

Pendekatan yang disengaja ini meningkatkan latensi – waktu respons median kami mungkin sekitar 15-20 detik. Namun, bagi lembaga keuangan, itu adalah pertukaran yang adil. Waktu respons 15 detik masih jauh lebih cepat dari balasan manusia, sementara jaminan kualitas jauh lebih penting bagi perusahaan yang diatur yang kami kerjakan.

Apakah Anda memprediksi masa depan di mana agen AI dipercaya tidak hanya untuk dukungan tetapi juga untuk tugas pengambilan keputusan yang lebih berisiko di dalam lembaga keuangan?

Lembaga keuangan sudah menggunakan teknik AI yang lebih tradisional untuk keputusan yang berisiko tinggi sebelum gelombang AI generatif saat ini. Di mana saya melihat kesempatan nyata sekarang adalah dalam orkestrasi – bukan membuat keputusan, tetapi mengkoordinasikan seluruh proses.

Misalnya, pelanggan mengunggah dokumen, agen AI mengalihkannya ke sistem validasi, menerima konfirmasi keabsahan, dan kemudian memicu tindakan dan komunikasi pelanggan yang sesuai. Fungsi orkestrasi ini adalah di mana agen AI unggul.

Untuk keputusan yang berisiko tinggi itu sendiri, saya tidak melihat banyak perubahan dalam jangka pendek. Model ini memerlukan keterjelasan, pencegahan bias, dan persetujuan melalui komite risiko model. Model bahasa besar akan menghadapi tantangan kepatuhan yang signifikan dalam konteks ini.

Menurut Anda, bagaimana AI akan mengubah pengalaman pelanggan untuk bank, perusahaan fintech, dan sektor yang diatur lainnya dalam 3-5 tahun ke depan?

Saya melihat lima tren utama yang akan mengubah pengalaman pelanggan:

Pertama, interaksi omni-channel yang sebenarnya. Bayangkan memulai obrolan di aplikasi perbankan Anda, lalu beralih secara mulus ke suara dengan agen AI yang sama.

Kedua, antarmuka pengguna yang adaptif yang meminimalkan navigasi dalam aplikasi. Daripada berburu melalui menu untuk fungsi tertentu, pelanggan hanya perlu menyuarakan kebutuhan mereka: “Tolong tingkatkan batas saya” – dan tindakan itu terjadi segera melalui percakapan.

Ketiga, unit ekonomi yang lebih baik. Dukungan dan operasi adalah pusat biaya yang besar. Mengurangi biaya ini bisa memungkinkan bank untuk melayani pelanggan yang sebelumnya tidak menguntungkan atau mengalihkan tabungan kepada pengguna — terutama di segmen yang belum terlayani.

Keempat, dukungan yang luar biasa dalam skala. Saat ini, startup dengan sedikit pelanggan dapat menyediakan dukungan yang dipersonalisasi, tetapi kualitas biasanya menurun ketika perusahaan tumbuh. AI membuat dukungan yang hebat menjadi skalabel, bukan hanya memungkinkan.

Kelima, dukungan pelanggan akan bertransformasi dari kebutuhan yang frustrasi menjadi layanan yang benar-benar membantu. Ini tidak lagi akan dilihat sebagai biaya infrastruktur yang intensif tenaga kerja, tetapi sebagai titik kontak pelanggan yang berharga, efisien, dan meningkatkan pengalaman secara keseluruhan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Gradient Labs.