Andrew Missey, CTO dan Co-Founder Convos – Seri Wawancara

Andrew Missey, CTO dan Co-Founder Convos, adalah insinyur perangkat lunak dan pemimpin produk dengan pengalaman yang meliputi pengembangan produk AI, arsitektur perangkat lunak, jaringan, dan rekayasa full-stack. Sebelum menjadi co-founder Convos, ia membantu mengembangkan dan meluncurkan dua platform kreatif dan pemasaran yang ditenagai AI di Forum3, menggabungkan teknik rekayasa dengan manajemen produk teknis. Peran sebelumnya di N-able (NABL ), Autoshop Solutions, dan Brand IQ melibatkan membangun aplikasi frontend, sistem backend, dashboard klien, dan alat perangkat lunak internal menggunakan teknologi termasuk Svelte, NestJS, Angular, dan JavaScript. Latar belakang multidisiplin ini memungkinkan dia untuk menghubungkan eksekusi teknis dengan strategi produk saat memimpin pengembangan platform komunikasi Convos yang ditenagai AI.

Convos adalah platform texting yang ditenagai AI yang dikontrol untuk membantu kampanye politik dan perusahaan komunikasi menggantikan pesan massal satu arah dengan percakapan dua arah yang dipersonalisasi dengan skala besar. Platform ini mengubah respons menjadi analisis sentimen waktu nyata, klasifikasi topik, hasil tindakan, metrik keterlibatan, dan wawasan pemilih terstruktur yang dapat digunakan kampanye untuk memperbaiki pendekatan mereka. Sistem AI tertutup ini beroperasi dalam bahan dan pesan yang disetujui kampanye, sambil menyediakan fitur seperti segmentasi kontak, riwayat percakapan, pelacakan tautan, ekspor data, dan jejak audit yang berfokus pada kepatuhan. Convos juga dapat melengkapi infrastruktur texting organisasi yang ada tanpa memerlukan penggantian sistem komunikasi saat ini.

Anda mendirikan Convos setelah mengamati bahwa texting politik dan organisasi telah menjadi komunikasi satu arah yang besar. Apa yang menjadi inspirasi awal yang meyakinkan Anda bahwa ada peluang untuk mengubah texting massal menjadi percakapan yang ditenagai AI, dan apa tantangan teknis terbesar yang Anda hadapi dalam membangun platform ini?

Inspirasi itu datang dari menjadi penerima pesan tersebut.

Sekitar pemilihan 2024, saya dibombardir dengan teks politik, seperti banyak orang lain. Pada suatu titik, saya mulai membalas mereka. Saya bertanya atau merespons, dan tidak pernah ada jawaban. Pesan-pesan itu dikirim dalam jutaan, tetapi saat Anda mencoba memiliki pertukaran yang sebenarnya, tidak ada yang ada di sana.

Hal itu terasa sebagai kesempatan yang sangat terlewatkan. Orang di ujung lain sudah terlibat. Mereka bertanya pertanyaan nyata. Tapi tidak pernah ada respons yang akan dikirim.

Jadi, ide di balik Convos sederhana. Ubah siaran menjadi percakapan yang sebenarnya, dengan skala besar, tanpa memerlukan ruangan penuh orang untuk mendukungnya.

Tantangan teknis terbesar datang dari tiga hal: skala, latensi, dan kepatuhan.

Skala adalah yang paling jelas. Anda mengelola ribuan percakapan secara bersamaan, dan masing-masing memiliki status dan sejarahnya sendiri. Latensi lebih penting daripada yang diharapkan. Jika seseorang membalas dan jawaban membutuhkan waktu terlalu lama, momen itu hilang. Texting terasa hampir seketika, dan pengalaman harus sesuai dengan itu.

Kepatuhan adalah bagian yang paling sulit, dan itu adalah sesuatu yang kami prioritaskan dari awal. Texting politik sangat diatur, dan melakukan kesalahan tidaklah menjadi pilihan. Banyak dari rekayasa awal kami masuk ke dalam memastikan sistem tetap pada pesan dan menghormati persetujuan dan opt-out dengan cara yang jauh melampaui hanya menangkap kata “BERHENTI”.

Convos beroperasi di persimpangan antara AI percakapan, pengiriman pesan skala besar, dan analisis sentimen waktu nyata. Apa pelajaran yang telah Anda pelajari dari penerapan sistem AI yang harus terlibat dengan ribuan orang secara bersamaan sambil tetap terasa pribadi dan otentik?

Pelajaran terbesar adalah bahwa “pribadi dengan skala” adalah sesuatu yang harus direkayasa. Ini tidak terjadi secara default.

Saat Anda menjalankan ribuan percakapan sekaligus, godaan adalah untuk memperlakukan mereka sebagai satu batch besar. Tapi orang yang menerima teks tidak peduli dengan batch Anda. Bagi mereka, itu adalah pertukaran satu lawan satu, dan itu harus terasa seperti itu. Artinya setiap percakapan harus membawa konteks dan sejarahnya sendiri, sehingga balasan sebenarnya merespons apa yang dikatakan orang tersebut, bukan rata-rata dari semua orang.

Kami juga belajar untuk memperhatikan apa yang orang sebenarnya katakan. Balasan tidak hanya balasan. Ini membawa sentimen. Seseorang dapat merespons dengan pertanyaan, dengan antusiasme, dengan frustrasi, atau dengan sinyal yang jelas bahwa mereka ingin dibiarkan sendiri. Membaca nuansa tersebut dengan benar adalah apa yang membuat atau menghancurkan interaksi.

Pada akhirnya, keaslian datang dari mendengarkan, bukan dari terdengar cerdas. Pertukaran yang terasa paling manusiawi adalah yang menjawab pertanyaan sebenarnya dan menghormati waktu orang tersebut.

Anda telah berargumen bahwa banyak organisasi terlalu fokus pada benchmark model sementara mengabaikan kepribadian dan gaya komunikasi. Mengapa Anda percaya bahwa kepribadian menjadi faktor kritis dalam penerapan AI perusahaan, dan bagaimana organisasi harus mengevaluasinya?

Benchmark mengukur kemampuan. Mereka tidak mengukur kesesuaian.

Model dapat mencetak skor sangat baik pada penalaran atau pengkodean dan masih menjadi pilihan yang salah untuk percakapan dengan pemilih. Cara model menyatakan hal-hal, bagaimana hangat atau formal suaranya, apakah itu tahu kapan harus singkat, semua itu sangat penting sekali setelah orang nyata ada di ujung lain.

Di dunia kami, model tidak menyelesaikan masalah matematika. Ini mewakili kampanye dalam pesan teks. Setiap kampanye memiliki suaranya sendiri, dan model harus sesuai dengan itu daripada memaksakan sendiri. Jika nada itu salah, itu tidak peduli seberapa pintar model dasarnya. Interaksi gagal.

Terdapat juga sisi kemampuan yang dilewatkan oleh benchmark. Kampanye dapat memberikan agen petunjuk terperinci tentang apa yang harus dikatakan, apa yang harus dihindari, dan bagaimana menangani topik tertentu. Model harus mengikuti semua itu, konsisten, di seluruh percakapan panjang. Beberapa model jauh lebih baik daripada yang lain dalam mempertahankan instruksi kompleks tanpa mengembara setengah jalan melalui percakapan. Kemampuan itu juga bagian dari kepribadian, karena model yang terdengar hebat tetapi berhenti mengikuti instruksinya bukanlah sesuatu yang dapat Anda letakkan di depan orang nyata.

Itulah mengapa kepribadian menjadi faktor nyata dalam penerapan perusahaan. Saat model menjadi lebih mampu secara umum, celah kemampuan mentah antara mereka menyempit. Apa yang tersisa adalah karakter. Bagaimana mereka berkomunikasi, dan apakah mereka tetap dalam batas yang Anda tetapkan.

Cara untuk mengevaluasinya bukanlah dengan leaderboard. Ini adalah untuk menguji model pada kasus penggunaan nyata Anda, dengan konten nyata Anda, dan membaca outputnya seperti pengguna akhir Anda. Kami melewati model melalui jenis pertukaran yang sama yang mereka tangani dalam produksi dan menilainya berdasarkan apakah percakapan terasa benar. Itu memberitahu Anda jauh lebih banyak daripada skor benchmark apa pun.

Tim Anda telah menguji beberapa model terkemuka dan mengamati perbedaan signifikan dalam kinerja mereka di seluruh tugas. Apa yang telah Anda pelajari tentang kekuatan dan kelemahan model LLM utama saat ini, dan mengapa beberapa lebih cocok untuk pekerjaan percakapan daripada yang lain?

Apa yang telah kami pelajari adalah bahwa tidak ada model terbaik tunggal. Hanya ada model terbaik untuk pekerjaan tertentu.

Beberapa model sangat baik dalam mengikuti instruksi dengan tepat, yang penting saat sistem harus tetap di dalam batas yang ketat. Beberapa lebih kuat dalam nada percakapan alami. Beberapa lebih cepat, yang merupakan kekuatan tersendiri saat latensi menjadi bagian dari pengalaman. Yang lain lebih baik dalam menalar melalui permintaan yang rumit tetapi terasa kaku atau membutuhkan waktu terlalu lama untuk merespons dalam pertukaran kasual.

Untuk pekerjaan percakapan secara khusus, kualitas yang penting tidak selalu yang mendapatkan sorotan. Kecepatan penting. Konsistensi penting. Mengetahui kapan harus singkat penting. Model yang menulis jawaban tiga paragraf yang indah sering kali pilihan yang salah ketika jawaban yang benar adalah satu kalimat.

Tidak ada yang muncul di leaderboard. Anda hanya mempelajarinya dengan meletakkan model di depan pekerjaan nyata dan memperhatikan bagaimana mereka menanganinya.

Banyak perusahaan mengadopsi strategi multi-model daripada mengandalkan satu penyedia AI. Apa keuntungan dari membangun sistem yang dapat beralih antara model, dan apa pertimbangan arsitektur yang diperlukan untuk memungkinkan hal ini?

Keuntungan utama adalah bahwa Anda tidak terkunci.

Jika Anda membangun semuanya di sekitar satu penyedia, Anda mewarisi semua keterbatasan mereka. Harga mereka, batas tarif mereka, latensi mereka, gangguan mereka, dan jadwal rilis mereka menjadi milik Anda. Pendekatan multi-model memungkinkan Anda untuk mengarahkan setiap tugas ke model yang menanganinya dengan terbaik, dan memberi Anda tempat untuk pergi ketika satu penyedia memiliki hari yang buruk.

Ini juga memungkinkan Anda untuk memenuhi biaya dengan pekerjaan. Tidak semua interaksi memerlukan model paling kuat dan paling mahal Anda. Dapat menggunakan model yang lebih ringan untuk pekerjaan sederhana dan menyimpan model berat untuk kasus yang sulit membuat perbedaan nyata pada skala besar.

Arsitektur adalah apa yang membuat ini memungkinkan, dan keputusan kunci adalah membangun lapisan abstraksi antara aplikasi Anda dan model tertentu. Sistem Anda tidak boleh berbicara langsung dengan API penyedia tertentu di seluruh kode basis. Ini harus berbicara dengan antarmuka internal Anda sendiri, dan antarmuka itu memutuskan model mana yang sebenarnya menangani permintaan.

Sekali Anda memiliki itu, Anda dapat menambahkan logika pengarah, fallback ketika penyedia gagal, dan kemampuan untuk beralih antara model tanpa menulis ulang aplikasi Anda. Anda juga memerlukan penanganan konsisten dari prompt dan output di seluruh model, karena masing-masing berperilaku sedikit berbeda, dan sistem Anda harus memuluskan perbedaan tersebut.

Ini lebih banyak pekerjaan di awal. Tapi itu membeli fleksibilitas yang sangat sulit untuk ditambahkan nanti.

Anda baru-baru ini menyoroti bagaimana model AI berevolusi dengan cepat, dengan rilis baru yang kadang-kadang mengubah karakteristik kinerja dengan cara yang tidak terduga. Bagaimana perusahaan harus menyeimbangkan keinginan untuk mengadopsi model terbaru dengan kebutuhan akan stabilitas, keandalan, dan kinerja yang dapat diprediksi?

Jawaban jujurnya adalah bahwa model baru tidak merupakan upgrade sampai Anda telah membuktikan bahwa itu adalah upgrade.

Setiap rilis adalah menarik, dan ada tekanan nyata untuk mengadopsi hal terbaru segera. Tapi kami telah melihat model baru mengubah perilaku dengan cara yang tidak terduga. Sesuatu yang bekerja dengan andal mulai merespons sedikit berbeda, dan dalam sistem produksi, perubahan kecil tersebut menambahkan.

Cara kami menanganinya sederhana. Tidak ada model yang masuk ke dalam pipa kami sampai kami telah menguji tangan kami sendiri. Ketika rilis baru keluar, kami tidak mengambil benchmark atau pengumuman pada kata mereka. Kami duduk dan menjalankannya melalui langkah-langkahnya pada jenis percakapan yang sama yang akan ditangani dalam produksi, dan kami membaca outputnya sendiri.

Langkah tangan ini tidak opsional bagi kami. Model dapat terlihat lebih baik di atas kertas dan masih menangani pertukaran nyata dengan cara yang kami tidak nyaman letakkan di depan pemilih. Satu-satunya cara untuk mengetahuinya adalah dengan meletakkan model melalui situasi yang sama yang sistem kami tangani setiap hari dan melihat bagaimana model sebenarnya merespons.

Ini adalah tempat lain di mana lapisan abstraksi mendapatkan penghargaannya. Karena aplikasi kami tidak bergantung pada model tertentu, kami dapat membawa rilis baru, mengujinya melawan percakapan yang kami tangani sebenarnya, dan membandingkannya secara jujur dengan apa yang kami jalankan saat ini. Jika itu melewati batang, kami beralih. Jika tidak, kami menunggu.

Hallusinasi masih menjadi salah satu penghalang terbesar untuk adopsi AI perusahaan, terutama ketika model bekerja dengan dataset besar dan informasi kompleks. Apa teknik praktis yang telah terbukti paling efektif dalam mengurangi hallusinasi di lingkungan produksi?

Teknik paling efektif yang kami temukan adalah membatasi apa yang model diizinkan untuk mengetahui.

Banyak hallusinasi datang dari meminta model untuk menjawab dari pengetahuan umumnya, di mana model akan dengan senang hati mengisi celah dengan sesuatu yang terdengar benar. Kami melakukan sebaliknya. AI kami bekerja secara ketat dari informasi yang disediakan oleh kampanye. Ini tidak memiliki akses ke internet terbuka, dan tidak mengandalkan kenangan samar tentang dunia.

Jika jawabannya tidak ada dalam materi yang diberikan, respons yang benar adalah mengatakan bahwa tidak memiliki informasi tersebut. Batasan tunggal itu menghilangkan sejumlah besar risiko.

Kami tidak berhenti di situ, bagaimanapun. Kami memiliki beberapa pemeriksaan untuk memastikan bahwa respons sesuai dengan apa yang disediakan oleh kampanye. Bahkan setelah model menghasilkan balasan, balasan itu diperiksa kembali melawan informasi kampanye sebelum dikirim. Jika sesuatu tidak sesuai, itu tidak dikirim.

Di luar itu, teknik praktis adalah tentang pendirian dan pengawasan. Berikan model konteks spesifik dan relevan yang dibutuhkan untuk tugas di depan, bukan tumpukan data besar yang tidak berbeda. Informasi yang lebih fokus, semakin sedikit ruang untuk mengembara.

Kami juga menetapkan batasan yang jelas tentang apa yang sistem diizinkan untuk lakukan dan katakan, dan kami memantau percakapan nyata daripada berasumsi semuanya baik-baik saja. Anda tidak menangkap masalah dengan mempercayai model. Anda menangkapnya dengan memantau output.

Dalam ruang yang diatur seperti texting politik, jawaban yang dibuat-buat adalah kewajiban, jadi kami merancang sistem untuk lebih memilih transparansi daripada menebak.

Sebagai organisasi menerapkan agen AI di seluruh dukungan pelanggan, komunikasi, pemasaran, dan operasi, apa kesalahan yang Anda lihat tim ulangi saat beralih dari proyek pilot ke penerapan skala produksi?

Kesalahan yang saya lihat paling banyak adalah bahwa tim menguji apakah agen mereka bekerja, tetapi tidak apakah agen dapat dipecah.

Saya tidak bisa menghitung berapa kali perusahaan merilis agen AI, dan dalam satu hari seseorang online telah jailbreak itu untuk mengatakan sesuatu yang tidak pernah seharusnya dikatakan. Itu dibawa keluar dari instruksi, diperdaya untuk keluar dari skrip, atau dimanipulasi untuk mewakili merek dengan cara yang berakhir sebagai tangkapan layar yang semua orang lewatkan.

Itu terjadi karena dalam pilot, semua orang berperilaku baik. Anda menguji agen dengan orang yang masuk akal yang mengajukan pertanyaan yang masuk akal, dan itu terlihat hebat. Produksi adalah kebalikannya. Saat sesuatu menjadi publik, sebagian orang yang berbicara dengannya secara aktif mencoba memecahkan itu.

Jika Anda belum menguji untuk kasus tersebut, Anda belum benar-benar mengujinya. Anda harus mencoba memecahkan sistem Anda sendiri sebelum orang lain melakukannya. Dorong itu, umpan input aneh dan bermusuhan, dan lihat apakah itu mempertahankan batasnya saat seseorang secara sengaja bekerja melawannya.

Kesalahan yang diulangi lainnya adalah menganggap demo yang bekerja adalah sistem yang bekerja. Pilot adalah sejumlah percakapan yang diawasi di jalur yang bahagia. Produksi adalah ribuan orang pada semua jam yang berperilaku dengan cara yang tidak Anda antisipasi, dan kasus tepi yang Anda abaikan menjadi peristiwa sehari-hari pada skala besar.

Saran saya adalah untuk menghabiskan waktu lebih sedikit untuk memperbaiki demo dan lebih banyak waktu mencoba memecahkan hal itu sendiri. Jika itu tidak bisa bertahan dari serangan Anda, itu tidak akan bertahan menjadi publik.

Agen AI menjadi semakin mampu menangani percakapan yang sebelumnya memerlukan staf manusia. Di mana Anda melihat keseimbangan antara otomatisasi dan pengawasan manusia dalam lima tahun ke depan, dan mana alur kerja yang Anda percaya harus selalu menyimpan manusia dalam loop?

Ini adalah yang sulit, dan saya tidak pikir siapa pun tahu persis di mana garisnya berada dalam lima tahun. Cara saya memikirkannya, nilai sebenarnya dari AI adalah sebagai pengganda kekuatan. Ini memungkinkan sekelompok kecil orang untuk melakukan jauh lebih banyak daripada yang mereka bisa sendiri.

Tim yang mendapatkan hasil terbaik dari alat ini menggunakan mereka secara tepat seperti itu. AI mengambil volume dan pengulangan, dan orang-orang menghabiskan waktu mereka pada penilaian, strategi, dan situasi yang benar-benar memerlukan manusia. Itu adalah tujuan yang sangat berbeda dari mencoba menghilangkan orang dari gambar.

Saat tujuan adalah penggantian murni, Anda cenderung mendorong teknologi melampaui apa yang sebenarnya dilakukannya, dan itu gagal dengan cara yang terlihat dan mahal. Saat tujuan adalah mengalikan orang Anda, Anda membiarkan AI melakukan apa yang dilakukannya dengan baik dan menyimpan manusia di mana mereka menambahkan nilai terbanyak. Pendekatan kedua bekerja lebih baik, dan itu lebih jujur tentang di mana teknologi benar-benar berada hari ini.

Dalam lima tahun ke depan, saya mengharapkan agen untuk mengambil lebih dan lebih banyak beban percakapan rutin, dan mereka seharusnya. Pekerjaan itu tidak memerlukan orang yang memantau setiap kata.

Alur kerja yang harus selalu melibatkan manusia adalah yang memiliki taruhan tinggi atau situasi yang benar-benar baru. Apa pun yang menyentuh persetujuan, kepatuhan, atau keputusan yang sulit untuk dibatalkan. Orang harus memiliki arah, dan AI harus membantu mereka menutupi jauh lebih banyak tanah daripada yang mereka bisa sendiri.

Menghadap ke depan, apa perkembangan dalam AI percakapan yang paling Anda antusias, dan bagaimana Anda membayangkan platform seperti Convos berkembang saat model menjadi lebih mampu, multimodal, dan otonom?

Apa yang paling saya antusias adalah bahwa percakapan akan terus membaik.

Saat model ditingkatkan, pertukaran yang ditangani platform kami menjadi lebih alami dan lebih berguna tanpa kami harus membangun kembali fondasi setiap kali. Karena kami merancang sistem untuk berpindah antara model, kami dapat membawa peningkatan tersebut saat mereka tiba.

Multimodal adalah perkembangan yang saya ikuti paling dekat. Saat ini percakapan adalah teks. Saat model menangani gambar dan format lain dengan lebih mampu, ada peluang nyata untuk membuat pertukaran ini lebih kaya sambil menjaga kecepatan yang membuat texting bekerja.

Mengenai otonomi, saya optimis tetapi hati-hati. Model yang lebih mampu dirilis bulanan, dan mereka akan dapat menangani banyak hal sendiri. Tapi di ruang yang diatur, otonomi yang lebih besar harus datang dengan disiplin yang lebih besar, bukan lebih sedikit. Batasan-batasan itu penting saat kemampuan tumbuh.

Saya memasuki ini karena saya adalah orang yang mengirim teks ke kekosongan dan tidak pernah mendapatkan apa pun kembali. Itu masih masalah yang paling saya pedulikan. Tidak peduli seberapa mampu model ini, ukuran yang saya kembali adalah sederhana. Apakah orang di ujung lain merasa didengar?

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Convos.