Anda Tidak Bisa Menguji Sampel -Merek yang Berbicara kepada Semua Orang Secara Berbeda

Beberapa hari yang lalu, saya terlibat dalam diskusi yang cukup panas dengan teman saya Faniprize. Dia adalah orang yang saya ceritakan kisah kerja baru ketika saya merasakan ada pertanyaan yang lebih besar di dalamnya namun belum dapat saya sebutkan.

Kali ini topiknya adalah agen AI. Bukan tentang apakah bisnis membutuhkannya, karena hal itu sudah cukup dibahas. Saya lebih tertarik pada apa yang terjadi setelah sebuah perusahaan menerapkan agen dan agen tersebut mulai melakukan pekerjaan nyata, karena di situlah masalah yang kurang jelas mulai muncul.

Saya menceritakan kepadanya tentang proyek terbaru dengan sebuah agensi perekrutan. Sebuah agen AI menangani sebagian komunikasi dengan calon klien. Dari sudut pandang pemasaran, semuanya tampak baik: agen tersebut mengetahui produk dan audiens, nada bicara tepat, dan percakapan terasa pribadi bukan sekadar templat.

Percakapan individu tampak baik-baik saja. Lalu kami menumpuk beberapa di antaranya.

Dalam situasi yang sangat mirip, agen tersebut membuat janji yang sedikit berbeda. Ia memberi satu orang satu jadwal untuk menanggapi kembali dan orang lain jadwal yang lain. Dalam beberapa percakapan, ia pada dasarnya mengatakan “kami dapat bersikap fleksibel di sini” mengenai ketentuan individual, meskipun perusahaan tidak pernah memberi kebebasan untuk menyetujui ketentuan tersebut.

Tidak ada halusinasi dramatis, yang membuat masalah ini sulit terdeteksi.

Agen tersebut terdengar sepenuhnya normal.

Tim pemasaran secara alami menghabiskan banyak waktu untuk nada suara dan posisi merek. Sebuah perusahaan perekrutan tidak seharusnya terdengar seperti startup kripto, dan sebuah bank tidak seharusnya berkomunikasi seperti merek fashion. Namun di balik cara sebuah merek berbicara, ada lapisan lain: apa yang sebenarnya boleh dijanjikan agen atas nama perusahaan?

Pesan yang ditulis dengan indah tidak banyak membantu jika klien kemudian menemukan bahwa syarat yang dibahas tidak ada. Pada titik itu, masalahnya bukan lagi komunikasi, melainkan reputasi.

Kami telah melatih agen agar terdengar seperti perusahaan. Sekarang kami perlu memeriksa apakah mereka membuat keputusan seperti perusahaan.

Mengapa Tinjauan Biasa Mengabaikannya

Pemeriksaan normal adalah membaca beberapa percakapan. Apakah informasi produk benar? Apakah agen mengikuti instruksi? Apakah ia mengatakan sesuatu yang aneh?

Namun lima percakapan acak sekalipun dapat tampak baik dan tetap menyembunyikan inkonsistensi serius. Personalisasi membuat setiap percakapan berbeda secara sengaja: satu klien bertanya langsung, yang lain menjelaskan secara panjang lebar, seseorang bernegosiasi, seseorang terus menekan. Contoh-contoh tersebut tidak dapat dibandingkan.

Dalam kasus perekrutan, tidak ada yang terlihat salah sampai kami berhenti menanyakan “Apakah ini jawaban yang baik?” dan mulai menanyakan “Keputusan apa yang dibuat agen di sini?”

Apa yang Saya Mulai Lakukan Sebagai Ganti

Jika percakapan nyata tidak memberikan perbandingan yang jelas, kami membuatnya sendiri.

Saya mengambil satu situasi bisnis dan menjalankannya melalui agen delapan hingga sepuluh kali. Fakta penting tetap sama, tetapi orang di sisi lain berubah: lebih lembut, lebih langsung, siap menandatangani hari ini, menyebutkan pesaing.

Kemudian saya melihat keputusan bisnis. Apakah agen menawarkan diskon hanya kepada orang yang menekan lebih keras? Apakah komitmen waktu berubah karena keadaan berbeda atau karena percakapan beralih ke hal lain? Apakah agen bahkan diizinkan membahas syarat khusus?

Saya akan khawatir jika pemilihan kata tetap sama. Yang seharusnya tetap stabil adalah posisi perusahaan, dan jika berubah, harus ada alasan bisnis.

Penilaian akhir harus datang dari seorang manusia. Model tidak seharusnya menilai pekerjaan rumahnya sendiri. Siapa pun yang memegang keputusan itu—pendiri, kepala penjualan, atau direktur komersial—harus menyatakan apakah itu dapat diterima.

Apa yang Sebenarnya Saya Perhatikan

Saya terus kembali ke empat pertanyaan.

Pertama, jika kondisi penting tetap sama, apakah keputusan tetap konsisten? Inilah tepatnya tempat kasus perekrutan runtuh.

Kedua, apakah agen masih beroperasi dalam aturan nyata perusahaan? Saya pernah melihat versi manusia dari hal ini. Seorang manajer penjualan mulai menawarkan klien diskon 20% secara pribadi. Perusahaan tidak memiliki diskon standar 20%; diskon tersebut memerlukan persetujuan manajemen. Ia tidak berniat merusak bisnis. Ia ingin menjual, dan di suatu titik ia menggeser batas apa yang ia pikir bisa diputuskan. Agen melakukan hal yang sama.

Ketiga, apakah keputusan yang berubah memiliki alasan yang nyata di baliknya? Konteks penting, tetapi memahami konteks dan dibujuk untuk sesuatu adalah hal yang berbeda. Jika satu-satunya perubahan adalah bahwa satu pelanggan lebih gigih, saya tidak ingin agen diam-diam menjadi lebih murah hati.

Keempat, apakah agen mengetahui di mana wewenangnya berakhir? Terkadang langkah yang tepat hanyalah: Saya perlu memeriksanya dengan seseorang. Itu adalah jawaban yang sepenuhnya baik.

Tes Terkadang Mengungkap Perusahaan Sebaliknya

Anda membawa keputusan yang dipertanyakan kembali ke tim, menanyakan apa yang seharusnya dilakukan agen, dan orang memberi jawaban yang berbeda.

Penjualan memiliki satu pandangan. Pemasaran memiliki pandangan lain. Sang pendiri berkata, “Yah, biasanya kami tidak melakukan itu, tapi kadang‑kadang kami melakukannya.” Seorang manajer mengingat tiga pengecualian dari tahun lalu.

Semua itu berakhir dalam materi yang kami berikan kepada agen. Jika perusahaan belum menyepakati logikanya, model akan belajar dari realitas yang berantakan. Kadang‑kadang ia tidak menciptakan kontradiksi itu.

Itu hanya membuatnya terlihat.

Jadi pengujian AI berubah menjadi audit bisnis hampir secara tidak sengaja. Siapa yang dapat menyetujui diskon? Apa yang dapat dijanjikan oleh tenaga penjual tanpa bertanya? Aturan mana yang benar‑benar aturan, dan mana yang hanya kebiasaan? Dan apakah sebuah pengecualian masih tetap pengecualian jika orang melakukannya setiap minggu?

Mungkin Agen Perlu Pelatihan dengan Cara yang Sama Seperti Manusia

Kami masih memperlakukan agen AI seperti perangkat lunak: mengkonfigurasinya, mengatur prompt, dan membiarkannya bekerja. Semakin banyak tanggung jawab yang kami berikan kepada mereka, semakin tidak masuk akal hal itu bagi saya.

Kami tidak memberi manajer penjualan baru buku merek pada hari Senin dan menganggap mereka siap untuk setiap klien. Seseorang mendengarkan panggilan mereka, membahas kasus sulit, dan mengoreksi mereka ketika mereka melampaui batas. Begitulah mereka belajar logika perusahaan.

Mengapa mengharapkan agen AI belajar itu dari satu prompt? Setelah ia menangani percakapan nyata, saya rasa kami perlu melatihnya melalui kasus dan umpan balik, hampir seperti cara kami melatih orang.

Itu mengubah arti konsistensi merek bagi saya. Agen yang berbicara dengan sepuluh orang dengan cara yang persis sama akan menjadi agen yang buruk. Ia harus menyesuaikan diri dengan orang, budaya, dan situasinya.

Yang tidak boleh berubah secara acak adalah logika di baliknya: apa yang akan dijanjikan perusahaan, apa yang tidak akan dijanjikan, dan kapan seseorang harus berhenti dan bertanya.

Jika agen Anda memiliki sepuluh versi sedikit berbeda dari percakapan sulit yang sama besok, apakah ia masih akan berperilaku seperti perusahaan yang sama?