Teknologi Sendiri Tidak Menjamin Adopsi: Pelajaran dari Membangun Chatbot AI Internal

Ketika adopsi AI dipercepat di seluruh industri, mengirimkan chatbot untuk mendukung aplikasi internal yang baru diluncurkan tampak seperti keputusan yang logis. Namun, aplikasi itu sendiri menantang harapan pengguna konvensional. Ini memperkenalkan alur kerja baru yang dibangun pada teknologi yang muncul yang tidak dikenal oleh sebagian besar pengguna.

Untuk mengurangi gesekan dan meningkatkan adopsi, chatbot dirancang untuk menjawab pertanyaan tentang aplikasi dan teknologi yang mendasarinya. Tujuannya adalah untuk membantu pengguna memahami tidak hanya apa yang harus dilakukan, tetapi juga mengapa sistem berperilaku dengan cara tertentu. Kami percaya bahwa menyediakan penjelasan kontekstual akan mempercepat pembelajaran dan mengurangi kebingungan.

Dari awal, agen AI dirancang sebagai solusi dengan cakupan terbatas. Ini dirancang secara ketat untuk mendukung dokumentasi dan menyediakan bantuan pengguna. Konseptual, chatbot dimaksudkan untuk berfungsi sebagai pengganti dinamis untuk dokumen Pertanyaan yang Sering Diajukan tradisional, menawarkan antarmuka yang dapat diobrolkan, dapat dicari, dan terus tersedia dengan fungsionalitas yang diperluas di luar konten statis.

Untuk mengintegrasikan agen ke dalam lingkungan obrolan internal organisasi, kami perlu memahami bagaimana pesan terstruktur dirender, bagaimana riwayat percakapan disimpan, dan bagaimana sistem mengidentifikasi peserta dalam utas. Ini memungkinkan kami untuk menentukan variabel inti yang diperlukan untuk memulai pemrosesan pertanyaan pengguna.

Menghubungkan Model: Dari Halusinasi ke Konteks yang Dapat Diandalkan

Model bahasa besar sangat kuat, tetapi tanpa pengaitan kontekstual, mereka rentan terhadap halusinasi. Untuk mengatasi ini, kami mengimplementasikan teknik vector embedding.

Panduan pengguna, dokumentasi internal, dan visi produk diubah menjadi representasi vektor numerik dari teks. Embedding ini menangkap makna semantik, memungkinkan sistem untuk mencocokkan konsep daripada mengandalkan pencocokan kata kunci sederhana.

Ketika pengguna mengajukan pertanyaan, sistem mengubah kueri menjadi representasi vektor dan membandingkannya dengan embedding yang disimpan. Ini mengambil dokumen yang paling relevan secara semantik dan menyuntikkan dokumen tersebut ke dalam prompt model. Model kemudian menghasilkan respons yang didasarkan pada dokumen spesifik tersebut, sering kali merangkum informasi yang relevan.

Pendekatan ini secara signifikan meningkatkan akurasi respons. Alih-alih menghasilkan jawaban berdasarkan pengetahuan umum, model merespons menggunakan dokumentasi organisasi kami sendiri sebagai konteks.

Kompleksitas Tersembunyi dari Manajemen Konteks

Sangat penting untuk menyertakan riwayat percakapan dalam prompt sehingga bot dapat menafsirkan pertanyaan lanjutan dan mempertahankan kontinuitas. Tanpa sejarah, interaksi menjadi terfragmentasi dan berulang. Pengguna sering menghaluskan pertanyaan mereka secara bertahap, dan tanpa konteks, bot tidak dapat menafsirkan referensi seperti “opsi itu” atau “langkah sebelumnya.”

Namun, menyertakan terlalu banyak sejarah menciptakan masalah yang berbeda: batas token. Ini terjadi ketika model bahasa memotong input yang melebihi jendela konteks maksimum. Jika pertanyaan atau percakapan menjadi terlalu panjang, informasi penting bisa hilang. Ini tidak menghasilkan kesalahan eksplisit, tetapi respons kualitas yang menurun atau pengambilan yang terpengaruh.

Untuk mengatasi ini, kami mengimplementasikan strategi untuk mengontrol ukuran prompt, memprioritaskan konten yang relevan, dan memantau panjang pertanyaan. Kami bereksperimen dengan merangkum pesan yang lebih lama dan secara selektif hanya menyertakan bagian paling relevan dari percakapan. Konteks sangat penting tetapi harus dikelola dengan hati-hati.

Mengembangkan Kemampuan dan Menciptakan Kebingungan

Di luar menjawab pertanyaan berbasis dokumentasi, kami memperluas kemampuan bot dengan menambahkan fungsi backend yang dapat mengekstrak informasi publik tertentu langsung dari aplikasi. Ini memungkinkan pengguna untuk mengambil data dari obrolan tanpa masuk ke aplikasi itu sendiri. Ide ini adalah untuk mengurangi gesekan dan memperkuat chatbot sebagai antarmuka yang berguna, bukan hanya lapisan pengetahuan statis.

Namun, ekstensi ini menciptakan kebingungan bagi beberapa pengguna. Setelah bot mulai mengambil data langsung, pengguna mulai bertanya kepadanya untuk menjalankan tindakan yang memerlukan interaksi langsung di dalam platform. Mereka menganggap chatbot dapat menggantikan langkah operasional, termasuk yang memerlukan autentikasi atau eksekusi sengaja di dalam platform.

Bot tidak pernah dirancang untuk melakukan tindakan tersebut, tetapi perbedaan antara bantuan informasional dan eksekusi operasional tidak selalu jelas.

Mengintegrasikan data langsung juga memperkenalkan pertimbangan teknis baru. Kami perlu mendefinisikan kapan pertanyaan harus melalui pengambilan berbasis embedding dan kapan harus memicu panggilan backend. Logika keputusan itu memerlukan desain yang hati-hati. Selain itu, kami harus menyetel respons untuk menangani pengecualian teknis dengan elegan dan menghindari memaparkan kesalahan sistem mentah ke pengguna.

Kemampuan Multibahasa Bukan Otomatis

Selama pengujian, kami menyadari bahwa bot secara konsisten berperforma lebih baik dalam bahasa Inggris daripada bahasa lain yang digunakan dalam Jalasoft. Alasan utamanya adalah struktural: sebagian besar dokumentasi yang digunakan untuk menghasilkan embedding ditulis dalam bahasa Inggris, dan model embedding yang kami pilih dioptimalkan untuk kesamaan semantik bahasa Inggris.

Ini tidak mendukung pengambilan lintas bahasa atau perbandingan semantik di seluruh bahasa. Sebagai hasilnya, kueri non-Inggris sering mengambil dokumentasi yang kurang relevan, menghasilkan respons yang lebih lemah.