Suara Saat Ini Adalah Cara Terburuk untuk Berkomunikasi dengan AI

Penelitian baru menunjukkan bahwa metode paling populer yang digambarkan dalam fiksi ilmiah untuk berinteraksi dengan AI sebenarnya menghasilkan hasil yang lebih buruk daripada bahkan prompt yang diketik dengan buruk.

Dari HAL hingga Deep Thought, dari C3P0 hingga Wall-E, bentuk ideal dari hubungan manusia-AI selalu berpusat pada kontrol suara; dan ini telah terwujud dalam dunia nyata, dari sistem asisten awal seperti Siri dan Alexa, hingga kueri bahasa dan percakapan dengan rentang LLM terdepan saat ini.

Gagasan ini muncul selama era yang kurang bebas, di mana – kecuali penulis dan jurnalis – tindakan mengetik dianggap sebagai ‘pekerjaan setengah terampil’, dan dilakukan hampir secara eksklusif oleh perempuan – dengan perempuan itu sendiri jarang menghasilkan konten yang mereka ketik.

Kekuasaan dan kekuatan ditandai dengan wacana: pertemuan dan pertemuan tingkat tinggi. Oleh karena itu, tampaknya jelas bahwa dengan bahasa yang kompleks menunjukkan kecerdasan, kata yang diucapkan akan menjadi medium alami AI.

Selain pertimbangan lain, pertukaran teks tidak terlalu sesuai untuk TV dan film; bahkan film fiksi ilmiah yang berani seperti Colossus: The Forbin Project (1970), yang menggambarkan komputer yang merespons perintah vokal manusia dalam bentuk teks, segera beralih ke respon vokal sepenuhnya:

Adegan dari ‘Colossus: The Forbin Project’ (1970), menampilkan superkomputer besar yang segera melampaui batas bahasa berbasis teks, menjadi vokal dan despotic segera setelah diaktifkan. Sumber: Universal Pictures

Tulis atau Bicara?

Meskipun model AI terkemuka menawarkan antarmuka audio asli untuk pengguna, penelitian baru dari AS telah menyimpulkan bahwa berbicara dengan AI kemungkinan merupakan cara paling tidak efektif untuk mendapatkan hasil yang diinginkan dari itu – terutama jika Anda mengharapkan bentuk output yang signifikan, seperti kode, sebagai respons terhadap kueri Anda.

Menurut makalah tersebut, berbicara dengan LLM seperti ChatGPT atau Gemini saat ini menghasilkan hasil yang lebih buruk daripada mengetik prompt atau kueri, bahkan ketika prompt yang diketik mengandung kesalahan biasa.

Ini karena input suara lebih mungkin direstrukturisasi oleh sistem transkripsi dengan cara yang menghilangkan informasi yang modelnya butuhkan. Ini terjadi karena transkripsi dari audio harus menghilangkan disfluensi seperti ‘erm’ dan ‘seperti’, serta kecenderungan untuk memulai ulang (yaitu, ‘memulai lagi’), serta menavigasi ambiguitas tata bahasa dan ‘konstruksi santai’ (yaitu, kalimat yang mengalir ke kalimat baru tanpa penyelesaian yang tepat).

Para penulis menyatakan:

‘Berbicara sekarang merupakan jalur pertama ke dalam model bahasa rather than sebuah niche satu. Agen pengkodean seperti Claude Code dan Codex menerima instruksi yang diktat. Asisten telepon seperti Google Assistant dan Siri mengarahkan permintaan yang diucapkan ke backend LLM. Antarmuka depan dictation seperti Typeless menambahkan lapisan LLM-powered yang membersihkan dan merancang ulang permintaan pengguna sebelum dikirim.

‘Dalam setiap kasus, model menerima transkrip, dan dalam setiap kasus, pembicara mungkin tidak memeriksa string yang sebenarnya dikirim. Apa pun yang pipeline transkripsi tinggalkan, atau menulis ulang, adalah apa yang model harus jawab.’

Ini menyangkal gagasan bahwa input teks lebih unggul karena itu ‘asli’; itu tidak asli dalam arti apa pun, karena a) itu selalu draf ulang dengan cara tertentu sebelum transmisi ke AI, dan b) bahasa teks hanya salah satu komponen dalam ruang laten yang mengembalikan jawaban.

Penelitian ini menemukan bahwa kesalahan pengetikan biasa hanya memiliki efek yang cukup kecil pada kinerja, sementara ucapan percakapan, transkrip yang dibersihkan, dan terutama transkrip yang dikompresi AI, secara konsisten menyebabkan penurunan akurasi yang lebih besar dalam tugas alasan dan pengembangan kode.

Penelitian baru ini berjudul Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations, dan berasal dari empat penulis di Santa Monica College dan University of Southern California.

(Catatan: Penelitian ini menggabungkan ‘Metode’ dan ‘Tes/Hasil’ dengan cara yang tidak dapat dengan mudah dipisahkan menjadi urutan analisis saya yang biasa. Oleh karena itu, saya terpaksa untuk memampatkan dan memilih dengan tangan yang lebih berat daripada biasanya.)

Metode

Sebuah ‘suite gangguan’ yang disebut Human Input Variation Engine (HIVE) dikembangkan oleh para penulis, untuk mensimulasikan jenis kesalahan yang diperkenalkan ketika orang mengetik prompt pada keyboard QWERTY, atau berbicara melalui sistem transkripsi suara:

Skema konseptual untuk Human Input Variation Engine (HIVE). Prompt pengguna mencapai model bahasa melalui suara, keyboard QWERTY, atau salin-tempel langsung, dengan yang terakhir berfungsi sebagai referensi ‘bersih’. Warna mengidentifikasi saluran input daripada metode implementasi, dengan operator suara yang menggabungkan transfer gaya LLM dan aturan deterministik, sementara operator keyboard bergantung sepenuhnya pada aturan deterministik. Panel kanan menunjukkan rentang respons yang dapat dihasilkan model di bawah input yang rusak. Sumber

HIVE memodelkan tiga jalur yang dilalui prompt untuk mencapai model bahasa: melalui suara; keyboard QWERTY; atau salin-tempel langsung – dengan yang terakhir berfungsi sebagai referensi yang tidak dimodifikasi untuk dibandingkan dengan input lain. Dua operator tambahan berfungsi sebagai kontrol eksperimental, dengan mengatur ulang pertanyaan dan konteks, atau memutarkan opsi jawaban multiple-pilihan.

Operator gangguan itu sendiri diimplementasikan melalui aturan deterministik atau transfer gaya LLM dengan Qwen2.5-7B. Hal ini memungkinkan kedua metode input untuk dievaluasi dalam kondisi yang terkendali dan dapat dibandingkan secara langsung.

Kondisi Tes dan Hasil

Eksperimen dilakukan di Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; dan Phi-4, menggunakan lima seeds. Enam benchmark yang digunakan adalah GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; dan TruthfulQA MC1.

Set tes menggunakan 200 item per benchmark, dengan 164 item untuk set HumanEval lengkap. Greedy decoding (memilih token berikutnya yang paling mungkin setiap kali) digunakan, sehingga setiap prompt yang terganggu dapat dibandingkan dengan referensi bersihnya dalam run model yang sama, menghasilkan 550.000 jawaban yang dinilai di seluruh 17 perubahan prompt dan dua tes kontrol (tes perbandingan yang digunakan untuk mengisolasi efek tertentu).

Langkah-langkah diambil untuk memastikan bahwa kontaminasi set tes (tumpang tindih dengan data yang model mungkin lihat selama pelatihan) tidak terjadi:

Suite gangguan lengkap yang digunakan dalam penelitian, menunjukkan bagaimana akurasi berubah terhadap prompt bersih di seluruh perubahan transkripsi suara, kesalahan keyboard QWERTY, dan tes kontrol. Baris pertama memberikan akurasi baseline yang bersih, sementara baris berikutnya menunjukkan perubahan titik persentase. Merah menandai operator yang paling merusak dalam setiap blok dan kolom, biru menandai yang paling tidak merusak.

Hasil yang paling jelas dalam penelitian ini adalah bahwa input suara lebih merusak daripada input keyboard di seluruh kondisi tes utama, dengan perubahan suara yang mengurangi akurasi model sekitar tiga kali lebih banyak daripada kesalahan pengetikan. Hasil yang paling buruk datang ketika permintaan yang diucapkan secara otomatis ditulis ulang untuk terdengar lebih rapi dan ringkas, karena pembersihan itu sering mengubah struktur permintaan yang model terima.

Hal ini penting, karena hasil yang lebih lemah untuk suara tidak disebabkan oleh ‘sampah’ suara yang jelas: meskipun filler seperti ‘erm’ dan ‘seperti’ memang penting (karena menambahkan mereka ke prompt teks yang bersih menurunkan akurasi), menghilangkan filler dari transkrip suara tidak memulihkan kinerja.

Pertahanan Diri

Oleh karena itu, masalah yang lebih besar adalah cara prompt suara direstrukturisasi sebelum mencapai model.

Pertanyaan sentral untuk penelitian ini adalah apakah model masih menerima cukup prompt asli untuk membangun kembali niat pengguna; kesalahan pengetikan sering merusak ‘permukaan’ kata tanpa menghilangkan kata itu sepenuhnya, sehingga konteks sekitarnya masih dapat membantu model menyimpulkan apa yang dimaksud.

Sebaliknya, transkrip suara yang ‘dibersihkan’ mungkin menggantikan kalimat asli pengguna dengan versi yang lebih singkat dan lebih halus yang tidak lagi mempertahankan hubungan yang sama antara fakta.

Ini adalah alasan mengapa kesalahan keyboard sering kurang merusak: para peneliti menemukan bahwa huruf yang dipertukarkan, huruf yang digandakan, spasi yang hilang, dan kesalahan kunci terdekat biasanya meninggalkan sebagian besar kata asli yang dapat dipulihkan, sementara pembersihan suara lebih sering menghilangkan atau mengatur ulang informasi sebelum model memiliki kesempatan untuk menafsirkannya.

Hilang dalam Terjemahan

Salah satu contoh bagaimana referen dapat ‘hilang’ oleh gangguan dalam perjalanan dari pengguna ke LLM, yang ditampilkan dalam makalah, adalah ketika frasa ‘dia memberikan jumlah yang sama [buku] kepada anak-anaknya’ diartikan sebagai berarti uang (bukan buku). Dalam kasus ini, istilah ‘jumlah’ menjadi terlepas dari referennya dan salah mengaplikasikan asosiasi yang paling umum (uang):

Seberapa banyak pertanyaan asli yang selamat dari setiap perubahan input. Titik besar menunjukkan jenis gangguan individu, sementara titik kecil menunjukkan versi yang lebih kuat dari kesalahan keyboard yang sama.

Efek ini paling kuat ketika model harus membangun jawaban dari prompt, bukan memilih dari opsi yang sudah disediakan: tugas aritmatika dan pengembangan kode menderita lebih karena mereka bergantung pada mempertahankan hubungan yang tepat dalam permintaan, sedangkan tes multiple-pilihan kurang terkena kerusakan jenis ini.

Para penulis menyimpulkan:

‘Kami menemukan bahwa berbicara adalah saluran yang mahal, bahwa apa yang merusak biaya adalah seberapa banyak tokenisasi pertanyaan asli yang dihancurkan, dan bahwa baik kontaminasi set tes maupun adaptasi ringan tidak menghitung atau memperbaiki kerusakan.

‘Beberapa kesimpulan mengikuti. Jika Anda mengetik, model penalaran menyerap kesalahan Anda. Jika Anda mendikte, itu tidak, sehingga frasa yang Anda ucapkan adalah frasa yang model kerjakan.

‘Dan jika Anda membangun alat dictation, jangan merancang ulang atau merestruktur apa yang pengguna katakan: hapus disfluensi secara minimal dan biarkan homofon tetap.

‘Yang terakhir paling penting, karena antarmuka depan dictation menjadi cara default untuk mencapai model dan lapisan penulisan ulang mereka adalah kerusakan terbesar yang kami ukur dan hal termurah untuk diubah.’

Kesimpulan

Siapa pun yang pernah harus melakukan transkripsi wawancara secara manual (sebuah tugas yang umum dan sunyi dalam era sebelum AI) akan tahu betapa interpretatifnya proses itu, kecuali jika narasumber atau pembicara sangat fasih, atau – seperti yang sering terjadi – hanya mengulangi daftar anekdot yang biasa dalam cara yang monoton.

Di luar kasus-kasus khusus tersebut, ketika kita berbicara dengan orang, kita secara otomatis menghilangkan disfluensi dan menghitung makna. Ini secara tidak terhindarkan membuat transkripsi yang berguna menjadi tindakan interpretatif, menghasilkan teks yang mewakili niat pembicara lebih baik daripada transliterasi yang harfiah dan sempurna; dan menarik untuk dicatat bahwa jembatan audio ke LLM bergumul dengan cara yang sama untuk mempertahankan atau bahkan mendapatkan makna yang sama dengan ekivalen teks.

Ini masuk akal untuk mengharapkan bahwa kerangka kerja yang lebih baru akan mendapat manfaat dari penelitian lebih lanjut dan (semoga) dataset yang lebih populous yang akan membantu menjembatani kesenjangan yang digarisbawahi dalam karya baru ini. Sampai saat itu, penelitian baru ini menunjukkan bahwa komunikasi suara dengan AI mungkin lebih sesuai untuk perintah singkat yang telah menjadi ciri sistem ‘asisten’ tingkat konsumen.

Dipublikasikan pertama kali pada hari Rabu, 12 Agustus 2026