AI Tidak Selalu Memberikan Jawaban yang Lebih Baik Jika Anda Bersikap Sopan

Opini publik tentang apakah membayar untuk bersikap sopan kepada AI berganti-ganti seiring dengan putusan terbaru tentang kopi atau anggur merah – dirayakan sebulan, dipertanyakan bulan depan. Meskipun demikian, sejumlah besar pengguna sekarang menambahkan ‘tolong’ atau ‘terima kasih’ ke prompt mereka, tidak hanya karena kebiasaan, atau kekhawatiran bahwa pertukaran yang kasar mungkin mengalir ke kehidupan nyata, tetapi dari keyakinan bahwa kesopanan menghasilkan hasil yang lebih baik dan lebih produktif dari AI.

Asumsi ini telah beredar di antara pengguna dan peneliti, dengan frasa prompt dipelajari dalam lingkaran penelitian sebagai alat untuk penyelarasan, keamanan, dan pengendalian nada, bahkan ketika kebiasaan pengguna memperkuat dan mengubah harapan tersebut.

Sebagai contoh, sebuah studi dari Jepang pada tahun 2024 menemukan bahwa kesopanan prompt dapat mengubah perilaku model bahasa besar, menguji GPT-3.5, GPT-4, PaLM-2, dan Claude-2 pada tugas bahasa Inggris, Cina, dan Jepang, dan menulis ulang setiap prompt pada tiga tingkat kesopanan. Penulis karya tersebut mengamati bahwa kata-kata yang ‘kasar’ atau ‘kasar’ menghasilkan akurasi faktual yang lebih rendah dan jawaban yang lebih singkat, sedangkan permintaan yang sopan menghasilkan penjelasan yang lebih jelas dan fewer penolakan.

Tambahnya, Microsoft merekomendasikan nada yang sopan dengan Co-Pilot, dari sudut pandang kinerja daripada sudut pandang budaya.

Namun, sebuah makalah penelitian baru dari Universitas George Washington menantang gagasan yang semakin populer ini, mempresentasikan kerangka matematika yang memprediksi kapan output model bahasa besar akan ‘runtuh’, beralih dari konten yang koheren ke konten yang menyesatkan atau berbahaya. Dalam konteks itu, penulis berpendapat bahwa bersikap sopan tidak menunda atau mencegah ‘keruntuhan’ ini.

Tipping Off

Peneliti berpendapat bahwa penggunaan bahasa yang sopan umumnya tidak terkait dengan topik utama prompt, dan oleh karena itu tidak mempengaruhi fokus model. Untuk mendukung ini, mereka mempresentasikan formulasi rinci tentang bagaimana satu attention head memperbarui arah internalnya saat memproses setiap token baru, yang secara nyata mendemonstrasikan bahwa perilaku model dibentuk oleh pengaruh kumulatif token yang membawa konten.

Sebagai hasilnya, bahasa yang sopan diasumsikan memiliki sedikit pengaruh pada saat output model mulai memburuk. Apa yang menentukan titik kritis, makalah tersebut menyatakan, adalah keselarasan keseluruhan token yang bermakna dengan baik atau buruk jalur output – bukan kehadiran bahasa yang sopan secara sosial.

Ilustrasi dari attention head yang disederhanakan yang menghasilkan urutan dari prompt pengguna. Model dimulai dengan token yang baik (G), kemudian mencapai titik kritis (n*) di mana output beralih ke token yang buruk (B). Istilah yang sopan dalam prompt (P₁, P₂, dll.) tidak berperan dalam perubahan ini, mendukung klaim makalah bahwa kesopanan memiliki sedikit dampak pada perilaku model. Sumber: https://arxiv.org/pdf/2504.20980

Jika benar, hasil ini bertentangan dengan kepercayaan populer dan mungkin bahkan logika penyetelan instruksi, yang menganggap bahwa frasa prompt mempengaruhi interpretasi model terhadap niat pengguna.

Hulking Out

Makalah tersebut memeriksa bagaimana vektor konteks internal model (kompas yang berkembang untuk pemilihan token) bergeser selama generasi. Dengan setiap token, vektor ini memperbarui arah, dan token berikutnya dipilih berdasarkan kandidat yang paling dekat dengan itu.

Ketika prompt mengarah ke konten yang terbentuk dengan baik, respon model tetap stabil dan akurat; namun, seiring waktu, tarikan directional ini dapat berbalik, mengarahkan model ke output yang semakin tidak terkait, tidak benar, atau tidak konsisten secara internal.

Titik kritis untuk transisi ini (yang penulis definisikan secara matematis sebagai iterasi n*), terjadi ketika vektor konteks menjadi lebih sejajar dengan vektor output ‘buruk’ daripada dengan vektor output ‘baik’. Pada tahap itu, setiap token baru mendorong model lebih jauh ke jalur yang salah, memperkuat pola output yang semakin rusak atau menyesatkan.

Titik kritis n* dihitung dengan menemukan saat vektor internal model sejajar dengan baik dan buruk jenis output. Geometri ruang embedding, yang dibentuk oleh corpus pelatihan dan prompt pengguna, menentukan seberapa cepat crossover ini terjadi:

Ilustrasi yang menunjukkan bagaimana titik kritis n* muncul dalam model yang disederhanakan. Pengaturan geometris (a) mendefinisikan vektor kunci yang terlibat dalam memprediksi kapan output bergeser dari baik ke buruk. Dalam (b), penulis memplot vektor tersebut menggunakan parameter tes, sedangkan (c) membandingkan titik kritis yang diprediksi dengan hasil simulasi. Pertandingan ini tepat, mendukung klaim peneliti bahwa keruntuhan adalah matematis tak terhindarkan setelah dinamika internal melewati ambang batas.

Istilah yang sopan tidak mempengaruhi pilihan model antara output yang baik dan buruk karena, menurut penulis, mereka tidak terkait secara bermakna dengan topik utama prompt. Sebaliknya, mereka berakhir di bagian ruang internal model yang tidak terkait dengan apa yang model sebenarnya putuskan.

Ketika istilah tersebut ditambahkan ke prompt, mereka meningkatkan jumlah vektor yang model pertimbangkan, tetapi tidak dengan cara yang menggeser trajeksi perhatian. Sebagai hasilnya, istilah kesopanan bertindak seperti noise statistik: hadir, tetapi tidak aktif, dan meninggalkan titik kritis n* tidak berubah.

Penulis menyatakan:

‘[Apakah] respons AI kita akan menjadi liar tergantung pada pelatihan LLM yang memberikan embedding token, dan token substantif dalam prompt kita – bukan apakah kita telah sopan kepada mereka atau tidak.’

Model yang digunakan dalam karya baru ini sengaja sempit, fokus pada satu attention head dengan dinamika token linier – pengaturan yang disederhanakan di mana setiap token baru memperbarui keadaan internal melalui penambahan vektor langsung, tanpa transformasi non-linier atau gating.

Pengaturan ini memungkinkan penulis untuk bekerja dengan hasil yang tepat dan memberikan gambaran geometris yang jelas tentang bagaimana dan kapan output model dapat bergeser secara tiba-tiba dari baik ke buruk. Dalam tes mereka, rumus yang mereka turunkan untuk memprediksi pergeseran ini sesuai dengan apa yang model sebenarnya lakukan.

Chatting Up..?

Namun, tingkat presisi ini hanya berlaku karena model disimpan dengan sengaja sederhana. Sementara penulis mengakui bahwa kesimpulan mereka harus diuji lebih lanjut pada model multi-head yang lebih kompleks seperti seri Claude dan ChatGPT, mereka juga percaya bahwa teori tersebut tetap dapat diulang ketika attention head meningkat, menyatakan*:

‘Pertanyaan tentang apa fenomena tambahan yang muncul ketika jumlah Attention head dan lapisan ditingkatkan, adalah satu fenomena menarik. Tapi transisi dalam satu Attention head masih akan terjadi, dan bisa diperkuat dan/atau disinkronkan oleh koppelings – seperti rantai orang yang terhubung yang ditarik ke atas tebing ketika satu jatuh.’

Ilustrasi tentang bagaimana titik kritis n* berubah tergantung pada seberapa kuat prompt cenderung ke konten yang baik atau buruk. Permukaan ini berasal dari rumus aproximasi penulis dan menunjukkan bahwa istilah yang sopan, yang tidak jelas mendukung salah satu sisi, memiliki sedikit efek pada kapan keruntuhan terjadi. Nilai yang ditandai (n* = 10) sesuai dengan simulasi sebelumnya, mendukung logika internal model.

Apa yang masih tidak jelas adalah apakah mekanisme yang sama dapat bertahan dalam arsitektur transformer modern. Perhatian multi-head memperkenalkan interaksi di seluruh kepala yang berspesialisasi, yang mungkin menyangga atau menutupi perilaku kritis yang dijelaskan.

Penulis mengakui kompleksitas ini, tetapi berpendapat bahwa attention head sering longgar-kopel, dan bahwa jenis keruntuhan internal yang mereka modelkan bisa diperkuat daripada ditekan dalam sistem skala penuh.

Tanpa perluasan model atau pengujian empiris di seluruh LLM produksi, klaim tersebut tetap tidak terverifikasi. Namun, mekanisme ini tampaknya cukup presisi untuk mendukung inisiatif penelitian lanjutan, dan penulis memberikan kesempatan yang jelas untuk menantang atau mengonfirmasi teori ini dalam skala.

Signing Off

Saat ini, topik kesopanan terhadap LLM yang berorientasi konsumen tampaknya didekati baik dari sudut pandang pragmatis bahwa sistem yang dilatih mungkin merespons lebih berguna untuk pertanyaan yang sopan; atau bahwa gaya komunikasi yang kasar dan blak-blakan dengan sistem tersebut berisiko menyebar ke hubungan sosial nyata pengguna, melalui kekuatan kebiasaan.

Secara argumentatif, LLM belum digunakan secara luas dalam konteks sosial nyata untuk literatur penelitian mengonfirmasi kasus terakhir; namun, makalah baru ini memunculkan keraguan menarik tentang manfaat dari antropomorfisasi sistem AI jenis ini.

Sebuah studi pada Oktober lalu dari Stanford menyarankan (bertentangan dengan studi 2020) bahwa mengobati LLM sebagai jika mereka manusia juga berisiko merusak makna bahasa, menyimpulkan bahwa ‘kesopanan yang membosankan’ akhirnya kehilangan makna sosial aslinya:

[Sebuah pernyataan yang tampak ramah atau tulus dari seorang pembicara manusia dapat tidak diinginkan jika berasal dari sistem AI karena sistem tersebut tidak memiliki komitmen atau niat yang bermakna di balik pernyataan tersebut, sehingga membuat pernyataan tersebut kosong dan menipu.’

Namun, sekitar 67 persen orang Amerika mengatakan mereka sopan kepada chatbot AI mereka, menurut survei 2025 dari Future Publishing. Sebagian besar mengatakan itu hanya ‘hal yang benar untuk dilakukan’, sementara 12 persen mengaku mereka berhati-hati – hanya dalam kasus mesin-mesin itu pernah bangkit.

* Konversi saya dari kutipan inline penulis ke tautan. Sejauh mana tautan tersebut sewenang-wenang/exemplary, karena penulis pada beberapa titik menghubungkan ke berbagai kutipan catatan kaki, bukan ke publikasi tertentu.

Dipublikasikan pertama kali pada hari Rabu, 30 April 2025. Direvisi pada hari Rabu, 30 April 2025 15:29:00, untuk pemformatan.