Pertanyaan Tidak Sopan Dapat Meningkatkan Biaya ChatGPT Perusahaan

ChatGPT menggunakan lebih banyak token ketika Anda tidak sopan, sehingga meningkatkan tagihan perusahaan Anda; tetapi mengatakan ‘tolong’ dapat mengurangi biaya Anda.

Dikatakan bahwa kesopanan tidak memerlukan biaya; tetapi apa yang dimaksud dengan ketidaksopanan? Menurut sebuah studi baru dari AS, ketidaksopanan dapat meningkatkan biaya respons – bahkan jika responsnya sama untuk pertanyaan sopan dan tidak sopan.

Para penulis menyatakan:

‘[Harga] token output adalah $12 per 1M token output untuk GPT4. Kami menemukan bahwa pertanyaan tidak sopan menghasilkan lebih dari 14 token tambahan yang setara dengan $0,000168 biaya tambahan per pertanyaan rata-rata. Rata-rata pertanyaan harian ke API OpenAI melebihi 2,2 miliar.

‘Dibandingkan dengan skenario di mana semua pertanyaan sopan, ketika pertanyaan tidak sopan, ini menghasilkan $369.000 pendapatan tambahan per hari, hanya karena peningkatan token yang dihasilkan oleh pertanyaan tidak sopan.’

Meskipun hasilnya menarik, para penulis menekankan bahwa perilaku ini dapat mengindikasikan berbagai keanehan yang belum diketahui dalam konfigurasi manusia/AI, beberapa atau semua yang mungkin memiliki implikasi keuangan. Mengenai alasan mengapa ketidaksopanan memerlukan biaya tambahan, para penulis tidak berspekulasi.

Untuk memastikan kebenaran sindrom ini, mereka menulis ulang pertanyaan nyata ChatGPT, bergantian antara nilai kesopanan, sambil mempertahankan makna. Kedua versi kemudian dimasukkan ke dalam GPT-4-Turbo, dan perbedaan diukur dalam jumlah token output yang digunakan untuk respons.

Kesimpulan yang ditarik berbeda dengan peristiwa utama sebelumnya, di mana Sam Altman mengeluh bahwa kesopanan memerlukan biaya OpenAI potensial ‘puluhan juta’ dolar dalam hal pemrosesan token kesopanan (seperti ‘tolong’). Penelitian diterbitkan pada periode yang sama juga menunjukkan bahwa kesopanan tidak bernilai dalam hal mendapatkan jawaban yang lebih baik (meskipun tidak mengomentari jawaban yang lebih murah).

Jika kesimpulan kertas baru ini benar, maka pengguna ChatGPT perusahaan yang mengikuti garis pemikiran tersebut akan menghabiskan lebih banyak biaya ChatGPT inference pada tahun 2025 daripada pengguna yang menawarkan kesopanan minimum dalam pertukaran ChatGPT.

Para penulis menyarankan bahwa salah satu obat yang mungkin adalah dengan menetapkan batas token pada respons, meskipun ini bukanlah pendekatan yang dapat dengan mudah diimplementasikan oleh sistem LLM. Mereka mengamati bahwa meminta adalah alat yang lemah untuk kontrol biaya, karena LLM sulit untuk mematuhi instruksi panjang eksplisit. Dalam sebagian besar kasus, direktif ‘membatasi’ ini tidak akan dipatuhi; selain itu, respons mungkin dipotong, karena LLM jenis ini pada dasarnya menebak kata berikutnya yang mungkin dalam kalimat/paragraf, dan, sebagai hasilnya, tidak tahu bagaimana cerita berakhir – atau di mana cerita berakhir – sampai pemrosesan selesai. Mereka oleh karena itu memiliki kemampuan terbatas untuk ‘mengakhiri’ setiap mesin yang sedang berjalan atas permintaan.

Tanpa solusi yang tepat – meskipun menyarankan bahwa pendekatan harga yang lebih transparan harus ditegakkan dalam kasus seperti ini – para penulis menyimpulkan:

‘Kebijaksanaan konvensional menyarankan bahwa kesopanan tidak perlu ketika berinteraksi dengan LLM.

‘Sebaliknya, penelitian kami menunjukkan bahwa pertanyaan tidak sopan meningkatkan token output, menghasilkan biaya tambahan untuk pengadopsi AI perusahaan.’

Kertas baru ini berjudul Transparansi Biaya Adopsi AI Perusahaan, dan berasal dari tiga peneliti di University of Iowa.

Metode

Data untuk sistem ini diambil dari dataset WildChat, yang terdiri dari koleksi 1 juta percakapan pengguna-ChatGPT, dan menampilkan lebih dari 2,5 juta putaran interaksi:

Dari situs pendukung proyek WildChat, contoh interaksi ChatGPT yang dapat dicari. Sumber

Para penulis mencatat bahwa WildChat mengandung jumlah interaksi alami yang lebih besar daripada beberapa set yang lebih terkurasi.

Mereka memilih 20.000 prompt bahasa Inggris dari pertukaran GPT-4, membuang output dalam setiap kasus (karena niatnya adalah untuk memasukkan prompt lagi, untuk respons baru). Hanya interaksi pertama yang dipilih, bahkan dari pertukaran yang lebih panjang,

Set yang dihasilkan kemudian difilter menjadi sopan atau tidak sopan kategori, dengan semua prompt diklasifikasikan oleh GPT-4-Turbo. Para peneliti menggunakan model itu sendiri untuk memutuskan apakah sebuah prompt sopan atau tidak karena persepsi model tentang kesopanan sentral untuk eksperimen.

Prompt yang dilabeli sebagai sopan dapat mencakup petunjuk yang jelas seperti kata ‘tolong’, atau dapat sopan dengan cara yang lebih tidak langsung. Apa pun yang tidak diakui sebagai sopan diklasifikasikan sebagai tidak sopan, bahkan jika kata-katanya netral daripada antagonistis.

Untuk mempelajari bagaimana model merespons kesopanan, metode standar (yaitu, yang memperlakukan teks sebagai sekumpulan fitur yang dapat diukur) tidak dapat digunakan: karena kesopanan tertanam dalam kata-kata itu sendiri, merangkum prompt sebagai daftar sifat akan kehilangan konteks yang penting.

Sebaliknya, setiap prompt ditulis ulang untuk membalikkan nada, dengan semua elemen lain dipertahankan serupa mungkin, memungkinkan perbandingan antara pasangan yang berbeda hanya dalam kesopanan:

Contoh bagaimana prompt sopan dan tidak sopan diubah menjadi versi kontrafaktual, sambil mempertahankan makna semantik. Sumber

Uji

Setiap prompt asli dipasangkan dengan versi yang ditulis ulang yang berbeda hanya dalam tingkat kesopanannya, dan kedua versi dikirim ke model GPT-4-Turbo yang sama melalui panggilan API terpisah. Jumlah token yang dihasilkan dalam respons terhadap setiap versi direkam, dan perbedaan antara keduanya dianggap sebagai ukuran seberapa nada mempengaruhi (biaya token).

Suhu dipertahankan konstan untuk mencegah variasi acak, dan pasangan prompt hanya dipertahankan ketika penulisan ulang mengubah input oleh tidak lebih dari lima token. Ini memastikan bahwa efek yang dipelajari timbul dari nada, bukan perubahan yang lebih luas dalam frasa:

Statistik ringkasan menunjukkan bahwa prompt sopan menghasilkan token output yang lebih sedikit, rata-rata, daripada prompt tidak sopan, meskipun memiliki token input yang sedikit lebih banyak.

Hasil utama untuk putaran pertama uji menunjukkan bahwa penggunaan prompt sopan mengurangi panjang output token sebesar 14,426 token:

Hasil estimasi yang menggambarkan efek format prompt sopan pada panjang output (token).

Analisis ini diulangi di seluruh tiga subset prompt sopan untuk menguji kekuatan: prompt yang menggunakan penanda eksplisit seperti ‘tolong’ atau ‘terima kasih’; yang menggunakan hanya ‘tolong’; dan yang memiliki kesopanan implisit, seperti ‘bisakah Anda’ atau ‘dapatkah Anda’:

Hasil estimasi berdasarkan jenis kesopanan.

Untuk memvalidasi kekuatan temuan utama, klasifikasi sekunder kesopanan prompt dilakukan menggunakan kerangka LIWC, yang menyediakan skor deterministik dan dapat diulang untuk fitur linguistik.

Tidak seperti klasifikasi probabilistik GPT, LIWC dapat menetapkan skor kesopanan yang stabil untuk setiap prompt, memungkinkan konsistensi untuk dinilai di seluruh metode yang berbeda. Dalam bagian ini dari uji, prompt dilabeli sebagai sopan jika skor kesopanan LIWC mereka lebih besar dari nol, dan sebagai tidak sopan lainnya.

Ketika keselarasan antara klasifikasi GPT dan LIWC diukur, tingkat keselarasan 81% diamati. Sementara ini bukanlah ukuran akurasi, kesepakatan ini memberikan dukungan untuk konsistensi antara sistem.

Ketika hanya prompt dengan label kesopanan GPT dan LIWC yang cocok dianalisis, prompt sopan masih menghasilkan 14 token output yang lebih sedikit; dan ketika kesopanan diukur pada skala yang miring, setiap langkah naik dalam kesopanan mengurangi output rata-rata lima token:

Tabungan token dari kesopanan dipertahankan ketika diklasifikasikan ulang dengan LIWC, baik sebagai label biner dan skor kontinu.

Keamanan

Untuk menilai apakah efek kesopanan bervariasi di seluruh jenis prompt yang berbeda, setiap prompt ditugaskan ke salah satu kategori tugas yang telah ditentukan sebelumnya: mencari informasi; generasi teks; pengeditan dan penulisan ulang; klasifikasi; ringkasan; dan tugas teknis.

Setiap prompt ditugaskan label tugas dengan membandingkan embeddingnya dengan embedding deskripsi tugas yang telah ditentukan sebelumnya, menggunakan model all-MiniLM-L6-v2 Sentence Transformers.

Skor kesamaan kosinus dihitung antara setiap prompt dan set definisi tugas, dan label dengan kesamaan tertinggi ditugaskan.

Jenis tugas kemudian digunakan sebagai variabel kontrol dalam regresi, untuk menguji apakah efek kesopanan bervariasi dengan kategori prompt, dan istilah interaksi antara tugas dan perlakuan juga diperkenalkan, untuk memeriksa efek diferensial.

Di kedua kasus, prompt sopan secara konsisten menghasilkan output yang lebih pendek, dan tidak ada variasi yang signifikan di seluruh jenis tugas yang ditemukan:

Hasil regresi yang menunjukkan bahwa prompt sopan mengurangi panjang output di seluruh jenis tugas, tanpa efek interaksi yang signifikan.

Untuk menguji apakah respons yang lebih pendek dari prompt sopan mencerminkan penurunan kualitas, output dari prompt asli dan kontrafaktual dibandingkan untuk kesamaan semantik. Menggunakan model all-MiniLM-L6-v2, setiap respons diwakili dalam ruang vektor semantik, dan kesamaan kosinus dihitung antara setiap pasangan, menghasilkan kesamaan rata-rata 0,78, menunjukkan keselarasan yang kuat dalam makna, dan menunjukkan bahwa konten tetap konsisten bahkan ketika nada berubah.

Kata Berhenti

Untuk memahami jenis konten apa yang dikurangi dalam output yang lebih pendek, kata-kata yang paling sering dihilangkan diperiksa. Ini ditemukan menjadi kata-kata umum kata berhenti seperti ‘memiliki’, ‘lebih’, ‘di mana’, dan ‘ke dalam’, yaitu, istilah yang berfungsi sebagai peran gramatikal daripada peran semantik.

Untuk mengkonfirmasi bahwa pengurangan token tidak disebabkan oleh kehilangan konten yang bermakna, kata-kata berhenti dihilangkan, dan frasa hingga empat kata dianalisis untuk pola yang sistematis; namun, tidak ada pola yang konsisten atau semantik yang ditemukan, menunjukkan bahwa pengurangan dari frasa sopan tidak menghilangkan konten yang bermakna atau berguna.

Jadi, tampaknya bahwa lebih banyak token dihabiskan untuk merespons pertanyaan tidak sopan daripada pertanyaan sopan – seperti ‘pajak’ pada kekasaran.

Studi Manusia

Untuk menguji apakah kualitas output dipengaruhi oleh nada prompt, evaluasi manusia juga dilakukan, menggunakan sampel acak dua puluh sopan dan dua puluh tidak sopan pasangan prompt.

Setelah mengeluarkan prompt pada topik sensitif atau teknis, respons dinilai oleh 401 peserta pada skala tujuh poin. Setiap peserta hanya melihat satu respons, diambil dari salah satu dari empat kondisi: sopan atau tidak sopan, dan baik asli atau kontrafaktual.

Tidak ada perbedaan yang signifikan dalam kualitas yang dirasakan di seluruh kondisi ini. Sopan dan tidak sopan output menerima skor yang hampir identik, begitu juga asli dan kontrafaktual versi.

Para penulis menyatakan bahwa hasil ini menunjukkan bahwa pengurangan token output tidak disebabkan oleh kehilangan kualitas, tetapi oleh pengubahan kata atau pergeseran struktural yang masih mempertahankan makna.

Perbedaan biaya yang diamati dalam prompting perusahaan tidak mungkin mencerminkan perubahan dalam kegunaan atau kejelasan, dan ‘pajak’ masih beroperasi.

Kesimpulan

Meskipun pekerjaan baru ini berfokus pada penggunaan perusahaan ChatGPT, pengguna tingkat yang lebih rendah juga terpengaruh oleh sindrom ini, karena bahkan dua tingkat awal memiliki batas penggunaan; dan – tampaknya – memperlakukan ChatGPT dengan kasar akan mempercepat pengguna rata-rata menuju penghabisan alokasi token harian.

Studi baru ini berfokus pada pertanyaan terbuka yang banyak dipelajari dan banyak dipelajari dalam interaksi manusia/AI; tetapi para penulis menekankan bahwa masalah seputar kesopanan harus dianggap sebagai indikator kemungkinan keanehan linguistik yang lebih dalam, yang belum ditemukan, yang mungkin berdampak pada biaya inferensi.

Dipublikasikan pertama kali pada hari Rabu, 19 November 2025