Studi Baru Menunjukkan Orang Dapat Belajar Mengenali Teks yang Dihasilkan Mesin

Peningkatan kesophistikasi dan aksesibilitas kecerdasan buatan (AI) telah meningkatkan kekhawatiran lama tentang dampaknya pada masyarakat. Generasi terbaru chatbot hanya memperburuk kekhawatiran ini, dengan ketakutan tentang integritas pasar kerja dan penyebaran berita palsu dan informasi yang salah. Dalam menghadapi kekhawatiran ini, tim peneliti di University of Pennsylvania School of Engineering and Applied Science berusaha untuk memberdayakan pengguna teknologi untuk mengurangi risiko ini.

Melatih Diri Anda untuk Mengenali Teks AI

Makalah mereka yang telah ditinjau sejawat, yang disajikan pada pertemuan Februari 2023 dari Asosiasi untuk Kemajuan Kecerdasan Buatan, menyediakan bukti bahwa orang dapat belajar untuk membedakan teks yang dihasilkan mesin dan teks yang ditulis manusia.

Studi ini, yang dipimpin oleh Chris Callison-Burch, Associate Professor di Departemen Ilmu Komputer dan Informasi (CIS), bersama dengan mahasiswa Ph.D. Liam Dugan dan Daphne Ippolito, menunjukkan bahwa teks yang dihasilkan AI dapat dideteksi.

“Kami telah menunjukkan bahwa orang dapat melatih diri mereka sendiri untuk mengenali teks yang dihasilkan mesin,” kata Callison-Burch. “Orang mulai dengan satu set asumsi tentang jenis kesalahan yang akan dilakukan mesin, tetapi asumsi ini tidak selalu benar. Dengan waktu, diberikan contoh yang cukup dan instruksi yang jelas, kita dapat belajar untuk mengenali jenis kesalahan yang saat ini dilakukan mesin.”

Studi ini menggunakan data yang dikumpulkan menggunakan “Teks Asli atau Palsu?”, sebuah permainan pelatihan berbasis web asli. Permainan pelatihan ini mengubah metode eksperimental standar untuk studi deteksi menjadi replikasi yang lebih akurat tentang bagaimana orang menggunakan AI untuk menghasilkan teks.

Dalam metode standar, peserta diminta untuk menunjukkan dalam cara ya atau tidak apakah mesin telah menghasilkan teks tertentu. Model Penn memperbaiki studi deteksi standar menjadi tugas pelatihan yang efektif dengan menampilkan contoh yang semua dimulai sebagai teks yang ditulis manusia. Setiap contoh kemudian berubah menjadi teks yang dihasilkan, meminta peserta untuk menandai di mana mereka percaya transisi ini dimulai. Peserta mengidentifikasi dan menjelaskan fitur teks yang menunjukkan kesalahan dan menerima skor.

Hasil Studi

Hasil studi menunjukkan bahwa peserta mencetak skor yang jauh lebih baik daripada peluang acak, menyediakan bukti bahwa teks yang dibuat AI dapat, sampai batas tertentu, dideteksi. Studi ini tidak hanya menggariskan masa depan yang menjanjikan, bahkan menarik, untuk hubungan kita dengan AI, tetapi juga menyediakan bukti bahwa orang dapat melatih diri mereka sendiri untuk mendeteksi teks yang dihasilkan mesin.

“Orang khawatir tentang AI karena alasan yang sah,” kata Callison-Burch. “Studi kami memberikan bukti untuk meredakan kekhawatiran ini. Begitu kita dapat memanfaatkan optimisme kita tentang generator teks AI, kita akan dapat memperhatikan kapasitas alat ini untuk membantu kita menulis teks yang lebih imajinatif, lebih menarik.”

Dugan menambahkan, “Ada arah positif yang menarik yang dapat kita dorong dengan teknologi ini. Orang terfokus pada contoh yang mengkhawatirkan, seperti plagiarisme dan berita palsu, tetapi sekarang kita tahu bahwa kita dapat melatih diri kita sendiri untuk menjadi pembaca dan penulis yang lebih baik.”

Studi ini menyediakan langkah pertama yang penting dalam mengurangi risiko yang terkait dengan teks yang dihasilkan mesin. Begitu AI terus berkembang, begitu pula kemampuan kita untuk mendeteksi dan menavigasi dampaknya. Dengan melatih diri kita sendiri untuk mengenali perbedaan antara teks yang ditulis manusia dan teks yang dihasilkan mesin, kita dapat memanfaatkan kekuatan AI untuk mendukung proses kreatif kita sambil mengurangi risikonya.