Studi Baru Menunjukkan Orang Dapat Belajar Mengenali Teks yang Dibuat Mesin

Peningkatan kemampuan dan ketersediaan kecerdasan buatan (AI) telah meningkatkan kekhawatiran lama tentang dampaknya pada masyarakat. Generasi terbaru chatbot hanya memperburuk kekhawatiran ini, dengan kekhawatiran tentang integritas pasar kerja dan penyebaran berita palsu dan informasi yang salah. Mengingat kekhawatiran ini, tim peneliti di University of Pennsylvania School of Engineering and Applied Science berusaha untuk memberdayakan pengguna teknologi untuk mengurangi risiko ini.

Melatih Diri Anda untuk Mengenali Teks AI

Makalah peer-reviewed mereka, yang disajikan pada pertemuan Februari 2023 dari Association for the Advancement of Artificial Intelligence, menyediakan bukti bahwa orang dapat belajar mengenali perbedaan antara teks yang dibuat mesin dan teks yang ditulis oleh manusia.

Studi ini, yang dipimpin oleh Chris Callison-Burch, Associate Professor di Departemen Computer and Information Science (CIS), bersama dengan mahasiswa Ph.D. Liam Dugan dan Daphne Ippolito, menunjukkan bahwa teks yang dibuat AI dapat dideteksi.

“Kami telah menunjukkan bahwa orang dapat melatih diri mereka sendiri untuk mengenali teks yang dibuat mesin,” kata Callison-Burch. “Orang mulai dengan serangkaian asumsi tentang jenis kesalahan yang akan dilakukan mesin, tetapi asumsi ini tidak selalu benar. Dengan waktu, diberikan contoh yang cukup dan instruksi yang jelas, kita dapat belajar mengenali jenis kesalahan yang dilakukan mesin saat ini.”

Studi ini menggunakan data yang dikumpulkan menggunakan “Real or Fake Text?,” sebuah permainan pelatihan berbasis web asli. Permainan pelatihan ini mengubah metode eksperimental standar untuk studi deteksi menjadi rekreasi yang lebih akurat tentang bagaimana orang menggunakan AI untuk menghasilkan teks.

Dalam metode standar, peserta diminta untuk menunjukkan dengan cara ya atau tidak apakah mesin telah menghasilkan teks tertentu. Model Penn memperbaiki metode deteksi standar menjadi tugas pelatihan yang efektif dengan menunjukkan contoh yang semua dimulai sebagai teks yang ditulis oleh manusia. Setiap contoh kemudian berubah menjadi teks yang dihasilkan, meminta peserta untuk menandai di mana mereka percaya transisi ini dimulai. Pelatih mengidentifikasi dan menjelaskan fitur teks yang menunjukkan kesalahan dan menerima skor.

Hasil Studi

Hasil studi menunjukkan bahwa peserta mencetak skor yang jauh lebih baik daripada kesempatan acak, menyediakan bukti bahwa teks yang dibuat AI dapat, sampai batas tertentu, dideteksi. Studi ini tidak hanya menunjukkan masa depan yang menjanjikan, bahkan menarik, untuk hubungan kita dengan AI, tetapi juga menyediakan bukti bahwa orang dapat melatih diri mereka sendiri untuk mendeteksi teks yang dibuat mesin.

“Orang khawatir tentang AI karena alasan yang valid,” kata Callison-Burch. “Studi kami memberikan bukti untuk meredakan kekhawatiran ini. Setelah kami dapat memanfaatkan optimisme kami tentang pembangkit teks AI, kami akan dapat memperhatikan kapasitas alat ini untuk membantu kami menulis teks yang lebih imajinatif, lebih menarik.”

Dugan menambahkan, “Ada arah positif yang menarik yang dapat Anda dorong dengan teknologi ini. Orang terfokus pada contoh yang mengkhawatirkan, seperti plagiarisme dan berita palsu, tetapi kami sekarang tahu bahwa kami dapat melatih diri kami sendiri untuk menjadi pembaca dan penulis yang lebih baik.”

Studi ini menyediakan langkah pertama yang penting dalam mengurangi risiko yang terkait dengan teks yang dibuat mesin. Ketika AI terus berkembang, kemampuan kami untuk mendeteksi dan menavigasi dampaknya juga harus berkembang. Dengan melatih diri kami sendiri untuk mengenali perbedaan antara teks yang ditulis oleh manusia dan teks yang dibuat mesin, kami dapat memanfaatkan kekuatan AI untuk mendukung proses kreatif kami sambil mengurangi risikonya.