Penulisan AI yang Dihasilkan Tidak Pernah ‘Lelah’, dan Dengan Demikian Mengungkapkan Diri

Penulisan gaya ChatGPT memberikan dirinya dengan meningkatnya konsistensi, sementara penulisan manusia tetap tidak teratur sepanjang waktu.

Batasan konteks jendela dari sebagian besar Model Bahasa Besar (LLM) yang menghadap konsumen adalah salah satu faktor yang dapat membuat mereka lupa atau mengingat kembali bagian awal percakapan pengguna dengan tidak benar – kesalahan pengingatan yang dapat perlahan-lahan berubah menjadi omong kosong – atau, lebih buruk, teks yang terlihat koheren tetapi mengandung kesalahan halus.

Karena keadaan ini menyebabkan halusinasi, dan karena halusinasi masih hambatan terbesar bagi kemajuan pasar AI, banyak upaya penelitian telah dilakukan untuk menciptakan sistem AI generatif yang dapat menghasilkan teks yang lebih panjang tetapi lebih konsisten.

Sebenarnya, kemajuan sedemikian besar sehingga mengenali konten AI bentuk panjang (yaitu, konten yang dihasilkan sepenuhnya oleh AI, dengan – secara teoritis – perawatan manusia minimal atau nol) dianggap sebagai masalah yang berkembang.

Menghentikan Filibuster AI

Namun, penelitian empiris baru berpendapat bahwa semakin banyak output yang dihasilkan oleh generator teks AI dalam satu kali, semakin mudah untuk menentukan apakah teks tersebut ditulis oleh manusia atau tidak; tetapi kebijaksanaan yang diterima sehubungan dengan “anchor” deteksi ini telah menganggap bahwa AI dapat dibedakan karena apa yang mereka lakukan secara berbeda dari manusia, mereka mendapatkan kesempatan untuk melakukan lebih sering dalam truk teks yang lebih panjang.

Tidak ada asumsi yang dibuat tentang distribusi dari “tanda-tanda” ini dalam teks itu sendiri.

Untuk menantang ini, dan memperluas masalah, sebuah penelitian baru dari Cina menawarkan metode baru untuk membedakan penghasil konten AI bentuk panjang dari penulis manusia asli. Peneliti di balik karya ini mengklaim bahwa token-demi-token yang dihasilkan teks AI berarti bahwa teks tersebut menjadi lebih konsisten dengan panjang yang lebih besar, sedangkan keeksentrikan orang tidak berkurang dengan panjang.

Dalam cara ini, penulis menyarankan bahwa wawasan mereka menawarkan metrik potensial baru untuk sistem deteksi teks AI*:

‘Token AI yang dihasilkan pada bagian akhir teks menunjukkan fluktuasi probabilitas yang lebih kecil dan lebih stabil karena prediksi model menjadi semakin konsisten seiring akumulasi konteks.

‘Kami menamai pola ini Penurunan Volatilitas Tahap Akhir. Fenomena ini mencerminkan perilaku bawaan generasi autoregresif: karena konteks yang lebih tersedia, distribusi prediksi model menjadi lebih tajam, menyebabkan variabilitas yang berkurang dalam statistik token-level.

‘Penulisan manusia, di sisi lain, terus memperkenalkan pilihan leksikal yang tidak terduga dan mempertahankan volatilitas yang lebih tinggi sepanjang waktu.’

Untuk menangkap “kehalusan” aneh yang terkumpul dalam teks AI menuju akhir, peneliti mendefinisikan dua fitur sederhana: yang pertama mengukur seberapa banyak perilaku statistik penulisan “melompat” antara token; yang kedua memeriksa seberapa stabil hal-hal tetap di atas rentang teks yang pendek.

Kedua fitur ini dihitung hanya dari setengah kedua output, di mana AI menjadi lebih teratur dan penulisan manusia tidak. Penulis mencatat bahwa sementara sinyal ini bekerja dengan baik secara mandiri, mereka bahkan lebih efektif ketika digabungkan dengan metode deteksi yang lebih lama yang memindai pola yang lebih luas. Mereka juga mencatat bahwa pendekatan ini berperforma terbaik pada teks yang lebih panjang, di mana kontras dapat menjadi lebih jelas.

Karya baru ini menawarkan metodologi untuk menguji ‘ke-AI-an’ melalui analisis fitur temporal kedua, tanpa memerlukan pelatihan tambahan atau penyetelan, atau akses model yang diprivasi.

Karya baru ini berjudul Ketika AI Menetap: Stabilitas Tahap Akhir sebagai Tanda Deteksi Teks AI yang Dihasilkan, dan berasal dari empat penulis di Universitas Westlake di Hangzhou.

Metode

Untuk menangkap kehalusan yang berkembang dalam teks AI yang dihasilkan, peneliti merancang dua pengukuran yang hanya fokus pada setengah kedua dari sebuah passage. Mereka bergantung pada skor log-probabilitas dari model bahasa standar dan tidak memerlukan penyetelan atau sampel tambahan:

Dari karya baru – setiap baris menunjukkan perilaku dari metrik dasar EvoBench di seluruh urutan token: nilai mentah (kiri), turunan absolut (tengah), dan standar deviasi lokal (kanan). Garis biru dan merah menunjukkan penulisan manusia dan AI. Sebagian besar divergensi muncul pada setengah kedua teks, terutama untuk Log Probabilitas dan Diskrepansi Sampling, yang menunjukkan pemisahan yang meningkat dan output AI yang lebih halus. Entropi dan Konsentrasi Top-K menunjukkan sedikit perubahan seiring waktu. Sumber

Pengukuran pertama, yang disebut Dispersi Turunan (DD), melacak seberapa tajam perubahan kepercayaan model dari satu kata ke kata lainnya. Teks AI cenderung menetap dalam irama, sehingga perubahan ini menjadi lebih kecil dan lebih dapat diprediksi pada setengah kedua. Sebaliknya, penulisan manusia tetap “tidak rata”.

Pengukuran kedua, Volatilitas Lokal (LV), melihat seberapa banyak kepercayaan model “melompat” dalam jendela teks yang kecil. Lagi-lagi, AI cenderung tumbuh lebih stabil seiring waktu, sedangkan pilihan manusia tetap lebih mengejutkan dan tidak konsisten:

Teks AI menjadi lebih halus seiring waktu, sedangkan penulisan manusia tetap tidak rata. Grafik ini melacak perubahan kepercayaan model sepanjang passage, mencerminkan baik tajamnya perubahan antara kata-kata berurutan dan jumlah variasi dalam rentang teks yang pendek. Dalam kedua aspek, penurunan lebih curam pada output mesin, dengan kontras menjadi sangat jelas setelah titik tengah. Kotak kuning menyoroti kesenjangan yang membesar pada setengah kedua, di mana penulisan AI mencapai stabilitas hingga 32% lebih besar daripada penulisan manusia.

Sekali lagi, kedua metrik ini dihitung hanya dari bagian kedua teks, di mana perbedaan antara penulisan manusia dan mesin paling jelas. Mereka kemudian digabungkan menjadi nilai tunggal yang disebut Skor Deteksi Stabilitas Temporal (TSD) – yang cenderung meningkat ketika penulisan menjadi “lebih halus” (dan oleh karena itu lebih mungkin dihasilkan oleh AI). Ambang batas sederhana kemudian digunakan untuk memutuskan apakah sebuah passage tertentu kemungkinan besar ditulis oleh mesin.

Karena fitur-fitur ini fokus pada kapan pola muncul, bukan hanya apa yang pola itu terlihat, mereka dilengkapi oleh metode yang lebih lama yang mencari kejanggalan statistik di seluruh passage. Menambahkan skor TSD ke output Fast‑DetectGPT (juga dalam kolaborasi dengan Westlake) menawarkan perbaikan tambahan dalam hasil (terutama untuk konten bentuk panjang di mana efek penghalusan tahap akhir paling kuat).

Data dan Pengujian

Penulis melakukan pengujian pada dua dataset benchmark terkait: EvoBench berisi 32.000 pasang teks manusia/AI yang dihasilkan di seluruh tujuh keluarga model, termasuk GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; dan Qwen, dengan total 29 versi model yang ditampilkan.

Dataset lainnya adalah MAGE, yang menawarkan 30.000 pasang uji di seluruh delapan keluarga model, termasuk (tetapi tidak terbatas pada) seri GPT dari OpenAI, dan keluarga LLaMA, OPT, dan FLAN-T5.

Pesaing

Metode baru ini diuji melawan berbagai detektor zero-shot menggunakan model surrogate yang sama. Kemungkinan, Entropi, Peringkat, dan Log-Rank (DetectGPT) mengukur statistik token-level di seluruh passage; LLR (DetectLLM) menerapkan normalisasi untuk memungkinkan perbandingan langsung di seluruh model; dan Fast-Detect mengestimasi kelengkungan lokal melalui gangguan berbasis sampling.

Lastde menganalisis subsekuen diskriminatif dalam sinyal probabilitas, sedangkan FourierGPT beroperasi dalam domain frekuensi. Diveye menangkap pergeseran dalam ‘kejutan’ keanekaragaman di seluruh urutan.

Terakhir, UCE mengevaluasi profil ketidakpastian prediksi token, untuk mengidentifikasi pola kepercayaan yang tidak wajar.

Implementasi dan Hasil

Semua metode deteksi dijalankan menggunakan Llama-3-8B-Instruct sebagai model surrogate yang dibagikan, dengan urutan input dibatasi hingga 512 token. Fitur temporal diekstrak hanya dari setengah kedua dari setiap passage, menggunakan jendela geser 20 token untuk mengukur volatilitas. Versi yang difusikan dari metode ini, disebut TSD+, menggabungkan sinyal yang diusulkan dengan Fast-DetectGPT.

Kurva Operasi Penerima (AUROC) adalah metrik evaluasi utama^†:

Kinerja yang beragam di antara metode yang diuji melawan teks AI yang dihasilkan. Akurasi deteksi ditunjukkan di seluruh dua benchmark: EvoBench, yang mencakup beberapa LLM profil tinggi, dan MAGE, dataset komplementer. Metrik dikelompokkan oleh jenis metode: statistik global, fitur temporal, dan varian yang diusulkan. Skor AUROC rata-rata diberikan dalam kolom terakhir. Hasil dari varian metode penulis konsisten mengungguli baseline sebelumnya, dengan TSD+ menghasilkan skor tertinggi di hampir semua pengaturan model.

Dari hasil awal ini, penulis menyatakan:

‘Fitur temporal sederhana kami mencapai kinerja terbaik di antara metode mandiri, dengan TSD mencapai 83,36% pada EvoBench dan 71,56% pada MAGE, mengungguli semua baseline termasuk Fast-DetectGPT.

‘Ini patut dicatat mengingat kesederhanaan metode kami: kami hanya menghitung statistik orde kedua dari setengah kedua urutan, tanpa sampling gangguan atau transformasi domain frekuensi.’

Metode baru ini bekerja sangat baik pada model AI yang lebih baru seperti GPT-4 dan GPT-4o, mengidentifikasi teks yang ditulis oleh AI dengan lebih akurat daripada detektor terdepan, dengan celah kinerja hingga 9,66%. Meskipun model yang lebih maju menghasilkan teks yang kurang jelas “konsisten”, yang menyembunyikan beberapa tanda otomatisasi, pola waktu yang halus masih terlihat di dekat akhir.

Pendekatan yang bersaing yang fokus pada fitur struktural yang luas gagal menangkap pola tahap akhir ini. Dengan mengintegrasikan detektor global, sistem hibrida ini tampaknya memulihkan sinyal yang terlewatkan, dan meningkatkan kinerja, terutama pada benchmark di mana output AI yang lebih pendek dapat melemahkan sinyal temporal.

Kesimpulan

Satu aspek yang tidak secara langsung ditangani dalam karya baru ini adalah kecenderungan penulis manusia untuk mengulangi karya mereka melalui proses pengeditan dan pengawasan yang berlapis-lapis – terkadang termasuk pengawasan eksternal, seperti masukan editor dan pembaca bukti, serta perubahan yang disarankan dari departemen hukum, tergantung pada konteks.

Banyak pemangku kepentingan yang terlibat dalam dokumen sederhana seperti artikel surat kabar yang terkubur dapat menghilangkan keeksentrikan yang sistem baru yang diusulkan ini kunci, dan pada dasarnya berjumlah versi ‘analog’ dari proses pengeditan yang dibantu AI.

Tambahan lagi, sistem yang sedang dipelajari telah dilatih pada karya-karya tersebut, dan – karena data pelatihan semakin dianggap berwenang pada saat pelatihan – sumber yang paling ‘dianggap’ atau ‘dihormati’ mungkin yang paling ‘tidak alami’; setidaknya, dibandingkan dengan seseorang yang dengan cepat menyusun email kasual kepada seorang rekan, bukan menyusun laporan tahunan untuk pertemuan umum.

Pertimbangan lebih lanjut dan kontras adalah bahwa konten teks yang telah dikontribusikan oleh banyak orang juga dapat menjadi salah satu potongan prosa yang paling terpecah, rusak, dan berulang yang memasuki dataset, karena mereka sering tidak memiliki manfaat dari suara penyatuan akhir, meninggalkan sifat piecemeal dari pengembangan mereka yang jelas dalam prosa.

* Gaya penulisan asli penulis dipertahankan dari kertas; bukan penekanan saya.

^† Penulis menyatakan ‘primer’, sementara tidak mencantumkan metrik evaluasi lain.

Dipublikasikan pertama kali pada hari Senin, 26 Januari 2026