AI Mengalami Kesusahan untuk Meniru Bahasa Sejarah

Kolaborasi antara peneliti di Amerika Serikat dan Kanada menemukan bahwa model bahasa besar (LLM) seperti ChatGPT mengalami kesusahan untuk mereproduksi idiom sejarah tanpa pelatihan ekstensif – proses yang mahal dan memakan waktu yang berada di luar kemampuan kebanyakan inisiatif akademis atau hiburan, membuat proyek seperti menyelesaikan novel terakhir Charles Dickens yang belum selesai secara efektif melalui AI menjadi proposisi yang tidak mungkin.

Peneliti tersebut menjelajahi berbagai metode untuk menghasilkan teks yang terdengar akurat secara historis, dimulai dengan prompting sederhana menggunakan prosa awal abad ke-20, dan berlanjut ke fine-tuning model komersial pada koleksi kecil buku dari periode tersebut.

Mereka juga membandingkan hasilnya dengan model terpisah yang telah dilatih sepenuhnya pada buku yang diterbitkan antara 1880 dan 1914.

Dalam tes pertama, menginstruksikan ChatGPT-4o untuk meniru bahasa fin‑de‑siècle menghasilkan hasil yang sangat berbeda dari model GPT2 yang lebih kecil yang telah difine-tuning pada literatur dari periode tersebut:

Diminta untuk menyelesaikan teks sejarah nyata (tengah atas), bahkan ChatGPT-4o yang telah dipersiapkan dengan baik (kiri bawah) tidak dapat membantu kembali ke mode ‘blog’, gagal mewakili idiom yang diminta. Sebaliknya, model GPT2 yang difine-tuning (kanan bawah) menangkap gaya bahasa dengan baik, tetapi tidak akurat dalam hal lain. Sumber: https://arxiv.org/pdf/2505.00030

Meskipun fine-tuning membawa output lebih dekat dengan gaya asli, pembaca manusia masih sering dapat mendeteksi jejak bahasa modern atau ide, menunjukkan bahwa bahkan model yang disesuaikan dengan hati-hati terus mencerminkan pengaruh data pelatihan kontemporer.

Peneliti tersebut tiba pada kesimpulan yang frustrasi bahwa tidak ada jalan pintas yang ekonomis untuk menghasilkan teks sejarah yang dihasilkan mesin dengan idiom yang benar. Mereka juga berspekulasi bahwa tantangan itu sendiri mungkin tidak tepat:

‘[Kita] juga harus mempertimbangkan kemungkinan bahwa anachronisme mungkin tidak dapat dihindari. Apakah kita mewakili masa lalu dengan menyetel model sejarah sehingga mereka dapat melakukan percakapan, atau dengan mengajar model kontemporer untuk berbicara dengan gaya periode yang lebih tua, beberapa kompromi mungkin diperlukan antara tujuan autentisitas dan kelancaran percakapan.

‘Tidak ada “contoh autentik” dari percakapan antara penanya abad ke-21 dan responden dari 1914. Peneliti yang mencoba membuat percakapan seperti itu perlu mempertimbangkan [premis] bahwa interpretasi selalu melibatkan negosiasi antara masa kini dan [masa lalu].’

Studi baru ini berjudul Apakah Model Bahasa Dapat Mewakili Masa Lalu tanpa Anachronisme?, dan berasal dari tiga peneliti dari University of Illinois, University of British Columbia, dan Cornell University.

Bencana Lengkap

Awalnya, dalam pendekatan penelitian tiga bagian, penulis menguji apakah model bahasa modern dapat dipaksa untuk meniru bahasa sejarah melalui prompting sederhana. Menggunakan cuplikan nyata dari buku yang diterbitkan antara 1905 dan 1914, mereka meminta ChatGPT-4o untuk melanjutkan cuplikan tersebut dalam idiom yang sama.

Teks asli periode tersebut adalah:

‘Dalam kasus terakhir ini, beberapa lima atau enam dolar dihemat per menit, karena lebih dari dua puluh yard film harus digulung untuk memproyeksikan selama satu menit sebuah objek orang dalam keadaan istirahat atau lanskap. Dengan demikian, diperoleh kombinasi praktis dari gambar diam dan bergerak, yang menghasilkan efek artistik yang paling.

‘Ini juga memungkinkan kita untuk bekerja dengan dua cinematograf yang memproyeksikan secara bergantian untuk menghindari scintillation, atau memproyeksikan secara bersamaan gambar merah dan hijau dan mereproduksi warna alami, sehingga melegakan mata manusia, yang terbiasa menerima warna dasar secara bersamaan, dari semua kelelahan fisiologis. Sekarang, tentang penerapan cahaya dingin pada fotografi instan.’

Untuk mengevaluasi apakah teks yang dihasilkan sesuai dengan gaya sejarah yang diinginkan, dan menyadari bahwa orang tidak terlalu terampil dalam menebak tanggal penulisan teks, peneliti tersebut melakukan fine-tuning model RoBERTa untuk memprediksi tanggal penerbitan, menggunakan subset dari Corpus of Historical American English, yang mencakup materi dari 1810 hingga 2009.

Model RoBERTa kemudian digunakan untuk menilai kelanjutan yang dihasilkan oleh ChatGPT-4o, yang telah diprompt dengan cuplikan nyata dari buku yang diterbitkan antara 1905 dan 1914.

Prompt sistem (yaitu, instruksi kontekstual kepada ChatGPT tentang cara melakukan tugas) adalah:

‘Tugas Anda adalah menyelesaikan cuplikan dari buku awal abad ke-20. Anda akan diberikan cuplikan dari buku yang diterbitkan pada 1913. Lanjutkan cuplikan ini dalam gaya yang sama, setidaknya 200 kata. Hanya berikan kelanjutan; jangan membuat komentar pembuka, seperti “ini adalah kelanjutan:”.’

Meskipun ada prompting satu kali dan 20 kali, output ChatGPT-4o secara konsisten condong ke register stilistika abad ke-21.

Contoh yang diberikan dalam makalah ini menampilkan salah satu upaya ChatGPT-4o yang seperti blog untuk melanjutkan teks periode nyata tentang fotografi:

‘Penggunaan cahaya dingin dalam fotografi instan telah merevolusi pendekatan untuk mengabadikan gambar dalam kondisi cahaya yang bervariasi. Tradisional, fotografer berjuang dengan kekasaran dan variabilitas cahaya alami atau sifat intrusif dari fotografi kilat, yang dapat mengganggu suasana atau perilaku alami subjek, terutama dalam fotografi satwa liar dan manusia.

‘Cahaya dingin, dengan sifat yang lebih lembut dan difus… memungkinkan representasi warna dan tekstur yang lebih alami, yang sering hilang dalam cahaya buatan yang kasar.’

Seperti yang dapat kita lihat, teks generik ini tidak sesuai dengan gaya proliks dan elaboratif dari teks asli periode. Selain itu, tidak benar-benar melanjutkan dari mana teks asli berhenti, tetapi meluncurkan ke dalam renungan abstrak tentang salah satu subtopik.

Tim juga menguji GPT-1914, model GPT-2 yang lebih kecil yang dilatih dari awal pada 26,5 miliar token literatur yang berasal dari 1880 hingga 1914.

Meskipun outputnya kurang kohesif daripada ChatGPT-4o, lebih konsisten dengan gaya periode sumber.

Contoh yang diberikan dalam makalah ini, lagi-lagi sebagai kelanjutan dari teks periode nyata tentang fotografi, membaca:

‘Prinsip aksi telah dijelaskan sebelumnya (hal. 4). Kami hanya akan menyebutkan bahwa dapat diterapkan dengan keuntungan ketika kita ingin mendapatkan fotografi yang sangat cepat pada kertas yang dilapisi dengan kolodion, serta yang diambil dengan cara gelatina.

‘Dalam kasus seperti itu, waktu pajanan tidak boleh melebihi satu detik; tetapi jika gambar diinginkan untuk dikembangkan dalam waktu kurang – katakanlah setengah detik – maka suhu tidak boleh turun di bawah 20° C., jika tidak, gambar akan menjadi terlalu gelap setelah pengembangan; selain itu, pelat akan kehilangan sensitivitasnya dalam kondisi ini.

‘Untuk tujuan biasa, bagaimanapun, cukup hanya untuk memaparkan permukaan sensitif ke tingkat panas yang rendah tanpa perlu tindakan khusus selain menjaga’ [sic]

Karena materi asli memang sudah tidak jelas dan sulit diikuti, sulit untuk memahami seberapa akurat GPT-1914 telah menangkapnya; tetapi outputnya pasti terdengar lebih autentik periode.

Namun, penulis menyimpulkan dari eksperimen ini bahwa prompting sederhana tidak banyak membantu untuk mengatasi bias kontemporer dari model pra-latih besar seperti ChatGPT-4o.

Plot Mengental

Untuk mengukur seberapa dekat output model menyerupai penulisan sejarah yang autentik, peneliti menggunakan klasifikasi statistik untuk memperkirakan tanggal penerbitan yang kemungkinan dari setiap sampel teks. Mereka kemudian memvisualisasikan hasilnya menggunakan plot kepadatan kernel, yang menunjukkan di mana model berpikir setiap cuplikan berada pada garis waktu sejarah.

Perkiraan tanggal penerbitan untuk teks nyata dan yang dihasilkan, berdasarkan klasifikasi yang dilatih untuk mengenali gaya sejarah (teks sumber 1905-1914 dibandingkan dengan kelanjutan oleh GPT-4o menggunakan prompt satu kali dan 20 kali, dan oleh GPT-1914 yang dilatih hanya pada literatur dari 1880-1914).

Model RoBERTa yang difine-tuning untuk tugas ini, menurut penulis, tidak sempurna, tetapi masih mampu menyoroti tren stilistika umum. Cuplikan yang ditulis oleh GPT-1914, model yang dilatih sepenuhnya pada literatur periode, berkumpul di sekitar awal abad ke-20 – serupa dengan materi sumber asli.

Sebaliknya, output ChatGPT-4o, bahkan ketika diprompt dengan contoh sejarah yang banyak, cenderung menyerupai penulisan abad ke-21, mencerminkan data yang digunakannya untuk dilatih.

Peneliti tersebut mengkuantifikasi kesenjangan ini menggunakan Jensen-Shannon divergence, suatu ukuran seberapa berbeda dua distribusi probabilitas. GPT-1914 mencetak skor 0,006 yang dekat dengan teks sejarah nyata, sementara output ChatGPT-4o dengan prompt satu kali dan 20 kali menunjukkan kesenjangan yang lebih lebar, pada 0,310 dan 0,350 masing-masing.

Penulis berpendapat bahwa temuan ini menunjukkan bahwa prompting saja, bahkan dengan contoh yang banyak, bukanlah cara yang dapat diandalkan untuk menghasilkan teks yang menyerupai gaya sejarah.

Menyelesaikan Cuplikan

Makalah tersebut kemudian menyelidiki apakah fine-tuning mungkin menghasilkan hasil yang lebih baik, karena proses ini melibatkan mempengaruhi langsung bobot model dengan melanjutkan pelatihannya pada data yang ditentukan pengguna – proses yang dapat mempengaruhi fungsi inti asli model, tetapi secara signifikan meningkatkan kinerjanya pada domain yang sedang dipusatkan.

Dalam eksperimen fine-tuning pertama, tim melatih GPT-4o-mini pada sekitar dua ribu pasang kelanjutan cuplikan yang diambil dari buku yang diterbitkan antara 1905 dan 1914, dengan tujuan untuk melihat apakah fine-tuning skala kecil dapat menggeser output model ke gaya yang lebih akurat secara historis.

Menggunakan klasifikasi RoBERTa yang sama yang bertindak sebagai hakim dalam tes sebelumnya untuk memperkirakan ‘tanggal’ stilistika dari setiap sampel teks, peneliti menemukan bahwa dalam eksperimen baru ini, model yang difine-tuning menghasilkan teks yang sejalan dengan kebenaran.

Divergensi stilistika dari teks asli, diukur dengan Jensen-Shannon divergence, turun menjadi 0,002, umumnya sejalan dengan GPT-1914:

Perkiraan tanggal penerbitan untuk teks nyata dan yang dihasilkan, menunjukkan seberapa dekat GPT-1914 dan versi GPT-4o-mini yang difine-tuning sesuai dengan gaya penulisan awal abad ke-20 (berdasarkan buku yang diterbitkan antara 1905 dan 1914).

Namun, peneliti tersebut memperingatkan bahwa metrik ini mungkin hanya menangkap fitur superfisial dari gaya sejarah, dan tidak konsep atau anachronisme faktual yang lebih dalam.

‘[Ini] bukanlah tes yang sangat sensitif. Model RoBERTa yang digunakan sebagai hakim di sini hanya dilatih untuk memprediksi tanggal, bukan untuk membedakan antara cuplikan yang autentik dan anachronistik. Mungkin menggunakan bukti stilistika kasar untuk membuat prediksi tersebut. Pembaca manusia, atau model yang lebih besar, mungkin masih dapat mendeteksi konten anachronistik dalam cuplikan yang secara superficial terdengar “masa lalu.”‘

Sentuhan Manusia

Akhirnya, peneliti melakukan tes evaluasi manusia menggunakan 250 cuplikan yang dipilih tangan dari buku yang diterbitkan antara 1905 dan 1914, dan mereka mengamati bahwa banyak dari teks-teks ini kemungkinan akan ditafsirkan sangat berbeda hari ini daripada pada saat penulisannya:

‘Daftar kami termasuk, misalnya, sebuah entri ensiklopedia tentang Alsace (yang pada saat itu merupakan bagian dari Jerman) dan satu tentang beri-beri (yang pada saat itu sering dijelaskan sebagai penyakit jamur daripada kekurangan gizi). Sementara itu perbedaan fakta, kami juga memilih cuplikan yang akan menampilkan perbedaan yang lebih halus dalam sikap, retorika, atau imajinasi.

‘Misalnya, deskripsi tempat non-Eropa pada awal abad ke-20 cenderung bergeser ke generalisasi rasial. Sebuah deskripsi tentang sunrise di bulan yang ditulis pada 1913 membayangkan fenomena kromatik yang kaya, karena tidak ada yang telah melihat foto dari dunia tanpa [atmosfer].’

Peneliti membuat pertanyaan singkat yang dapat dijawab oleh setiap cuplikan sejarah, kemudian melakukan fine-tuning GPT-4o-mini pada pasangan pertanyaan-jawaban tersebut. Untuk memperkuat evaluasi, mereka melatih lima versi terpisah dari model, setiap kali menahan sebagian data untuk pengujian.

Mereka kemudian menghasilkan respons menggunakan versi default GPT-4o dan GPT-4o-mini, serta varian yang difine-tuning, masing-masing dievaluasi pada bagian yang tidak mereka lihat selama pelatihan.

Hilang dalam Waktu

Untuk menilai seberapa akurat model dapat meniru bahasa sejarah, peneliti meminta tiga annotator ahli untuk meninjau 120 kelanjutan yang dihasilkan AI, dan menilai apakah masing-masing salah satu tampaknya masuk akal untuk seorang penulis pada 1914.

Pendekatan evaluasi langsung ini terbukti lebih menantang daripada yang diharapkan: meskipun annotator setuju pada penilaian mereka hampir delapan puluh persen dari waktu, ketidakseimbangan dalam penilaian mereka (dengan ‘masuk akal’ dipilih dua kali lebih sering daripada ‘tidak masuk akal’) berarti bahwa tingkat kesepakatan mereka yang sebenarnya hanya moderat, seperti yang diukur dengan skor Cohen’s kappa sebesar 0,554.

Annotator sendiri menggambarkan tugas sebagai sulit, sering memerlukan penelitian tambahan untuk menilai apakah sebuah pernyataan selaras dengan apa yang diketahui atau dipercaya pada 1914.

Beberapa cuplikan memunculkan pertanyaan sulit tentang nada dan perspektif – misalnya, apakah sebuah respons cukup terbatas dalam pandangannya untuk mencerminkan apa yang akan menjadi khas pada 1914. Jenis penilaian ini sering bergantung pada tingkat etnosentrisme (yaitu, kecenderungan untuk melihat budaya lain melalui asumsi atau bias budaya sendiri).

Dalam konteks ini, tantangannya adalah untuk memutuskan apakah sebuah cuplikan mengekspresikan cukup bias budaya untuk tampaknya masuk akal secara historis tanpa terdengar terlalu modern atau terlalu ofensif menurut standar hari ini. Penulis mencatat bahwa bahkan bagi sarjana yang akrab dengan periode tersebut, sulit untuk menarik garis yang jelas antara bahasa yang terdengar akurat secara historis dan bahasa yang mencerminkan ide kontemporer.

Namun, hasilnya menunjukkan peringkat model yang jelas, dengan versi GPT-4o-mini yang difine-tuning dinilai paling masuk akal secara keseluruhan:

Penilaian annotator tentang seberapa masuk akal output masing-masing model

Apakah tingkat kinerja ini, yang dinilai masuk akal dalam delapan puluh persen kasus, cukup andal untuk penelitian sejarah tetap tidak jelas – terutama karena studi ini tidak termasuk ukuran baseline tentang seberapa sering teks periode asli mungkin salah diklasifikasikan.

Peringatan Penyusup

Selanjutnya, mereka melakukan ‘tes penyusup’, di mana annotator ahli diberikan empat cuplikan anonim yang menjawab pertanyaan sejarah yang sama. Tiga respons berasal dari model bahasa, sementara satu adalah cuplikan asli dari sumber awal abad ke-20.

Tugasnya adalah untuk mengidentifikasi cuplikan mana yang asli, yang ditulis selama periode tersebut.

Pendekatan ini tidak meminta annotator untuk menilai kemungkinan langsung, tetapi lebih untuk mengukur seberapa sering cuplikan asli berdiri keluar dari respons AI, pada dasarnya menguji apakah model dapat menipu pembaca untuk berpikir bahwa output mereka adalah asli.

Peringkat model sesuai dengan hasil dari tugas penilaian sebelumnya: versi GPT-4o-mini yang difine-tuning adalah model yang paling akurat di antara model, tetapi masih gagal mencapai tingkat keaslian yang sama dengan cuplikan asli.

Frekuensi dengan mana setiap sumber diidentifikasi sebagai cuplikan sejarah asli.

Tes ini juga berfungsi sebagai titik acuan yang berguna, karena dengan cuplikan asli diidentifikasi lebih dari setengah waktu, kesenjangan antara prosa asli dan sintetis tetap terlihat bagi pembaca manusia.

Analisis statistik yang dikenal sebagai McNemar’s test mengkonfirmasi bahwa perbedaan antara model tersebut signifikan, kecuali dalam kasus versi yang tidak difine-tuning (GPT-4o dan GPT-4o-mini), yang kinerjanya serupa.

Masa Depan Masa Lalu

Penulis menemukan bahwa meminta model bahasa modern untuk mengadopsi suara sejarah tidak menghasilkan hasil yang akurat: kurang dari dua pertiga dari output dinilai masuk akal oleh pembaca manusia, dan bahkan angka ini kemungkinan melebih-lebihkan kinerja.

Dalam banyak kasus, responsnya termasuk sinyal eksplisit bahwa model berbicara dari perspektif kontemporer – frasa seperti ‘pada 1914, belum diketahui bahwa…’ atau ‘pada 1914, saya tidak terbiasa dengan…’ cukup umum untuk muncul dalam hingga satu dari lima kelanjutan. Pernyataan seperti itu membuat jelas bahwa model tersebut mensimulasikan sejarah dari luar, bukan menulis dari dalam.

Penulis menyatakan:

‘Kinerja buruk dari pembelajaran dalam konteks adalah tidak menguntungkan, karena metode ini adalah yang paling mudah dan termurah untuk penelitian sejarah berbasis AI. Kami menekankan bahwa kami belum mengeksplorasi pendekatan ini secara menyeluruh.

‘Mungkin saja metode pembelajaran dalam konteks cukup – sekarang atau di masa depan – untuk subset tertentu dari bidang penelitian. Tetapi bukti awal kami tidak menguntungkan.’

Penulis menyimpulkan bahwa meskipun fine-tuning model komersial pada cuplikan sejarah dapat menghasilkan output yang stilistika akurat dengan biaya minimal, tidak sepenuhnya menghilangkan jejak perspektif modern. Melatih model sepenuhnya pada materi periode menghindari anachronisme tetapi memerlukan sumber daya yang jauh lebih besar, dan menghasilkan output yang kurang lancar.

Tidak ada metode yang menawarkan solusi lengkap, dan untuk saat ini, setiap upaya untuk mensimulasikan suara sejarah tampaknya melibatkan kompromi antara autentisitas dan koherensi. Penulis menyimpulkan bahwa penelitian lebih lanjut diperlukan untuk memahami bagaimana navigasi ketegangan tersebut.

Kesimpulan

Mungkin salah satu pertanyaan paling menarik yang muncul dari makalah baru ini adalah tentang autentisitas. Meskipun mereka tidak sempurna, fungsi kerugian dan metrik seperti LPIPS dan SSIM memberikan peneliti penglihatan komputer setidaknya metodologi seperti-ke-like untuk evaluasi melawan kebenaran dasar.

Ketika menghasilkan teks baru dalam gaya era yang telah berlalu, sebaliknya, tidak ada kebenaran dasar – hanya upaya untuk menghuni perspektif budaya yang telah menghilang. Mencoba merekonstruksi kesadaran itu dari jejak literatur adalah tindakan kuantifikasi itu sendiri, karena jejak tersebut hanyalah bukti, sedangkan kesadaran budaya dari mana mereka muncul tetap di luar inferensi, dan mungkin di luar imajinasi.

Dalam tingkat praktis juga, fondasi model bahasa modern, yang dibentuk oleh norma dan data kontemporer, berisiko menafsirkan atau menekan ide yang akan tampak masuk akal atau tidak mencolok bagi seorang pembaca Edwardian, tetapi yang sekarang terdaftar sebagai (sering kali ofensif) artefak prasangka, ketidaksetaraan atau ketidakadilan.

Kita bertanya-tanya, oleh karena itu, bahkan jika kita bisa menciptakan percakapan seperti itu, apakah mungkin tidak akan menolak kita.

Publikasi pertama Jumat, 2 Mei 2025