Bagaimana Menghentikan AI Menggambarkan iPhone di Era Lampau

Bagaimana generator gambar AI memvisualisasikan masa lalu? Penelitian baru menunjukkan bahwa mereka meletakkan smartphone di abad ke-18, menyisipkan laptop ke dalam adegan tahun 1930-an, dan menempatkan penghisap debu di rumah-rumah abad ke-19, memunculkan pertanyaan tentang bagaimana model-model ini membayangkan sejarah – dan apakah mereka mampu menghasilkan akurasi sejarah yang kontekstual.

Awal tahun 2024, kemampuan generasi gambar dari model AI multimodal Google Gemini dikritik karena menerapkan keadilan demografis dalam konteks yang tidak tepat, seperti menghasilkan tentara Jerman Perang Dunia II dengan asal yang tidak mungkin:

Personel militer Jerman yang tidak mungkin secara demografis, seperti yang dibayangkan oleh model multimodal Gemini Google pada tahun 2024. Sumber: Gemini AI/Google via The Guardian

Ini adalah contoh di mana upaya untuk mengatasi bias dalam model AI gagal mempertimbangkan konteks sejarah. Dalam kasus ini, masalah tersebut segera diatasi. Namun, model difusi masih rentan menghasilkan versi sejarah yang membingungkan aspek dan artefak modern dan historis.

Hal ini sebagian karena entanglement, di mana kualitas yang sering muncul bersama dalam data pelatihan menjadi menyatu dalam output model. Misalnya, jika objek modern seperti smartphone sering muncul bersama dengan tindakan berbicara atau mendengarkan dalam dataset, model mungkin belajar mengasosiasikan aktivitas tersebut dengan perangkat modern, bahkan ketika prompt menentukan pengaturan sejarah. Sekali asosiasi ini tertanam dalam representasi internal model, menjadi sulit untuk memisahkan aktivitas dari konteks modernnya, menghasilkan hasil yang tidak akurat secara historis.

Sebuah makalah baru dari Swiss, yang mempelajari fenomena generasi sejarah yang terjalin dalam model difusi laten, mengamati bahwa kerangka AI yang sangat mampu menciptakan gambar orang yang realistis namun lebih suka menggambarkan tokoh sejarah dengan cara sejarah:

Dari makalah baru, representasi yang beragam melalui LDM dari prompt ‘Gambar realistis seseorang tertawa dengan teman di [periode sejarah]’, dengan setiap periode ditunjukkan dalam setiap output. Seperti yang kita lihat, medium era telah menjadi terkait dengan konten. Sumber: https://arxiv.org/pdf/2505.17064

Untuk prompt ‘Gambar realistis seseorang tertawa dengan teman di [periode sejarah]’, salah satu dari tiga model yang diuji sering mengabaikan prompt negatif ‘monokrom’ dan malah menggunakan perawatan warna yang mencerminkan media visual dari era yang ditentukan, misalnya meniru nada yang dibatasi dari film seluloid dari tahun 1950-an dan 1970-an.

Di pengujian tiga model untuk kemampuan mereka menciptakan anakronisme (hal-hal yang tidak dari periode target, atau ‘keluar dari waktu’ – yang mungkin dari masa depan periode target serta masa lalunya), mereka menemukan kecenderungan umum untuk menggabungkan aktivitas yang tidak bergantung waktu (seperti ‘bernyanyi’ atau ‘memasak’) dengan konteks dan peralatan modern:

Aktivitas yang berlaku untuk abad sebelumnya digambarkan dengan teknologi dan peralatan saat ini atau lebih baru, melanggar semangat gambar yang diminta.

Perlu diperhatikan bahwa smartphone khususnya sulit dipisahkan dari idiom fotografi, dan dari banyak konteks sejarah lainnya, karena proliferasi dan penggambarannya yang baik dalam dataset hyperscale seperti Common Crawl:

Dalam model generatif text-to-image Flux, komunikasi dan smartphone adalah konsep yang terkait erat – bahkan ketika konteks sejarah tidak memungkinkannya.

Untuk menentukan sejauh mana masalah ini, dan untuk memberikan penelitian masa depan cara untuk mengatasi masalah ini, penulis makalah baru mengembangkan dataset khusus untuk menguji sistem generatif. Dalam satu momen, kita akan melihat karya baru ini, yang berjudul Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models, dan berasal dari dua peneliti di Universitas Zurich. Dataset dan kode tersebut tersedia secara publik.

Kebenaran yang Rapuh

Beberapa tema dalam makalah menyentuh isu-isu sensitif budaya, seperti under-representasi ras dan gender dalam representasi sejarah. Sementara upaya Gemini untuk menerapkan kesetaraan rasial di Reich Ketiga yang sangat tidak setara adalah revisi sejarah yang absurd dan menghina, memulihkan ‘representasi tradisional’ (di mana model difusi telah ‘memperbarui’ ini) sering akan secara efektif ‘mengulangi sejarah’ dengan mengabaikan kenyataan sejarah.

Banyak acara sejarah populer baru-baru ini, seperti Bridgerton, mengaburkan akurasi demografis sejarah dengan cara yang mungkin mempengaruhi dataset pelatihan masa depan, mempersulit upaya untuk menyelaraskan citra periode yang dihasilkan LLM dengan standar tradisional. Namun, ini adalah topik yang kompleks, mengingat kecenderungan sejarah (barat) untuk memfavoritkan kekayaan dan keputihan, dan meninggalkan banyak ‘kisah yang lebih rendah’ yang tidak terungkap.

Mengingat parameter budaya yang sulit dan berubah-ubah ini, mari kita lihat pendekatan peneliti.

Metode dan Pengujian

Untuk menguji bagaimana model generatif menafsirkan konteks sejarah, penulis membuat HistVis, sebuah dataset 30.000 gambar yang dihasilkan dari seratus prompt yang menggambarkan aktivitas manusia umum, masing-masing dirender dalam sepuluh periode waktu yang berbeda:

Contoh dari dataset HistVis, yang penulis sediakan di Hugging Face. Sumber: https://huggingface.co/datasets/latentcanon/HistVis

Aktivitas, seperti memasak, berdoa atau menonton musik, dipilih karena universalitasnya, dan difrasakan dalam format netral untuk menghindari mengaitkan model dengan estetika tertentu. Periode waktu untuk dataset ini berkisar dari abad ke-17 hingga hari ini, dengan fokus tambahan pada lima dekade individu dari abad ke-20.

30.000 gambar dihasilkan menggunakan tiga model difusi sumber terbuka yang umum digunakan: Stable Diffusion XL; Stable Diffusion 3; dan FLUX.1. Dengan mengisolasi periode waktu sebagai satu-satunya variabel, peneliti menciptakan dasar terstruktur untuk mengevaluasi bagaimana petunjuk sejarah dikodekan secara visual atau diabaikan oleh sistem ini.

Dominasi Gaya Visual

Penulis awalnya memeriksa apakah model generatif secara default menggunakan gaya visual tertentu ketika menggambarkan periode sejarah; karena tampaknya bahkan ketika prompt tidak menyebutkan medium atau estetika, model sering mengasosiasikan abad-abad tertentu dengan gaya khas:

Gaya visual yang diprediksi untuk gambar yang dihasilkan dari prompt ‘Seseorang menari dengan orang lain di [periode sejarah]’ (kiri) dan dari prompt yang dimodifikasi ‘Gambar realistis seseorang menari dengan orang lain di [periode sejarah]’ dengan ‘gambar monokrom’ sebagai prompt negatif (kanan).

Untuk mengukur kecenderungan ini, penulis melatih jaringan saraf konvolusi (CNN) untuk mengklasifikasikan setiap gambar dalam dataset HistVis ke dalam salah satu dari lima kategori: gambar; ukiran; ilustrasi; lukisan; atau fotografi. Kategori ini dimaksudkan untuk mencerminkan pola umum yang muncul di seluruh periode waktu, dan yang mendukung perbandingan terstruktur.

Klasifikasi ini didasarkan pada model VGG16 yang telah dilatih sebelumnya pada ImageNet dan dihaluskan dengan 1.500 contoh per kelas dari dataset WikiArt. Karena WikiArt tidak membedakan monokrom dari fotografi warna, skor kecerahan terpisah digunakan untuk menandai gambar dengan saturasi rendah sebagai monokrom.

Setelah klasifikasi dilatih, hasilnya menunjukkan bahwa semua tiga model menerapkan gaya default yang konsisten menurut periode: SDXL mengasosiasikan abad ke-17 dan ke-18 dengan ukiran, sedangkan SD3 dan FLUX.1 cenderung menuju lukisan. Pada dekade abad ke-20, SD3 memfavoritkan fotografi monokrom, sedangkan SDXL sering mengembalikan ilustrasi modern.

Preferensi ini ditemukan bertahan meskipun penyesuaian prompt, menunjukkan bahwa model mengkodekan hubungan yang kuat antara gaya dan konteks sejarah.

Gaya visual yang diprediksi dari gambar yang dihasilkan di seluruh periode sejarah untuk setiap model difusi, berdasarkan 1.000 sampel per periode per model.

Untuk mengukur seberapa kuat model mengaitkan periode sejarah dengan gaya visual tertentu, penulis mengembangkan metrik yang mereka sebut Dominasi Gaya Visual (VSD). Untuk setiap model dan periode waktu, VSD didefinisikan sebagai proporsi output yang diprediksi untuk berbagi gaya yang paling umum:

Contoh bias stilistika di seluruh model.

Skor yang lebih tinggi menunjukkan bahwa satu gaya mendominasi output untuk periode tersebut, sedangkan skor yang lebih rendah menunjukkan variasi yang lebih besar. Ini memungkinkan perbandingan seberapa kuat setiap model mempertahankan konvensi stilistika tertentu di seluruh waktu.

Diterapkan pada dataset HistVis lengkap, metrik VSD mengungkapkan tingkat konvergensi yang berbeda, membantu menjelaskan seberapa kuat setiap model mempersempit interpretasi visual mereka tentang masa lalu:

Tabel hasil di atas menunjukkan skor VSD di seluruh periode sejarah untuk setiap model. Pada abad ke-17 dan ke-18, SDXL cenderung menghasilkan ukiran dengan konsistensi tinggi, sedangkan SD3 dan FLUX.1 memfavoritkan lukisan. Pada abad ke-20 dan ke-21, SD3 dan FLUX.1 bergeser menuju fotografi, sedangkan SDXL menunjukkan lebih banyak variasi, tetapi sering mengembalikan ilustrasi.

Semua tiga model menunjukkan preferensi kuat untuk gambar monokrom pada dekade awal abad ke-20, terutama 1910-an, 1930-an, dan 1950-an.

Untuk menguji apakah pola ini dapat dimitigasi, penulis menggunakan rekayasa prompt, secara eksplisit meminta fotorealisme dan mencegah output monokrom menggunakan prompt negatif. Dalam beberapa kasus, skor dominasi berkurang, dan gaya terkemuka bergeser, misalnya dari monokrom ke lukisan, pada abad ke-17 dan ke-18.

Namun, intervensi ini jarang menghasilkan gambar yang benar-benar realistis, menunjukkan bahwa default stilistika model sangat tertanam.

Konsistensi Sejarah

Garis analisis berikutnya memeriksa konsistensi sejarah: apakah gambar yang dihasilkan termasuk objek yang tidak sesuai dengan periode waktu. Sebagai gantinya menggunakan daftar objek yang dilarang, penulis mengembangkan metode yang fleksibel yang menggunakan model bahasa besar (LLM) dan model visi-bahasa (VLM) untuk mendeteksi elemen yang tampaknya tidak pada tempatnya, berdasarkan konteks sejarah.

Metode deteksi mengikuti format yang sama dengan dataset HistVis, di mana setiap prompt menggabungkan periode sejarah dengan aktivitas manusia. Untuk setiap prompt, GPT-4o menghasilkan daftar objek yang akan tidak sesuai dengan periode waktu yang ditentukan; dan untuk setiap objek yang diusulkan, GPT-4o menghasilkan pertanyaan ya atau tidak yang dirancang untuk memeriksa apakah objek tersebut muncul dalam gambar yang dihasilkan.

Contohnya, untuk prompt ‘Seseorang mendengarkan musik di abad ke-18’, GPT-4o mungkin mengidentifikasi perangkat audio modern sebagai tidak akurat secara historis, dan menghasilkan pertanyaan Apakah orang tersebut menggunakan headphone atau smartphone yang tidak ada di abad ke-18?.

Pertanyaan-pertanyaan ini dikembalikan ke GPT-4o dalam pengaturan jawaban visual, di mana model meninjau gambar dan mengembalikan jawaban ya atau tidak untuk setiap pertanyaan. Pipa ini memungkinkan deteksi konten yang tidak masuk akal secara historis tanpa bergantung pada taksonomi objek modern yang telah ditentukan sebelumnya:

Contoh gambar yang dihasilkan yang diberi tanda oleh metode deteksi dua tahap, menunjukkan elemen anakronistik: headphone di abad ke-18; penghisap debu di abad ke-19; laptop di tahun 1930-an; dan smartphone di tahun 1950-an.

Untuk mengukur seberapa sering anakronisme muncul dalam gambar yang dihasilkan, penulis memperkenalkan metode sederhana untuk mengukur frekuensi dan keparahan. Pertama, mereka mempertimbangkan perbedaan kecil dalam deskripsi objek yang sama oleh GPT-4o.

Contohnya, perangkat audio modern dan perangkat audio digital dianggap setara. Untuk menghindari penghitungan ganda, sistem pencocokan fuzzy digunakan untuk mengelompokkan variasi permukaan ini tanpa mempengaruhi konsep yang benar-benar berbeda.

Saat semua anakronisme yang diusulkan dinormalisasi, dua metrik dihitung: frekuensi mengukur seberapa sering objek tertentu muncul dalam gambar untuk periode waktu tertentu dan model; dan keparahan mengukur seberapa andal objek tersebut muncul sekali telah diusulkan oleh model.

Jika sebuah ponsel modern diberi tanda sepuluh kali dan muncul dalam sepuluh gambar yang dihasilkan, maka skor keparahannya adalah 1,0. Jika muncul hanya dalam lima gambar, skor keparahannya adalah 0,5. Skor ini membantu mengidentifikasi tidak hanya apakah anakronisme terjadi, tetapi seberapa kuat mereka tertanam dalam output model untuk setiap periode:

Lima belas anakronisme teratas untuk setiap model, diplot oleh frekuensi pada sumbu x dan keparahan pada sumbu y. Lingkaran menandai elemen yang berperingkat di antara lima belas teratas berdasarkan frekuensi, segitiga oleh keparahan, dan berlian oleh keduanya.

Di atas, kita melihat lima belas anakronisme paling umum untuk setiap model, peringkat oleh seberapa sering mereka muncul dan seberapa konsisten mereka sesuai dengan prompt.

Pakaian sering muncul tetapi tersebar, sedangkan item seperti perangkat audio dan peralatan penyetrikaan muncul kurang sering, tetapi dengan konsistensi yang lebih tinggi – pola yang menunjukkan model sering merespons aktivitas dalam prompt lebih dari periode waktu.

SD3 menunjukkan tingkat anakronisme tertinggi, terutama dalam gambar abad ke-19 dan 1930-an, diikuti oleh FLUX.1 dan SDXL.

Untuk menguji seberapa baik metode deteksi sesuai dengan penilaian manusia, penulis menjalankan studi pengguna yang menampilkan 1.800 gambar yang diambil secara acak dari SD3 (model dengan tingkat anakronisme tertinggi), dengan setiap gambar dinilai oleh tiga pekerja kerumunan. Setelah penyaringan untuk respons yang dapat diandalkan, 2.040 penilaian dari 234 pengguna dimasukkan, dan metode tersebut setuju dengan suara mayoritas dalam 72 persen kasus.

GUI untuk studi evaluasi manusia, menampilkan instruksi tugas, contoh gambar akurat dan anakronistik, dan pertanyaan ya atau tidak untuk mengidentifikasi inkonsistensi temporal dalam output yang dihasilkan.

Demografi

Analisis terakhir memeriksa bagaimana model menggambarkan ras dan gender sepanjang waktu. Menggunakan dataset HistVis, penulis membandingkan output model dengan perkiraan baseline yang dihasilkan oleh model bahasa. Perkiraan ini tidak akurat, tetapi menawarkan gambaran kasar tentang kemungkinan sejarah, membantu mengungkap apakah model menyesuaikan penggambaran dengan periode yang dimaksud.

Untuk menilai penggambaran ini dalam skala besar, penulis membangun pipa yang membandingkan demografi output model dengan harapan kasar. Mereka pertama-tama menggunakan klasifikasi FairFace, sebuah alat berbasis ResNet34 yang dilatih pada lebih dari seratus ribu gambar, untuk mendeteksi gender dan ras dalam output yang dihasilkan, memungkinkan pengukuran seberapa sering wajah dalam setiap adegan diklasifikasikan sebagai laki-laki atau perempuan, dan untuk melacak kategori ras di seluruh periode:

Contoh gambar yang dihasilkan yang menunjukkan overrepresentasi demografis di seluruh model, periode waktu, dan aktivitas.

Hasil dengan kepercayaan diri rendah disaring untuk mengurangi kebisingan, dan prediksi dirata-ratakan di seluruh gambar yang terkait dengan waktu dan aktivitas tertentu. Untuk memeriksa keandalan pembacaan FairFace, sistem kedua berdasarkan DeepFace digunakan pada sampel 5.000 gambar. Kedua klasifikasi menunjukkan kesepakatan yang kuat, mendukung konsistensi pembacaan demografis yang digunakan dalam studi.

Untuk membandingkan output model dengan kemungkinan sejarah, penulis meminta GPT-4o untuk memperkirakan distribusi gender dan ras yang diharapkan untuk setiap aktivitas dan periode waktu. Perkiraan ini berfungsi sebagai baseline kasar daripada kebenaran sejarah. Dua metrik kemudian digunakan: underrepresentasi dan overrepresentasi, mengukur seberapa jauh output model menyimpang dari harapan LLM.

Hasilnya menunjukkan pola yang jelas: FLUX.1 sering mengoverrepresentasi laki-laki, bahkan dalam skenario seperti memasak, di mana perempuan diharapkan; SD3 dan SDXL menunjukkan tren serupa di seluruh kategori seperti kerja, pendidikan, dan agama; wajah kulit putih muncul lebih dari yang diharapkan secara keseluruhan, meskipun bias ini menurun dalam periode yang lebih baru; dan beberapa kategori menunjukkan lonjakan yang tidak terduga dalam representasi non-kulit putih, menunjukkan bahwa perilaku model mungkin mencerminkan korelasi dataset daripada konteks sejarah:

Overrepresentasi dan underrepresentasi gender dan ras dalam output FLUX.1 di seluruh abad dan aktivitas, ditunjukkan sebagai perbedaan absolut dari perkiraan demografis GPT-4o.

Penulis menyimpulkan:

‘Analisis kami menunjukkan bahwa [Text-to-image/TTI] model bergantung pada pengkodean stilistika terbatas daripada pemahaman nuansa tentang periode sejarah. Setiap era sangat terkait dengan gaya visual tertentu, menghasilkan penggambaran sejarah yang satu dimensi.

‘Secara khusus, penggambaran realistis orang hanya muncul dari abad ke-20 dan seterusnya, dengan pengecualian langka di FLUX.1 dan SD3, menunjukkan bahwa model memperkuat asosiasi yang dipelajari daripada beradaptasi secara fleksibel dengan konteks sejarah, memperkuat gagasan bahwa realisme adalah ciri modern.

‘Selain itu, anakronisme yang sering terjadi menunjukkan bahwa periode sejarah tidak dipisahkan dengan baik dalam ruang laten model, karena artefak modern sering muncul dalam pengaturan sebelum modern, merusak keandalan sistem TTI dalam konteks pendidikan dan warisan budaya.’

Kesimpulan

Selama pelatihan model difusi, konsep baru tidak dengan rapi menetap dalam slot yang telah ditentukan sebelumnya dalam ruang laten. Sebaliknya, mereka membentuk cluster yang dibentuk oleh seberapa sering mereka muncul dan oleh kedekatan mereka dengan ide terkait. Hasilnya adalah struktur yang longgar di mana konsep ada dalam kaitannya dengan frekuensi dan konteks khas, bukan oleh pemisahan yang bersih atau empiris.

Hal ini membuatnya sulit untuk mengisolasi apa yang dianggap ‘sejarah’ dalam dataset besar dan umum. Seperti yang ditemukan dalam makalah baru, banyak periode waktu lebih diwakili oleh penampilan media yang digunakan untuk menggambarkannya daripada detail sejarah yang lebih dalam.

Ini adalah salah satu alasan mengapa masih sulit menghasilkan gambar realistis tahun 2025 dari karakter dari (misalnya) abad ke-19; dalam kebanyakan kasus, model akan bergantung pada trope visual yang diambil dari film dan televisi. Ketika trope tersebut gagal memenuhi permintaan, ada sedikit yang lain dalam data untuk mengkompensasi. Membuat jembatan ini kemungkinan akan bergantung pada perbaikan masa depan dalam memisahkan konsep yang tumpang tindih.

Dipublikasikan pertama kali pada hari Senin, 26 Mei 2025