Mengajari AI Membaca Teks Tersembunyi yang Bisa Dilihat Manusia

Salah satu tren AI yang sempat populer lalu meredup dengan cukup cepat sekitar 2–3 tahun lalu adalah penggunaan Model Visi-Bahasa (VLM) untuk menyisipkan teks samar dan “gambar laten” ke dalam gambar hasil generasi yang tampaknya tidak berbahaya:

Ilusi optik dan efek trompe-l’œil menjadi ciri keluaran ControlNet QR Code Monster. Sumber

Ini semacam efek trompe-l’œil yang bisa dibuat sesuai permintaan, dan mencapai puncak popularitas melalui kerangka kerja QR Code Monster ControlNet sumber terbuka.

Setelah cukup banyak orang melihat teknik ini digunakan, tampaknya tidak banyak lagi yang bisa dilakukan dengannya selain memanfaatkannya sebagai bentuk kriptografi praktis, yang memungkinkan pengiriman teks tanpa terdeteksi atau ditafsirkan oleh VLM maupun sistem Pengenalan Karakter Optis (OCR), serta pengiriman pesan yang tersubliminalkan sebagian:

Apakah Anda menangkap pesannya? Jika belum, gulir ke bawah untuk melihat jawabannya. Contoh ilusi optik hasil generasi AI yang terkenal, yang merujuk—seperti ilustrasi utama artikel ini—pada meme dari film fiksi ilmiah John Carpenter tahun 1988, ‘They Live’. Dalam film itu, seorang pria menemukan bahwa dunia dipenuhi pesan subliminal dari ras alien yang menyusup. Sumber

Karya seperti penelitian tahun 2025 Kebencian di Depan Mata dan Tersembunyi di Depan Mata yang terbit bulan lalu memperjelas potensi metode ini untuk menyebarkan pandangan penuh kebencian dan, secara umum, untuk steganografi.

Karena itu, dalam literatur, teknik ini kini dipandang terutama sebagai teknik yang berpotensi berbahaya, bukan sekadar pembuat meme yang menghibur.

Menilik Lebih Jauh

Salah satu tantangan dalam mencegat penyusupan semacam ini—sebut saja AI Opticals, karena tampaknya belum ada nama yang disepakati—adalah membuat model AI multimodal mampu “melihat gambaran besarnya”, ibarat melihat hutan, bukan hanya pepohonan. Saat kita menyipitkan mata atau memperkecil AI Optical hingga ukurannya sangat kecil, ciri-ciri utama teks subliminal itu menjadi mudah terlihat oleh kita:

Mengingat pelatihan model difusi secara bertahap mengajari AI untuk beralih dari melihat konsep sebagai “sketsa kasar” hingga mampu menghasilkan detail yang tajam (agak mirip dengan menyelesaikan sisa gambar burung hantu itu), VLM seharusnya cukup piawai mengenali pola semacam ini. Namun, penelitian terbaru menunjukkan bahwa kenyataannya tidak demikian:

Penelitian tahun 2025 berjudul ‘SemVink’ menemukan bahwa VLM terdepan yang sebenarnya cukup mumpuni tetap tidak mampu mengungkap teks subliminal dalam AI Opticals. Sumber

Namun, makalah terbaru dari Tiongkok mengusulkan kerangka kerja baru yang dapat membantu VLM mengenali AI Opticals.

Pendekatan baru ini, yang kodenya telah dirilis, menggunakan metode pelatihan yang membuat satu model AI belajar dari model lain dengan memberikan versi gambar yang diperkecil serta transkripsi yang benar. Para peneliti melaporkan bahwa metode ini memungkinkan pesan tersembunyi dibaca langsung dari gambar asli, dengan skor pengenalan yang jauh lebih tinggi daripada metode pelatihan konvensional:

Diagram metode pelatihan AI yang diusulkan. Dua model diperlihatkan belajar dari gambar yang sama. Model guru diberi petunjuk tambahan, termasuk versi gambar yang lebih kecil agar teks tersembunyi lebih mudah dikenali, serta jawaban yang benar. Panduannya digunakan untuk melatih model siswa, yang pada akhirnya harus mampu mengenali teks tanpa petunjuk tersebut.  Sumber

Metode bernama SQUINT ini memanfaatkan distilasi pengetahuan, yaitu proses meneruskan informasi yang dipelajari oleh satu model AI kepada model lain selama pelatihan. Dalam hal ini, model siswa dilatih untuk meniru prediksi model guru dengan membandingkan respons keduanya secara matematis. Setelah pelatihan selesai, model guru dapat disingkirkan sehingga hanya tersisa satu model untuk memeriksa gambar baru tanpa bantuan tambahan.

Dalam dua tahap SQUINT, prediksi siswa terlebih dahulu dibandingkan dengan prediksi guru yang memiliki informasi lebih baik, sehingga siswa dapat belajar dari perbedaan di antara keduanya. Pada tahap kedua, peningkatan lebih lanjut didorong dengan memberikan penghargaan atas pembacaan teks tersembunyi yang benar.

Dalam pengujian, SQUINT berhasil mengenali tulisan tersembunyi pada gambar yang sebagian besar gagal dikenali oleh model AI awal, dan juga menunjukkan kinerja lebih baik dalam sejumlah tolok ukur independen. Ditemukan bahwa teks tersembunyi sering kali dapat dideteksi meskipun tidak dapat dibaca, dan pengenalan meningkat ketika perhatian diarahkan ke bagian gambar yang membentuk huruf.

Peningkatan lebih lanjut diperoleh dengan menghilangkan detail halus dan tekstur, sehingga bentuk yang mendasarinya lebih mudah dibedakan:

Tiga pengujian untuk menyelidiki mengapa teks tersembunyi salah dibaca. Kiri: mengarahkan model ke bagian gambar yang tepat menunjukkan bahwa menemukan huruf merupakan kendala utama. Tengah: menghilangkan detail visual yang halus menunjukkan bahwa tekstur dapat mengaburkan bentuk huruf yang lebih besar. Kanan: menambahkan tampilan dengan skala lebih kecil menunjukkan bahwa memperkecil gambar membantu model membedakan karakter yang tampak serupa secara visual.

Data dan Metode

Sekadar memaparkan lebih banyak contoh AI Opticals kepada model terbukti tidak memadai, karena pelatihan konvensional tidak memberi alasan untuk mempertimbangkan gambar pada skala yang berbeda. Karena itu, SQUINT menggunakan versi gambar yang diperkecil selama pelatihan untuk mengajari model informasi visual mana yang perlu diprioritaskan ketika menghadapi gambar berukuran penuh.

Untuk mendukung hal ini, diperlukan dua kumpulan data; SquintBench terdiri atas 1.076 gambar yang dikurasi dari suatu alur kerja moderasi konten produksi (yang tidak disebutkan secara spesifik) — semuanya diambil dari data produksi nyata. Menurut para penulis, gambar-gambar tersebut tampaknya berupa foto profil manusia yang memuat teks tersembunyi yang dapat dibaca orang dengan nyaris tanpa kesulitan; teks yang terlihat maupun yang tersembunyi ditranskripsikan oleh anotator manusia.

Kumpulan data kedua, SquintCtrl, memuat teks tersembunyi yang disisipkan ke dalam adegan hasil generasi menggunakan QR Code Monster v2 yang berjalan pada Stable Diffusion 1.5 yang kini sudah terbilang lawas (yang tampaknya harus direbut dari tangan dingin para peneliti visi komputer). Karena teks yang digunakan untuk menghasilkan setiap gambar sudah diketahui sebelumnya, lokasi persisnya dapat diidentifikasi secara otomatis, sehingga kegagalan pengenalan dapat diperiksa tanpa anotasi manusia.

SquintCtrl dibagi menjadi empat subset: SquintCtrl-Pair menggunakan 500 pasangan gambar yang cocok, dengan dan tanpa teks tersembunyi, untuk menguji apakah keberadaan teks tersebut dapat dideteksi; SquintCtrl-Glyph menguji apakah karakter individual beraksara Han dan Latin dapat diidentifikasi dan ditemukan lokasinya; SquintCtrl-Strength memvariasikan kekuatan teks tersembunyi dalam 200 adegan; dan SquintCtrl-Read menyediakan 200 gambar dengan kosakata terbuka untuk menguji transkripsi lengkap.

Pengujian

Eksperimen diagnostik dilakukan menggunakan Qwen3.5-9B, dengan bobot yang dibiarkan tidak berubah untuk mengungkap apa yang sudah dapat dikenali oleh model tersebut.

Tahap pelatihan pertama, Squint OPSD, menggunakan guru yang memiliki informasi lebih baik untuk membimbing siswa. Guru menerima gambar asli, versi yang diperkecil, dan transkripsi yang benar, sedangkan siswa hanya melihat gambar asli. Prediksi keduanya kemudian dibandingkan token demi token, sehingga siswa dapat belajar dari guru sambil tetap mampu bekerja hanya dengan gambar asli.

Pelatihan dilakukan menggunakan 5.905 prompt, yang terdiri atas 3.489 gambar sintetis dengan teks tersembunyi, 1.213 sampel OCR, dan 1.203 sampel tanya jawab visual. SquintBench digunakan sebagai set evaluasi utama, sedangkan transfer diukur menggunakan Illusory VQA; AdvOCR; dan HC-Bench. Kinerja visi-bahasa yang lebih luas diuji menggunakan AI2D; DocVQA; dan OCRBench.

Sebagai pembanding, model pralatih asli diuji bersama versi yang diberi tampilan tambahan berskala lebih kecil, penyetelan halus terawasi (SFT), dan DAPO. Claude Opus 5, Gemini 3.1 Pro, GPT-6 Astra, dan Qwen3-VL-235B-Thinking juga dievaluasi sebagai tolok ukur eksternal.

Hasil pengujian yang membandingkan Squint OPSD dengan metode dasar. Squint OPSD meraih skor SquintBench tertinggi, yaitu 88.61, sekaligus mempertahankan kinerja visi-bahasa umum yang jauh lebih baik dibandingkan penyetelan halus terawasi.

Seperti terlihat pada tabel hasil di atas, Squint OPSD meningkatkan skor SquintBench dari 26.50 untuk model asli menjadi 88.61, mengungguli ketiga metode dasar pelatihan sekaligus sebagian besar mempertahankan kinerja pada pengujian visi-bahasa umum.

Dalam pengujian berikutnya, Squint OPSD dievaluasi menggunakan tiga tolok ukur eksternal untuk teks tersembunyi:

Hasil pengujian yang membandingkan Squint OPSD dengan lima model lain di SquintBench dan tiga tolok ukur eksternal untuk teks tersembunyi. Squint OPSD mencatat hasil terbaik dalam setiap pengujian ketika model diberi gambar utuh tanpa perubahan. Untuk Illusory VQA, tingkat kesalahan kata yang lebih rendah menunjukkan kinerja yang lebih baik.

Skor meningkat dari 3.7 menjadi 66.7 pada AdvOCR dan dari 1.8 menjadi 44.6 pada HC-Bench, sementara tingkat kesalahan kata pada Illusory VQA turun dari 178.10 menjadi 67.00. Qwen3-VL-235B-Thinking dan GPT-6 Astra yang jauh lebih besar juga memperoleh hasil buruk pada gambar SquintBench asli, dengan skor masing-masing 24.44 dan 8.33.

Setelah pelatihan, perbedaan internal yang jauh lebih jelas terlihat di antara karakter-karakter individual yang tersembunyi dalam gambar. Untuk karakter Mandarin, ukuran yang menunjukkan seberapa jelas identitas karakter direpresentasikan meningkat dari 0.718 menjadi 0.975, sedangkan skor yang setara untuk karakter Latin naik dari 0.612 menjadi 0.779.

Pengujian tentang perubahan cara model menangani karakter tersembunyi setelah pelatihan. Di sebelah kiri, prediksi dan perhatian model terlihat semakin terpusat pada bagian gambar yang membentuk karakter tersembunyi, sementara akurasinya menurun ketika bagian tersebut diubah. Di sebelah kanan, prediksi karakter alternatif model terlihat semakin tersusun berdasarkan kemiripan visual, sembari tetap mempertahankan informasi berbasis bahasa.

Perhatian model juga lebih terarah pada bagian gambar yang benar-benar membentuk huruf tersembunyi. Ketika representasi internal model atas bagian-bagian tersebut sengaja diubah, akurasi turun dari 90.5% menjadi 71.5%. Sebagai perbandingan, mengubah jumlah yang setara dari bagian latar belakang yang dipilih secara acak hampir tidak menimbulkan perubahan. Hal ini menunjukkan bahwa teks tersembunyi dibaca dari struktur visual yang relevan.

Kesimpulan

Mungkin ada semacam “miopia fraktal” dalam karya baru ini, yang juga berulang di ranah AI lainnya. Sebagian besar pengguna yang akrab dengan LLM dan VLM mutakhir tentu mengenali betapa seringnya model-model tersebut cenderung berfokus pada bagian kecil dari teks, gambar, atau proses pembuatan video, tanpa mempertimbangkan lebih luas dampak perubahan itu terhadap gambaran besarnya.

Dalam banyak kasus, masalahnya berkaitan dengan memori AI yang tidak sempurna (serta kemampuannya yang masih sangat awal dalam memadatkan memorinya sendiri untuk tugas yang lebih panjang dan biasanya bersifat agentik). Namun, terkadang, seperti dalam kasus ini, praktik pelatihan bawaan ternyata masih memiliki kekurangan dan perlu ditangani secara khusus. Pertanyaannya adalah sejauh mana kita harus belajar dari kasus-kasus seperti ini dan mempertimbangkan untuk merevisi praktik pelatihan dasar—serta kapan proses tersebut dapat dianggap terlalu “spesifik” dan tidak cukup signifikan sehingga hanya layak ditangani melalui pendekatan pihak ketiga seperti LoRA.

Pertama kali diterbitkan pada Selasa, 10 November 2026