Mengubah Warna Font Dapat Membajak Penalaran AI

Sebuah studi baru menemukan bahwa pemformatan biasa dapat secara diam-diam mengarahkan penalaran AI, menyebabkan AI mengabaikan kata-kata, salah menafsirkan makna, dan mencapai kesimpulan yang berbeda – tanpa mengubah teks itu sendiri.

Pengkodean budaya manusia terhadap warna bisa bervariasi di seluruh dunia, tetapi konsep Barat – yaitu merah untuk ‘bahaya’, hijau untuk ‘oke’ – cenderung mendominasi bahkan dalam Vision Language Models (VLM) Asia, karena berbagai alasan strategis dan/atau kebetulan.

Kami tidak berbeda; mewarnai hal ‘buruk’ dengan warna positif, dan hal ‘baik’ dengan warna negatif, membuat manusia bereaksi berbeda terhadap hal tersebut. Begitu pula mengubah kecerahan dan kontras.

Sebuah kolaborasi riset baru telah mengeksplorasi sejauh mana hal ini juga berlaku pada model AI, menemukan indikasi awal bahwa VLM dapat dipengaruhi dengan memanipulasi warna teks, serta mengubah kontras dan kecerahan relatif.

‘Eksperimen kami memberikan analisis sistematis tentang bagaimana gaya visual tingkat rendah pada teks mengdistorsi representasi semantik dalam encoder visi VLM. Selain itu, kami memeriksa bagaimana pergeseran ruang laten ini muncul sebagai perubahan perilaku pada VLM end-to-end dalam tugas subjektif (analisis sentimen) dan objektif (menjawab pertanyaan).’

‘Hasil ini menunjukkan bahwa gaya visual mengungkap kerentanan kritis yang sebelumnya belum banyak dieksplorasi pada VLM, dan kami membahas implikasinya terhadap ketangguhan dan keamanan pipeline VLM.’

Dari situs proyek karya baru, ilustrasi tentang bagaimana warna teks saja dapat mengubah interpretasi internal AI terhadap sebuah kata. Contohnya menampilkan kata ‘bad’ yang ditampilkan dalam warna berbeda, dengan hijau menggeser representasi semantiknya ke interpretasi yang lebih positif meskipun teks itu sendiri tidak berubah. Sumber – https://kohsukeide.github.io/color-bias-vlm/Sumber

Warna Membuat Saya Terkejut

Saat ini, bagi miliaran bisnis dan individu yang lalu lintas pencarian pentingnya telah dipotong secara brutal oleh kemunculan sinopsis AI dalam hasil pencarian, serta pergeseran ke LLM sebagai orakel pencarian, permukaan serangan seperti ini sangat menarik.

Karena percakapan manusia yang terus-menerus di Reddit penting untuk menjaga pengetahuan AI tetap mutakhir, platform media sosial tersebut telah menjadi target utama bagi bisnis dan individu yang ingin dimasukkan dalam pengetahuan LLM; panduan telah muncul tentang ‘memanipulasi’ Reddit sebagai metode proksi untuk memengaruhi LLM.

Dengan cara serupa, ada trik lama menyertakan teks yang hanya dapat dilihat mesin, sehingga Anda dapat menyampaikan instruksi tersembunyi yang menguntungkan kepada LLM, untuk memenangkan turnamen akademik, atau mempengaruhi hasil ujian.

Baru-baru ini, majalah Time mulai menempatkan iklan ke dalam versi ‘rahasia’ situsnya yang hanya terlihat oleh perayap web AI yang secara terus-menerus menelusuri situs untuk data baru, sehingga berpotensi memungkinkan pengiklan membeli jalan menuju penonjolan yang lebih besar (atau interpretasi yang lebih positif) dalam respons AI.

Oleh karena itu, setiap kelemahan baru LLM/VLM, seperti respons berwarna yang dapat ‘diaktifkan’ untuk memanipulasi hasil, menjadi target jelas bagi dunia yang berusaha keras merebut kembali kontrol narasi media dari AI frontier.

Misalnya, sebuah perusahaan yang ingin membangun pabrik pencemar yang kemungkinan akan menurunkan kualitas air lokal dapat menambahkan kode warna ke dalam leksikon spin mereka, dalam materi pemasaran atau siaran pers, sebagai upaya mengalihkan berita yang kebanyakan orang anggap ‘negatif’.

Penggunaan strategis CSS dan/atau teknik SEO bahkan dapat menyembunyikan manipulasi warna dari pembaca manusia biasa, dengan menyajikan stylesheet khusus AI yang menambahkan penekanan warna pada teks yang tersembunyi dari manusia, yang hanya akan melihat teks berwarna hitam.

Penulis karya baru tersebut menyatakan:

‘Sensitivitas ini menunjukkan risiko keandalan dan keamanan bagi pipeline VLM yang mengonsumsi dokumen atau tangkapan layar UI: gaya yang baik atau bersifat adversarial dapat mengarahkan keputusan model tanpa mengubah teks yang mendasarinya.’

‘Langkah-langkah pengamanan praktis meliputi menormalkan teks yang dirender sebelum inferensi, memeriksa silang jawaban berbasis gambar dengan teks yang diekstrak OCR, dan menambahkan pemeriksaan ketahanan gaya ke dalam rangka evaluasi.’

Karya baru berjudul Seeing Red, Thinking Bad: Color Bias in Vision Language Models, dan ditulis oleh lima peneliti dari National Institute of Advanced Industrial Science and Technology (AIST) Jepang, University of Tsukuba, University of Technology Nuremberg, dan University of Oxford. Inisiatif ini dilengkapi dengan repositori GitHub dan situs proyek.

Metode

Untuk mengetahui sejauh mana presentasi visual saja dapat memengaruhi model, para peneliti mengembangkan ‘Stealth Visual Prompts’ – perubahan format teks yang tampak biasa, yang tidak menyertakan instruksi eksplisit kepada AI.

Ini bisa sesederhana mengubah warna kata positif atau negatif, atau membuat jawaban yang salah lebih menonjol dibandingkan yang benar, sambil membiarkan kata-kata aslinya tidak berubah.

Berbagai teks dihasilkan untuk setiap tugas, dengan tes sentimen menggunakan templat netral yang diisi dengan kata positif dan negatif, sementara tes Visual Question Answering (VQA) mengambil pasangan pertanyaan‑konteks dari SQuAD:

Contoh pertanyaan yang ditujukan pada mesin dari dataset SQuAD yang digunakan dalam karya baru.Sumber

Koleksi terkurasi yang dihasilkan diberi judul VQA Stealth Set.

Teks dirender pada kanvas standar 800x600px, dengan tata letak tetap, sehingga hanya gaya visual yang ditargetkan yang diubah. Warna dan kontras dimanipulasi secara independen, dengan pengujian warna mempelajari asosiasi semantik, dan pengujian kontras menilai kejelasan visual.

Kata‑kata terpilih diwarnai ulang, dan seluruh paragraf dirender dengan kontras lebih rendah; atau, dalam pengaturan Saliency Competition, jawaban yang salah dibuat secara visual lebih menonjol daripada jawaban yang benar.

Setiap perubahan respons model yang dihasilkan dapat dengan demikian dikaitkan semata‑mata pada gaya visual, bukan pada perubahan teks yang mendasarinya.

Data dan Pengujian

Tiga set pengujian yang berbeda dibuat untuk mewakili cara‑cara berbeda VLM memproses teks yang disajikan sebagai gambar:

Ilustrasi tiga desain pengujian visual. Contohnya menunjukkan rangsangan yang digunakan untuk menguji apakah presentasi visual saja dapat memengaruhi penalaran model: (a) teks campuran sentimen dengan kata terpilih diwarnai ulang untuk menguji bias warna; (b) paragraf lebih panjang yang memisahkan bahasa positif dan negatif untuk menilai apakah struktur dokumen mengubah efek; dan (c), contoh visual question answering di mana jawaban decoy yang salah namun semantik serupa (‘twenty miles’) dibuat lebih menonjol secara visual melalui kontras yang lebih tinggi.Sumber

Short-sentence Sentiment Set menguji bias warna tingkat kata menggunakan 100 kalimat pendek yang dihasilkan dari templat netral yang berisi kata positif atau negatif. Setiap kalimat dirender dalam 37 versi visual, terdiri dari baseline teks hitam plus kombinasi enam warna (merah, hijau, biru, kuning, cyan, dan magenta), pada tiga tingkat intensitas.

Long-sentence Sentiment Set menggunakan paragraf yang lebih panjang, di mana bahasa positif dan negatif dipisahkan ke bagian teks yang berbeda. Ini dimaksudkan untuk menentukan apakah struktur dokumen yang lebih luas dan efek posisi, seperti primasi atau recency (bias berbasis posisi, di mana informasi yang muncul lebih awal atau lebih akhir dalam dokumen dapat diberikan bobot lebih), akan mengatasi bias yang dihasilkan warna. Kondisi 37 warna yang sama diterapkan.

Dalam VQA Stealth Set, pertanyaan dan konteks terkaitnya dirender sebagai gambar, setelah itu dua kondisi berbasis kontras diuji: dalam Global Contrast, keterbacaan seluruh dokumen dikurangi dengan merendernya pada tingkat kontras yang semakin rendah; dan dalam Saliency Competition, baik jawaban yang benar, atau kata decoy yang semantik serupa (dipilih menggunakan kemiripan CLIP) dirender dengan kontras tinggi, sementara teks yang tersisa dipudar – memungkinkan penekanan visual bersaing dengan bukti dalam teks.

Metrik

Setiap contoh diklasifikasikan sebagai POSITIVE, NEUTRAL, atau NEGATIVE. Klasifikasi yang dihasilkan kemudian dibandingkan dengan baseline semua hitam (teks hitam pada latar putih) untuk menentukan sejauh mana warna saja menggeser prediksi ke arah hasil yang lebih positif atau lebih negatif.

Eksperimen VQA dievaluasi melalui skor F1 tingkat token, di mana jawaban yang diprediksi dibandingkan dengan jawaban kebenaran dasar yang diterima.

Induced Error Rate (IER), metrik baru, diperkenalkan khusus untuk tes Saliency Competition, dan dimaksudkan untuk mengukur seberapa sering jawaban decoy yang disorot secara visual dipilih (alih‑alih jawaban yang benar), ketika visibilitas teks berkurang.

Selain itu, probe representasi CLIP digunakan untuk mengukur bagaimana perubahan warna mengubah representasi semantik sebuah kata dalam ruang embedding CLIP.

Selanjutnya, proksi Optical Character Recognition (OCR) berbasis VLM digunakan untuk menilai seberapa andal kata‑kata individu dapat dibaca pada tingkat kontras yang semakin rendah, memungkinkan perkiraan titik di mana teks yang dirender menjadi tidak dapat dibaca secara efektif.

Evaluasi dilakukan menggunakan empat VLM sumber terbuka: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; dan IDEFICS2-8B. Penulis menekankan bahwa model sumber terbuka dipilih untuk memastikan eksperimen dapat direproduksi dengan prompt, pengaturan rendering, dan dekoding deterministik yang tetap.

Hasil

Penulis awalnya mengevaluasi prompt warna pada Short‑Sentence Sentiment Set, memanfaatkan bias warna tingkat kata, di mana kata‑kata yang membawa sentimen disebar:

Hasil tes yang menunjukkan pergeseran sentimen terbesar yang disebabkan oleh format warna pada empat Vision Language Models. Nilai diukur relatif terhadap baseline semua hitam, dengan kolom positif dan negatif menunjukkan pergerakan terbesar ke masing-masing arah, sementara rentang merangkum kerentanan keseluruhan setiap model terhadap bias yang dipicu warna.

‘Qwen2-VL-7B menunjukkan bias positif terbesar ketika kata positif diwarnai hijau/biru (hingga +0.42), dan bias negatif terbesar ketika kata negatif diwarnai merah (hingga -0.48).’

‘Kerentanan keseluruhan berbeda secara signifikan antar model: Qwen2-VL-7B menunjukkan Total Range terbesar (0.90), diikuti oleh IDEFICS2-8B (0.52), sementara varian LLaVA menunjukkan rentang yang jauh lebih kecil (0.04–0.12), menandakan sensitivitas yang relatif lebih lemah terhadap gaya warna tingkat kata dalam pengaturan ini.’

‘Kami mengamati spektrum kerentanan yang jelas: Qwen2-VL-7B menunjukkan pergeseran terbesar yang dipicu warna, sementara varian LLaVA relatif lebih kuat.’

Hasil lebih lanjut di bawah menunjukkan bahwa efek warna jauh dari seragam: Qwen2-VL-7B terbukti paling rentan, dengan teks hijau dan biru secara konsisten mendorong sentimen ke penilaian yang lebih positif ketika kata positif disorot, sementara teks merah mendorong prediksi ke arah yang lebih negatif ketika kata negatif disorot:

Hasil tes yang membandingkan pergeseran sentimen yang dipicu warna pada empat Vision Language Models. Grafik menunjukkan bagaimana warna teks yang berbeda mengubah prediksi sentimen relatif terhadap baseline semua hitam, dengan sumbu vertikal menunjukkan ukuran dan arah masing-masing pergeseran. Qwen2-VL-7B menunjukkan sensitivitas warna terkuat, sementara kedua model LLaVA tetap relatif stabil.

Intensitas warna yang lebih kuat umumnya memperkuat efek ini, lapor makalah: IDEFICS2-8B menunjukkan pola serupa, meskipun dalam tingkat yang lebih rendah, sementara kedua varian LLaVA tetap dekat dengan baseline mereka pada sebagian besar warna dan intensitas, menunjukkan resistensi yang jauh lebih besar terhadap manipulasi berbasis warna.

Para peneliti kemudian menguji paragraf yang lebih panjang dengan memisahkan bahasa positif dan negatif ke setengah yang berbeda dari Long‑sentence Sentiment Set, memungkinkan struktur dokumen diukur bersamaan dengan bias warna. Eksperimen menentukan apakah setiap model lebih mengandalkan awal (primasi) atau akhir (recency) sebuah paragraf.

Struktur dokumen sering kali mengungguli isyarat warna: Qwen2‑VL‑7B dan LLaVA‑Mistral‑7B lebih menyukai setengah kedua teks, sementara IDEFICS2‑8B dan LLaVA‑Vicuna‑7B lebih sering mengandalkan setengah pertama:

Hasil tes yang menunjukkan bagaimana empat Vision Language Models bergantung pada posisi dokumen saat menganalisis paragraf yang lebih panjang. ‘Strategi Posisional’ menunjukkan apakah prediksi mengikuti setengah pertama (primasi) atau setengah kedua (recency) teks; ‘Kepatuhan’ menunjukkan seberapa konsisten strategi tersebut diikuti; dan ‘Rentang Bias Warna’ mengukur sisa pengaruh warna teks dalam kondisi terstruktur ini.

Warna masih memengaruhi beberapa model, khususnya IDEFICS2‑8B, tetapi menjadi kurang berpengaruh dalam teks yang terstruktur.

Untuk memahami mengapa perubahan warna dapat mengubah sentimen tanpa mengubah kata itu sendiri, para peneliti meneliti bagaimana warna memengaruhi representasi visual internal model menggunakan analisis proyeksi semantik CLIP. Seperti yang ditunjukkan di bawah, mengubah rona sebuah kata secara konsisten menggeser representasi semantiknya di beberapa dimensi konseptual:

Hasil tes yang menunjukkan bagaimana warna teks mengubah representasi semantik internal enam kata. Grafik melacak kata ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’, dan ‘bad’ pada sumbu keamanan, valensi, suhu, dan emosi, menunjukkan bahwa mengubah warna saja secara sistematis menggeser representasi internal mereka, meskipun teks itu sendiri tidak berubah.

Perubahan terbesar muncul pada sumbu ‘good’ versus ‘bad’. Seperti yang ditunjukkan di atas, sekadar mengubah sebuah kata dari hitam menjadi hijau cenderung memindahkan makna internalnya ke arah yang lebih positif, sementara biru cenderung menggesernya ke arah sebaliknya – meskipun kata itu sendiri tidak pernah berubah. Pergeseran lebih kecil namun konsisten juga muncul untuk emotion, safety, dan temperature.

CLIP hanya digunakan untuk memeriksa representasi internal ini, bukan untuk menjelaskan secara tepat bagaimana setiap Vision Language Model bekerja. Meskipun begitu, pola yang sama yang terlihat di dalam CLIP sangat mirip dengan perubahan sentimen yang dipicu warna yang diamati dalam eksperimen sebelumnya.

Para peneliti selanjutnya menyelidiki apakah mengubah kontras teks, bukan warna, juga dapat menyesatkan Vision Language Models selama Visual Question Answering (VQA). Jawaban ‘decoy’ yang masuk akal namun salah disorot sementara teks di sekitarnya dipudar:

Hasil tes yang membandingkan kinerja Visual Question Answering di bawah tiga kondisi kejelasan teks. Hasil dirata‑ratakan pada enam tingkat abu‑abu kontras rendah, dan satu‑satunya perbedaan antar kolom adalah apakah tidak ada teks, jawaban yang benar, atau jawaban decoy yang dirender dalam hitam kontras tinggi. Menyorot jawaban yang benar secara konsisten meningkatkan skor F1, sementara menyorot decoy menurunkannya.

Hasil di atas menunjukkan bahwa menyorot jawaban yang benar meningkatkan akurasi, sementara menekankan decoy menurunkannya. Efek ini kemudian diukur melalui IER yang disebutkan sebelumnya:

Hasil tes yang menunjukkan seberapa sering setiap Vision Language Model memilih jawaban yang menonjol secara visual namun salah. Kolom menunjukkan enam tingkat abu‑abu kontras rendah yang diterapkan pada teks di sekitarnya dalam kondisi ‘Decoy Salient’, dengan nilai lebih tinggi menunjukkan visibilitas lebih rendah. Saat teks di sekitarnya menjadi lebih sulit dibaca, tingkat kesalahan yang diinduksi umumnya meningkat, sementara Qwen2‑VL‑7B tetap secara konsisten lebih tahan dibandingkan model lainnya.

Kesimpulan

Akan menarik untuk melihat apakah kerutan khusus ini akan dieksploitasi, terutama karena akan menarik melihat bagaimana ‘penyimpangan warna’ dapat disuntikkan tanpa menjadi jelas bagi pembaca manusia.

Meskipun scraper web AI yang benar‑benar merender halaman dapat diberikan CSS ‘alternatif’ yang mengubah warna pada bagian teks tertentu, banyak yang bergantung pada ketajaman scraper; jika scraper hanya mengekstrak HTML mencari kode (HTML) dan teks (konten halaman), ia mungkin mengabaikan CSS, dan tidak pernah mengetahui tentang pewarnaan. Namun, scraper yang rakus kemungkinan juga menginginkan CSS baru, memungkinkan rendering dan pewarnaan ulang.

Sebagai alternatif, buku atau majalah dengan teks yang diwarnai selektif dapat diunggah ke repositori tepercaya seperti The Internet Archive (sebuah target yang sangat populer), bahkan berpura‑pura sebagai pemindaian karya lama. Ada banyak jalur penyuntikan dalam praktik saat ini, dan tidak hanya untuk pendekatan baru yang sangat berwarna ini.

Pertama kali dipublikasikan Senin, 17 Agustus 2026