Thay Đổi Màu Phông Chữ Có Thể Chiếm Lấy Lý Luận AI

Một nghiên cứu mới phát hiện rằng việc định dạng thông thường có thể âm thầm hướng dẫn lập luận của AI, khiến nó bỏ qua các từ, hiểu sai nghĩa và đưa ra các kết luận khác – mà không thay đổi nội dung văn bản.

Mã hoá màu sắc trong văn hoá của con người có thể khác nhau trên toàn thế giới, nhưng những quan niệm phương Tây – ví dụ, đỏ cho ‘nguy hiểm’, xanh lá cho ‘được’ – vẫn chiếm ưu thế ngay cả trong các Mô hình Ngôn ngữ Thị giác (VLMs) ở châu Á, vì các lý do chiến lược và/hoặc tình cờ.

Chúng ta không khác gì; việc tô màu ‘xấu’ bằng các màu tích cực, và ‘tốt’ bằng các màu tiêu cực, làm con người phản ứng khác nhau với những thứ đó. Cũng vậy với việc thay đổi độ sáng và độ tương phản.

Một hợp tác nghiên cứu mới đã khám phá mức độ mà điều này cũng áp dụng cho các mô hình AI, phát hiện các dấu hiệu sơ bộ cho thấy VLMs có thể bị ảnh hưởng bằng cách thao túng màu sắc của văn bản, cũng như thay đổi độ tương phản và độ sáng tương đối.

‘Các thí nghiệm của chúng tôi cung cấp một phân tích có hệ thống về cách việc tạo kiểu hình ảnh cấp thấp của văn bản làm méo mó các biểu diễn ngữ nghĩa trong bộ mã hoá thị giác của VLM. Ngoài ra, chúng tôi khảo sát cách những thay đổi trong không gian tiềm ẩn này biểu hiện như những thay đổi hành vi trong các VLM đầu cuối trên cả nhiệm vụ chủ quan (phân tích cảm xúc) và khách quan (trả lời câu hỏi).’

‘Kết quả này cho thấy việc tạo kiểu hình ảnh bộc lộ một lỗ hổng quan trọng, trước đây chưa được khám phá trong VLMs, và chúng tôi thảo luận về những tác động của nó đối với độ bền vững và an toàn của các quy trình VLM.’

Từ trang dự án của công trình mới, một minh hoạ về cách màu sắc của văn bản đơn độc có thể thay đổi cách AI nội bộ diễn giải một từ. Ví dụ cho thấy từ ‘bad’ được hiển thị với các màu khác nhau, với màu xanh lá làm dịch chuyển biểu diễn ngữ nghĩa của nó về phía diễn giải tích cực hơn, mặc dù văn bản không thay đổi. Source

Màu Sắc Khiến Tôi Ngạc Nhiên

Hiện tại, đối với hàng tỷ doanh nghiệp và cá nhân mà lưu lượng tìm kiếm quan trọng đã bị cắt giảm mạnh bởi sự xuất hiện của các bản tóm tắt AI trong kết quả tìm kiếm, cũng như sự chuyển đổi sang LLM như một bệ phóng tìm kiếm, các bề mặt tấn công dạng này đang rất hấp dẫn.

Vì sự sôi động liên tục của các cuộc thảo luận của con người trên Reddit là yếu tố quan trọng để duy trì kiến thức AI cập nhật, nền tảng mạng xã hội này đã trở thành mục tiêu chính cho các doanh nghiệp và cá nhân muốn được đưa vào kiến thức của LLM; các hướng dẫn đã xuất hiện về việc ‘lừa đảo’ Reddit như một phương pháp trung gian để ảnh hưởng đến LLMs.

Tương tự, có thủ thuật cũ là chèn văn bản chỉ máy móc có thể nhìn thấy, để bạn có thể truyền những hướng dẫn ẩn, vì lợi của mình tới một LLM, nhằm giành chiến thắng trong một cuộc thi học thuật, hoặc ảnh hưởng đến kết quả kỳ thi.

Gần đây nhất, tạp chí Time bắt đầu đặt quảng cáo vào một phiên bản ‘bí mật’ của trang web chỉ hiển thị cho các trình thu thập dữ liệu web AI đang liên tục dò dẫm các trang để tìm dữ liệu mới, do đó có thể cho phép các nhà quảng cáo mua đường vào vị trí nổi bật hơn (hoặc cách diễn giải tích cực hơn) trong các phản hồi của AI.

Do đó bất kỳ điểm yếu mới nào của LLM/VLM, chẳng hạn như các phản hồi mã màu có thể ‘được chuyển đổi’ để thao túng kết quả, đều là mục tiêu rõ ràng cho một thế giới đang cố gắng giành lại quyền kiểm soát câu chuyện truyền thông từ AI tiên tiến.

Ví dụ, một công ty muốn xây dựng nhà máy gây ô nhiễm, có khả năng làm giảm chất lượng nước địa phương, có thể thêm mã màu vào từ vựng PR của mình, trong tài liệu marketing hoặc thông cáo báo chí, như một cách lệch hướng tin tức mà hầu hết sẽ coi là ‘tiêu cực’.

Việc sử dụng chiến lược CSS và/hoặc kỹ thuật SEO có thể thậm chí ẩn các thao tác màu khỏi người đọc thông thường, bằng cách cung cấp bảng kiểu chỉ dành cho AI áp đặt nhấn mạnh màu trong văn bản nhưng ẩn khỏi con người, những người sẽ chỉ thấy văn bản màu đen.

‘Những nhạy cảm này ngụ ý một rủi ro về độ tin cậy và an toàn cho các quy trình VLM tiếp nhận tài liệu hoặc ảnh chụp màn hình UI: kiểu dáng lành mạnh hoặc đối kháng có thể hướng quyết định của mô hình mà không thay đổi văn bản gốc.’

‘Các biện pháp bảo vệ thực tiễn bao gồm chuẩn hoá văn bản đã render trước khi suy luận, kiểm tra chéo các câu trả lời dựa trên hình ảnh với văn bản được trích xuất bằng OCR, và thêm các kiểm tra không phụ thuộc vào kiểu dáng vào bộ đánh giá.’

Công trình mới có tiêu đề Seeing Red, Thinking Bad: Color Bias in Vision Language Models, và được thực hiện bởi năm nhà nghiên cứu từ Viện Khoa học và Công nghệ Công nghiệp Tiên tiến Quốc gia Nhật Bản (AIST), Đại học Tsukuba, Đại học Công nghệ Nuremberg, và Đại học Oxford. Sáng kiến này đi kèm với một kho lưu trữ GitHub và một trang dự án.

Phương Pháp

Để khám phá mức độ mà trình bày hình ảnh một mình có thể ảnh hưởng đến các mô hình, các nhà nghiên cứu đã phát triển ‘Stealth Visual Prompts’ – những thay đổi trông bình thường trong định dạng văn bản, không mang bất kỳ chỉ dẫn rõ ràng nào cho AI.

Điều này có thể đơn giản như thay đổi màu của các từ tích cực hoặc tiêu cực, hoặc làm cho một câu trả lời sai nổi bật hơn so với câu đúng, trong khi vẫn giữ nguyên nội dung từ ngữ.

Văn bản khác nhau được tạo cho mỗi nhiệm vụ, với các bài kiểm tra cảm xúc sử dụng mẫu trung tính được lấp đầy bằng các từ tích cực và tiêu cực, trong khi các bài kiểm tra Trả lời Câu hỏi Thị giác (VQA) dựa trên các cặp câu hỏi-ngữ cảnh từ SQuAD:

Các ví dụ về câu hỏi hướng tới máy từ bộ dữ liệu SQuAD được sử dụng cho công trình mới. Source

Bộ sưu tập đã được biên tập này được đặt tên là VQA Stealth Set.

Văn bản được render lên một canvas tiêu chuẩn 800x600px, với bố cục cố định, để chỉ kiểu dáng hình ảnh mục tiêu được thay đổi. Màu và độ tương phản được thao tác độc lập, với việc kiểm tra màu nhằm học các liên kết ngữ nghĩa, và kiểm tra độ tương phản nhằm đánh giá độ nổi bật thị giác.

Các từ được chọn được đổi màu, và toàn bộ đoạn văn được render ở độ tương phản thấp hơn; hoặc, trong bối cảnh Cuộc thi Saliency, các câu trả lời sai được làm nổi bật thị giác hơn so với các câu đúng.

Do đó bất kỳ thay đổi nào trong phản hồi của mô hình đều có thể được quy cho chỉ việc tạo kiểu hình ảnh chứ không phải thay đổi nội dung văn bản gốc.

Dữ Liệu và Thử Nghiệm

Ba bộ thử nghiệm riêng biệt đã được tạo để đại diện cho các cách khác nhau mà VLMs xử lý văn bản dưới dạng hình ảnh:

Minh hoạ ba thiết kế thử nghiệm hình ảnh. Các ví dụ cho thấy các kích thích được dùng để kiểm tra liệu việc trình bày hình ảnh một mình có thể ảnh hưởng đến lập luận của mô hình hay không: (a) văn bản hỗn hợp cảm xúc với các từ được chọn đổi màu để kiểm tra thiên lệch màu; (b) một đoạn văn dài hơn tách ngôn ngữ tích cực và tiêu cực để đánh giá liệu cấu trúc tài liệu có thay đổi hiệu ứng không; và (c), một ví dụ trả lời câu hỏi thị giác trong đó một câu trả lời đánh lừa sai nhưng ngữ nghĩa tương tự (‘twenty miles’) được làm nổi bật hơn bằng độ tương phản cao.” Source

Bộ Short-sentence Sentiment Set kiểm tra thiên lệch màu ở mức độ từ bằng cách sử dụng 100 câu ngắn được tạo từ mẫu trung tính chứa các từ tích cực hoặc tiêu cực. Mỗi câu được render trong 37 phiên bản hình ảnh, bao gồm nền văn bản đen cùng các kết hợp của sáu màu (đỏ, xanh lá, xanh dương, vàng, lục lam và hồng tím), ở ba mức độ cường độ.

Bộ Long-sentence Sentiment Set sử dụng các đoạn văn dài hơn, trong đó ngôn ngữ tích cực và tiêu cực được tách ra thành các phần khác nhau của văn bản. Điều này nhằm xác định liệu cấu trúc tài liệu rộng hơn và các hiệu ứng vị trí, như độ ưu tiên đầu hoặc cuối (độ lệch dựa trên vị trí, trong đó thông tin xuất hiện sớm hoặc muộn hơn trong tài liệu có thể được cân nhắc nhiều hơn), có vượt qua bất kỳ thiên lệch do màu gây ra không. Các 37 điều kiện màu tương tự đã được áp dụng.

Trong bộ VQA Stealth Set, các câu hỏi và ngữ cảnh liên quan được render thành hình ảnh, sau đó hai điều kiện dựa trên độ tương phản được thử nghiệm: trong Global Contrast, khả năng đọc của toàn bộ tài liệu được giảm bằng cách render ở các mức độ tương phản ngày càng thấp; và trong Saliency Competition, hoặc câu trả lời đúng, hoặc một từ đánh lừa ngữ nghĩa tương tự (được chọn bằng độ tương đồng CLIP) được render ở độ tương phản cao, trong khi phần còn lại của văn bản bị làm mờ – cho phép nhấn mạnh thị giác cạnh tranh với bằng chứng trong văn bản.

Chỉ Số

Mỗi ví dụ được phân loại là DƯƠNG, TRUNG LẬP hoặc ÂM. Các phân loại này sau đó được so sánh với nền toàn màu đen (văn bản đen trên nền trắng) để xác định mức độ mà màu sắc một mình làm dịch chuyển dự đoán về phía kết quả tích cực hơn hoặc tiêu cực hơn.

Các thí nghiệm VQA được đánh giá qua điểm F1 mức token, trong đó các câu trả lời dự đoán được so sánh với các câu trả lời đúng chuẩn đã chấp nhận.

Induced Error Rate (IER), một chỉ số mới, được giới thiệu đặc biệt cho bài kiểm tra Saliency Competition, nhằm đo tần suất một câu trả lời đánh lừa được làm nổi bật thị giác được chọn (thay vì câu trả lời đúng), khi khả năng nhìn thấy văn bản bị giảm.

Thêm vào đó, một công cụ đo đại diện CLIP đã được sử dụng để đo cách thay đổi màu ảnh hưởng đến biểu diễn ngữ nghĩa của một từ trong không gian nhúng của CLIP.

Hơn nữa, một công cụ Nhận dạng ký tự quang học (OCR) dựa trên VLM đã được dùng để đánh giá mức độ mà các từ riêng lẻ có thể được đọc ở các mức độ tương phản ngày càng thấp, cho phép ước tính thời điểm mà văn bản đã render trở nên không thể đọc được.

Việc đánh giá được thực hiện bằng bốn VLM nguồn mở: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; và IDEFICS2-8B. Các tác giả nhấn mạnh rằng các mô hình nguồn mở được chọn để đảm bảo các thí nghiệm có thể được tái tạo dưới các lời nhắc cố định, cài đặt render và giải mã xác định.

Kết Quả

Các tác giả ban đầu đã đánh giá các lời nhắc màu trên bộ Short-Sentence Sentiment Set, tận dụng thiên lệch màu ở mức độ từ, nơi các từ mang cảm xúc được xen kẽ:

Kết quả thử nghiệm cho thấy các chuyển đổi cảm xúc lớn nhất do định dạng màu gây ra trên bốn Mô hình Ngôn ngữ Thị giác. Giá trị được đo tương đối với nền toàn màu đen, với các cột dương và âm cho thấy sự di chuyển lớn nhất theo từng hướng, trong khi phạm vi tóm tắt mức độ nhạy cảm tổng thể của mỗi mô hình đối với thiên lệch do màu gây ra.

Trong các kết quả này, các tác giả cho biết:

‘Qwen2-VL-7B cho thấy độ thiên lệch tích cực lớn nhất khi các từ tích cực được tô màu xanh lá/đỏ xanh (lên tới +0.42), và độ thiên lệch tiêu cực lớn nhất khi các từ tiêu cực được tô màu đỏ (xuống tới -0.48).’

‘Mức độ nhạy cảm tổng thể khác nhau đáng kể giữa các mô hình: Qwen2-VL-7B có Tổng Phạm vi lớn nhất (0.90), tiếp theo là IDEFICS2-8B (0.52), trong khi các biến thể LLaVA cho thấy phạm vi nhỏ hơn nhiều (0.04–0.12), cho thấy độ nhạy cảm yếu hơn so với việc tạo kiểu màu ở mức độ từ trong thiết lập này.’

‘Chúng tôi quan sát được một dải rõ ràng của độ nhạy cảm: Qwen2-VL-7B thể hiện các chuyển đổi do màu gây ra lớn nhất, trong khi các biến thể LLaVA tương đối ổn định.’

Các kết quả tiếp theo cho thấy hiệu ứng màu không đồng nhất: Qwen2-VL-7B là mô hình nhạy cảm nhất, với văn bản màu xanh lá và xanh dương liên tục đẩy cảm xúc về phía đánh giá tích cực hơn khi các từ tích cực được làm nổi bật, trong khi văn bản màu đỏ đẩy dự đoán về phía tiêu cực hơn khi các từ tiêu cực được làm nổi bật:

Kết quả thử nghiệm so sánh các chuyển đổi cảm xúc do màu gây ra trên bốn Mô hình Ngôn ngữ Thị giác. Các đồ thị cho thấy cách các màu văn bản khác nhau thay đổi dự đoán cảm xúc so với nền toàn màu đen, với trục dọc chỉ kích thước và hướng của mỗi chuyển đổi. Qwen2-VL-7B cho thấy độ nhạy màu mạnh nhất, trong khi cả hai mô hình LLaVA vẫn tương đối ổn định.

Mức độ mạnh của màu thường làm tăng các hiệu ứng này, bài báo báo cáo: IDEFICS2-8B hiển thị một mô hình tương tự, mặc dù ở mức độ ít hơn, trong khi cả hai biến thể LLaVA vẫn gần với nền của chúng ở hầu hết các màu và cường độ, cho thấy khả năng chống lại thao túng dựa trên màu cao hơn nhiều.

Các nhà nghiên cứu sau đó đã thử các đoạn văn dài hơn bằng cách tách ngôn ngữ tích cực và tiêu cực thành hai nửa khác nhau của Bộ Long-sentence Sentiment Set, cho phép đo cấu trúc tài liệu cùng với thiên lệch màu. Các thí nghiệm xác định liệu mỗi mô hình dựa nhiều hơn vào phần đầu (độ ưu tiên) hay phần cuối (độ mới) của đoạn văn.

Cấu trúc tài liệu thường vượt qua các chỉ dẫn màu: Qwen2-VL-7B và LLaVA-Mistral-7B ưu tiên nửa sau của văn bản, trong khi IDEFICS2-8B và LLaVA-Vicuna-7B thường dựa vào nửa đầu:

Kết quả thử nghiệm cho thấy cách bốn Mô hình Ngôn ngữ Thị giác dựa vào vị trí tài liệu khi phân tích các đoạn văn dài hơn. ‘Chiến lược Vị trí’ cho biết dự đoán theo nửa đầu (độ ưu tiên) hay nửa sau (độ mới) của văn bản; ‘Tuân thủ’ cho thấy mức độ nhất quán của chiến lược đó; và ‘Phạm vi Thiên lệch Màu’ đo lường ảnh hưởng còn lại của màu văn bản trong các điều kiện có cấu trúc này.

Màu vẫn ảnh hưởng đến một số mô hình, đặc biệt là IDEFICS2-8B, nhưng trở nên ít ảnh hưởng hơn trong văn bản có cấu trúc.

Để hiểu tại sao thay đổi màu có thể làm thay đổi cảm xúc mà không thay đổi từ, các nhà nghiên cứu đã xem xét cách màu ảnh hưởng đến các biểu diễn hình ảnh nội bộ của mô hình bằng phân tích chiếu khúc xạ ngữ nghĩa CLIP. Như được trình bày dưới đây, việc thay đổi sắc độ của một từ một cách nhất quán dịch chuyển biểu diễn ngữ nghĩa của nó trên một số chiều khái niệm:

Kết quả thử nghiệm cho thấy cách màu văn bản thay đổi biểu diễn ngữ nghĩa nội bộ của sáu từ. Các đồ thị theo dõi các từ ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’ và ‘bad’ trên các trục an toàn, giá trị, nhiệt độ và cảm xúc, chứng minh rằng việc thay đổi màu một mình một cách có hệ thống dịch chuyển biểu diễn nội bộ của chúng, ngay cả khi văn bản không thay đổi.

Những thay đổi lớn nhất xuất hiện trên trục ‘good’ so với ‘bad’. Như đã minh họa ở trên, chỉ đơn giản thay đổi một từ từ màu đen sang xanh lá thường làm dịch chuyển ý nghĩa nội bộ của nó theo hướng tích cực hơn, trong khi màu xanh dương thường làm dịch chuyển ngược lại – mặc dù từ đó không bao giờ thay đổi. Các chuyển đổi nhỏ hơn nhưng nhất quán cũng xuất hiện đối với cảm xúc, an toàn và nhiệt độ.

CLIP chỉ được dùng để xem xét các biểu diễn nội bộ này, không phải để giải thích chính xác cách mọi Mô hình Ngôn ngữ Thị giác hoạt động. Tuy nhiên, mẫu tương tự thấy trong CLIP khớp chặt chẽ với các thay đổi cảm xúc do màu gây ra được quan sát trong các thí nghiệm trước.

Các nhà nghiên cứu tiếp theo đã điều tra liệu việc thay đổi độ tương phản của văn bản, thay vì màu, cũng có thể lừa dối Mô hình Ngôn ngữ Thị giác trong quá trình Trả lời Câu hỏi Thị giác (VQA). Một câu trả lời ‘đánh lừa’ có vẻ hợp lý nhưng sai đã được làm nổi bật trong khi văn bản xung quanh bị làm mờ:

Kết quả thử nghiệm so sánh hiệu suất Trả lời Câu hỏi Thị giác dưới ba điều kiện nổi bật văn bản. Kết quả được trung bình trên sáu mức độ xám độ tương phản thấp, và sự khác biệt duy nhất giữa các cột là liệu không có văn bản, câu trả lời đúng, hay câu trả lời đánh lừa được render bằng màu đen độ tương phản cao. Làm nổi bật câu trả lời đúng liên tục tăng điểm F1, trong khi làm nổi bật câu trả lời đánh lừa làm giảm chúng.

Kết quả trên cho thấy việc làm nổi bật câu trả lời đúng cải thiện độ chính xác, trong khi nhấn mạnh câu trả lời đánh lừa làm giảm nó. Hiệu ứng này sau đó được đo bằng IER đã đề cập ở trên:

Kết quả thử nghiệm cho thấy tần suất mỗi Mô hình Ngôn ngữ Thị giác chọn một câu trả lời sai nhưng được làm nổi bật thị giác. Các cột cho thấy sáu mức độ xám độ tương phản thấp được áp dụng cho văn bản xung quanh trong điều kiện ‘Decoy Salient’, với giá trị cao hơn chỉ mức độ hiển thị thấp hơn. Khi văn bản xung quanh trở nên khó đọc hơn, tỷ lệ lỗi gây ra thường tăng, trong khi Qwen2-VL-7B vẫn liên tục bền bỉ hơn các mô hình khác.

Kết Luận

Sẽ thú vị nếu thấy liệu khuyết điểm đặc thù này có bị khai thác hay không, ít nhất vì sẽ thú vị khi xem cách ‘đánh lạc màu’ có thể được chèn vào mà không trở nên rõ ràng đối với người đọc.

Mặc dù các trình thu thập web AI thực sự render trang có thể được cung cấp CSS ‘thay thế’ để thay đổi màu trong các phần văn bản được chọn, rất nhiều phụ thuộc vào độ nhạy của trình thu thập; nếu trình thu thập chỉ lấy HTML để tìm mã (HTML) và văn bản (nội dung trang), nó có thể bỏ qua CSS và không bao giờ biết về việc tô màu. Tuy nhiên, trình thu thập tham lam có khả năng muốn CSS mới, cho phép render và thay đổi màu.

Hoặc, sách hoặc tạp chí với văn bản được tô màu chọn lọc có thể được tải lên các kho lưu trữ đáng tin cậy như The Internet Archive (một đích rất phổ biến), thậm chí giả danh là các bản quét của tác phẩm cũ. Có nhiều con đường tiêm nhiễm trong các thực tiễn hiện tại, không chỉ dành cho cách tiếp cận mới và đặc biệt đầy màu sắc này.

Được xuất bản lần đầu vào Thứ Hai, ngày 17 tháng 8 năm 2026