Sử dụng Emoji có thể Bypass Bộ lọc Nội dung trong Trợ lý Ảo AI

Emoji có thể được sử dụng để bypass các cơ chế an toàn của mô hình ngôn ngữ lớn và kích hoạt đầu ra độc hại mà thường bị chặn. Bằng cách này, mô hình ngôn ngữ lớn (LLM) có thể được tạo ra để thảo luận và đưa ra lời khuyên về các chủ đề bị cấm như chế tạo bom và giết người.

Một sự hợp tác mới giữa Trung Quốc và Singapore tìm thấy bằng chứng thuyết phục rằng emoji không chỉ có thể được sử dụng để bypass bộ lọc nội dung trong mô hình ngôn ngữ lớn (LLM) mà còn có thể tăng mức độ độc hại trong quá trình tương tác của người dùng với mô hình:

Từ bài báo mới, một minh họa rộng về cách mã hóa một khái niệm bị cấm với emoji có thể giúp người dùng ‘jailbreak’ một LLM phổ biến. Nguồn: https://arxiv.org/pdf/2509.11141

Trong ví dụ trên, từ bài báo mới, chúng ta thấy rằng việc chuyển đổi ý định vi phạm quy tắc dựa trên từ thành một phiên bản thay thế có chứa emoji có thể kích hoạt một phản hồi ‘hợp tác’ nhiều hơn từ một mô hình ngôn ngữ tinh vi như ChatGPT-4o (mô hình này thường làm sạch các lời nhắc đầu vào và chặn vật liệu đầu ra có thể vi phạm quy tắc của công ty).

Hiệu quả, trong những trường hợp cực đoan nhất, việc sử dụng emoji có thể hoạt động như một kỹ thuật ‘jailbreak’, theo như các tác giả của công việc mới.

Một điều bí ẩn còn lại được đề cập trong bài báo là câu hỏi về tại sao mô hình ngôn ngữ cho emoji sự tự do vi phạm quy tắc và kích hoạt nội dung độc hại, khi mô hình đã hiểu rằng một số emoji có liên kết độc hại mạnh mẽ.

Đề xuất được đưa ra là vì mô hình ngôn ngữ được đào tạo để mô hình hóa và tái tạo các mẫu từ dữ liệu đào tạo, và vì emoji thường được tìm thấy trong dữ liệu đó, mô hình học rằng emoji thuộc về ngữ cảnh đó, và đối xử với nó như một liên kết thống kê, thay vì nội dung cần được đánh giá và lọc.

Điều này có nghĩa là emoji, khi được sử dụng lại trong một lời nhắc, giúp mô hình dự đoán các tiếp tục độc hại một cách tự tin hơn; nhưng thay vì hoạt động như một lá cờ đỏ, emoji hoạt động như một gợi ý ngữ nghĩa , thực sự củng cố ý nghĩa độc hại dự định thay vì điều tiết hoặc chặn nó. Vì sự liên kết an toàn được áp dụng sau khi thực tế, và thường trong một khung hẹp, các lời nhắc có những emoji này có thể tránh được việc phát hiện hoàn toàn.

Trong cách này, bài báo đề xuất, mô hình không trở nên khoan dung mặc dù liên kết độc hại – nó trở nên khoan dung vì liên kết đó.

Free Pass

Đó được nói, các tác giả thừa nhận rằng điều này không đại diện cho một lý thuyết kết luận về tại sao việc sử dụng emoji có thể bypass bộ lọc nội dung trong mô hình ngôn ngữ. Họ tuyên bố:

‘Mô hình có thể nhận ra ý định độc hại được thể hiện bởi emoji, nhưng cách nó bypass các cơ chế an toàn vẫn chưa rõ ràng.’

Điểm yếu có thể bắt nguồn từ thiết kế tập trung vào văn bản của bộ lọc nội dung, giả định rằng đầu vào văn bản là văn bản hoặc mã hóa được chuyển đổi thành các tương đương văn bản: trong cả hai trường hợp, hệ thống phụ thuộc vào token rõ ràng có thể được khớp với các quy tắc an toàn.

Để minh họa từ chỉnh sửa hình ảnh dựa trên AI: khi người dùng tải lên một hình ảnh NSFW đến một mô hình ngôn ngữ-vision và yêu cầu sửa đổi, hệ thống như Adobe Firefly hoặc ChatGPT sử dụng CLIP -style pipelines để trích xuất các khái niệm văn bản từ hình ảnh, như một điều kiện tiên quyết cho việc chỉnh sửa. Một khi những khái niệm đó được thể hiện thành từ, sự hiện diện của bất kỳ thuật ngữ bị hạn chế nào trong những từ được trích xuất sẽ kích hoạt bộ lọc, khiến yêu cầu bị từ chối.

Tuy nhiên, vì một số lý do, trạng thái của emoji như không phải là từ cũng không phải là hình ảnh (hoặc cả hai) dường như cho nó sức mạnh để vượt qua việc lọc; rõ ràng, như các tác giả chỉ ra, nghiên cứu thêm về lỗ hổng kỳ lạ này là cần thiết.

Bài báo mới mới có tiêu đề Khi Smiley Turns Hostile: Giải thích cách Emoji kích hoạt độc hại của LLM , và đến từ chín tác giả trên Tsinghua University và National University of Singapore.

(Thật không may, nhiều ví dụ mà bài báo đề cập đến nằm trong một phụ lục mà chưa được công bố; mặc dù chúng tôi đã yêu cầu các tác giả cung cấp, nhưng phụ lục vẫn chưa được cung cấp tại thời điểm viết.)

Three Core Emoji Interpretations

Các tác giả nhấn mạnh ba đặc điểm ngôn ngữ khiến emoji hiệu quả trong việc bypass bộ lọc. Đầu tiên, ý nghĩa của emoji là phụ thuộc vào ngữ cảnh . Ví dụ, emoji ‘Tiền với Cánh’ (xem hình dưới) được định nghĩa chính thức là đại diện cho việc chuyển tiền hoặc chi tiêu; tuy nhiên, tùy thuộc vào văn bản xung quanh, nó cũng có thể ngụ ý hoạt động hợp pháp hoặc bất hợp pháp:

Trong một minh họa một phần từ bài báo mới, chúng ta thấy rằng một emoji phổ biến có thể có ý nghĩa bị đánh cắp, thay đổi hoặc thay thế trong sử dụng phổ biến. Điều này hiệu quả cho emoji một ‘hộ chiếu chính thức’ vào không gian ngữ nghĩa và một ‘hàng hóa độc hại’ ẩn mà có thể được khai thác một khi nó vượt qua bộ lọc.

Thứ hai, emoji có thể thay đổi giọng điệu của một lời nhắc. Sự hiện diện của chúng thường thêm sự vui vẻ hoặc hài hước, làm mềm đăng ký cảm xúc. Trong các truy vấn có hại, điều này có thể làm cho yêu cầu giống như một trò đùa hoặc trò chơi, khuyến khích mô hình phản hồi thay vì từ chối:

Hiệu ứng làm dịu của emoji có thể giải độc giọng điệu mà không giải độc ý định.

Thứ ba, bài báo khẳng định, emoji là ngôn ngữ trung lập : một emoji đơn có thể mang cùng một cảm xúc trên tiếng Anh, tiếng Trung, tiếng Pháp và các ngôn ngữ khác. Điều này làm cho chúng lý tưởng cho các lời nhắc đa ngôn ngữ, bảo tồn ý nghĩa ngay cả khi văn bản xung quanh được dịch:

Emoji ‘trái tim bị gãy’ truyền tải một thông điệp phổ quát, có lẽ không chỉ vì nó đại diện cho một trường hợp cơ bản trong tình trạng con người, tương đối miễn dịch với các biến thể quốc gia hoặc văn hóa.

Approach, Data and Tests*

Các nhà nghiên cứu đã tạo một phiên bản sửa đổi của tập dữ liệu AdvBench , viết lại các lời nhắc có hại từ AdvBench để bao gồm emoji hoặc làm chúng trở thành ngụy trang trang trí. AdvBench bao gồm 32 chủ đề rủi ro cao bao gồm đánh bom, hack và giết người, v.v…

Ví dụ gốc từ AdvBench, minh họa cách một lời nhắc đối kháng đơn có thể bypass các hàng rào an toàn trong nhiều chatbot chính và kích hoạt hướng dẫn có hại mặc dù đã được đào tạo về sự liên kết. Source: https://arxiv.org/pdf/2307.15043

Tất cả 520 trường hợp AdvBench ban đầu đã được thay đổi theo cách này, với 50 lời nhắc độc hại và không trùng lặp hàng đầu được sử dụng trên các thí nghiệm. Các lời nhắc cũng được dịch sang nhiều ngôn ngữ và thử nghiệm trên bảy mô hình đóng và mở chính, và kết hợp với các kỹ thuật jailbreak hiệu quả đã biết Prompt Automatic Iterative Refinement (PAIR); Tree of Attacks with Pruning (TAP); và DeepInception .

Các mô hình nguồn đóng được sử dụng là Gemini-2.0-flash ; GPT-4o (2024-08-06); GPT-4-0613 ; và Gemini-1.5-pro . Các mô hình nguồn mở được sử dụng là Llama-3-8B-Instruct ; Qwen2.5-7B-Instruct (Team 2024b); và Qwen2.5-72B-Instruct (Team 2024a), với tất cả các thí nghiệm được lặp lại ba lần để tính đến sự ngẫu nhiên.

Nghiên cứu đầu tiên kiểm tra xem việc viết lại các lời nhắc có hại từ AdvBench bằng cách sử dụng emoji có tăng đầu ra độc hại, bao gồm cả trong các bản dịch sang các ngôn ngữ khác. Ngoài ra, nó áp dụng cùng phương pháp chỉnh sửa emoji cho các lời nhắc từ các chiến lược jailbreak đã biết (PAIR, TAP và DeepInception) để xem liệu việc thay thế emoji có thể cải thiện thành công của chúng.

Trong cả hai trường hợp, cấu trúc của các lời nhắc ban đầu được bảo tồn, với chỉ các thuật ngữ nhạy cảm được thay thế bằng emoji và các yếu tố trang trí được thêm vào để ngụy trang ý định.

Đối với các chỉ số thử nghiệm, các tác giả đã tạo ra một hệ thống chấm điểm gọi là GPT-Judge . Trong thiết lập này, GPT-4o không phải là mô hình được thử nghiệm, mà được yêu cầu để hành động như một người chấm điểm, chỉ định một Điểm số có hại (HS) cho các phản hồi được tạo ra bởi các mô hình khác.

Mỗi đầu ra được xếp hạng từ một (harmless) đến năm (rất độc hại), và tỷ lệ phản hồi nhận được điểm năm được báo cáo là Tỷ lệ độc hại (HR).

Để ngăn chặn các mô hình không đi vào giải thích emoji thay vì trả lời rõ ràng, các nhà nghiên cứu đã thêm một hướng dẫn vào mỗi lời nhắc, yêu cầu mô hình trả lời ngắn gọn:

Kết quả từ các lời nhắc dựa trên emoji trong ‘Cài đặt-1’, với so sánh với các biến thể ablation nơi emoji được thay thế bằng từ hoặc bị xóa hoàn toàn. Tên mô hình được viết tắt để tiết kiệm không gian.

Trong bảng kết quả ban đầu trên, phía bên trái của bảng cho thấy rằng các lời nhắc độc hại được thay thế bằng emoji đã đạt được điểm HS và HR đáng kể cao hơn so với các phiên bản ablation (tức là, các phiên bản nơi emoji được dịch lại thành văn bản, tiếp xúc trực tiếp với bộ lọc nội dung).

Các tác giả lưu ý^† rằng cách tiếp cận thay thế bằng emoji vượt trội so với các phương pháp jailbreak trước đó, như được phác thảo trong bảng kết quả bổ sung dưới đây:

Kết quả Tỷ lệ độc hại cho các lời nhắc jailbreak tăng cường bằng emoji trong ‘Cài đặt-2’, với tên mô hình được hiển thị ở dạng viết tắt.

Bảng đầu tiên trong hai bảng trên, các tác giả tuyên bố, cũng cho thấy rằng hiệu ứng của emoji mang qua các ngôn ngữ. Khi các thành phần văn bản của các lời nhắc emoji được dịch sang tiếng Trung, tiếng Pháp, tiếng Tây Ban Nha và tiếng Nga, đầu ra độc hại vẫn còn cao; vì những ngôn ngữ này là ngôn ngữ có nguồn lực cao , kết quả cho thấy rằng rủi ro không chỉ giới hạn ở tiếng Anh mà áp dụng rộng rãi cho các nhóm người dùng chính, với emoji hoạt động như một kênh chuyển đổi độc hại.

Về phía cuối của bài báo, các nhà nghiên cứu đề xuất rằng hiệu ứng của emoji không chỉ là sự cố mà bắt nguồn từ cách mô hình xử lý chúng, lưu ý rằng mô hình có thể nhận ra ý nghĩa độc hại của emoji – nhưng phản hồi từ chối bị ức chế khi emoji có mặt.

Các nghiên cứu về tokenization cho thấy thêm rằng emoji thường bị chia thành các mảnh hiếm hoặc không thường xuyên với rất ít sự chồng lấp với các tương đương văn bản của chúng, hiệu quả tạo ra một kênh thay thế cho ngữ nghĩa độc hại.

Nhìn vượt ra ngoài cơ chế mô hình, bài báo cũng kiểm tra dữ liệu tiền đào tạo, tìm thấy rằng nhiều emoji thường được sử dụng xuất hiện trong các ngữ cảnh độc hại như khiêu dâm, lừa đảo hoặc cờ bạc. Các tác giả lập luận rằng sự tiếp xúc lặp lại này có thể chuẩn hóa sự liên kết giữa emoji và nội dung độc hại, khuyến khích mô hình tuân thủ các lời nhắc độc hại thay vì chặn chúng.

Cùng nhau, những phát hiện này cho thấy rằng cả các điểm yếu trong xử lý nội bộ và dữ liệu tiền đào tạo có偏见 đều góp phần vào hiệu quả bất ngờ của emoji trong việc bypass các biện pháp an toàn.

Kết luận

Không phải là hiếm khi sử dụng các phương pháp nhập liệu thay thế để cố gắng jailbreak các LLM. Trong những năm gần đây, ví dụ, mã hóa thập phân đã được sử dụng để bypass các bộ lọc của ChatGPT. Vấn đề dường như nằm trong việc sử dụng phẳng các ngôn ngữ dựa trên văn bản để đủ điều kiện cho các yêu cầu nhập và phản hồi xuất.

Trong trường hợp của emoji, một điểm tập trung ẩn của ý nghĩa vi phạm quy tắc có thể rõ ràng được giới thiệu vào diễn ngôn mà không có hình phạt hoặc can thiệp, vì phương pháp truyền tải là không chính thống. Một người có thể nghĩ rằng việc transliteration dựa trên CLIP sẽ can thiệp vào tất cả các tải lên hình ảnh, để vật liệu phạm vi hoặc vi phạm sẽ kết thúc như văn bản có thể được gắn cờ.

Rõ ràng, điều này không phải là trường hợp, ít nhất là đối với các LLM chính được nghiên cứu; các rào cản ngôn ngữ của chúng dường như giòn và tập trung vào văn bản. Một người có thể tưởng tượng rằng việc giải thích nội dung rộng hơn (ví dụ, bằng cách nghiên cứu hoạt động heatmap ) mang một chi phí xử lý và / hoặc băng thông có thể khiến các phương pháp như vậy không thực tế về chi phí, trong số các hạn chế và xem xét có thể khác.

* Bố cục của bài báo này là hỗn loạn so với hầu hết, với phương pháp và thử nghiệm không được phân chia rõ ràng. Chúng tôi đã cố gắng hết sức để thể hiện giá trị cốt lõi của công việc một cách tốt nhất có thể trong những hoàn cảnh này.

^† Trong một cách đối xử gần như không thể xuyên thủng và nhầm lẫn về kết quả.

Được xuất bản lần đầu vào thứ Tư, ngày 17 tháng 9 năm 2025