Google Research đưa sự cân nhắc của con người vào các bộ phân loại AI chủ quan

Ngày 4 tháng 11 năm 2026, Google Research đã giới thiệu Agile Deliberation, một khuôn khổ tương tác để xây dựng bộ phân loại hình ảnh dựa trên các danh mục chủ quan, đi kèm mã nguồn mở và bản trình diễn bằng sổ tay. Trong một nghiên cứu người dùng gồm 18 phiên, các nhà nghiên cứu báo cáo rằng phương pháp này cho kết quả phân loại tốt hơn và đòi hỏi ít công sức hơn so với việc tinh chỉnh câu lệnh thủ công.

Khuôn khổ này giải quyết các danh mục có ranh giới phụ thuộc vào nhận định cá nhân, bối cảnh văn hóa hoặc chính sách vận hành, chẳng hạn như thực phẩm lành mạnh, tác phẩm nghệ thuật truyền cảm hứng và hình ảnh câu khách hứa hẹn những phần thưởng gây hiểu lầm. Tiền đề cốt lõi là người dùng thường tự khám phá ranh giới trong quyết định của mình khi xem xét các ví dụ khó phân loại. Quy trình gán nhãn thông thường coi những ranh giới đó là cố định trước khi bắt đầu chú giải, khiến những thay đổi trong ý định chỉ bộc lộ qua các nhãn thiếu nhất quán hoặc quyết định tùy tiện của mô hình.

Agile Deliberation biến định nghĩa đang dần hoàn thiện thành cả một bản mô tả dễ hiểu đối với con người lẫn câu lệnh điều khiển bộ phân loại mô hình ngôn ngữ-thị giác. Thiết kế này dựa trên các cuộc phỏng vấn với năm chuyên gia kiểm duyệt nội dung và phân tích định tính 20 định nghĩa lấy từ quy trình làm việc chuyên môn của họ. Kết quả cho thấy các chuyên gia trước tiên xác định phạm vi khái niệm, sau đó tinh chỉnh khái niệm thông qua những hình ảnh nằm ở ranh giới.

Hai giai đoạn cân nhắc khái niệm

Việc xác định phạm vi khái niệm chia một ý tưởng ban đầu thành các khái niệm con tiềm năng mang tính khẳng định và phủ định. Chẳng hạn, người dùng xây dựng bộ phân loại thực phẩm lành mạnh có thể đưa salad và các món ăn từ ngũ cốc vào phạm vi, đồng thời loại trừ thực phẩm chế biến sẵn hoặc nguyên liệu sống, chưa qua sơ chế. Hình ảnh tiêu biểu giúp minh họa cho từng lựa chọn; những khái niệm con không mô tả được các kiểu mẫu thị giác có ý nghĩa có thể bị loại bỏ trước khi tạo bộ phân loại đầu tiên.

Tiếp đó, quá trình lặp lại và tinh chỉnh khái niệm tìm kiếm những hình ảnh nằm ở ranh giới về ngữ nghĩa, thay vì chỉ chọn các trường hợp mà độ tin cậy của mô hình tiến gần đến 0.5. Các nhà nghiên cứu cho rằng độ tin cậy của mô hình ngôn ngữ-thị giác có thể không được hiệu chỉnh phù hợp với mức độ mơ hồ trong nhận định của con người: mô hình có thể rất tự tin về một hình ảnh mà con người lại thấy khó phân loại. Các ví dụ được truy xuất sẽ được loại bỏ bản trùng lặp và phân cụm; một quy tắc băng chuyền nhiều nhánh ưu tiên những cụm từng giúp sửa lỗi hoặc tạo ra phản hồi hữu ích.

Bước khai thác điểm mơ hồ sắp xếp một loạt hình ảnh xoay quanh một vấn đề có thể diễn giải, chẳng hạn như nước xốt sánh mịn, hàm lượng đường hoặc khẩu phần ăn, đồng thời tạo lời giải thích ngắn về điểm mơ hồ trong từng hình ảnh. Người dùng đánh dấu hình ảnh thuộc hoặc không thuộc phạm vi và có thể bổ sung lý do bằng ngôn ngữ tự nhiên. Hệ thống tạo ra các định nghĩa thay thế, kiểm tra chúng dựa trên toàn bộ nhãn đã thu thập cho đến thời điểm đó, chọn phương án có điểm F1 cao nhất và cho phép chỉnh sửa thủ công.

Bản mẫu sử dụng Gemini 2.5 Pro để phân rã khái niệm, còn Gemini 2.5 Flash được dùng để phân loại, tạo truy vấn tìm hình ảnh nằm ở ranh giới và khai thác điểm mơ hồ. Các mô hình này được sử dụng mà không cần huấn luyện bổ sung hoặc tinh chỉnh, còn giao diện hoạt động thông qua một sổ tay Colab tương tác.

Kết quả nghiên cứu trực tiếp

Chín người tham gia không có kinh nghiệm kiểm duyệt nội dung chuyên nghiệp đều hoàn thành hai phiên, mỗi phiên kéo dài khoảng 90 phút: một phiên dùng Agile Deliberation và một phiên dùng phương pháp cân nhắc thủ công; thứ tự sử dụng hệ thống được ngẫu nhiên hóa. Hai khái niệm được thử nghiệm là thực phẩm lành mạnh và kiểm duyệt nội dung câu khách kiểu trả tiền để được chơi. Mỗi phiên gồm khoảng 45 phút xác định định nghĩa, gán nhãn 200 hình ảnh kiểm thử được giữ lại, trả lời khảo sát và tham gia phỏng vấn 15 phút. Các phương pháp được so sánh còn bao gồm phân loại zero-shot và Modeling Collaborator, một phương pháp cơ sở phân rã tự động; những người tham gia nhóm thủ công có thể tham khảo các câu lệnh chi tiết của hệ thống đó.

Bài báo cho biết Agile Deliberation cải thiện điểm F1 thêm 11% so với phương pháp cơ sở zero-shot trong tác vụ kiểm duyệt nội dung trả tiền để được chơi, trong khi phương pháp cân nhắc thủ công tăng 8% so với phương pháp cơ sở riêng. Với thực phẩm lành mạnh, Agile Deliberation cải thiện 10%, còn phương pháp cân nhắc thủ công giảm 3%. Mức tăng chủ yếu đến từ độ chính xác được cải thiện, đi kèm mức giảm nhỏ hơn về độ bao phủ. Độ chính xác tổng thể không được sử dụng vì các định nghĩa được cá nhân hóa của người tham gia tạo ra phân bố nhãn kiểm thử mất cân bằng.

Tất cả người tham gia đều thích Agile Deliberation hơn phương pháp cân nhắc thủ công. Người tham gia báo cáo mức nỗ lực trung bình là 3.11 khi dùng Agile Deliberation, so với 4.67 khi làm thủ công; điểm trung bình về cảm giác bất an, căng thẳng hoặc bực bội lần lượt là 1.67 và 3.00. Cả hai khác biệt đều được xác định là có ý nghĩa thống kê ở mức p<.05. Các cuộc phỏng vấn đưa ra lời giải thích thực tế: người dùng phương pháp thủ công phải tự nghĩ ra cách tìm kiếm các ví dụ phản chứng, và một số người lo ngại rằng việc chỉnh sửa câu lệnh để sửa một lỗi có thể làm ảnh hưởng đến hành vi của hệ thống ở những trường hợp khác.

Giới hạn nghiên cứu và khả năng truy cập mã nguồn

Đánh giá này cũng có những giới hạn rõ rệt. Các tác giả lưu ý rằng số lượng chín người tham gia làm hạn chế năng lực thống kê và khả năng khái quát hóa; ngoài ra, mỗi người sử dụng hai hệ thống với hai khái niệm khác nhau để tránh mang theo một định nghĩa đã hình thành sang phiên thứ hai. Vì vậy, có thể so sánh trải nghiệm chủ quan giữa những người tham gia, nhưng chỉ có thể so sánh hiệu suất phân loại giữa các nhóm người tham gia. Nghiên cứu không tách riêng để đánh giá từng thành phần, cũng không đánh giá toàn bộ quy trình trên các mô hình tạo sinh khác.

Kho lưu trữ mã nguồn mở mã nguồn và tập dữ liệu đi kèm, cùng sổ tay Demo.ipynb hướng dẫn từng bước sử dụng với Jupyter hoặc Google Colab. Bản minh họa tạo một chỉ mục truy xuất lân cận gần nhất trên LAION400M. Cấu hình mặc định tải xuống hai phân mảnh, tổng cộng khoảng 260 MB, để kiểm tra quy trình; cấu hình 100 phân mảnh được tài liệu hướng dẫn có tổng dung lượng khoảng 13 GB. Quá trình truy xuất, tải ảnh từ bên ngoài và gọi mô hình có thể mất từ vài giây đến vài phút; một khóa API duy nhất có thể bị giới hạn tốc độ, và một số giai đoạn hỗ trợ lưu bộ nhớ đệm trên đĩa. Tuyên bố miễn trừ trách nhiệm của kho lưu trữ cho biết đây không phải là sản phẩm được Google chính thức hỗ trợ.

Đóng góp thiết thực của Agile Deliberation là đưa ý định chủ quan trở thành một phần minh bạch, có thể điều chỉnh trong quá trình phát triển bộ phân loại. Người dùng có thể xem xét các quy tắc tích cực và tiêu cực, kiểm tra những trường hợp ngoại lệ làm lộ ra các thiếu sót, đồng thời đưa ra lý do cho những lần điều chỉnh. Đối với các nhóm kiểm duyệt và tuyển chọn nội dung, điều này giúp đưa định nghĩa về danh mục và những đánh giá của con người định hình định nghĩa đó vào quy trình phát triển bộ phân loại có thể kiểm tra.