Kiểm duyệt nội dung bằng AI vẫn cần đến phán đoán của con người ở đâu

Trong một cộng đồng có hàng triệu người dùng, hành vi gây hại có thể lan rộng nhanh hơn khả năng phát hiện và xử lý của đội ngũ kiểm duyệt. Một cộng đồng nhỏ có thể dựa nhiều vào việc quan sát trực tiếp. Người kiểm duyệt biết những thành viên thường xuyên tham gia, hiểu văn hóa cộng đồng và thường có thể nhanh chóng nhận ra hành vi gây rối. Khi cộng đồng đạt quy mô hàng trăm nghìn hoặc hàng triệu người dùng, việc đánh giá hoạt động theo cách thủ công trở nên khó khăn hơn nhiều. Các nhóm nhỏ hình thành, ngôn ngữ thay đổi, còn hành vi gây hại có thể lan qua nhiều tài khoản hoặc cuộc trò chuyện trước khi có người nhận ra mô hình đó.

Bổ sung người kiểm duyệt sẽ tăng năng lực xử lý, nhưng mọi đội ngũ kiểm duyệt đều có quỹ thời gian và mức độ tập trung hữu hạn. Các cộng đồng lớn cần cơ sở hạ tầng có thể liên tục xử lý hoạt động thường nhật, sớm phát hiện hành vi bất thường và cung cấp đủ ngữ cảnh để người kiểm duyệt tập trung vào những tình huống đòi hỏi phán đoán.

Điều này khiến công tác kiểm duyệt ngày càng thuộc phạm vi của kỹ thuật hệ thống. Khả năng phát hiện, quy trình chuyển cấp, ngưỡng xử lý, khả năng quan sát và cơ chế phản hồi đều có thể ảnh hưởng đến việc cộng đồng có duy trì được sự lành mạnh khi phát triển hay không.

Điều thay đổi rõ nhất khi quy mô tăng lên là các trường hợp ngoại lệ không còn hiếm gặp. Ngay cả khi một hành vi cụ thể chỉ ảnh hưởng đến một tỷ lệ rất nhỏ người dùng, trong cộng đồng hàng triệu người, người kiểm duyệt vẫn có thể gặp hành vi đó thường xuyên. Khả năng tìm hiểu từng tương tác một cách riêng lẻ cũng suy giảm, vì vậy công tác kiểm duyệt hiệu quả ngày càng phụ thuộc vào việc nhận diện các mô hình mà không làm mất đi ngữ cảnh đằng sau chúng.

Kiểm duyệt ở quy mô lớn đòi hỏi khả năng nhận diện mô hình

Nhiều công cụ kiểm duyệt ban đầu dựa trên những điều kiện kích hoạt tương đối đơn giản. Một từ bị cấm xuất hiện, người dùng gửi báo cáo hoặc người kiểm duyệt nhận thấy hành vi vi phạm quy tắc và xử lý.

Các cộng đồng lớn tạo ra những tín hiệu phức tạp hơn. Thư rác có thể xuất hiện đồng loạt từ hàng chục tài khoản. Hành vi quấy rối có thể diễn tiến từ từ qua nhiều cuộc trò chuyện. Hành vi lạm dụng có phối hợp có thể bao gồm những hành động riêng lẻ trông có vẻ vô hại khi được xem xét tách biệt. Tài khoản mới có thể hoạt động bình thường trong một thời gian rồi đột ngột đăng các liên kết hoặc tin nhắn giống hệt nhau.

Các tình huống này dễ được nhận diện hơn khi hệ thống đánh giá hành vi theo thời gian. Tín hiệu cảnh báo có thể bao gồm tần suất gửi tin nhắn, nội dung trùng lặp, thời gian tồn tại của tài khoản, việc lặp lại liên kết, mức tăng đột ngột trong hoạt động đăng bài, các kiểu tham gia bất thường, những biện pháp xử lý trước đó và mối liên hệ giữa các tài khoản. Chỉ một tín hiệu riêng lẻ có thể tiết lộ rất ít. Khi nhiều tín hiệu xuất hiện cùng lúc, đó có thể là dấu hiệu cho thấy cần xem xét kỹ hơn.

Chẳng hạn, cơ quan quản lý truyền thông Vương quốc Anh Ofcom đã xem xét các hệ thống phân loại nội dung tự động trong khuôn khổ một quy trình rộng hơn, bao gồm thu thập dữ liệu, phát triển mô hình, triển khai, giám sát và đánh giá.

Ngữ cảnh khiến vấn đề trở nên khó xử lý hơn. Một loạt tin nhắn dồn dập có thể là thư rác trên diễn đàn chuyên môn nhưng lại là hành vi bình thường trong một sự kiện trực tiếp. Ngôn từ cũng có thể mang những ý nghĩa rất khác nhau tùy thuộc vào mối quan hệ, những điều được ngầm hiểu chung và chuẩn mực của cộng đồng.

Hạ tầng kiểm duyệt hiệu quả cần có các quy tắc có thể cấu hình, ngưỡng xử lý riêng cho từng cộng đồng và tín hiệu về hành vi trong quá khứ. Tần suất gửi tin nhắn là một ví dụ điển hình. Người dùng đăng bài rất nhanh có thể đang phát tán thư rác, nhưng cũng có thể chỉ đang hoạt động tích cực trong một sự kiện trực tiếp hoặc cuộc trò chuyện diễn ra nhanh. Nếu tài khoản đó còn mới, liên tục đăng nội dung giống hệt nhau và gửi cùng một liên kết trên nhiều kênh, sự kết hợp này sẽ có ý nghĩa rõ ràng hơn nhiều.

Tự động hóa giúp người kiểm duyệt có thông tin tốt hơn

Các đội ngũ kiểm duyệt dành nhiều thời gian cho những nhiệm vụ lặp đi lặp lại. Việc xóa thư rác, hạn chế liên kết, phát hiện tin nhắn trùng lặp, giới hạn tần suất và sàng lọc tài khoản thường có thể được tự động hóa khi hệ thống có đủ tín hiệu đáng tin cậy để hành động.

Phán đoán của con người trở nên có giá trị khi ý nghĩa phụ thuộc vào lịch sử, ý định, sự hài hước, lời mỉa mai, các mối quan hệ hoặc ngữ cảnh văn hóa. Những tình huống này thường đòi hỏi người xem xét phải hiểu toàn bộ cuộc trò chuyện. Tự động hóa được thiết kế tốt có thể giúp đưa ra quyết định dễ dàng hơn bằng cách sắp xếp thông tin xoay quanh sự việc.

Người kiểm duyệt xem xét hoạt động đáng ngờ cần biết lý do khiến hoạt động đó bị phát hiện. Thông tin liên quan có thể bao gồm những thay đổi gần đây trong hành vi đăng bài, sự việc trước đó, các báo cáo liên quan, nội dung lặp lại, lịch sử tài khoản hoặc hoạt động tương tự ở nơi khác trong cộng đồng.

Mức độ tin cậy cũng có thể định hình cách ứng phó. Hoạt động có thể dự đoán với độ tin cậy cao, chẳng hạn như thư rác giống hệt nhau được gửi lặp đi lặp lại từ các tài khoản mới tạo, có thể cần được xử lý ngay. Hoạt động khó phân định hơn có thể được đưa ra để xem xét, kèm theo những tín hiệu khiến hệ thống phát cảnh báo.

Cách tiếp cận này phổ biến trong các hệ thống kỹ thuật quy mô lớn khác. Hạ tầng giám sát xử lý khối lượng hoạt động lớn, phát hiện điểm bất thường, nhóm các tín hiệu liên quan và chuyển cấp những tình huống khác thường. Các kỹ sư điều tra những trường hợp cần phân tích sâu hơn.

Công tác kiểm duyệt cộng đồng có thể hưởng lợi từ cùng kiến trúc này. Hệ thống tự động xử lý khối lượng và phát hiện mô hình, còn người kiểm duyệt nhận được một nhóm tình huống tập trung hơn để đánh giá.

Tôi thiên về tự động hóa mạnh tay khi hành vi có thể dự đoán rất chính xác, nhưng sẽ thận trọng hơn nhiều khi bối cảnh bắt đầu trở nên quan trọng. Nếu hệ thống cần xác định một nội dung có phải là thư rác hay không, thì những tin nhắn giống hệt nhau được gửi lặp lại có thể khá dễ nhận biết; nhưng nếu hệ thống phải xác định đó là hành vi quấy rối, một câu đùa hay bất đồng giữa những người quen biết nhau, thì nhiều khả năng cần đến phán đoán của con người hơn. Tự động hóa nên giảm bớt lượng thông tin nhiễu mà người kiểm duyệt phải xử lý, chứ không nên giả vờ rằng mọi quyết định cần cân nhắc đều có thể được quy về một quy tắc.

Các hệ thống kiểm duyệt hiệu quả học hỏi từ những quyết định của mình

Hành vi trong cộng đồng cũng liên tục thay đổi. Từ lóng mới xuất hiện. Người dùng tìm ra cách vượt qua bộ lọc. Các thủ đoạn gửi thư rác ngày càng tinh vi. Chuẩn mực xã hội dịch chuyển. Một quy tắc kiểm duyệt hoạt động hiệu quả hôm nay có thể kém hiệu quả hơn khi hành vi thay đổi.

Hạ tầng kiểm duyệt cần có các vòng phản hồi hiệu quả. Mỗi hành động tự động đều tạo ra thông tin hữu ích. Việc người kiểm duyệt thường xuyên đảo ngược các quyết định có thể cho thấy ngưỡng đặt ra quá nhạy. Một hình thức lạm dụng tái diễn mà liên tục lọt qua khâu phát hiện có thể cho thấy hệ thống đang thiếu một tín hiệu nhận biết. Số lượng cảnh báo nhầm cao bất thường có thể cho thấy một quy tắc cụ thể hoạt động kém trong một số môi trường nhất định.

Các nhóm cần theo dõi được những quy tắc nào thường được kích hoạt nhất, sự cố được phát hiện nhanh đến mức nào, các hành động tự động bị đảo ngược thường xuyên ra sao và những hành vi nào thường xuất hiện trước các sự cố nghiêm trọng hơn.

Khung quản lý rủi ro trí tuệ nhân tạo của NIST cũng nhấn mạnh việc đo lường, giám sát và quản lý liên tục khi các tổ chức triển khai hệ thống tự động.

Khả năng quan sát giúp các hệ thống kiểm duyệt thích ứng khi cộng đồng thay đổi. Cộng đồng chơi game, nhóm thảo luận chuyên môn và diễn đàn hỗ trợ có thể hình thành những kiểu hành vi rất khác nhau. Các ngưỡng kiểm duyệt cần có khả năng điều chỉnh theo những khác biệt đó, đồng thời vẫn duy trì các biện pháp bảo vệ rõ ràng.

Tính minh bạch cũng rất quan trọng. Người dùng được lợi từ các quy tắc dễ hiểu và cách thực thi tương đối nhất quán, dễ dự đoán. Người kiểm duyệt cần nắm được thông tin về các hệ thống hỗ trợ họ đưa ra quyết định, còn kỹ sư cần có đủ thông tin để xác định liệu những hệ thống đó có hoạt động như mong muốn hay không.

Thế hệ cộng đồng trực tuyến tiếp theo sẽ phụ thuộc rất nhiều vào sự phối hợp giữa tự động hóa thông minh, phán đoán của con người và hoạt động đo lường liên tục.

Kiểm duyệt trên quy mô lớn đòi hỏi hạ tầng có thể xử lý khối lượng khổng lồ các hoạt động thường nhật, nhận diện những kiểu mẫu mà từng cá nhân khó phát hiện và cung cấp cho người kiểm duyệt thông tin đầy đủ hơn khi cần đưa ra những quyết định khó khăn.

Việc xây dựng hạ tầng đó đòi hỏi phải chú trọng cẩn thận đến các tín hiệu hành vi, ngưỡng tin cậy, quy trình chuyển cấp, hoạt động giám sát và phản hồi. Các cộng đồng phát triển được những năng lực này sẽ có vị thế tốt hơn để mở rộng mà vẫn duy trì sự an toàn, niềm tin và chất lượng—những yếu tố giữ chân mọi người tham gia.