Hạ cấp 'Sự thật' đã lỗi thời với Machine Learning

Đôi khi sự thật có hạn sử dụng. Khi một tuyên bố có giới hạn thời gian (chẳng hạn như 'khẩu trang là bắt buộc trên phương tiện giao thông công cộng') xuất hiện trong bảng xếp hạng của công cụ tìm kiếm, giải pháp 'có thẩm quyền' rõ ràng của nó có thể được hoan nghênh thậm chí trong nhiều năm, vượt qua nội dung muộn hơn và chính xác hơn về cùng một chủ đề.

Đây là sản phẩm phụ của quyết tâm của các thuật toán công cụ tìm kiếm nhằm xác định và thúc đẩy các giải pháp dứt khoát 'dài hạn' và xu hướng ưu tiên nội dung được liên kết tốt để duy trì lưu lượng truy cập theo thời gian – và thái độ ngày càng thận trọng đối với nội dung mới hơn trong tuổi mới nổi của tin tức giả mạo.

Ngoài ra, việc giảm giá trị nội dung web có giá trị chỉ vì dấu thời gian được liên kết với nội dung đó đã vượt qua 'cửa sổ hợp lệ' tùy ý có nguy cơ khiến thế hệ nội dung thực sự hữu ích sẽ tự động bị hạ cấp để nhường chỗ cho tài liệu tiếp theo có thể có tiêu chuẩn thấp hơn.

Hướng tới khắc phục hội chứng này, một giải pháp mới giấy từ các nhà nghiên cứu ở Ý, Bỉ và Đan Mạch đã sử dụng nhiều kỹ thuật học máy khác nhau để phát triển phương pháp luận xếp hạng bằng chứng theo thời gian.

Ngoài câu trả lời lỗi thời

Bài báo được viết bởi các nhà nghiên cứu từ Ủy ban châu Âu tại Trung tâm nghiên cứu chung (JRC) ở Ispra, Đại học Katholieke ở Leuven và Đại học Copenhagen.

Công trình xem xét bốn phương pháp xếp hạng theo thời gian được áp dụng trên ba phương pháp kiểm tra thực tế, mỗi phương pháp có một cách tiếp cận khác nhau để xếp hạng bằng chứng và đưa ra một phương pháp mới để xếp hạng sử dụng dấu thời gian của bằng chứng làm 'tiêu chuẩn vàng'. Nghiên cứu cho thấy rằng xếp hạng bằng chứng theo thời gian cải thiện tính minh bạch của kết quả, đồng thời cũng cải thiện các dự đoán về thẩm quyền và tính xác thực của các sự kiện và tuyên bố nhạy cảm với thời gian.

Nghiên cứu này được cung cấp như một công cụ hỗ trợ khả dĩ cho các hệ thống hiện có hoặc sau này, đồng thời được thiết kế để hỗ trợ nghiên cứu và là một yếu tố bổ sung có thể có để đưa vào việc phát triển các thuật toán công cụ tìm kiếm mới và đã phát triển.

Công việc mô hình hóa động lực tạm thời của bằng chứng để kiểm tra thực tế dựa trên nội dung và vượt trội so với các phương pháp 'tương tự về ngữ nghĩa' được áp dụng bởi các thuật toán xếp hạng công cụ tìm kiếm điển hình. Mô hình được đào tạo bởi các nhà nghiên cứu sử dụng một tối ưu hóa học lên hạng chức năng có thể dễ dàng áp dụng vào một kiến ​​trúc kiểm tra thực tế hiện có. Các nhà nghiên cứu cho rằng hệ thống này là một đóng góp mới cho việc kiểm tra thực tế tự động.

Sửa đổi nhiều kiến ​​trúc kiểm tra thực tế

Các nhà nghiên cứu đã áp dụng bao thanh toán bị giới hạn thời gian của họ lên ba kiến ​​trúc kiểm tra thực tế hiện có. Mô hình đầu tiên trong số này là mô hình Bộ nhớ ngắn hạn dài hai chiều (BiLSTM) được đề xuất trong Bộ dữ liệu MultiFC phát hành năm 2019.

Thứ hai là sửa đổi cho thứ nhất, với Mạng thần kinh tái phát đơn hướng (RNN) thay thế thành phần LSTM.

Mô hình thứ ba mà các nhà nghiên cứu sử dụng là một máy biến áp chưng cấtBERT từ thư viện Hugging Faces, một phiên bản chắt lọc của Google Chứng nhận mô hình NLP.

Trên cả ba kiến ​​trúc, các nhà nghiên cứu đã áp dụng một tổn thất ListMLE, từ nghiên cứu do Microsoft dẫn đầu, đã đóng góp nhất quán cho nghiên cứu xác minh tính xác thực mới trong hai thập kỷ qua.

Hai mô hình xác minh tính xác thực chính mà nhóm nghiên cứu đã thêm thành phần thời gian làm bộ lọc cho thẩm quyền và các giá trị xếp hạng tiếp theo. Nguồn: https://arxiv.org/pdf/2009.06402.pdf

Các giá trị dấu thời gian được trích xuất từ ​​​​siêu dữ liệu đào tạo và được đưa vào làm yếu tố xếp hạng trong mỗi mô hình.

Kiểm tra

Đánh giá thử nghiệm cho hệ thống liên quan đến việc sử dụng bộ dữ liệu MultiFC, vì nó hiện là bộ dữ liệu nguồn mở khối lượng lớn duy nhất có sẵn cho mối quan tâm nghiên cứu cụ thể này. MultiFC chứa 34,924 xác nhận quyền sở hữu trong thế giới thực thu được từ 26 miền kiểm tra thực tế khác nhau, bao gồm cả Snopes và Washington Post.

Dự đoán về tính xác thực của từng tuyên bố được tăng cường bởi mười đoạn bằng chứng do API Tìm kiếm của Google cung cấp và các dự đoán thu được thông qua hợp lưu các yếu tố, bao gồm diễn giả, thẻ và danh mục.

Thông thường, dấu thời gian có liên quan không nhất thiết phải là dấu có trong siêu dữ liệu; một bài báo có thể đề cập đến các sự kiện từ thời trước và trong trường hợp này, hệ thống của các nhà nghiên cứu phải cẩn thận trích xuất và chuyển đổi dữ liệu đó trực tiếp từ văn bản. Nếu không có quy trình này, việc 'chạy lại' các tin tức lỗi thời sẽ có xu hướng tạo cho nó một vẻ bóng bẩy mới, đặc biệt trong trường hợp các trang web có thẩm quyền cao, truyền bá dữ liệu lỗi thời.

Ngày được trích xuất bằng quy trình Python và ngày siêu dữ liệu chính thức được kiểm tra tính nhất quán của định dạng (ví dụ: vì định dạng dấu ngày của Hoa Kỳ và Vương quốc Anh là khác nhau). Khi được xác minh thủ công, không có lỗi nào được tìm thấy trong siêu dữ liệu dấu thời gian.

Kết quả

Chống lại việc kiểm tra thủ công các kết quả tự động, các nhà nghiên cứu nhận thấy rằng xếp hạng bằng chứng theo thời gian đã cải thiện đáng kể dựa trên các giả định về mức độ liên quan dựa trên sự tương đồng thuần túy về ngữ nghĩa hoặc xếp hạng SERPs. Họ cũng xác định rằng phương pháp của họ cải thiện các dự đoán về tính xác thực đối với các tuyên bố nhạy cảm với thời gian (tức là các trường hợp mà tình hình tin tức có thể thay đổi nhanh chóng và khi thông tin cập nhật cần được ưu tiên mà không chỉ đơn thuần áp đặt mức độ ưu tiên của thông tin gần đây nhất kết quả về một chủ đề).

Các nhà nghiên cứu lưu ý rằng phương pháp này sẽ có giá trị cao trong việc cải thiện các mô hình xếp hạng cho các chủ đề dễ thay đổi như chính trị và giải trí, nơi thông tin thay đổi nhanh chóng và các phát triển xếp hạng cao yêu cầu một khuôn khổ để tự động giảm hạng khỏi các vị trí hàng đầu trong bảng xếp hạng mà họ có thể có. đạt được khi phát hành.