Tại Sao Ngôn Ngữ Lịch Sử Là Một Thách Thức Đối Với Trí Tuệ Nhân Tạo

Một trong những thách thức trung tâm của các hệ thống Xử lý Ngôn ngữ Tự nhiên (NLP) là để suy ra những thông tin quan trọng từ nhiều loại tài liệu viết khác nhau. Các nguồn tài liệu cho một tập dữ liệu đào tạo cho một thuật toán NLP mới có thể đa dạng về mặt ngôn ngữ như Twitter, báo chí và tạp chí khoa học, với tất cả các đặc điểm ngôn ngữ riêng biệt của từng nguồn.

Trong hầu hết các trường hợp, đó chỉ là tiếng Anh; và đó chỉ là các nguồn văn bản hiện tại hoặc gần đây. Khi một thuật toán NLP phải xem xét tài liệu từ nhiều thời kỳ khác nhau, nó thường gặp khó khăn trong việc hòa giải các cách nói và viết khác nhau của người dân qua các cộng đồng quốc gia và tiểu quốc gia, và đặc biệt là qua các thời kỳ lịch sử khác nhau.

Tuy nhiên, sử dụng dữ liệu văn bản (như các luận văn lịch sử và các tác phẩm khoa học lâu đời) mà bao gồm nhiều thời kỳ là một phương pháp có thể hữu ích để tạo ra một cái nhìn tổng quan về một chủ đề, và để xây dựng các mô hình thời gian thống kê mà đi trước việc áp dụng và duy trì các chỉ số cho một lĩnh vực.

Ví dụ, thông tin về thời tiết đóng góp vào các mô hình dự đoán thay đổi khí hậu không được ghi lại đầy đủ trên toàn thế giới cho đến năm 1880, trong khi việc khai thác dữ liệu từ các văn bản cổ điển cung cấp các bản ghi cũ hơn về các sự kiện thời tiết lớn có thể hữu ích trong việc cung cấp dữ liệu thời tiết trước thời kỳ Victoria.

Sự Không Đồng Bộ Thời Gian

Một bài báo mới từ Đại học Washington và Viện Trí tuệ Nhân tạo Allen đã phát hiện ra rằng thậm chí một khoảng thời gian ngắn như năm năm có thể gây ra sự không đồng bộ thời gian mà có thể làm giảm hiệu suất của một mô hình NLP được đào tạo trước.

Trong tất cả các trường hợp, điểm số cao hơn là tốt hơn. Ở đây, chúng ta thấy một bản đồ nhiệt về sự suy giảm thời gian trên bốn tập dữ liệu văn bản trải rộng trong một khoảng thời gian năm năm. Sự không khớp giữa dữ liệu đào tạo và đánh giá, theo các tác giả của bài báo mới, có thể gây ra ‘sự suy giảm hiệu suất lớn’. Nguồn: https://arxiv.org/pdf/2111.07408.pdf

Bài báo cho biết:

‘Chúng tôi phát hiện ra rằng sự không đồng bộ thời gian ảnh hưởng đến cả việc tổng quát hóa mô hình ngôn ngữ và hiệu suất nhiệm vụ. Chúng tôi phát hiện ra sự thay đổi đáng kể trong sự suy giảm trên các lĩnh vực văn bản và nhiệm vụ. Trong 5 năm, điểm số F1 của các phân loại器 có thể suy giảm nhiều như 40 điểm (sự liên kết chính trị trên Twitter) hoặc ít như 1 điểm (đánh giá xếp hạng Yelp). Hai nhiệm vụ riêng biệt được định nghĩa trên cùng một lĩnh vực có thể hiển thị các mức độ suy giảm khác nhau theo thời gian.’

Sự Chia Cắt Không Đồng Đều

Vấn đề cốt lõi là các tập dữ liệu đào tạo thường được chia thành hai nhóm, đôi khi với tỷ lệ 80/20 không cân bằng, do sự hạn chế của dữ liệu. Nhóm dữ liệu lớn hơn được đào tạo trên một mạng nơ-ron, trong khi dữ liệu còn lại được sử dụng làm nhóm kiểm soát để kiểm tra độ chính xác của thuật toán kết quả.

Trong các tập dữ liệu hỗn hợp chứa tài liệu từ nhiều năm, sự phân bố không đồng đều của dữ liệu từ các thời kỳ khác nhau có thể khiến dữ liệu đánh giá chủ yếu bao gồm tài liệu từ một thời kỳ cụ thể.

Điều này sẽ khiến nó trở thành một môi trường kiểm tra kém cho một mô hình được đào tạo trên một hỗn hợp đa dạng hơn của các thời kỳ (tức là trên nhiều dữ liệu có sẵn). Về cơ bản, tùy thuộc vào việc liệu dữ liệu đánh giá thiểu số có đại diện quá mức cho tài liệu mới hơn hay cũ hơn, nó giống như hỏi ông nội của bạn đánh giá các thần tượng K-Pop mới nhất.

Cách giải quyết lâu dài sẽ là đào tạo nhiều mô hình trên các tập dữ liệu hạn chế thời gian hơn và cố gắng tổng hợp các tính năng tương thích từ kết quả của từng mô hình. Tuy nhiên, thực tiễn khởi tạo mô hình ngẫu nhiên chỉ riêng nó đã phải đối mặt với một tập hợp các vấn đề riêng trong việc đạt được sự bình đẳng và công bằng giữa các mô hình – ngay cả trước khi xem xét liệu các tập dữ liệu đóng góp có đủ tương tự nhau để làm cho thí nghiệm có ý nghĩa.

Dữ Liệu và Đào Tạo

Để đánh giá sự không đồng bộ thời gian, các tác giả đã đào tạo bốn tập dữ liệu văn bản trên bốn lĩnh vực;

Twitter
… nơi họ thu thập dữ liệu không được gắn nhãn bằng cách trích xuất một lựa chọn ngẫu nhiên của 12 triệu tweet được phân bố đều giữa năm 2015-2020, nơi các tác giả nghiên cứu các thực thể được đặt tên (tức là người và tổ chức) và sự liên kết chính trị.

Bài Viết Khoa Học
… nơi các tác giả đã thu được dữ liệu không được gắn nhãn từ tập dữ liệu Semantic Scholar, bao gồm 650.000 tài liệu trong một khoảng thời gian 30 năm, và trên đó họ nghiên cứu phân loại loại đề cập (SciERC) và phân loại địa điểm hội nghị AI (AIC, phân biệt xem một bài báo có được xuất bản trên AAAI hay ICML).

Bài Viết Tin Tức
… nơi các tác giả sử dụng chín triệu bài viết từ Tập dữ liệu Newsroom trong khoảng thời gian từ 2009-2016, trên đó họ thực hiện ba nhiệm vụ: tóm tắt phòng tin tức, phân loại nhà xuất bản và phân loại khung truyền thông (MFC), nhiệm vụ sau này kiểm tra sự ưu tiên nhận thức của các chủ đề khác nhau trên đầu ra tin tức.

Đánh Giá Thực Phẩm
… nơi các nhà nghiên cứu sử dụng Tập dữ liệu Mở Yelp trên một nhiệm vụ: phân loại xếp hạng đánh giá (YELPCLS), một thách thức phân tích cảm xúc truyền thống điển hình của nhiều nghiên cứu NLP trong lĩnh vực này.

Kết Quả

Các mô hình được đánh giá trên GPT-2, với một loạt các điểm số F1 kết quả. Các tác giả phát hiện ra rằng sự mất mát hiệu suất do sự không đồng bộ thời gian là hai chiều, có nghĩa là các mô hình được đào tạo trên dữ liệu gần đây có thể bị ảnh hưởng tiêu cực bởi ảnh hưởng của dữ liệu cũ hơn, và ngược lại (xem hình ảnh ở đầu bài viết để xem các đồ thị). Các tác giả lưu ý rằng điều này có ý nghĩa đặc biệt đối với các ứng dụng khoa học xã hội.

Nói chung, kết quả cho thấy sự không đồng bộ thời gian làm giảm hiệu suất ‘đáng kể’, và có ảnh hưởng rộng rãi đến hầu hết các nhiệm vụ. Các tập dữ liệu bao gồm nhiều thời kỳ, chẳng hạn như thập kỷ, tự nhiên làm trầm trọng thêm vấn đề.

Các tác giả còn lưu ý rằng sự không đồng bộ thời gian cũng ảnh hưởng đến cả dữ liệu được gắn nhãn và không được gắn nhãn trước khi đào tạo. Ngoài ra, các nỗ lực của họ nhằm giảm thiểu các tác động thông qua thích nghi lĩnh vực (xem dưới đây) không cải thiện đáng kể tình hình, mặc dù họ khẳng định rằng việc tinh chỉnh dữ liệu thông tin trong tập dữ liệu có thể giúp đỡ đến một mức độ nhất định.

Kết Luận

Các nhà nghiên cứu xác nhận các phát hiện trước đó rằng các phương pháp điều trị trước đó liên quan đến thích nghi lĩnh vực (DAPT, nơi cho phép chênh lệch dữ liệu) và thích nghi thời gian (trong đó dữ liệu được chọn theo thời kỳ) làm rất ít để giảm thiểu vấn đề.

Bài báo kết luận*:

‘Các thí nghiệm của chúng tôi đã tiết lộ sự thay đổi đáng kể trong sự suy giảm thời gian trên các nhiệm vụ, nhiều hơn so với những gì được tìm thấy trong các nghiên cứu trước đó. Những phát hiện này động viên việc nghiên cứu tiếp tục về sự không đồng bộ thời gian trên các ứng dụng của NLP, việc xem xét nó trong các đánh giá chuẩn và sự cảnh giác của các nhà thực hành có thể theo dõi hiệu suất hệ thống trực tiếp theo thời gian.

‘Đáng chú ý, chúng tôi quan sát thấy rằng việc đào tạo liên tục của các mô hình ngôn ngữ trên dữ liệu đồng bộ thời gian không có nhiều tác dụng, động viên nghiên cứu thêm để tìm ra các phương pháp thích nghi thời gian hiệu quả mà ít tốn kém hơn so với việc thu thập liên tục các tập dữ liệu được gắn nhãn / đánh dấu theo thời gian.’

Các tác giả đề xuất rằng việc điều tra thêm về việc học liên tục, nơi dữ liệu được cập nhật liên tục, có thể hữu ích trong khía cạnh này, và rằng sự trôi dạt khái niệm, và các phương pháp khác để phát hiện sự thay đổi trong nhiệm vụ có thể là một công cụ hữu ích để cập nhật các tập dữ liệu.

* Tôi đã chuyển đổi các trích dẫn nội tuyến thành liên kết.