AI có thể giúp các nhà nghiên cứu xác định bài báo nào có thể được sao chép, nhằm mục đích giải quyết khủng hoảng sao chép

Trong những năm gần đây, người ta ngày càng chú ý nhiều hơn đến cái mà các học giả và nhà nghiên cứu gọi là cuộc khủng hoảng sao chép/khả năng tái sản xuất. Nhiều nghiên cứu chỉ đơn giản là không đưa ra kết quả quan trọng tương tự khi cố gắng sao chép nghiên cứu, và kết quả là cộng đồng khoa học lo ngại rằng các phát hiện thường được nhấn mạnh quá mức. Vấn đề ảnh hưởng đến các lĩnh vực đa dạng như tâm lý học và trí tuệ nhân tạo. Khi nói đến lĩnh vực AI, nhiều bài báo không được đánh giá ngang hàng đã được xuất bản với mục đích đưa ra những kết quả ấn tượng mà các nhà nghiên cứu khác không thể sao chép được. Để giải quyết vấn đề và giảm số lượng nghiên cứu không thể sao chép, các nhà nghiên cứu đã thiết kế một mô hình AI nhằm xác định bài báo nào có thể được sao chép.

Theo báo cáo của Fortune, Một mới giấy được xuất bản bởi một nhóm các nhà nghiên cứu từ Trường Quản lý Kellog và Viện Hệ thống Phức hợp tại Đại học Tây Bắc trình bày một mô hình học sâu có khả năng xác định nghiên cứu nào có khả năng tái tạo và nghiên cứu nào không. Nếu hệ thống AI có thể phân biệt một cách đáng tin cậy giữa nghiên cứu tái sản xuất và không tái sản xuất, nó có thể giúp các trường đại học, viện nghiên cứu, công ty và các tổ chức khác lọc qua hàng nghìn bài báo nghiên cứu để xác định bài báo nào có khả năng hữu ích và đáng tin cậy nhất.

Các hệ thống AI do nhóm Northwestern phát triển không sử dụng loại bằng chứng thực nghiệm/thống kê mà các nhà nghiên cứu thường sử dụng để xác định tính hợp lệ của các nghiên cứu. Mô hình thực sự sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên để thử và định lượng độ tin cậy của bài báo. Hệ thống trích xuất các mẫu trong ngôn ngữ được các tác giả của bài báo sử dụng và nhận thấy rằng một số mẫu từ cho thấy độ tin cậy cao hơn các mẫu khác.

Nhóm nghiên cứu đã dựa trên nghiên cứu tâm lý từ những năm 1960, cho thấy mọi người thường truyền đạt mức độ tự tin mà họ có trong ý tưởng của mình thông qua từ ngữ mà họ sử dụng. Chạy theo ý tưởng này, các nhà nghiên cứu cho rằng các tác giả bài báo có thể vô tình báo hiệu sự tin tưởng của họ vào kết quả nghiên cứu khi viết bài báo của họ. Các nhà nghiên cứu đã tiến hành hai vòng đào tạo, sử dụng các bộ dữ liệu khác nhau. Ban đầu, mô hình được đào tạo trên khoảng hai triệu bài tóm tắt từ các bài báo khoa học, trong khi lần thứ hai, mô hình được đào tạo trên các bài báo đầy đủ để lấy từ một dự án nhằm xác định bài báo tâm lý học nào có thể được sao chép – Dự án Tái sản xuất: Tâm lý học.

Sau khi thử nghiệm, các nhà nghiên cứu đã triển khai mô hình này trên một bộ sưu tập hàng trăm bài báo khác, được lấy từ nhiều lĩnh vực khác nhau như tâm lý học và kinh tế học. Các nhà nghiên cứu phát hiện ra rằng mô hình của họ đưa ra dự đoán đáng tin cậy hơn về khả năng tái tạo của bài báo so với các kỹ thuật thống kê thường được sử dụng để xác định xem kết quả của bài báo có thể được sao chép hay không.

Nhà nghiên cứu và Giáo sư Brian Uzzi của Trường Quản lý Kellog, giải thích với Fortune rằng mặc dù ông hy vọng rằng mô hình AI một ngày nào đó có thể được sử dụng để giúp các nhà nghiên cứu xác định khả năng tái tạo kết quả, nhưng nhóm nghiên cứu không chắc chắn về mô hình và chi tiết mô hình của họ. đã học. Việc các mô hình học máy thường là hộp đen là một vấn đề thường gặp trong nghiên cứu AI, nhưng thực tế này có thể khiến các nhà khoa học khác ngần ngại khi sử dụng mô hình này.

Uzzi giải thích rằng nhóm nghiên cứu hy vọng rằng mô hình này có khả năng được sử dụng để giải quyết cuộc khủng hoảng coronavirus, giúp các nhà khoa học nhiều hơn nhanh chóng hiểu được virus và xác định kết quả nghiên cứu nào có triển vọng. Như Uzzi đã nói với Fortune:

“Chúng tôi muốn bắt đầu áp dụng điều này cho vấn đề COVID—một vấn đề hiện tại khi nhiều thứ đang trở nên lỏng lẻo và chúng tôi cần xây dựng trên nền tảng rất vững chắc của công việc trước đó. Không rõ công việc trước đó sẽ được sao chép hay không và chúng tôi không có thời gian để sao chép.”

Uzzi và các nhà nghiên cứu khác đang hy vọng cải thiện mô hình bằng cách sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên khác, bao gồm các kỹ thuật mà nhóm đã tạo để phân tích các bản ghi cuộc gọi liên quan đến thu nhập của công ty. Nhóm nghiên cứu đã xây dựng một cơ sở dữ liệu gồm khoảng 30,000 bản ghi cuộc gọi mà họ sẽ phân tích để tìm manh mối. Nếu nhóm có thể xây dựng một mô hình thành công, họ có thể thuyết phục các nhà phân tích và nhà đầu tư sử dụng công cụ này, điều này có thể mở đường cho những cách sử dụng sáng tạo khác cho mô hình và kỹ thuật của nó.