Các mô hình AI cung cấp cái nhìn sâu sắc về cách não xử lý ngôn ngữ

Nghiên cứu mới của Viện Công nghệ Massachusetts cho thấy chức năng cơ bản của các mô hình tính toán 'dự đoán từ tiếp theo' giống với chức năng của các trung tâm xử lý ngôn ngữ trong não người. 

Ý nghĩa của ngôn ngữ

Các mô hình ngôn ngữ dự đoán mới nhất có thể đang học được điều gì đó về ý nghĩa cơ bản của ngôn ngữ, đây sẽ là một bước tiến lớn trong lĩnh vực này. Các mô hình dự đoán từ tiếp theo, nhưng chúng cũng đang thực hiện các nhiệm vụ đòi hỏi mức độ hiểu biết thực sự. Những nhiệm vụ này bao gồm trả lời câu hỏi, tóm tắt tài liệu và hoàn thành câu chuyện. 

Các mô hình được thiết kế để tối ưu hóa hiệu suất dự đoán văn bản mà không cố gắng bắt chước bất cứ điều gì liên quan đến cách bộ não con người hiểu ngôn ngữ. Tuy nhiên, nhóm các nhà thần kinh học của MIT cho rằng có điều gì đó đang xảy ra trong vấn đề này. 

Một trong những hiểu biết thú vị hơn của nghiên cứu này là các mô hình máy tính hoạt động tốt trên các loại nhiệm vụ ngôn ngữ khác không cho thấy sự tương đồng này với bộ não con người. Đây được coi là bằng chứng cho thấy bộ não con người có thể sử dụng dự đoán từ tiếp theo để thực hiện xử lý ngôn ngữ. 

Nancy Kanwisher là Giáo sư Khoa học Thần kinh Nhận thức của Walter A. Rosenblith. Cô cũng là thành viên của Viện Nghiên cứu Não bộ McGovern và Trung tâm Não bộ, Tâm trí và Máy móc (CBMM) của MIT, đồng thời là tác giả của nghiên cứu.

Kanwisher nói: “Mô hình dự đoán từ tiếp theo càng tốt thì nó càng phù hợp với bộ não con người. “Thật đáng kinh ngạc khi các mô hình lại ăn khớp đến vậy, và nó gián tiếp gợi ý rằng có thể hệ thống ngôn ngữ của con người đang làm là dự đoán điều gì sẽ xảy ra tiếp theo.”

Nghiên cứu xuất hiện trong Kỷ yếu của Viện Hàn lâm Khoa học Quốc gia. 

Nó cũng bao gồm các tác giả cấp cao Joshue Tenenbaum, giáo sư khoa học nhận thức tại MIT và là thành viên của CBMM và Trí tuệ nhân tạo của MIT (CSAIL); và Eveline Fedorenko, Frederick A. và Carole J. Middleton Phát triển Nghề nghiệp, Phó Giáo sư Khoa học Thần kinh và là thành viên của Viện McGovern. Tác giả đầu tiên của bài báo là Martin Schrimpf, một sinh viên tốt nghiệp MIT. 

Trường The Study

Nhóm MIT đã so sánh các trung tâm xử lý ngôn ngữ trong não người với các mô hình xử lý ngôn ngữ. Họ đã phân tích 43 mô hình ngôn ngữ khác nhau, bao gồm cả những mô hình được tối ưu hóa cho dự đoán từ tiếp theo, chẳng hạn như GPT-3. Các mô hình khác được thiết kế để thực hiện các nhiệm vụ ngôn ngữ khác nhau, chẳng hạn như điền vào chỗ trống. 

Mỗi mô hình được trình bày bằng một chuỗi từ và các nhà nghiên cứu đã đo lường hoạt động của các nút tạo nên mạng lưới. Sau đó, các mẫu này được so sánh với hoạt động trong não, được đo lường ở các đối tượng thực hiện ba nhiệm vụ ngôn ngữ: nghe kể chuyện, đọc từng câu một và đọc các câu trong đó một từ được tiết lộ tại một thời điểm. 

Bộ dữ liệu con người bao gồm dữ liệu cộng hưởng từ chức năng (fMRI) và các phép đo điện tâm đồ nội sọ được lấy từ những người trải qua phẫu thuật não vì bệnh động kinh.

Các nhà nghiên cứu phát hiện ra rằng các mô hình dự đoán từ tiếp theo hoạt động tốt nhất có mô hình hoạt động gần giống với mô hình được thấy trong não người. Những mô hình tương tự đó cũng chứng minh hoạt động có mối tương quan cao với các biện pháp đo lường hành vi của con người như tốc độ mọi người có thể đọc văn bản.

“Chúng tôi thấy rằng các mô hình dự đoán tốt các phản ứng thần kinh cũng có xu hướng dự đoán tốt nhất các phản ứng hành vi của con người, dưới dạng thời gian đọc. Và sau đó cả hai điều này được giải thích bằng hiệu suất của mô hình về dự đoán từ tiếp theo. Tam giác này thực sự kết nối mọi thứ lại với nhau,” Schrimpf nói.

Giờ đây, các nhà nghiên cứu sẽ tìm cách xây dựng các biến thể của mô hình xử lý ngôn ngữ, điều này có thể cho phép họ xem những thay đổi nhỏ trong kiến ​​trúc của họ ảnh hưởng như thế nào đến hiệu suất và khả năng phù hợp với dữ liệu thần kinh của con người.