Nghiên cứu tiết lộ LLM mặc định sử dụng lý luận đơn giản khi độ phức tạp tăng lên

Một nhóm các nhà nghiên cứu đã xuất bản một nghiên cứu toàn diện vào ngày 20 tháng 11, phân tích hơn 192.000 dấu vết lý luận từ mô hình ngôn ngữ lớn (LLMs), cho thấy rằng các hệ thống AI dựa trên các chiến lược tuyến tính, nông chứ không phải các quá trình nhận thức phân cấp mà con người sử dụng một cách tự nhiên.

Nhóm nghiên cứu đã kiểm tra 18 mô hình khác nhau trên các nhiệm vụ lý luận văn bản, tầm nhìn và âm thanh, so sánh các phương pháp của chúng với 54 dấu vết suy nghĩ của con người được thu thập cụ thể cho nghiên cứu. Phân tích đã thiết lập một phân loại 28 yếu tố nhận thức bao gồm các ràng buộc tính toán, kiểm soát siêu nhận thức, đại diện kiến thức và các hoạt động biến đổi – cung cấp một khuôn khổ để đánh giá không chỉ liệu các mô hình tạo ra câu trả lời chính xác, mà còn cách chúng đến được những kết luận đó.

Sự khác biệt cơ bản trong Kiến trúc Nhận thức

Lý luận của con người nhất quán thể hiện sự phân cấp lồng nhau và giám sát siêu nhận thức – khả năng phản ánh và điều chỉnh quá trình suy nghĩ của chính mình. Con người tổ chức thông tin một cách linh hoạt thành các cấu trúc lồng nhau trong khi chủ động theo dõi tiến trình của họ thông qua các vấn đề phức tạp.

LLM chủ yếu sử dụng chuỗi chuyển tiếp nông, di chuyển từng bước thông qua các vấn đề mà không có tổ chức phân cấp hoặc tự phản ánh mà đặc trưng cho nhận thức của con người. Sự khác biệt này trở nên rõ ràng nhất khi các nhiệm vụ không được cấu trúc hoặc mơ hồ, nơi khả năng thích ứng của con người vượt trội đáng kể so với các phương pháp AI.

Nghiên cứu cho thấy rằng các mô hình ngôn ngữ sở hữu các thành phần hành vi liên quan đến lý luận thành công nhưng thường không triển khai chúng một cách tự phát. Hiệu suất thay đổi đáng kể theo loại vấn đề: lý luận khó khăn cho thấy sự biến thiên cao nhất, với các mô hình nhỏ gặp khó khăn đáng kể, trong khi lý luận logic cho thấy hiệu suất trung bình với các mô hình lớn thường vượt trội so với các mô hình nhỏ hơn. Các mô hình thể hiện điểm yếu phản trực giác, thành công trên các nhiệm vụ phức tạp trong khi thất bại trên các biến thể đơn giản hơn.

Cải thiện Hiệu suất thông qua Lý luận Hướng dẫn

Nhóm nghiên cứu đã phát triển hướng dẫn lý luận tại thời điểm kiểm tra tự động, tạo khuôn khổ cho các cấu trúc nhận thức thành công, cho thấy sự cải thiện hiệu suất lên đến 66,7% trên các vấn đề phức tạp khi các mô hình được yêu cầu áp dụng các phương pháp lý luận giống con người hơn. Phát hiện này cho thấy rằng LLM sở hữu khả năng lý luận tinh vi hơn nhưng cần hướng dẫn rõ ràng để sử dụng chúng một cách hiệu quả.

Khoảng cách giữa lý luận của con người và AI trở nên rộng hơn khi độ phức tạp của nhiệm vụ tăng lên. Trong khi các mô hình có thể xử lý các vấn đề đơn giản thông qua chuỗi chuyển tiếp alone, chúng gặp khó khăn với loại chiến lược tự giám sát, phân cấp mà con người triển khai một cách tự nhiên khi đối mặt với các thách thức mơ hồ hoặc đa lớp.

Bộ dữ liệu công khai của nghiên cứu cung cấp một điểm chuẩn cho nghiên cứu tương lai so sánh trí tuệ nhân tạo và trí tuệ con người. Bằng cách ánh xạ 28 yếu tố nhận thức riêng biệt, khuôn khổ cho phép các nhà nghiên cứu xác định chính xác nơi lý luận AI bị phá vỡ chứ không chỉ đo điểm số chính xác.

Hậu quả đối với Phát triển AI

Các phát hiện nhấn mạnh một hạn chế cơ bản trong các hệ thống AI hiện tại: khoảng cách giữa khả năng tính toán và sự tinh vi nhận thức thực sự. Các mô hình được đào tạo trên các tập dữ liệu lớn có thể tìm kiếm mẫu để đạt được câu trả lời chính xác trên nhiều nhiệm vụ, nhưng thiếu suy nghĩ phản ánh, phân cấp mà đặc trưng cho việc giải quyết vấn đề của con người.

Nghiên cứu này xây dựng trên những lo ngại ngày càng tăng về hạn chế lý luận AI được xác định trên nhiều lĩnh vực. Sự cải thiện hiệu suất từ lý luận hướng dẫn cho thấy rằng các chiến lược nhắc nhở tốt hơn và các sửa đổi kiến trúc có thể giúp các mô hình truy cập vào khả năng lý luận tiềm ẩn của chúng một cách hiệu quả hơn.

Đóng góp quan trọng nhất của nghiên cứu có thể là phân loại chi tiết về các yếu tố nhận thức, cung cấp cho các nhà nghiên cứu và nhà phát triển các mục tiêu cải thiện cụ thể. Thay vì coi lý luận như một khả năng đơn nhất, khuôn khổ chia nó thành các thành phần có thể đo lường được mà có thể được giải quyết riêng lẻ thông qua các sửa đổi đào tạo hoặc kỹ thuật kỹ thuật nhắc nhở.