ảo tưởng về lý luận AI: Tại sao Chain-of-Thought có thể không phải là điều chúng ta nghĩ

Các mô hình ngôn ngữ lớn (LLM) đã gây ấn tượng với khả năng phân tích các vấn đề phức tạp thành từng bước. Khi chúng ta yêu cầu LLM giải quyết một vấn đề toán học, chúng hiện đang hiển thị quá trình làm việc của mình, đi qua từng bước logic trước khi đạt đến câu trả lời. Cách tiếp cận này, được gọi là Chain-of-Thought (CoT) lý luận, đã khiến các hệ thống AI trở nên giống con người hơn trong quá trình suy nghĩ của chúng. Nhưng nếu khả năng lý luận ấn tượng này thực sự chỉ là một ảo tưởng? Nghiên cứu mới nghiên cứu từ Đại học bang Arizona cho thấy rằng những gì trông giống như suy nghĩ logic thực sự có thể là một kỹ thuật phù hợp mẫu tinh vi. Trong bài viết này, chúng ta sẽ khám phá phát hiện này và phân tích ý nghĩa của nó đối với cách chúng ta thiết kế, đánh giá và tin tưởng vào các hệ thống AI.

Vấn đề với sự hiểu biết hiện tại

Chain-of-thought prompting đã trở thành một trong những tiến bộ được công nhận nhất trong lý luận AI. Nó cho phép các mô hình giải quyết mọi thứ từ vấn đề toán học đến câu đố logic bằng cách hiển thị công việc của chúng thông qua các bước trung gian. Khả năng lý luận rõ ràng này đã khiến nhiều người tin rằng các hệ thống AI đang phát triển các khả năng suy luận tương tự như suy nghĩ của con người. Tuy nhiên, những người nghiên cứu đã bắt đầu đặt câu hỏi về niềm tin này.

Trong một nghiên cứu gần đây, họ quan sát thấy rằng khi được hỏi các câu hỏi như liệu Hoa Kỳ được thành lập trong một năm nhuận hay một năm bình thường, LLM đã đưa ra câu trả lời không nhất quán. Mặc dù họ xác định chính xác lý do tại sao 1776 chia hết cho 4 và tuyên bố đó là một năm nhuận, nhưng các mô hình vẫn kết luận rằng Hoa Kỳ được thành lập trong một năm bình thường. Trong trường hợp này, các mô hình đã thể hiện kiến thức về các quy tắc và hiển thị các bước logic nhưng đã đạt đến một kết luận mâu thuẫn.

Những ví dụ như vậy cho thấy có thể có một khoảng cách cơ bản giữa những gì có vẻ như là lý luận và suy luận logic thực sự.

Một góc nhìn mới để hiểu lý luận AI

Một đổi mới chính của nghiên cứu này là việc giới thiệu một “lăng kính phân phối dữ liệu” để kiểm tra Chain-of-Thought (CoT) lý luận. Những người nghiên cứu đã đưa ra giả thuyết rằng CoT là một kỹ thuật phù hợp mẫu tinh vi hoạt động trên các quy luật thống kê trong dữ liệu đào tạo, chứ không phải là lý luận logic thực sự. Mô hình tạo ra các đường dẫn lý luận xấp xỉ những gì nó đã thấy trước đó, chứ không phải thực hiện các hoạt động logic.

Để kiểm tra giả thuyết này, các nhà nghiên cứu đã tạo ra DataAlchemy, một môi trường thí nghiệm được kiểm soát. Thay vì kiểm tra các LLM được đào tạo trước với lịch sử đào tạo phức tạp của chúng, họ đã đào tạo các mô hình nhỏ hơn từ đầu trên các nhiệm vụ được thiết kế cẩn thận. Cách tiếp cận này loại bỏ sự phức tạp của quá trình đào tạo lớn và cho phép kiểm tra hệ thống về cách các thay đổi phân phối ảnh hưởng đến hiệu suất lý luận.

Các nhà nghiên cứu tập trung vào các nhiệm vụ biến đổi đơn giản liên quan đến các chuỗi chữ cái. Ví dụ, họ đã dạy các mô hình áp dụng các hoạt động như quay các chữ cái trong bảng chữ cái (A trở thành N, B trở thành O) hoặc thay đổi vị trí trong một chuỗi (APPLE trở thành EAPPL). Bằng cách kết hợp các hoạt động này, các nhà nghiên cứu đã tạo ra các chuỗi lý luận đa bước với độ phức tạp khác nhau. Cách tiếp cận này đã mang lại cho họ lợi thế của sự chính xác. Họ có thể kiểm soát chính xác những gì các mô hình đã học được trong quá trình đào tạo và sau đó kiểm tra xem chúng tổng quát hóa như thế nào cho các tình huống mới. Mức độ kiểm soát này là không thể với các hệ thống AI thương mại lớn được đào tạo trên các tập dữ liệu đa dạng khổng lồ.

Khi lý luận AI bị phá vỡ

Các nhà nghiên cứu đã kiểm tra CoT lý luận trên ba chiều quan trọng mà các ứng dụng thực tế có thể khác với dữ liệu đào tạo.

Tổng quát hóa nhiệm vụ đã kiểm tra cách các mô hình xử lý các vấn đề mới mà chúng chưa từng gặp trước đây. Khi được kiểm tra trên các biến đổi giống hệt với dữ liệu đào tạo, các mô hình đạt được hiệu suất hoàn hảo. Tuy nhiên, các biến thể nhỏ đã gây ra sự thất bại đáng kể trong khả năng lý luận của chúng. Ngay cả khi các nhiệm vụ mới là sự kết hợp của các hoạt động quen thuộc, các mô hình đã không thể áp dụng các mẫu đã học của chúng một cách chính xác.

Một trong những phát hiện đáng lo ngại nhất là các mô hình thường tạo ra các bước lý luận được định dạng hoàn hảo và có vẻ logic nhưng dẫn đến các câu trả lời không chính xác. Trong một số trường hợp, chúng tạo ra các câu trả lời chính xác thông qua sự trùng hợp may mắn trong khi theo các đường dẫn lý luận hoàn toàn sai. Những phát hiện này cho thấy rằng các mô hình cơ bản phù hợp với các mẫu bề mặt chứ không phải hiểu logic cơ bản.

Tổng quát hóa độ dài đã kiểm tra xem các mô hình có thể xử lý các chuỗi lý luận dài hơn hoặc ngắn hơn so với những gì trong dữ liệu đào tạo. Các nhà nghiên cứu đã tìm thấy rằng các mô hình được đào tạo trên độ dài 4 hoàn toàn thất bại khi được kiểm tra trên độ dài 3 hoặc 5, mặc dù đây là những thay đổi tương đối nhỏ. Ngoài ra, các mô hình sẽ cố gắng ép buộc lý luận của chúng vào mẫu độ dài quen thuộc bằng cách thêm hoặc xóa các bước một cách không phù hợp thay vì thích nghi với các yêu cầu mới.

Tổng quát hóa định dạng đã đánh giá sự nhạy cảm với các biến thể bề mặt trong cách trình bày các vấn đề. Ngay cả các thay đổi nhỏ như chèn các token nhiễu hoặc sửa đổi slightly cấu trúc lời nhắc đã gây ra sự suy giảm đáng kể về hiệu suất. Điều này đã tiết lộ mức độ phụ thuộc của các mô hình vào các mẫu định dạng chính xác từ dữ liệu đào tạo.

Vấn đề giòn

Trên cả ba chiều, nghiên cứu đã tiết lộ một mẫu nhất quán: CoT lý luận hoạt động tốt khi được áp dụng cho dữ liệu tương tự như các ví dụ đào tạo nhưng trở nên giòn và dễ bị phá vỡ ngay cả dưới các thay đổi phân phối vừa phải. Khả năng lý luận rõ ràng này cơ bản là một “ảo tưởng giòn” biến mất khi các mô hình gặp phải các tình huống không quen thuộc.

Giòn này có thể biểu hiện theo nhiều cách. Các mô hình có thể tạo ra các chuỗi lý luận trơn tru, được cấu trúc hoàn hảo nhưng hoàn toàn sai. Chúng có thể theo hình thức logic hoàn hảo trong khi bỏ lỡ các kết nối logic cơ bản. Đôi khi chúng tạo ra các câu trả lời chính xác thông qua sự trùng hợp toán học trong khi thể hiện các quá trình lý luận có lỗi.

Nghiên cứu cũng cho thấy rằng việc tinh chỉnh giám sát trên một lượng nhỏ dữ liệu mới có thể nhanh chóng khôi phục hiệu suất, nhưng điều này chỉ đơn giản là mở rộng khả năng phù hợp mẫu của mô hình chứ không phải phát triển các khả năng lý luận thực sự. Nó giống như việc học cách giải một loại toán mới bằng cách ghi nhớ các ví dụ cụ thể chứ không phải hiểu các nguyên tắc toán học cơ bản.

Ý nghĩa trong thế giới thực

Những phát hiện này có thể có ý nghĩa nghiêm trọng đối với cách chúng ta triển khai và tin tưởng vào các hệ thống AI. Trong các lĩnh vực quan trọng như y tế, tài chính hoặc phân tích pháp lý, khả năng tạo ra các lý luận nghe có vẻ hợp lý nhưng cơ bản bị lỗi có thể nguy hiểm hơn là các câu trả lời không chính xác đơn giản. Sự xuất hiện của suy nghĩ logic có thể khiến người dùng đặt niềm tin không đáng có vào các kết luận AI.

Nghiên cứu gợi ý một số hướng dẫn quan trọng cho các chuyên gia AI. Đầu tiên, các tổ chức không nên coi CoT là một giải pháp phổ quát cho mọi vấn đề. Các phương pháp kiểm tra tiêu chuẩn sử dụng dữ liệu tương tự như tập đào tạo là không đủ để đánh giá các khả năng lý luận thực sự. Thay vào đó, kiểm tra nghiêm ngặt ngoài phân phối là cần thiết để hiểu các hạn chế của mô hình.

Thứ hai, xu hướng của các mô hình tạo ra “đồonsense trơn tru” đòi hỏi sự giám sát của con người cẩn thận, đặc biệt là trong các ứng dụng quan trọng. Cấu trúc hợp lý của các chuỗi lý luận do AI tạo ra có thể che giấu các lỗi logic cơ bản mà có thể không rõ ràng ngay lập tức.

Đi vượt quá phù hợp mẫu

Có lẽ quan trọng nhất, nghiên cứu này thách thức cộng đồng AI phải đi vượt quá các cải tiến bề mặt hướng tới phát triển các hệ thống có khả năng lý luận thực sự. Các phương pháp hiện tại dựa trên việc tăng quy mô dữ liệu và tham số có thể đạt đến các giới hạn cơ bản nếu chúng chủ yếu là các hệ thống phù hợp mẫu tinh vi.

Công việc này không làm giảm giá trị thực tế của các hệ thống AI hiện tại. Phù hợp mẫu ở quy mô lớn có thể rất hiệu quả cho nhiều ứng dụng. Tuy nhiên, nó nhấn mạnh tầm quan trọng của việc hiểu bản chất thực sự của các khả năng này thay vì gán cho chúng khả năng lý luận giống con người khi không có.

Con đường phía trước

Nghiên cứu này mở ra các câu hỏi quan trọng về tương lai của lý luận AI. Nếu các phương pháp hiện tại bị giới hạn cơ bản bởi các phân phối đào tạo của chúng, thì những phương pháp thay thế nào có thể dẫn đến các khả năng lý luận mạnh mẽ hơn? Làm thế nào chúng ta có thể phát triển các phương pháp đánh giá phân biệt giữa phù hợp mẫu và suy luận logic thực sự?

Những phát hiện cũng nhấn mạnh tầm quan trọng của tính minh bạch và đánh giá đúng trong phát triển AI. Khi các hệ thống này trở nên tinh vi hơn và đầu ra của chúng trở nên thuyết phục hơn, khoảng cách giữa khả năng rõ ràng và thực sự có thể trở nên ngày càng nguy hiểm nếu không được hiểu đúng.

Kết luận

Lý luận Chain-of-Thought trong LLM thường phản ánh phù hợp mẫu hơn là logic thực sự. Mặc dù đầu ra có thể trông thuyết phục, nhưng chúng có thể thất bại trong các điều kiện mới, gây ra lo ngại cho các lĩnh vực quan trọng như y tế, luật và khoa học. Nghiên cứu này nhấn mạnh nhu cầu về kiểm tra tốt hơn và các phương pháp lý luận AI đáng tin cậy hơn.