Sự Thất Bại Của Mô Hình Ngôn Ngữ Lớn Trong Toán Học Và Cách Giải Quyết

Toán học luôn là một thách thức lớn đối với các mô hình trí tuệ nhân tạo. Việc掌握 toán học đòi hỏi kỹ năng lý luận phức tạp, và đối với trí tuệ nhân tạo, nhiệm vụ này không hề đơn giản. Điều này tạo ra một vấn đề lớn khi xem xét tầm quan trọng của năng lực toán học đối với thành công chuyên nghiệp, cá nhân và học thuật.

Mặc dù có những khả năng đáng kinh ngạc, các mô hình ngôn ngữ lớn (LLM) thường đấu tranh với các nhiệm vụ toán học phức tạp, chẳng hạn như hình học, đòi hỏi kỹ năng lý luận tiên tiến. Điều này dẫn chúng ta đến câu hỏi quan trọng: bao nhiêu khả năng toán học của mô hình trí tuệ nhân tạo bắt nguồn từ lý luận thực sự so với việc chỉ nhớ lại dữ liệu đào tạo?

Các phát hiện gần đây từ Apple cho thấy rằng ngay cả khi tập trung vào các vấn đề toán học cấp độ tiểu học, các mô hình tinh vi nhất không hoàn toàn được thúc đẩy bởi “lý luận”.

Đưa điều này một bước进一步, đội ngũ nghiên cứu và phát triển tại MathGPT.ai đã đưa ra ánh sáng mới về các lĩnh vực đại số đến cấp độ toán học cao hơn đòi hỏi sự cải thiện nhiều nhất.

Dữ liệu này đã khám phá cách các biến thể trong ngữ cảnh và ngôn ngữ ảnh hưởng đến hiệu suất của mô hình trên các LLM khác nhau, bao gồm cả mô hình o1-preview và o1-mini mới nhất của OpenAI. Các phát hiện cho thấy một xu hướng đáng lo ngại: độ chính xác giảm liên tục khi các vấn đề deviated khỏi các câu hỏi ban đầu có sẵn trong dữ liệu đào tạo của LLM, với hiệu suất giảm mạnh trên các tiêu chuẩn toán học phức tạp hơn cấp độ toán học tiểu học.

Sự Đấu Tranh Giữa Nhớ Lại Và Lý Luận

Cuộc điều tra tập trung vào ba yếu tố chính:

1. Sử dụng các tiêu chuẩn toán học phức tạp hơn toán học cấp độ tiểu học
2. Khám phá một “câu hỏi một lần” với sự gần gũi cực độ với vấn đề kiểm tra
3. Triển khai một chiến lược “tốt nhất trong n” cho n lần thử trên cùng một vấn đề – hiệu quả là một cuộc bỏ phiếu đa số để loại bỏ các bất thường thống kê, tại thời điểm suy luận.

Kết quả đã cả thú vị và đáng lo ngại. Các ranh giới của sự thay đổi vấn đề đã được đẩy, cho thấy sự giảm hiệu suất của mô hình trí tuệ nhân tạo khi các phương trình toán học trở nên phức tạp hơn.

Thử Thách Bộ Dữ Liệu Toán Học

Bộ dữ liệu MATH đã được triển khai, nổi tiếng với các vấn đề cấp độ trung học khó, trái ngược với bộ dữ liệu Grade School Math 8K, chứa 8.500 vấn đề cấp độ tiểu học đa dạng về ngôn ngữ. Bộ dữ liệu MATH trình bày các câu hỏi cấp độ trung học phức tạp hơn để kiểm tra hiệu suất của mô hình trên các mức độ khó khác nhau, từ đại số sơ cấp đến lý thuyết số. Sự lựa chọn này cho phép MathGPT.ai kiểm tra hiệu suất của mô hình trên các mức độ khó khác nhau.

Trong quá trình kiểm tra, trong khi các giá trị số và câu trả lời cuối cùng vẫn không thay đổi, chúng tôi đã thay đổi ngôn ngữ, biến và ngữ cảnh của các vấn đề. Ví dụ, một kịch bản “con chó đi dạo” có thể được chuyển đổi thành một vấn đề “máy rửa chén”. Phương pháp này giúp giảm thiểu sự phức tạp tăng của bộ dữ liệu MATH trong khi vẫn thách thức khả năng lý luận của mô hình.

Kết Quả Bộc Lộ

Kết quả thật đáng kinh ngạc. Ngay cả những mô hình tiên tiến nhất cũng gặp khó khăn khi đối mặt với các biến thể của các vấn đề mà chúng có thể đã gặp trong dữ liệu đào tạo. Ví dụ, mô hình o1-mini của nó có độ chính xác giảm từ 93,66% trên các câu hỏi ban đầu xuống 88,54% trên biến thể khó nhất. Mô hình o1-preview cũng trải qua sự giảm tương tự, từ 91,22% xuống 82,93% – một sự giảm đủ lớn để nhấn mạnh các khoảng trống quan trọng trong khả năng chống chịu của chúng.

Những phát hiện này phù hợp với và bổ sung cho nghiên cứu trước đó của Apple, cho thấy rằng các hạn chế trong khả năng lý luận toán học của trí tuệ nhân tạo trở nên rõ ràng hơn khi các vấn đề trở nên phức tạp hơn và đòi hỏi sự hiểu biết sâu sắc hơn chứ không chỉ là nhận dạng mẫu.

Con Đường Tiếp Theo

Khi chúng ta tiếp tục đẩy ranh giới của khả năng lý luận của mô hình ngôn ngữ lớn, điều quan trọng là phải nhận ra cả tiềm năng đáng kinh ngạc và hạn chế hiện tại của nó. Nghiên cứu mới nhấn mạnh nhu cầu đổi mới liên tục trong việc phát triển các mô hình trí tuệ nhân tạo có khả năng vượt ra ngoài việc nhận dạng mẫu để đạt được các kỹ năng giải quyết vấn đề mạnh mẽ và tổng quát hơn.

Điều này đến vào thời điểm quan trọng, đặc biệt là trong giáo dục đại học, nơi trí tuệ nhân tạo đang được sử dụng nhiều hơn như một công cụ hỗ trợ giảng dạy trong lớp học, trong khi các trường học vẫn tiếp tục chứng kiến tỷ lệ thất bại cao trong số sinh viên toán học không được chuẩn bị cho các khóa học.

Đạt được khả năng nhận thức giống con người hoặc trí tuệ tổng quát trong trí tuệ nhân tạo đòi hỏi không chỉ sự tiến bộ công nghệ mà còn sự hiểu biết tinh tế về cách bắc cầu giữa việc nhớ lại và lý luận thực sự.

Nếu chúng ta thành công trên con đường này, tôi tin rằng chúng ta có thể thay đổi cuộc sống của hàng triệu sinh viên và thậm chí các chuyên gia để đặt cuộc sống của họ lên một quỹ đạo hoàn toàn mới.