Làm thế nào để các tác nhân AI thực hiện nghiên cứu thực sự?

Khi các mô hình ngôn ngữ lớn (LLM) phát triển nhanh chóng, chúng cũng hứa hẹn trở thành các trợ lý nghiên cứu mạnh mẽ. Ngày càng nhiều, chúng không chỉ trả lời các câu hỏi 事 thực đơn giản mà còn thực hiện các nhiệm vụ “nghiên cứu sâu”, bao gồm lý luận đa bước, đánh giá thông tin mâu thuẫn, tìm kiếm dữ liệu từ toàn bộ web và tổng hợp nó thành một đầu ra nhất quán.

Khả năng này đang được tiếp thị dưới các tên thương hiệu khác nhau bởi các phòng thí nghiệm lớn – OpenAI gọi nó là “Nghiên cứu sâu”, Anthropic gọi nó là “Tư duy mở rộng”, Gemini của Google (GOOGL ) cung cấp các tính năng “Tìm kiếm + Pro” và Perplexity gọi nó là “Tìm kiếm Pro” hoặc “Nghiên cứu sâu”. Nhưng làm thế nào để những dịch vụ này hoạt động trong thực tế? Một báo cáo mới của FutureSearch, có tên Deep Research Bench (DRB): Đánh giá các tác nhân nghiên cứu web, cung cấp đánh giá nghiêm ngặt nhất cho đến nay – và kết quả cho thấy cả khả năng ấn tượng và hạn chế quan trọng.

Deep Research Bench là gì?

Được tạo bởi đội FutureSearch, Deep Research Bench là một chuẩn mực được xây dựng cẩn thận để đánh giá hiệu suất của các tác nhân AI trên các nhiệm vụ nghiên cứu web đa bước. Những nhiệm vụ này không phải là các câu hỏi đơn giản với câu trả lời trực tiếp – chúng phản ánh các thách thức mở và phức tạp mà các nhà phân tích, nhà hoạch định chính sách và nhà nghiên cứu gặp phải trong các tình huống thực tế.

Chuẩn mực này bao gồm 89 nhiệm vụ riêng biệt trong 8 danh mục như:

• Tìm số: ví dụ “Số lượng thu hồi thiết bị y tế loại II của FDA là bao nhiêu?”
• Xác thực tuyên bố: ví dụ “ChatGPT có tiêu tốn 10 lần năng lượng hơn so với tìm kiếm của Google không?”
• Tổng hợp dữ liệu: ví dụ “Xu hướng việc làm cho các nhà phát triển phần mềm tại Mỹ từ năm 2019-2023”

Mỗi loại nhiệm vụ được cấu trúc cẩn thận với các câu trả lời đã được xác minh bởi con người và được đánh giá bằng cách sử dụng một tập dữ liệu web đã được thu thập, được gọi là RetroSearch. Điều này đảm bảo tính nhất quán trong việc đánh giá các mô hình, tránh sự thay đổi của web trực tiếp.

Cấu trúc tác nhân: ReAct và RetroSearch

Tại trung tâm của Deep Research Bench là kiến trúc ReAct, viết tắt của “Lý do + Hành động.” Phương pháp này mô phỏng cách một nhà nghiên cứu con người có thể giải quyết một vấn đề – bằng cách suy nghĩ về nhiệm vụ, thực hiện một hành động như tìm kiếm web, quan sát kết quả và quyết định liệu có nên lặp lại hoặc kết thúc.

Trong khi các mô hình cũ hơn tuân theo vòng lặp này một cách rõ ràng, các mô hình “tư duy” mới thường đơn giản hóa quá trình, tích hợp lý luận một cách linh hoạt vào các hành động của chúng. Để đảm bảo tính nhất quán trong việc đánh giá, DRB giới thiệu RetroSearch – một phiên bản web tĩnh được xây dựng tùy chỉnh. Thay vì dựa vào internet trực tiếp, luôn thay đổi, các tác nhân sẽ truy cập vào một kho lưu trữ được thu thập của các trang web, sử dụng các công cụ như Serper, Playwright và ScraperAPI. Quy mô là ấn tượng – đối với các nhiệm vụ phức tạp như “Tập hợp bằng chứng”, RetroSearch có thể cung cấp quyền truy cập vào hơn 189.000 trang, tất cả đều được đóng băng trong thời gian, đảm bảo một môi trường thử nghiệm công bằng và có thể tái tạo.

Các tác nhân AI nào hoạt động tốt nhất?

Trong số tất cả các ứng viên, o3 của OpenAI đã nổi lên như người biểu diễn hàng đầu, đạt 0,51 trên thang điểm 1,0 trong Deep Research Bench. Mặc dù điều đó có thể không ấn tượng, nhưng điều quan trọng là phải hiểu độ khó của chuẩn mực – do sự mơ hồ trong định nghĩa nhiệm vụ và chấm điểm, ngay cả một tác nhân hoàn hảo cũng có thể đạt điểm cao nhất khoảng 0,8, điều mà các nhà nghiên cứu gọi là “trần tiếng ồn.” Nói cách khác, ngay cả các mô hình tốt nhất hiện nay vẫn còn thiếu sót so với các nhà nghiên cứu con người thông minh và có phương pháp.

Tuy nhiên, bảng xếp hạng cung cấp những thông tin sâu sắc. o3 không chỉ dẫn đầu mà còn làm như vậy với tốc độ và tính nhất quán, thể hiện hiệu suất mạnh mẽ trên gần như tất cả các loại nhiệm vụ. Claude 3.7 Sonnet của Anthropic theo sát, thể hiện sự linh hoạt trong cả “chế độ tư duy” và “chế độ không tư duy”. Gemini 2.5 Pro, mô hình hàng đầu của Google, nổi bật với khả năng xử lý các nhiệm vụ yêu cầu lập kế hoạch cấu trúc và lý luận bước-by-bước. Trong khi đó, DeepSeek-R1 mở đã mang lại một bất ngờ thú vị – theo sát GPT-4 Turbo và thu hẹp khoảng cách hiệu suất giữa các mô hình mở và đóng.

Trên toàn bảng, một mẫu rõ ràng đã xuất hiện – các mô hình “tư duy” mới thường xuyên outperform các phiên bản trước của chúng, và các mô hình nguồn đóng vẫn giữ một lợi thế đáng kể so với các mô hình mở.

Các tác nhân gặp khó khăn ở đâu?

Đọc qua các mẫu thất bại được nhấn mạnh trong báo cáo Deep Research Bench cảm thấy khá quen thuộc. Một trong những khía cạnh khó chịu nhất mà tôi đã gặp phải – đặc biệt là trong các phiên nghiên cứu hoặc tạo nội dung dài – là khi một tác nhân AI đơn giản quên mất chúng ta đang làm gì. Khi cửa sổ ngữ cảnh được kéo dài, mô hình thường bắt đầu mất dấu – các chi tiết quan trọng mờ dần, mục tiêu bị混 hợp và突然, các phản hồi cảm thấy không liên kết hoặc không có mục đích. Tại một thời điểm, tôi đã học cách tốt nhất là cắt giảm tổn thất và bắt đầu từ đầu, ngay cả khi điều đó có nghĩa là vứt bỏ mọi thứ đã được tạo ra cho đến nay.

Loại “quên” đó không chỉ là một câu chuyện – đó là yếu tố dự đoán thất bại quan trọng nhất trong đánh giá Deep Research Bench. Nhưng đó không phải là vấn đề duy nhất. Báo cáo cũng nhấn mạnh cách một số mô hình rơi vào việc sử dụng công cụ lặp đi lặp lại, chạy cùng một tìm kiếm một lần nữa như thể bị kẹt trong một vòng lặp. Những mô hình khác thể hiện việc tạo câu hỏi kém, chỉ khớp từ khóa thay vì suy nghĩ một cách quan trọng về cách tìm kiếm hiệu quả. Và quá thường, các tác nhân rơi vào việc kết luận quá sớm – cung cấp một câu trả lời nửa vời mà về mặt kỹ thuật kiểm tra hộp nhưng thiếu thực sự sâu sắc.

Ngay cả trong số các mô hình hàng đầu, sự khác biệt cũng rõ ràng. GPT-4 Turbo, ví dụ, đã thể hiện một khuynh hướng đáng kể để quên các bước trước, trong khi DeepSeek-R1 có nhiều khả năng “ảo giác” hoặc tạo ra thông tin nghe có vẻ hợp lý nhưng không chính xác. Trên toàn bảng, các mô hình thường xuyên thất bại trong việc kiểm tra chéo nguồn hoặc xác thực kết quả trước khi hoàn thiện đầu ra của chúng. Đối với bất kỳ ai đã dựa vào AI cho công việc nghiêm túc, những vấn đề này sẽ cảm thấy quá quen thuộc – và chúng nhấn mạnh rằng chúng ta vẫn còn phải đi rất xa trong việc xây dựng các tác nhân có thể thực sự suy nghĩ và nghiên cứu như con người.

Về hiệu suất dựa trên bộ nhớ?

Thật thú vị, Deep Research Bench cũng đã đánh giá những gì nó gọi là “các tác nhân không có công cụ” – các mô hình ngôn ngữ hoạt động mà không có quyền truy cập vào các công cụ bên ngoài, chẳng hạn như tìm kiếm web hoặc thu hồi tài liệu. Những tác nhân này hoàn toàn dựa vào dữ liệu đào tạo nội bộ và bộ nhớ, tạo ra câu trả lời dựa trên những gì chúng đã học được trong quá trình đào tạo. Trong thực tế, điều này có nghĩa là chúng không thể tìm kiếm bất cứ điều gì hoặc xác thực thông tin – chúng đang đoán dựa trên những gì chúng “nhớ”.

Đáng ngạc nhiên, những tác nhân không có công cụ này đã hoạt động gần như tốt như các tác nhân nghiên cứu đầy đủ trên một số nhiệm vụ nhất định. Ví dụ, trên nhiệm vụ Xác thực tuyên bố – nơi mục tiêu là đánh giá tính hợp lý của một tuyên bố – chúng đã đạt 0,61, gần như khớp với điểm trung bình 0,62 của các tác nhân được hỗ trợ bởi công cụ. Điều này cho thấy rằng các mô hình như o3 và Claude có các tiên đề nội bộ mạnh mẽ và thường có thể nhận ra tính xác thực của các tuyên bố phổ biến mà không cần phải tìm kiếm trên web.

Tuy nhiên, trên các nhiệm vụ đòi hỏi hơn – như Derive Number, yêu cầu ráp nối nhiều giá trị từ các nguồn khác nhau, hoặc Gather Evidence, phụ thuộc vào việc tìm và đánh giá các事 thực đa dạng trong ngữ cảnh – những mô hình không có công cụ này hoàn toàn bị phá sản. Không có thông tin mới hoặc khả năng tìm kiếm thời gian thực, chúng đơn giản là thiếu phương tiện để tạo ra câu trả lời chính xác hoặc toàn diện.

Sự tương phản này nhấn mạnh một điểm quan trọng – trong khi các LLM hiện nay có thể mô phỏng “biết” nhiều thứ, nghiên cứu sâu đòi hỏi không chỉ nhớ lại mà còn lý luận với thông tin có thể xác minh và cập nhật – điều mà chỉ các tác nhân hỗ trợ bởi công cụ mới có thể thực sự cung cấp.

Tư tưởng cuối cùng

Báo cáo DRB làm rõ một điều – trong khi các tác nhân AI tốt nhất hiện nay có thể vượt qua con người trung bình trên các nhiệm vụ hẹp, chúng vẫn còn thiếu sót so với các nhà nghiên cứu tổng quát có kỹ năng – đặc biệt là khi nói đến việc lập kế hoạch chiến lược, thích nghi trong quá trình và lý luận với sắc thái.

Khoảng cách này trở nên rõ ràng hơn trong các phiên dài hoặc phức tạp – điều mà tôi đã trải nghiệm trực tiếp, nơi một tác nhân dần dần mất dấu mục đích của nhiệm vụ, dẫn đến sự suy giảm đáng thất vọng về tính nhất quán và hữu ích.

Điều làm cho Deep Research Bench trở nên quý giá là nó không chỉ kiểm tra kiến thức bề mặt – nó thăm dò sự giao thoa giữa việc sử dụng công cụ, bộ nhớ, lý luận và thích nghi, cung cấp một tương tự gần gũi hơn với nghiên cứu thế giới thực so với các chuẩn mực như MMLU hoặc GSM8k.

Khi các LLM tiếp tục tích hợp vào công việc kiến thức nghiêm túc, các công cụ FutureSearch như DRB sẽ là thiết yếu để đánh giá không chỉ những gì các hệ thống này biết, mà còn cách chúng thực sự hoạt động.