Benchmark Michelangelo của DeepMind: Phát hiện ra Giới hạn của LLM có Long-Context

Trong khi Trí tuệ nhân tạo (AI) tiếp tục phát triển, khả năng xử lý và hiểu các chuỗi thông tin dài trở nên quan trọng hơn. Các hệ thống AI hiện được sử dụng cho các nhiệm vụ phức tạp như phân tích tài liệu dài, theo dõi các cuộc trò chuyện dài và xử lý lượng lớn dữ liệu. Tuy nhiên, nhiều mô hình hiện tại gặp khó khăn với việc suy luận trong bối cảnh dài. Khi đầu vào trở nên dài hơn, chúng thường mất dấu các chi tiết quan trọng, dẫn đến kết quả kém chính xác hoặc không nhất quán.

Vấn đề này đặc biệt khó khăn trong các ngành như chăm sóc sức khỏe, dịch vụ pháp lý và tài chính, nơi các công cụ AI phải xử lý tài liệu chi tiết hoặc các cuộc thảo luận dài trong khi cung cấp phản hồi chính xác và phù hợp với ngữ cảnh. Một thách thức phổ biến là drift ngữ cảnh, nơi các mô hình mất tầm nhìn về thông tin trước đó khi xử lý đầu vào mới, dẫn đến kết quả kém liên quan.

Để giải quyết những hạn chế này, DeepMind đã phát triển Benchmark Michelangelo. Công cụ này kiểm tra nghiêm ngặt khả năng của các mô hình AI trong việc quản lý suy luận trong bối cảnh dài. Lấy cảm hứng từ nghệ sĩ Michelangelo, người nổi tiếng với việc tiết lộ các tác phẩm điêu khắc phức tạp từ các khối đá cẩm thạch, benchmark giúp khám phá cách các mô hình AI có thể trích xuất các mẫu có ý nghĩa từ các tập dữ liệu lớn. Bằng cách xác định nơi các mô hình hiện tại gặp khó khăn, Benchmark Michelangelo dẫn đến những cải tiến trong tương lai về khả năng suy luận của AI trong các bối cảnh dài.

Hiểu về Suy luận trong Bối cảnh Dài của AI

Suy luận trong bối cảnh dài liên quan đến khả năng của một mô hình AI duy trì sự nhất quán và chính xác trên các chuỗi văn bản, mã hoặc cuộc trò chuyện dài. Các mô hình như GPT-4 và PaLM-2 hoạt động tốt với các đầu vào ngắn hoặc vừa phải. Tuy nhiên, chúng gặp khó khăn với các bối cảnh dài hơn. Khi độ dài đầu vào tăng, các mô hình này thường mất dấu các chi tiết quan trọng từ các phần trước. Điều này dẫn đến lỗi trong việc hiểu, tóm tắt hoặc đưa ra quyết định. Vấn đề này được biết đến như là giới hạn của cửa sổ ngữ cảnh. Khả năng của mô hình trong việc giữ và xử lý thông tin giảm khi ngữ cảnh trở nên dài hơn.

Vấn đề này có ý nghĩa quan trọng trong các ứng dụng thực tế. Ví dụ, trong dịch vụ pháp lý, các mô hình AI phân tích hợp đồng, nghiên cứu trường hợp hoặc quy định có thể dài hàng trăm trang. Nếu các mô hình này không thể hiệu quả giữ và suy luận về các tài liệu dài như vậy, chúng có thể bỏ lỡ các điều khoản quan trọng hoặc hiểu lầm các thuật ngữ pháp lý. Điều này có thể dẫn đến tư vấn hoặc phân tích không chính xác. Trong chăm sóc sức khỏe, các hệ thống AI cần tổng hợp hồ sơ bệnh nhân, lịch sử y tế và kế hoạch điều trị kéo dài nhiều năm hoặc thậm chí nhiều thập kỷ. Nếu một mô hình không thể nhớ chính xác thông tin quan trọng từ các hồ sơ trước, nó có thể đề xuất các phương pháp điều trị không phù hợp hoặc chẩn đoán sai bệnh.

Mặc dù đã có những nỗ lực để cải thiện giới hạn token của các mô hình (như GPT-4 xử lý lên đến 32.000 token, khoảng 50 trang văn bản), suy luận trong bối cảnh dài vẫn là một thách thức. Vấn đề cửa sổ ngữ cảnh giới hạn lượng đầu vào mà một mô hình có thể xử lý và ảnh hưởng đến khả năng của nó trong việc duy trì sự hiểu biết chính xác trên toàn bộ chuỗi đầu vào. Điều này dẫn đến drift ngữ cảnh, nơi mô hình dần quên các chi tiết trước đó khi thông tin mới được giới thiệu. Điều này làm giảm khả năng của nó trong việc tạo ra các đầu ra nhất quán và liên quan.

Benchmark Michelangelo: Khái niệm và Phương pháp

Benchmark Michelangelo giải quyết thách thức của suy luận trong bối cảnh dài bằng cách kiểm tra các mô hình LLM trên các nhiệm vụ yêu cầu chúng giữ và xử lý thông tin trên các chuỗi dài. Không giống như các benchmark trước đó, tập trung vào các nhiệm vụ ngắn như hoàn thành câu hoặc trả lời câu hỏi cơ bản, Benchmark Michelangelo nhấn mạnh vào các nhiệm vụ yêu cầu mô hình suy luận trên các chuỗi dữ liệu dài, thường bao gồm cả thông tin không liên quan.

Benchmark Michelangelo thách thức các mô hình AI bằng cách sử dụng Khung khổ Truy vấn Cấu trúc Ngầm (LSQ). Phương pháp này yêu cầu các mô hình tìm kiếm các mẫu có ý nghĩa trong các tập dữ liệu lớn trong khi lọc ra thông tin không liên quan, tương tự như cách con người sàng lọc thông tin phức tạp để tập trung vào những gì quan trọng. Benchmark tập trung vào hai lĩnh vực chính: ngôn ngữ tự nhiên và mã, giới thiệu các nhiệm vụ kiểm tra không chỉ dữ liệu thu hồi.

Một nhiệm vụ quan trọng là Nhiệm vụ Danh sách Ngầm. Trong nhiệm vụ này, mô hình được cung cấp một chuỗi các hoạt động trên danh sách Python, như thêm, xóa hoặc sắp xếp các phần tử, và sau đó nó cần tạo ra danh sách cuối cùng chính xác. Để làm cho nó khó hơn, nhiệm vụ bao gồm các hoạt động không liên quan, như đảo ngược danh sách hoặc hủy bỏ các bước trước. Điều này kiểm tra khả năng của mô hình trong việc tập trung vào các hoạt động quan trọng, mô phỏng cách các hệ thống AI phải xử lý các tập dữ liệu lớn với thông tin hỗn hợp.

Nhiệm vụ quan trọng khác là Giải quyết Tham chiếu Đa vòng (MRCR). Nhiệm vụ này đo lường khả năng của mô hình trong việc theo dõi các tham chiếu trong các cuộc trò chuyện dài với các chủ đề chồng chéo hoặc không rõ ràng. Thách thức là cho mô hình liên kết các tham chiếu được thực hiện muộn trong cuộc trò chuyện với các điểm trước đó, ngay cả khi những tham chiếu đó bị che giấu dưới các chi tiết không liên quan. Nhiệm vụ này phản ánh các cuộc thảo luận trong thế giới thực, nơi các chủ đề thường thay đổi, và AI phải theo dõi và giải quyết các tham chiếu một cách chính xác để duy trì giao tiếp nhất quán.

Ngoài ra, Michelangelo còn có Nhiệm vụ IDK, kiểm tra khả năng của mô hình trong việc nhận ra khi nó không có đủ thông tin để trả lời một câu hỏi. Trong nhiệm vụ này, mô hình được trình bày với văn bản có thể không chứa thông tin liên quan để trả lời một truy vấn cụ thể. Thách thức là cho mô hình xác định các trường hợp mà phản hồi chính xác là “Nhận không biết” thay vì cung cấp một câu trả lời hợp lý nhưng không chính xác. Nhiệm vụ này phản ánh một khía cạnh quan trọng của độ tin cậy AI – nhận biết sự không chắc chắn.

Qua các nhiệm vụ như vậy, Michelangelo vượt ra ngoài việc thu hồi đơn giản để kiểm tra khả năng của mô hình trong việc suy luận, tổng hợp và quản lý các đầu vào trong bối cảnh dài. Nó giới thiệu một benchmark có thể mở rộng, tổng hợp và không bị rò rỉ cho suy luận trong bối cảnh dài, cung cấp một thước đo chính xác hơn về trạng thái hiện tại và tiềm năng tương lai của LLM.

Ảnh hưởng đến Nghiên cứu và Phát triển AI

Kết quả từ Benchmark Michelangelo có ý nghĩa quan trọng đối với cách chúng ta phát triển AI. Benchmark cho thấy rằng các LLM hiện tại cần kiến trúc tốt hơn, đặc biệt là trong cơ chế chú ý và hệ thống bộ nhớ. Hiện tại, hầu hết các LLM dựa vào cơ chế chú ý tự. Những cơ chế này hiệu quả cho các nhiệm vụ ngắn nhưng gặp khó khăn khi ngữ cảnh trở nên dài hơn. Đây là nơi chúng ta thấy vấn đề drift ngữ cảnh, nơi mô hình quên hoặc混 hợp các chi tiết trước đó. Để giải quyết vấn đề này, các nhà nghiên cứu đang khám phá các mô hình tăng cường bộ nhớ. Những mô hình này có thể lưu trữ thông tin quan trọng từ các phần trước của một cuộc trò chuyện hoặc tài liệu, cho phép AI nhớ và sử dụng nó khi cần.

Một cách tiếp cận đầy hứa hẹn khác là xử lý phân cấp. Phương pháp này cho phép AI chia các đầu vào dài thành các phần nhỏ hơn, dễ quản lý, giúp nó tập trung vào các chi tiết quan trọng nhất tại mỗi bước. Điều này cho phép mô hình xử lý các nhiệm vụ phức tạp tốt hơn mà không bị choáng ngợp bởi quá nhiều thông tin cùng một lúc.

Cải thiện suy luận trong bối cảnh dài sẽ có tác động đáng kể. Trong chăm sóc sức khỏe, nó có thể có nghĩa là phân tích hồ sơ bệnh nhân tốt hơn, nơi AI có thể theo dõi lịch sử của bệnh nhân theo thời gian và cung cấp các khuyến nghị điều trị chính xác hơn. Trong dịch vụ pháp lý, những tiến bộ này có thể dẫn đến các hệ thống AI có thể phân tích các hợp đồng dài hoặc luật pháp với độ chính xác cao hơn, cung cấp thông tin đáng tin cậy hơn cho các luật sư và chuyên gia pháp lý.

Tuy nhiên, cùng với những tiến bộ này, cũng có những lo ngại quan trọng về mặt đạo đức. Khi AI trở nên tốt hơn trong việc giữ và suy luận về các bối cảnh dài, có nguy cơ tiết lộ thông tin nhạy cảm hoặc riêng tư. Đây là một mối quan ngại thực sự đối với các ngành như chăm sóc sức khỏe và dịch vụ khách hàng, nơi tính bảo mật là rất quan trọng.

Nếu các mô hình AI giữ quá nhiều thông tin từ các tương tác trước, chúng có thể vô tình tiết lộ chi tiết cá nhân trong các cuộc trò chuyện tương lai. Ngoài ra, khi AI trở nên tốt hơn trong việc tạo ra nội dung dài hấp dẫn, có nguy cơ nó có thể được sử dụng để tạo ra thông tin sai lệch hoặc thông tin giả mạo phức tạp hơn, làm cho thách thức xung quanh việc quản lý AI trở nên phức tạp hơn.

Kết luận

Benchmark Michelangelo đã tiết lộ những hiểu biết về cách các mô hình AI xử lý các nhiệm vụ phức tạp trong bối cảnh dài, nhấn mạnh cả điểm mạnh và điểm yếu của chúng. Benchmark này thúc đẩy sự đổi mới khi AI phát triển, khuyến khích kiến trúc mô hình tốt hơn và hệ thống bộ nhớ cải tiến. Tiềm năng biến đổi các ngành như chăm sóc sức khỏe và dịch vụ pháp lý là thú vị nhưng đi kèm với trách nhiệm đạo đức.

Lo ngại về quyền riêng tư, thông tin sai lệch và công bằng phải được giải quyết khi AI trở nên thành thạo hơn trong việc xử lý lượng lớn thông tin. Sự phát triển của AI phải tập trung vào việc mang lại lợi ích cho xã hội một cách có trách nhiệm và suy nghĩ thấu đáo.