Tại Sao Các Mô Hình Ngôn Ngữ Bị ‘Mất’ Trong Cuộc Trò Chuyện

Một bài báo mới từ Microsoft Research và Salesforce cho thấy rằng ngay cả những mô hình ngôn ngữ lớn (LLM) mạnh mẽ nhất cũng bị suy giảm khi nhận được hướng dẫn theo từng giai đoạn chứ không phải tất cả cùng một lúc. Các tác giả đã tìm thấy rằng hiệu suất giảm trung bình 39% trên sáu nhiệm vụ khi một lời nhắc được chia thành nhiều phần:

Một cuộc trò chuyện một lượt (trái) đạt được kết quả tốt nhất, nhưng không tự nhiên cho người dùng cuối. Một cuộc trò chuyện nhiều lượt (phải) tìm thấy ngay cả những mô hình LLM mạnh nhất và hiệu suất cao nhất mất đi động lực hiệu quả trong cuộc trò chuyện. Nguồn: https://arxiv.org/pdf/2505.06120

Đặc biệt hơn, tính tin cậy của phản hồi giảm mạnh, với các mô hình danh tiếng như ChatGPT-4.1 và Gemini 2.5 Pro dao động giữa các câu trả lời gần như hoàn hảo và thất bại rõ ràng, tùy thuộc vào cách thức nhiệm vụ được diễn đạt; hơn nữa, tính nhất quán của đầu ra có thể giảm hơn một nửa trong quá trình này.

Để khám phá hành vi này, bài báo giới thiệu một phương pháp gọi là sharding*, chia nhỏ các lời nhắc hoàn chỉnh thành các mảnh nhỏ và phát hành chúng một lần vào một cuộc trò chuyện.

Trong các thuật ngữ cơ bản nhất, điều này tương đương với việc đưa ra một lệnh duy nhất và toàn diện tại một nhà hàng, để người phục vụ không có gì để làm ngoài việc xác nhận yêu cầu; hoặc quyết định giải quyết vấn đề một cách hợp tác:

Hai phiên bản cực đoan của một cuộc trò chuyện tại nhà hàng (không từ bài báo mới, chỉ để minh họa).

Để nhấn mạnh, ví dụ trên có thể đặt khách hàng vào một ánh sáng tiêu cực. Nhưng ý tưởng cốt lõi được thể hiện trong cột thứ hai là một trao đổi giao dịch làm rõ một tập hợp vấn đề trước khi giải quyết vấn đề – rõ ràng là một cách tiếp cận hợp lý và hợp lý.

Cấu trúc này được phản ánh trong cách tiếp cận sharded mới của bài báo, nơi các hướng dẫn truyền thống được chia thành các mảnh nhỏ, được giới thiệu tại các thời điểm quan trọng trong quá trình tương tác với LLM.

Mỗi hướng dẫn ban đầu là một lời nhắc duy nhất, tự chứa, cung cấp toàn bộ nhiệm vụ trong một lần, kết hợp một câu hỏi cấp cao, ngữ cảnh hỗ trợ và bất kỳ điều kiện nào có liên quan. Phiên bản sharded chia nhỏ điều này thành nhiều phần nhỏ, với mỗi mảnh thêm chỉ một phần thông tin:

Các hướng dẫn ghép đôi cho thấy (a) một lời nhắc hoàn chỉnh được đưa ra trong một lượt và (b) phiên bản sharded của nó được sử dụng để mô phỏng một tương tác không xác định và nhiều lượt. Về mặt ngữ nghĩa, mỗi phiên bản cung cấp cùng một tải trọng thông tin.

Mảnh đầu tiên luôn giới thiệu mục tiêu chính của nhiệm vụ, trong khi các mảnh còn lại cung cấp chi tiết làm rõ. Cùng nhau, chúng cung cấp cùng một nội dung với lời nhắc ban đầu, nhưng được phân phối một cách tự nhiên trên nhiều lượt trong cuộc trò chuyện.

Mỗi cuộc trò chuyện mô phỏng diễn ra giữa ba thành phần: trợ lý, mô hình đang được đánh giá; người dùng, một tác nhân mô phỏng có quyền truy cập vào hướng dẫn đầy đủ dưới dạng sharded; và hệ thống, giám sát và ghi điểm trao đổi.

Cuộc trò chuyện bắt đầu với người dùng tiết lộ mảnh đầu tiên và trợ lý trả lời tự do. Hệ thống sau đó phân loại phản hồi đó vào một trong một số loại, chẳng hạn như yêu cầu làm rõ hoặc thử trả lời đầy đủ.

Nếu mô hình đã cố gắng trả lời, một thành phần riêng biệt trích xuất chỉ khoảng thông tin liên quan để đánh giá, bỏ qua bất kỳ văn bản xung quanh nào. Trong mỗi lượt mới, người dùng tiết lộ một mảnh thông tin bổ sung, kích hoạt một phản hồi khác. Trao đổi tiếp tục cho đến khi mô hình trả lời đúng hoặc không còn mảnh nào để tiết lộ:

Sơ đồ mô phỏng cuộc trò chuyện sharded, với mô hình được đánh giá nổi bật màu đỏ.

Thử nghiệm ban đầu cho thấy rằng các mô hình thường hỏi về thông tin mà chưa được chia sẻ, vì vậy các tác giả đã bỏ ý tưởng tiết lộ mảnh theo thứ tự cố định. Thay vào đó, một mô phỏng được sử dụng để quyết định mảnh nào sẽ được tiết lộ tiếp theo, dựa trên cách cuộc trò chuyện đang diễn ra.

Mô phỏng người dùng, được thực hiện bằng GPT-4o-mini, đã được cấp quyền truy cập đầy đủ vào cả hướng dẫn và lịch sử cuộc trò chuyện, với nhiệm vụ quyết định, tại mỗi lượt, mảnh nào sẽ được tiết lộ tiếp theo, dựa trên cách trao đổi đang diễn ra.

Mô phỏng người dùng cũng đổi lại mỗi mảnh để duy trì dòng chảy cuộc trò chuyện, mà không thay đổi ý nghĩa. Điều này cho phép mô phỏng phản ánh ‘đưa và nhận’ của đối thoại thực, đồng thời duy trì quyền kiểm soát cấu trúc nhiệm vụ.

Trước khi cuộc trò chuyện bắt đầu, trợ lý chỉ được cung cấp thông tin cơ bản cần thiết để hoàn thành nhiệm vụ, chẳng hạn như lược đồ cơ sở dữ liệu hoặc tài liệu tham khảo API. Nó không được thông báo rằng hướng dẫn sẽ bị chia nhỏ và nó không được hướng dẫn cách xử lý cuộc trò chuyện. Điều này được thực hiện có chủ ý: trong các tình huống thực tế, các mô hình hầu như không bao giờ được thông báo rằng một lời nhắc sẽ bị không đầy đủ hoặc cập nhật theo thời gian, và việc bỏ qua ngữ cảnh này giúp mô phỏng phản ánh cách mô hình hoạt động trong một bối cảnh thực tế hơn.

GPT-4o-mini cũng được sử dụng để quyết định cách phân loại phản hồi của mô hình và để trích xuất bất kỳ câu trả lời cuối cùng nào từ những phản hồi đó. Điều này giúp mô phỏng duy trì tính linh hoạt, nhưng cũng giới thiệu một số lỗi: tuy nhiên, sau khi kiểm tra hàng trăm cuộc trò chuyện bằng tay, các tác giả đã tìm thấy rằng ít hơn năm phần trăm có vấn đề và ít hơn hai phần trăm cho thấy sự thay đổi trong kết quả do những lỗi đó, và họ coi đây là một tỷ lệ lỗi thấp trong phạm vi dự án.

Các Cuộc Trò Chuyện Được Chia Nhỏ

Các tác giả đã sử dụng năm loại mô phỏng để kiểm tra hành vi của mô hình dưới các điều kiện khác nhau, mỗi loại là một biến thể của cách và khi các phần của hướng dẫn được tiết lộ.

Trong cài đặt Toàn Bộ, mô hình nhận được toàn bộ hướng dẫn trong một lượt. Điều này đại diện cho định dạng chuẩn và phục vụ như một điểm chuẩn về hiệu suất.

Cài đặt Sharded chia hướng dẫn thành nhiều phần và cung cấp chúng một lần, mô phỏng một cuộc trò chuyện không xác định và nhiều lượt hơn. Đây là cài đặt chính được sử dụng để kiểm tra cách mô hình xử lý đầu vào nhiều lượt.

Trong cài đặt Concat, các mảnh được khâu lại với nhau thành một danh sách duy nhất, giữ nguyên cách diễn đạt nhưng loại bỏ cấu trúc lượt.

Cài đặt Recap chạy giống như Sharded, nhưng thêm một lượt cuối cùng nơi tất cả các mảnh trước đó được nhắc lại trước khi mô hình đưa ra câu trả lời cuối cùng. Điều này kiểm tra xem một lời nhắc tóm tắt có thể giúp phục hồi ngữ cảnh bị mất hay không.

Cuối cùng, Snowball đi xa hơn bằng cách lặp lại tất cả các mảnh trước trên mỗi lượt, giữ cho toàn bộ hướng dẫn luôn hiển thị khi cuộc trò chuyện diễn ra – và cung cấp một thử nghiệm đa lượt dễ dàng hơn.

Các loại mô phỏng dựa trên hướng dẫn sharded. Một lời nhắc hoàn chỉnh được chia thành các phần nhỏ, có thể được sử dụng để mô phỏng cuộc trò chuyện một lượt (Toàn Bộ, Concat) hoặc nhiều lượt (Sharded, Recap, Snowball), tùy thuộc vào tốc độ thông tin được tiết lộ.

Nhiệm Vụ và Các Chỉ Số

Sáu nhiệm vụ tạo ra được chọn để bao gồm cả lập trình và miền ngôn ngữ tự nhiên: các lời nhắc tạo mã được lấy từ HumanEval và LiveCodeBench; các truy vấn Text-to-SQL được lấy từ Spider; các cuộc gọi API được xây dựng bằng cách sử dụng dữ liệu từ Bảng xếp hạng gọi hàm Berkeley; các vấn đề toán cơ bản được cung cấp bởi GSM8K; các nhiệm vụ chú thích bảng được dựa trên ToTTo; và các bản tóm tắt đa tài liệu được lấy từ tập dữ liệu Tóm tắt của một Đống Rơm.

Hiệu suất của mô hình được đo bằng ba chỉ số cốt lõi: hiệu suất trung bình, năng lực và bất ổn.

Hiệu suất trung bình đo lường hiệu suất tổng thể của mô hình trên nhiều lần thử; năng lực phản ánh kết quả tốt nhất mà mô hình có thể đạt được, dựa trên đầu ra có điểm cao nhất; và bất ổn đo lường sự thay đổi của kết quả, với khoảng cách lớn hơn giữa kết quả tốt nhất và kém nhất cho thấy hành vi không ổn định hơn.

Tất cả các điểm số được đặt trên thang điểm 0-100 để đảm bảo tính nhất quán trên các nhiệm vụ, và các chỉ số được tính cho mỗi hướng dẫn – sau đó tính trung bình để cung cấp một bức tranh tổng thể về hiệu suất của mô hình.

Sáu nhiệm vụ sharded được sử dụng trong các thí nghiệm, bao gồm cả lập trình và tạo ngôn ngữ tự nhiên. Mỗi nhiệm vụ được hiển thị với một hướng dẫn hoàn chỉnh và phiên bản sharded của nó. Giữa 90 và 120 hướng dẫn được điều chỉnh từ các chuẩn mực đã thiết lập cho mỗi nhiệm vụ.

Các Đối Thủ và Kiểm Tra

Trong các mô phỏng ban đầu (với chi phí ước tính là 5000 đô la), 600 hướng dẫn trải rộng trên sáu nhiệm vụ đã được chia nhỏ và được sử dụng để mô phỏng ba loại cuộc trò chuyện: toàn bộ, concat và sharded. Đối với mỗi kết hợp mô hình, hướng dẫn và loại mô phỏng, mười cuộc trò chuyện đã được chạy, tạo ra hơn 200.000 mô phỏng – một lược đồ cho phép thu được cả hiệu suất tổng thể và các biện pháp sâu hơn về năng lực và tính tin cậy.

Mười lăm mô hình đã được kiểm tra, bao gồm một loạt các nhà cung cấp và kiến trúc: các mô hình OpenAI GPT-4o (phiên bản 2024-11-20), GPT-4o-mini (2024-07-18), GPT-4.1 (2025-04-14) và mô hình suy nghĩ o3 (2025-04-16).

Các mô hình Anthropic là Claude 3 Haiku (2024-03-07) và Claude 3.7 Sonnet (2025-02-19), được truy cập thông qua Amazon Bedrock.

Google đã đóng góp Gemini 2.5 Flash (preview-04-17) và Gemini 2.5 Pro (preview-03-25). Các mô hình Meta là Llama 3.1-8B-Instruct và Llama 3.3-70B-Instruct, cũng như Llama 4 Scout-17B-16E, thông qua Together AI.

Các mục nhập khác là OLMo 2 13B, Phi-4 và Command-A, tất cả đều được truy cập cục bộ thông qua Ollama hoặc Cohere API; và Deepseek-R1, được truy cập thông qua Amazon Bedrock.

Đối với hai mô hình ‘suy nghĩ’ (o3 và R1), giới hạn token đã được tăng lên 10.000 để phù hợp với các chuỗi suy nghĩ dài hơn:

Điểm hiệu suất trung bình cho mỗi mô hình trên sáu nhiệm vụ: mã, cơ sở dữ liệu, hành động, dữ liệu-sang-văn bản, toán và tóm tắt. Kết quả được hiển thị cho ba loại mô phỏng: toàn bộ, concat và sharded. Các mô hình được sắp xếp theo điểm toàn bộ trung bình. Màu sắc phản ánh mức độ giảm hiệu suất từ cài đặt toàn bộ, với hai cột cuối cùng báo cáo mức giảm trung bình cho concat và sharded so với toàn bộ.

Về những kết quả này, các tác giả tuyên bố^†:

‘Ở mức cao, mỗi mô hình đều chứng kiến hiệu suất suy giảm trên mọi nhiệm vụ khi so sánh hiệu suất FULL và SHARDED, với mức suy giảm trung bình là -39%. Chúng tôi gọi hiện tượng này là Mất trong Cuộc Trò Chuyện: các mô hình đạt được hiệu suất xuất sắc (90%+) trong môi trường phòng thí nghiệm của cuộc trò chuyện một lượt, đầy đủ, gặp khó khăn trong cùng một nhiệm vụ trong một môi trường thực tế hơn khi cuộc trò chuyện không được xác định và nhiều lượt.’

Concat điểm số trung bình 95% điểm số toàn bộ, cho thấy rằng sự suy giảm hiệu suất trong cài đặt sharded không thể được giải thích bằng sự mất mát thông tin. Các mô hình nhỏ hơn như Llama3.1-8B-Instruct, OLMo-2-13B và Claude 3 Haiku cho thấy sự suy giảm rõ rệt hơn trong cài đặt concat, cho thấy rằng các mô hình nhỏ hơn thường kém hơn về độ bền khi đối mặt với việc diễn đạt lại so với các mô hình lớn hơn.

Các tác giả quan sát^†:

‘Đáng ngạc nhiên, các mô hình hiệu suất cao hơn (Claude 3.7 Sonnet, Gemini 2.5, GPT-4.1) bị mất trong cuộc trò chuyện tương đương với các mô hình nhỏ hơn (Llama3.1-8B-Instruct, Phi-4), với mức suy giảm trung bình từ 30-40%. Điều này một phần là do định nghĩa của các chỉ số. Vì các mô hình nhỏ hơn đạt được điểm số tuyệt đối thấp hơn trong FULL, chúng có ít phạm vi để suy giảm hơn so với các mô hình tốt hơn.

‘Tóm lại, không quan trọng hiệu suất một lượt của LLM mạnh mẽ đến mức nào, chúng tôi quan sát thấy sự suy giảm hiệu suất lớn trong cài đặt nhiều lượt.’

Thử nghiệm ban đầu cho thấy rằng một số mô hình hoạt động tốt hơn trong các nhiệm vụ cụ thể: Command-A trên Hành động, Claude 3.7 Sonnet và GPT-4.1 trên mã; và Gemini 2.5 Pro trên Dữ liệu-sang-Văn bản, cho thấy khả năng nhiều lượt khác nhau theo miền.
Các mô hình suy nghĩ như o3 và Deepseek-R1 không hoạt động tốt hơn về tổng thể, có lẽ vì các câu trả lời dài hơn của chúng đã giới thiệu nhiều giả định hơn, điều này có xu hướng làm cho cuộc trò chuyện bị nhầm lẫn.

Tính Tin Cậy

Mối quan hệ giữa năng lực và tính tin cậy, rõ ràng trong các mô phỏng một lượt, dường như bị phá vỡ trong điều kiện nhiều lượt. Trong khi năng lực chỉ giảm nhẹ, tính bất ổn gấp đôi trung bình. Các mô hình mà ổn định trong các lời nhắc định dạng đầy đủ, chẳng hạn như GPT-4.1 và Gemini 2.5 Pro, trở nên bất ổn như các mô hình yếu hơn như Llama3.1-8B-Instruct hoặc OLMo-2-13B một khi hướng dẫn bị chia nhỏ.

Tổng quan về năng lực và tính bất ổn được hiển thị trong một biểu đồ hộp (a), tiếp theo là kết quả về tính tin cậy từ các thí nghiệm với 15 mô hình (b), và kết quả từ thử nghiệm sharding dần dần nơi hướng dẫn được chia thành một đến tám mảnh (c).

Phản hồi của mô hình thường thay đổi tới 50 điểm trên cùng một nhiệm vụ, ngay cả khi không có thông tin mới nào được thêm vào, cho thấy rằng sự suy giảm hiệu suất không phải là do thiếu kỹ năng, mà do mô hình trở nên không ổn định hơn trên các lượt.

Bài báo tuyên bố^†:

‘[Mặc dù] các mô hình tốt hơn có xu hướng có năng lực nhiều lượt cao hơn một chút, tất cả các mô hình có xu hướng có mức độ bất ổn tương tự. Nói cách khác, trong nhiều lượt, không xác định, tất cả các mô hình chúng tôi kiểm tra đều thể hiện sự bất ổn rất cao, với hiệu suất suy giảm 50 điểm trên thang điểm trung bình giữa lần chạy mô phỏng tốt nhất và kém nhất cho một hướng dẫn cố định.’

Để kiểm tra xem sự suy giảm hiệu suất có gắn liền với số lượt hay không, các tác giả đã chạy một thử nghiệm sharding dần dần, chia mỗi hướng dẫn thành một đến tám mảnh (xem cột phải nhất trong hình trên).

Khi số mảnh tăng lên, tính bất ổn tăng đều, xác nhận rằng ngay cả sự tăng nhỏ trong số lượt cũng làm cho mô hình trở nên không ổn định hơn. Năng lực vẫn hầu như không thay đổi, củng cố rằng vấn đề nằm ở tính nhất quán, không phải khả năng.

Kiểm Soát Nhiệt Độ

Một tập hợp các thí nghiệm riêng biệt đã kiểm tra xem tính bất ổn có phải chỉ là một sản phẩm phụ của sự ngẫu nhiên hay không. Để làm điều này, các tác giả đã thay đổi cài đặt nhiệt độ của cả trợ lý và mô phỏng người dùng trên ba giá trị: 1,0, 0,5 và 0,0.

Trong các định dạng một lượt như toàn bộ và concat, việc giảm nhiệt độ của trợ lý cải thiện đáng kể tính tin cậy, cắt giảm sự thay đổi tới 80%; nhưng trong cài đặt sharded, can thiệp tương tự có rất ít tác dụng:

Điểm số bất ổn cho các kết hợp nhiệt độ trợ lý và người dùng khác nhau trên toàn bộ, concat và sharded, với giá trị thấp hơn cho thấy tính nhất quán của phản hồi cao hơn.

Ngay cả khi cả trợ lý và người dùng đều được đặt ở nhiệt độ không, tính bất ổn vẫn còn cao, với GPT-4o cho thấy sự thay đổi xung quanh 30%, cho thấy rằng sự không ổn định được quan sát thấy trong các cuộc trò chuyện nhiều lượt không chỉ là tiếng ồn ngẫu nhiên, mà là một điểm yếu cấu trúc trong cách các mô hình xử lý đầu vào bị chia nhỏ.

Ý Nghĩa

Các tác giả viết về ý nghĩa của những phát hiện của họ với một độ dài không bình thường tại kết luận của bài báo, lập luận rằng hiệu suất một lượt mạnh không đảm bảo tính tin cậy nhiều lượt, và cảnh báo chống lại việc dựa quá nhiều vào các chuẩn mực hoàn chỉnh khi đánh giá sự sẵn sàng trong thế giới thực (vì các chuẩn mực như vậy che giấu sự không ổn định trong các tương tác bị chia nhỏ và nhiều lượt).

Họ cũng đề xuất rằng tính bất ổn không chỉ là một hiện象 lấy mẫu, mà là giới hạn cơ bản trong cách các mô hình hiện tại xử lý đầu vào đang phát triển, và họ đề xuất rằng điều này làm dấy lên lo ngại về các khuôn khổ tác nhân, phụ thuộc vào suy nghĩ liên tục trên các lượt.

Cuối cùng, họ lập luận rằng khả năng nhiều lượt nên được coi là một khả năng cốt lõi của LLM, không phải là thứ có thể được offload sang các hệ thống bên ngoài.

Các tác giả lưu ý rằng kết quả của họ có khả năng đánh giá thấp quy mô thực sự của vấn đề, và họ chỉ ra các điều kiện lý tưởng của thử nghiệm: mô phỏng người dùng trong thiết lập của họ có quyền truy cập đầy đủ vào hướng dẫn và có thể tiết lộ mảnh theo thứ tự tối ưu, điều này đã cung cấp cho trợ lý một ngữ cảnh không thực tế.

Thêm vào đó, trợ lý đã được đánh giá ngay lập tức sau mỗi lượt, trước khi toàn bộ cuộc trò chuyện diễn ra, ngăn chặn sự nhầm lẫn hoặc mâu thuẫn tự phát sau này từ việc bị phạt, điều này nếu không sẽ làm giảm hiệu suất. Những lựa chọn này, trong khi cần thiết cho kiểm soát thử nghiệm, có nghĩa là khoảng cách tin cậy quan sát được trong thực tế có khả năng lớn hơn nhiều so với những gì được báo cáo.

Họ kết luận:

‘[Chúng tôi] tin rằng các mô phỏng được thực hiện đại diện cho một môi trường thử nghiệm thuận lợi cho khả năng nhiều lượt của LLM. Vì điều kiện mô phỏng quá đơn giản, chúng tôi tin rằng sự suy giảm quan sát được trong các thí nghiệm là sự đánh giá thấp về tính bất ổn của LLM và mức độ thường xuyên LLM bị mất trong cuộc trò chuyện trong các môi trường thực tế.‘

Kết Luận

Bất kỳ ai đã dành một lượng thời gian đáng kể với một LLM sẽ có thể nhận ra các vấn đề được hình thành ở đây, từ kinh nghiệm thực tế; và hầu hết chúng ta, tôi tưởng tượng, đã trực giác từ bỏ các cuộc trò chuyện ‘mất’ của LLM để bắt đầu những cuộc trò chuyện mới, với hy vọng rằng LLM có thể ‘bắt đầu lại’ và ngừng ám ảnh về các tài liệu đã xuất hiện trong một cuộc trao đổi dài, quanh co và ngày càng khiến người dùng tức giận.

Nó thú vị khi lưu ý rằng việc ném thêm ngữ cảnh vào vấn đề có thể không nhất thiết giải quyết nó; và thực sự, để nhận thấy rằng bài báo đặt ra nhiều câu hỏi hơn nó cung cấp câu trả lời (ngoài các cách để lảng tránh vấn đề).

* Đáng ngạc nhiên, điều này không liên quan đến ý nghĩa thông thường của ‘sharding’ trong AI.

† Được các tác giả nhấn mạnh.

Được xuất bản lần đầu vào thứ Hai, ngày 12 tháng 5 năm 2025