Phương Pháp ‘Zen’ Để Ngăn Chặn Mô Hình Ngôn Ngữ Hallucinating

Nói với ChatGPT để kiểm tra lại một câu trả lời ngẫu nhiên trước khi giải quyết một vấn đề thực sự khiến nó nghĩ kỹ hơn và đưa ra câu trả lời đúng hơn – ngay cả khi câu trả lời ‘ngẫu nhiên’ trước đó không liên quan đến câu hỏi thực sự của bạn.

Một bài báo mới thú vị từ Trung Quốc đã phát triển một phương pháp rất thấp chi phí để ngăn chặn mô hình ngôn ngữ như ChatGPT từ hallucinating, và để cải thiện chất lượng câu trả lời: yêu cầu mô hình kiểm tra lại câu trả lời của một câu hỏi hoàn toàn không liên quan trước:

Một ví dụ về một câu hỏi không liên quan có thể ‘giải phóng tâm trí’ của một LLM, và giúp nó tập trung vào một câu hỏi thực sự tiếp theo. Nguồn

Phương pháp này Zen slap là một cách cải thiện hiệu suất rất rẻ so với các phương pháp khác, như fine-tuning, prompt-crafting và parallel sampling, và nó hoạt động trên cả mô hình mở và đóng nguồn, cho thấy sự phát hiện của một đặc điểm cơ bản chung cho nhiều kiến trúc LLM (thay vì một đặc điểm mong manh đặc biệt cho các vật liệu hoặc phương pháp đào tạo cụ thể).

Các tác giả phác thảo các quy mô kinh tế có thể đạt được bằng cách cải thiện đầu ra theo cách này*:

‘Để thực hiện với kiến thức trước tối thiểu, VF chỉ cần cung cấp một câu trả lời ngẫu nhiên/trivial trong lời nhắc. Quá trình xác minh hóa ra có ít token đầu ra hơn so với đường dẫn CoT thông thường, [thỉnh thoảng] thậm chí không có quá trình xác minh chỉ, do đó [yêu cầu] rất [ít] tính toán thêm tại thời điểm thử nghiệm.’

Trong các thử nghiệm, phương pháp này – được gọi là Verification-First (VF) –  đã có thể cải thiện các phản hồi trong nhiều nhiệm vụ khác nhau, bao gồm cả lý luận toán học, trên cả nền tảng mở và thương mại.

Một phần lý do tại sao phương pháp này hoạt động có thể nằm ở cách mô hình ngôn ngữ hấp thụ và áp dụng các xu hướng trong tâm lý học con người, để một câu hỏi trực tiếp có thể khiến mô hình trở nên ‘bảo vệ’ và ‘lo lắng’, trong khi một yêu cầu để xác minh công việc của người khác không kích hoạt những ‘bản năng sinh tồn’ này.

Ý tưởng cốt lõi là việc xác minh một câu trả lời yêu cầu ít nỗ lực hơn so với việc tạo ra một câu trả lời từ đầu, và có thể kích hoạt một con đường lý luận khác bổ sung cho đường lối chuẩn chain-of-thought.

Khuyến khích mô hình để đánh giá một câu trả lời cho trước (tức là, một câu trả lời mà mô hình không tham gia vào việc tạo ra) cũng có thể kích hoạt một loại tư duy phản biện giúp tránh sự tự tin quá mức trong những ấn tượng đầu tiên của mô hình.

Công việc mô tả quá trình này theo thuật ngữ reverse-reasoning path:

Bắt đầu từ một câu trả lời được đề xuất và lý luận ngược lại đến câu hỏi có thể暴露 các捷径 hoặc thông tin mà khó tìm thấy khi lý luận tiến từ vấn đề một mình. Con đường ‘ngược’ này có thể theo một quỹ đạo đơn giản hơn và cung cấp thông tin bổ sung cho lý luận chain-of-thought chuẩn.

Các nhà nghiên cứu cũng đã cụ thể hóa khái niệm trung tâm thành Iter-VF, một phương pháp mở rộng thời gian thử nghiệm theo trình tự, giúp tinh chỉnh các câu trả lời, tránh vấn đề tích lũy lỗi phổ biến trong các chiến lược tự sửa lỗi của kiến trúc LLM.

Bài báo mới này có tiêu đề Asking LLMs to Verify First is Almost Free Lunch, và đến từ hai nhà nghiên cứu tại Bộ môn Điện tử tại Đại học Tsinghua ở Bắc Kinh.

Phương Pháp

Ý tưởng trung tâm đằng sau công việc mới này là đảo ngược dòng chảy lý luận thông thường trong mô hình ngôn ngữ. Thay vì yêu cầu mô hình giải quyết một vấn đề từ đầu, nó được đưa ra một câu trả lời ứng viên (thường không chính xác hoặc tùy ý) và yêu cầu kiểm tra xem câu trả lời đó có ý nghĩa.

Điều này khuyến khích mô hình lý luận ngược, làm việc ngược lại từ câu trả lời được đề xuất đến câu hỏi. Khi quá trình xác minh hoàn tất, mô hình sau đó tiếp tục giải quyết vấn đề ban đầu như thông thường.

Sự đảo ngược này, bài báo khẳng định, giảm thiểu các lỗi cẩu thả và khuyến khích một chế độ lý luận phản chiếu hơn, giúp LLM khám phá cấu trúc ẩn và tránh giả định sai.

Như đã thấy trong các ví dụ dưới đây, thậm chí yêu cầu mô hình xác minh một ước đoán rõ ràng sai như ’10’ có thể giúp nó phục hồi từ logic sai và vượt trội so với việc thúc đẩy chain-of-thought chuẩn:

Yêu cầu mô hình xác minh một câu trả lời ước đoán trước có thể giúp nó phát hiện các sự không nhất quán và tham gia một cách cẩn thận hơn vào vấn đề. Trong ví dụ này, cách tiếp cận chuẩn dẫn đến một giải pháp trơn tru nhưng không chính xác, trong khi lời nhắc Verification-First kích hoạt một cấu trúc logic rõ ràng hơn và kết quả chính xác.

Về nhiều vấn đề thực tế, không dễ dàng cung cấp một ước đoán cho mô hình để kiểm tra, đặc biệt là khi nhiệm vụ là mở, như viết mã hoặc gọi một API. Do đó, để thích nghi tốt hơn, phương pháp này đầu tiên đưa ra câu trả lời tốt nhất của nó như thông thường và sau đó đưa câu trả lời đó trở lại vào định dạng Verification-First. Theo cách này, mô hình kiểm tra và cải thiện đầu ra của chính nó:

Khi mô hình được yêu cầu xác minh đầu ra trước đó của nó, nó bắt được lỗi trong logic của nó và viết lại giải pháp một cách chính xác. Lời nhắc Verification-First giúp nó tập trung vào lỗi cụ thể mà không lặp lại cùng một lỗi.

Phương pháp này tạo thành Iter-VF đã đề cập trước đó. Mô hình lặp lại chu kỳ này, tinh chỉnh câu trả lời của nó mỗi lần, mà không cần phải đào tạo lại hoặc sử dụng công cụ tùy chỉnh. Không giống như các chiến lược tự sửa lỗi khác, có thể tích lũy bối cảnh qua các lần lặp, Iter-VF chỉ xem xét câu trả lời gần đây nhất mỗi lần, giúp giữ cho lý luận của nó rõ ràng.

Dữ Liệu và Kiểm Tra

Các tác giả đánh giá phương pháp này trong bốn lĩnh vực: nhiệm vụ lý luận chung, nơi VF được khởi tạo với một ước đoán tầm thường; nhiệm vụ thời gian nhạy cảm, nơi Iter-VF được so sánh với các phương pháp mở rộng thời gian thử nghiệm khác; vấn đề mở như mã hóa và gọi API, nơi VF sử dụng câu trả lời trước đó của mô hình; và mô hình thương mại đóng, nơi các bước lý luận nội bộ không thể tiếp cận được.

Để kiểm tra phương pháp này, các nhà nghiên cứu đã sử dụng ba tiêu chuẩn lý luận: GSM8K và MATH500 cho các vấn đề toán học; và GPQA-Diamond cho các câu hỏi khoa học cấp sau đại học.

Trong mỗi trường hợp, mô hình được đưa ra một ước đoán tầm thường, như ‘1’ cho các câu trả lời số; hoặc một tùy chọn đa lựa chọn được sắp xếp ngẫu nhiên, như điểm khởi đầu cho việc xác minh. Không có điều chỉnh hoặc kiến thức trước nào được thêm vào, và cơ sở so sánh là lời nhắc chain-of-thought chuẩn.

Các thử nghiệm được chạy trên toàn bộ dòng mô hình Qwen2.5 và Llama3 được điều chỉnh theo hướng dẫn, từ 1B đến 72B (tham số) về kích thước. Các mô hình Qwen được sử dụng là Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct, và Qwen2.5-72B-Instruct. Các biến thể Llama3 là Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instruct, và Llama3.3-70B-Instruct.

Como được thấy dưới đây, sự cải thiện từ lời nhắc Verification-First được duy trì trên tất cả các quy mô mô hình, với lợi ích rõ ràng ngay cả ở 1B tham số và tiếp tục đến 72B:

Trên tất cả các kích thước mô hình trong dòng Qwen2.5 và Llama3, lời nhắc Verification-First luôn vượt trội so với lời nhắc chain-of-thought chuẩn trên GSM8K, MATH500 và GPQA-Diamond.

Hiệu ứng này mạnh nhất trên các tiêu chuẩn toán học nặng như GSM8K và MATH500, nơi việc xác minh một câu trả lời sai giúp lý luận tốt hơn so với việc giải quyết từ đầu. Trên GPQA-Diamond, phụ thuộc nhiều vào kiến thức lưu trữ hơn là cấu trúc suy luận, lợi thế là nhỏ nhưng nhất quán.

Chi phí tính toán của Verification-First là khiêm tốn: trong bảng dưới đây, chúng ta có thể thấy rằng việc tạo ra một bước xác minh thêm khoảng 20-50% token đầu ra so với lời nhắc chain-of-thought chuẩn:

Số lượng token đầu ra trung bình được tạo ra dưới mỗi phương pháp nhắc, trên các tiêu chuẩn GSM8K, MATH500 và GPQA.

Mặc dù vậy, chi phí thêm vẫn còn thấp hơn nhiều so với các chiến lược yêu cầu nhiều lần hoàn thành hoặc lập kế hoạch递归.

Trong đồ thị dưới đây, chúng ta có thể thấy mức độ nhạy của phương pháp này với chất lượng của câu trả lời ước đoán. Điều đáng ngạc nhiên là, ngay cả khi ước đoán là tầm thường (‘1’), không hợp lý (‘2025’), hoặc một tùy chọn đa lựa chọn ngẫu nhiên, Verification-First vẫn vượt trội so với lời nhắc chuẩn:

Lợi ích về độ chính xác từ lời nhắc Verification-First, khi mô hình được đưa ra câu trả lời tầm thường, không hợp lý hoặc chính xác để xác minh trên GSM8K, MATH500 và GPQA.

Como dự kiến, độ chính xác nhảy lên cao hơn khi ước đoán đúng; nhưng phương pháp này hoạt động tốt bất kể, cho thấy rằng lợi ích không được thúc đẩy bởi thông tin trong câu trả lời ước đoán bản thân, mà chỉ bởi hành động của việc xác minh.

Iter-VF cũng được so sánh với bốn chiến lược mở rộng thời gian thử nghiệm được kiểm tra, không cần đào tạo lại hoặc thích nghi với nhiệm vụ. Trong Self-Correction, mô hình được yêu cầu sửa đổi câu trả lời của nó bằng cách phản ánh các bước lý luận trước đó; trong PHP, các câu trả lời trước đó được thêm vào đầu vào như gợi ý ngữ cảnh, mặc dù không có hướng dẫn về cách sử dụng chúng.

Thêm vào đó, trong Self-Consistency, nhiều đường lối lý luận được lấy mẫu và câu trả lời cuối cùng được chọn bằng cách bỏ phiếu đa số; và cuối cùng, trong Best-of-N, nhiều đầu ra được tạo ra độc lập và xếp hạng sử dụng một lời nhắc xác minh, với phản hồi có điểm cao nhất được chọn.

Hai biến thể của Iter-VF đã được thực hiện: một được khởi tạo với một ước đoán tầm thường (‘1’), và một được khởi tạo với một đầu ra CoT chuẩn:

Độ chính xác và hiệu suất token trên MATH500 dưới các ngân sách đầu ra tăng dần, cho thấy rằng cả hai biến thể của Iter-VF đều vượt trội so với tất cả các phương pháp cơ sở trên tất cả các quy mô mô hình.

Iter-VF cho kết quả tốt hơn so với tất cả các phương pháp khác khi tính toán có sẵn thấp, điều mà các tác giả cho là do cách nó kiểm tra câu trả lời, không phải do chất lượng của câu trả lời ban đầu (vì cả hai biến thể VF và CoT đều nhanh chóng đạt được độ chính xác tương tự).

PHP hoạt động kém hơn, mặc dù nó tái sử dụng các câu trả lời trước đó như gợi ý, có thể vì các mô hình LLM không khai thác những gợi ý đó tốt.

Ngược lại với PHP và Self-Correction, Iter-VF chỉ xem xét câu trả lời gần đây nhất mỗi lần. Cách tiếp cận Markovian này tránh được sự tích lũy bối cảnh qua các lần lặp – một điểm yếu đặc biệt có hại cho Self-Correction.

Các phương pháp song song như Self-Consistency và Best-of-N tránh được vấn đề này, mặc dù sự cải thiện của chúng chậm hơn và khiêm tốn hơn.

(n.b. Phần kết quả, mặc dù đầy đủ, là một đọc không thân thiện và dài dòng, và chúng tôi phải tại thời điểm này cắt ngắn hầu hết các nội dung còn lại, và đề cập đến bài báo nguồn cho thêm chi tiết).

Khi được thử nghiệm trên GPT-5 Nano và GPT-5 Mini, các mô hình thương mại đóng mà che giấu toàn bộ dấu vết lý luận và chỉ trả về câu trả lời cuối cùng, Iter-VF cải thiện hiệu suất mà không dựa vào các đầu ra trung gian. Trong bảng dưới đây, chúng ta có thể thấy lợi ích trên cả MATH500 và GPQA, xác nhận rằng phương pháp xác minh trước vẫn có hiệu quả ngay cả khi chỉ có đầu vào và câu trả lời cuối cùng có thể tiếp cận:

Độ chính xác trên MATH500 và GPQA khi Iter‑VF được áp dụng cho các mô hình GPT‑5 có dấu vết lý luận ẩn.

Kết Luận

Mặc dù bài báo mới này chuyển sang không rõ ràng từ phần kết quả, sự phát hiện của một đặc điểm chung cho một lớp mô hình AI vẫn là một phát triển thú vị. Bất kỳ ai thường xuyên sử dụng một mô hình LLM đều đã phát triển một loạt các thủ thuật để làm việc xung quanh những điểm yếu của mô hình, khi mỗi điểm yếu trở nên rõ ràng theo thời gian, và một mẫu hình xuất hiện; và tất cả đều hy vọng tìm thấy một ‘mẹo’ như rộng rãi và tổng quát như này.

Một trong những vấn đề lớn nhất trong việc thực hiện và cập nhật một cửa sổ ngữ cảnh trong một mô hình LLM dường như là việc tìm kiếm sự cân bằng giữa việc giữ tiến trình phiên và khả năng đột phá vào các hướng mới khi cần thiết, mà không rơi vào ảo giác hoặc đầu ra không liên quan. Trong trường hợp được trình bày bởi bài báo mới, chúng ta thấy một ví dụ về một ‘cú gọi tỉnh táo’ nhẹ nhàng nhưng kiên quyết có vẻ như tái tập trung và đặt lại mô hình LLM mà không mất ngữ cảnh. Sẽ rất thú vị khi xem liệu các dự án tiếp theo có thích nghi và phát triển phương pháp này hay không.

Các nhà nghiên cứu nhấn mạnh rất nhiều vào sự tiết kiệm kinh tế của phương pháp mới này – một yếu tố mà trọng lượng của nó đã giảm đi rất nhiều chỉ 12 tháng trước. Những ngày này, ý nghĩa của AI siêu quy mô làm rõ rằng các khoản tiết kiệm tài nguyên từng được coi là vụn vặt trong ‘nghiên cứu thuần túy’ giờ đã trở nên quan trọng và thiết yếu.

* Xin lưu ý rằng tôi bị hạn chế không thể đưa vào số lượng trích dẫn thông thường từ bài báo, vì tiêu chuẩn tiếng Anh được tìm thấy trong một số phần của nó có thể gây nhầm lẫn cho người đọc. Do đó, tôi đã tự do tóm tắt các thông tin chính thay vì, và tôi đề cập người đọc đến bài báo nguồn để xác minh.

Được xuất bản lần đầu vào thứ Năm, ngày 4 tháng 12 năm 2025