Dạy trí tuệ nhân tạo ‘nhớ’ lâu hơn

Mô hình ngôn ngữ thường không thể nhớ phần đầu của cuộc trò chuyện. Một phương pháp nén văn bản mới có thể thay đổi điều đó và làm cho các phiên trò chuyện AI ít gây khó chịu hơn.

Hệ thống AI trò chuyện như ChatGPT thường mất dấu các phần trước của cuộc trò chuyện, lặp lại chính mình hoặc đưa ra câu trả lời bỏ qua các quy tắc đã đồng ý trước đó.

Điều này là do Mô hình ngôn ngữ lớn (LLM) có khả năng tập trung hạn chế, được định nghĩa là một ‘cửa sổ ngữ cảnh’ chú ý – giống như một chiếc đèn pin chỉ có thể chiếu sáng những gì nó nhắm trực tiếp vào và một vài vật thể liền kề.

Sửa lỗi ‘quên’ này, do các hạn chế về chú ý, là một trong những hướng nghiên cứu quan trọng nhất về mô hình AI dựa trên ngôn ngữ – không chỉ vì hội chứng này hạn chế nghiêm trọng khả năng trò chuyện đa vòng và nhất quán, và làm giảm hiệu quả của LLM trong nhiều trường hợp đòi hỏi độ chính xác cao, chẳng hạn như y tế và luật pháp.

Đánh bại nó

Nghiên cứu mới từ Trung Quốc^† đề xuất một phương pháp mới để làm cho một lượng văn bản lớn hơn phù hợp với tài nguyên hạn chế của GPU chạy mô hình AI – với kết quả đạt được sự cải thiện nén 20 lần trong khi vẫn giữ được độ chính xác 98%:

Nén dồn ngữ cảnh tái tạo tài liệu dài hơn chính xác hơn các phương pháp nén quang học như DeepSeek-OCR, ngay cả khi thu nhỏ đầu vào lên đến bốn mươi lần. Trên một loạt chiều dài tài liệu và cài đặt nén, phương pháp mới duy trì độ trung thực gần như hoàn hảo, trong khi phương pháp quang học suy giảm mạnh dưới nén cao hơn. Nguồn

Với độ chính xác 93% – nằm trong các tham số có thể làm việc – nén văn bản thậm chí có thể đạt được tỷ lệ nén 40 lần:

Ba cách tiếp cận để nén văn bản dài cho đầu vào mô hình ngôn ngữ: phương pháp cơ sở (trái) phân tích cú pháp văn bản trực tiếp, tạo ra số lượng token lớn; phương pháp quang học (giữa) chuyển đổi văn bản thành hình ảnh và trích xuất các bản nhúng trực quan bằng cách sử dụng Bộ chuyển đổi trực quan, đạt được nén 10 lần; và phương pháp C3 mới (phải) sử dụng mô hình ngôn ngữ nhỏ để nén văn bản thành chỉ 32 token tiềm ẩn, đạt được nén 40 lần mà không dựa vào mã hóa trực quan.

Điều này có nghĩa là toàn bộ một cuộc trò chuyện dài có thể được nén và tái tiêm (cập nhật) tại các khoảng thời gian vào các cuộc trò chuyện sau, khi LLM thường quên các事 thực trước đó và trượt vào hành vi ‘quên’.

Mặc dù đây là một phương pháp nén mất mát, ngay cả cách mất mát xảy ra cũng hữu ích: dưới phương pháp mới, bộ nhớ suy giảm ở cuối câu, và không đồng đều trên toàn câu, như với kiến trúc DeepSeek-OCR đã truyền cảm hứng cho phương pháp mới; trên thực tế, các nhà nghiên cứu đằng sau bài báo mới cho rằng phương pháp của họ suy giảm theo cách giống như bộ nhớ con người, thay vì ngẫu nhiên:

<img class=" wp-image-226084" src="https://www.unite.ai/wp-content/uploads/2025/11/figure-5-1.jpg" alt="Trên cùng, bộ nhớ con người suy giảm ở cuối dòng dữ liệu; giữa: DeepSeek-OCR suy giảm ngẫu nhiên, không để lại neo nào có thể giúp sửa lỗi; dưới cùng: phương pháp mới suy giảm theo cách giống như bộ nhớ con người, về phía kết thúc dòng dữ liệu, cung cấp các dấu hiệu có thể giúp cải thiện độ chính xác thông qua xử lý sau.

Điều này có nghĩa là có thể dự đoán ở đâu dữ liệu được ghi nhớ có thể ít đáng tin cậy hơn, và sử dụng kiến thức này để giải quyết vấn đề – có thể mang lại sự cải thiện lớn về khả năng nhớ lại và nhất quán trong cuộc trò chuyện, với độ chính xác 100% sau khi khắc phục.

Phương pháp mới được gọi là Nén dồn ngữ cảnh (C3), và được truyền cảm hứng từ cách DeepSeek-OCR nén văn bản dưới dạng hình ảnh, đạt được mức nén lớn. Tuy nhiên, bằng cách sử dụng hai mô hình ngôn ngữ (trung bình và lớn) để nén văn bản dài trực tiếp xuống bản nhúng tiềm ẩn, phương pháp mới cắt bỏ sự kéo dài do sử dụng hình ảnh raster, do đó đạt được hiệu suất cải thiện.

Bài báo cho biết:

‘Hiệu suất vượt trội của C3 có thể được quy cho thiết kế kiến trúc cơ bản của nó. Phân tích DeepSeek-OCR cho rằng sự suy giảm hiệu suất của nó là do các yếu tố như “bố cục phức tạp” và “mờ hình ảnh ở độ phân giải thấp hơn” – các hạn chế vốn có của con đường quang học.

‘ThESIS C3 của chúng tôi, bằng cách hoạt động trực tiếp trong lĩnh vực văn bản, hoàn toàn miễn nhiễm với các hiện象 trong lĩnh vực trực quan. Nó tránh mất mát thông tin liên quan đến việc kết xuất văn bản thành pixel và sau đó mã hóa các pixel đó. Thay vào đó, nó tận dụng sự hiểu biết ngữ nghĩa mạnh mẽ của mô hình ngôn ngữ đã được đào tạo trước để cô lập thông tin văn bản trực tiếp thành một biểu diễn tiềm ẩn hiệu quả.’

Bài báo mới titled Nén dồn ngữ cảnh: Khám phá giới hạn trên của nén văn bản, và đến từ hai tác giả^†, những người dường như cũng đang cung cấp C3 như một kho lưu trữ mã nguồn mở trên GitHub.

Phương pháp

Để hiểu phương pháp mới, điều hữu ích là biết nhận dạng ký tự quang học (OCR) là gì, vì đây là nơi ý tưởng này bắt nguồn.

OCR là một phương pháp thuật toán có từ những năm 1920, mặc dù được phổ biến vào những năm 1990, nơi phát hiện mẫu cho phép một chương trình máy tính chuyển đổi văn bản raster (tức là văn bản trong hình ảnh, không thể chọn và chỉ tồn tại như nội dung nhiếp ảnh) thành văn bản có thể chỉnh sửa.

Tác giả của DeepSeek-OCR đã phát hiện ra rằng văn bản có thể được nén nhiều hơn so với đường ống tiêu chuẩn bằng cách sử dụng OCR như một giai đoạn trung gian. Nói cách khác, thay vì nén văn bản chính nó, người ta có thể đạt được mật độ bản nhúng tiềm ẩn cao hơn (tức là nhiều thông tin được lưu trữ) bằng cách nén một phiên bản raster của văn bản đó:

Từ bài báo phát hành DeepSeek-OCR, một sơ đồ cho đường ống nén, bao gồm các bản vá raster 16×16 như thành phần OCR. Nguồn

Bài báo mới cho rằng các phương pháp quang học như DeepSeek-OCR có thể quy kết sai nguồn gốc của lợi ích nén của chúng. Thay vì việc chuyển đổi từ văn bản sang hình ảnh là yếu tố chính, các tác giả cho rằng lợi ích chính đến từ việc chuyển đổi các token văn bản冗長 thành các bản nhúng tiềm ẩn hiệu quả hơn.

Để kiểm tra điều này, họ đã tạo một đường ống sử dụng hai mô hình ngôn ngữ: mô hình nhỏ hơn Qwen2.5 1.5B, hoạt động như bộ mã hóa, nén các đoạn văn bản dài thành một tập hợp nhỏ các token tiềm ẩn; và mô hình lớn hơn Qwen2.5 3B, hoạt động như bộ giải mã, tái tạo văn bản gốc từ các token đó:

Trong hệ thống C3 mới, mô hình Qwen2.5 1.5B nhỏ hơn nén một đầu vào dài thành một tập hợp token tiềm ẩn cố định, sử dụng các bản nhúng truy vấn có thể đào tạo. Các token này, cùng với một lời nhắc, được truyền đến mô hình Qwen2.5 3B lớn hơn, mô hình này tái tạo văn bản gốc. Kiến trúc này cho phép nhớ lại các chuỗi dài với độ trung thực cao bằng cách sử dụng chỉ một phần nhỏ của số lượng token ban đầu.

Để xử lý giai đoạn nén, các nhà nghiên cứu đã điều chỉnh mô hình Qwen2.5 1.5B đã được đào tạo trước bằng cách giới thiệu bản nhúng truy vấn có thể đào tạo: các lời nhắc trừu tượng hướng dẫn mô hình trong việc cô lập ngữ cảnh dài đến vào một biểu diễn tiềm ẩn nhỏ hơn nhiều.

Thay vì sửa đổi kiến trúc, phương pháp này chỉ cho ăn văn bản dài và bản nhúng truy vấn cùng nhau như một đầu vào duy nhất. Cơ chế chú ý tự của mô hình treats các yếu tố này giống hệt, cho phép nó xuất ra một ngữ cảnh tiềm ẩn cố định mà không cần các lớp hoặc thay đổi thiết kế mới; và đầu ra này sau đó được chuyển đến mô hình lớn hơn để tái tạo.

Để đánh giá bao nhiêu thông tin đã tồn tại sau khi nén, các nhà nghiên cứu đã hướng dẫn mô hình Qwen2.5 3B giải mã để tái tạo đầu vào ban đầu bằng cách sử dụng chỉ các token tiềm ẩn, và lời nhắc ‘lặp lại văn bản’. Vì nhiệm vụ liên quan đến việc tái tạo chính xác, thay vì tóm tắt hoặc chuyển đổi, bất kỳ sự khác biệt nào so với bản gốc có thể được truy tìm trực tiếp đến thông tin bị mất trong quá trình nén, cung cấp một thử nghiệm sạch và khách quan về độ trung thực trên toàn bộ đường ống mã hóa – giải mã.

Dữ liệu và Kiểm tra

Bài báo cho biết các tác giả đã biên soạn một tập dữ liệu OCR ban đầu, bao gồm một triệu trang được lấy từ internet. Không có chi tiết nào khác về nguồn gốc này, và các tác giả dường như cố ý mập mờ về điểm này.

Mặc dù vậy, họ quan sát thấy rằng việc kỹ thuật dữ liệu và chăm sóc không cần thiết cho mục đích của họ, và họ tuyên bố rằng họ có thể đào tạo mô hình của mình một cách hiệu quả trên các mẫu ‘đa dạng về chiều dài’; và họ cho rằng điều này cho thấy kiến trúc của họ là mạnh mẽ (và theo suy luận, được tổng quát hóa tốt, tùy thuộc vào cài đặt đào tạo).

Mô hình được đào tạo trên một cụm hiệu suất cao bao gồm tám GPU NVIDIA H800, mỗi GPU được trang bị 80GB VRAM, với tổng tài nguyên VRAM là 640GB. Mỗi GPU chứa kích thước batch là 2, đạt được kích thước batch toàn cầu là 256, khi tính đến 16 bước tích lũy đã lên lịch. Bộ tối ưu hóa là AdamW, trong tổng số 40.000 bước.

Để kiểm tra hiệu quả của kiến trúc C3, các nhà nghiên cứu đã theo dõi cùng một thiết lập đánh giá được sử dụng trong bài báo gốc DeepSeek-OCR, sử dụng Fox benchmark để đo lường nén và độ chính xác tái tạo trên một loạt chiều dài tài liệu.

Văn bản tiếng Anh đã được chọn, với các đoạn văn bản từ 600 đến 1300 token, với việc phân tích cú pháp được thực hiện bằng cách sử dụng bộ phân tích cú pháp Qwen.

Để cho phép so sánh công bằng, các mức nén tương đương từ (DeepSeek-OCR) đường cơ sở quang học đã được sử dụng, với 64 và 100 token tiềm ẩn. Để khám phá giới hạn của phương pháp, các thử nghiệm bổ sung đã được chạy bằng cách sử dụng chỉ 32 token tiềm ẩn. Trong mọi trường hợp, tái tạo được khởi tạo với hướng dẫn ‘lặp lại văn bản: ‘:

Kết quả từ thử nghiệm ban đầu. Độ chính xác tái tạo và tỷ lệ nén được đo trên bảy phạm vi token bằng cách sử dụng 64 và 100 token tiềm ẩn, cho thấy hiệu suất vượt trội nhất quán của C3 so với DeepSeek-OCR, đặc biệt là ở các mức nén cao hơn.

Thảo luận về kết quả ban đầu được hiển thị ở trên, bài báo cho biết:

‘Dữ liệu chứng minh một cách không thể tranh cãi rằng mô hình nén trực tiếp văn bản sang tiềm ẩn của C3 vượt trội đáng kể so với phương pháp nén quang học trên tất cả các điều kiện được thử nghiệm, thiết lập một trạng thái mới về nén ngữ cảnh cao cấp.’

Khi cả hai hệ thống được thử nghiệm trên các tài liệu dài hơn, DeepSeek-OCR bắt đầu mất độ chính xác khi nén tăng, giảm xuống dưới 60% trong trường hợp cực đoan nhất. C3 xử lý mức nén tương tự với sự mất mát ít hơn nhiều, duy trì gần 98%, ngay cả khi đầu vào được thu nhỏ xuống một phần năm kích thước ban đầu.

Trong thử nghiệm khó khăn nhất, toàn bộ văn bản được thu nhỏ xuống chỉ 32 token. Ngay cả khi đó, mô hình vẫn có thể khôi phục gần như tất cả nội dung gốc, giữ độ chính xác gần 99% trong nhiều trường hợp:

Độ chính xác tái tạo và tỷ lệ nén ở 32 token tiềm ẩn, cho thấy rằng ngay cả ở mức giảm cực đoan (lên đến gần 40 lần) độ chính xác vẫn trên 93%.

Ở cài đặt cực đoan nhất, nơi đầu vào được nén xuống gần một phần bốn mươi kích thước ban đầu, nó vẫn nhớ lại hơn 93%. So với các phương pháp quang học trước đây, giảm xuống khoảng 60% độ chính xác ở mức nén thấp hơn một nửa.

Các tác giả cho biết^††:

‘Những phát hiện này chứng minh một cách thuyết phục lợi thế của kiến trúc C3. Bằng cách tránh các nút thắt thông tin và các hiện象 tiềm năng trong modality trực quan (ví dụ: giới hạn độ phân giải hình ảnh, sự phức tạp của bố cục), phương pháp của chúng tôi xử lý nén cực đoan với mất mát thông tin tối thiểu.

‘Kết quả từ thử nghiệm khó khăn này củng cố tuyên bố của chúng tôi rằng nén trực tiếp văn bản sang tiềm ẩn là một mô hình cơ bản hiệu quả và mạnh mẽ hơn so với các phương pháp quang học của nó.’

Họ cũng kết luận rằng C3 có thể ‘mở khóa các khả năng mới trong việc xử lý toàn bộ sách, tài liệu pháp lý rộng lớn, hoặc các cơ sở mã lớn cho các nhiệm vụ như trả lời câu hỏi, tóm tắt và phân tích’.

Kết luận

Đây là một trong những bài báo rõ ràng và dễ tiếp cận nhất mà tôi đã gặp gần đây, với một ý tưởng lõi rõ ràng có thể chứng minh là một phương pháp tấn công bổ sung chống lại vấn đề ‘cửa sổ ngữ cảnh’.

Nhiều người dùng LLM sẽ đã học cách ‘làm mới’ thông tin quan trọng hoặc hướng dẫn định kỳ trong suốt một cuộc trò chuyện dài, sau khi đã khám phá ra cách khắc phục sự cố một cách khó khăn rằng các mô hình như ChatGPT không thể giữ thông tin đó trong thời gian dài. Tiếp theo sau cách khắc phục trực giác này, ý tưởng trong bài báo mới là một phiên bản nén cao của một cuộc trò chuyện dài có thể được tái tiêm tự động vào cửa sổ ngữ cảnh của thể hiện LLM hiện tại, về cơ bản là ‘nhớ lại bằng proxy’.

Trong một môi trường mà sự khan hiếm GPU đang dẫn đến giá tăng thậm chí trên bộ nhớ máy tính truyền thống (như DRAM, nơi nhiều tải trọng GPU trước đây hiện được offload để hỗ trợ các mô hình lớn hơn), dường như không có khả năng phần cứng chủ của AI sẽ trở nên rộng rãi hơn trong tương lai gần; do đó, các phương pháp sáng tạo như này, gần như là một sự chạy lại của sự tiến hóa của nén dữ liệu những năm 1990, có thể chứng minh là cần thiết để thúc đẩy hiệu suất.

Quan trọng hơn, điều đó sẽ thật tuyệt nếu LLM có thể duy trì một cuộc trò chuyện nhất quán trong một giờ hoặc hơn và thực sự nhớ lại cuộc trò chuyện là về gì ngay từ đầu.

* Hướng dẫn cài đặt CLI được cung cấp, nhưng tôi không thể dành thời gian để cố gắng cài đặt và không chắc chắn liệu kho lưu trữ có hoàn chỉnh hay không.

^† Hai tác giả được chỉ định là Fanfan Liu và Haibo Qiu. Theo nghiên cứu thiếu thận trọng cho thấy, Qiu hiện là một nhà nghiên cứu tại công ty công nghệ Trung Quốc Meituan, và Liu là sinh viên cao học tại Viện Hàn lâm Khoa học Trung Quốc. Cả hai hiện không có bài báo đang xem xét trong lịch sử của họ. Nếu bất kỳ thuộc tính nào trong số này là không chính xác, vui lòng liên hệ với tôi qua hồ sơ của tôi.

^†† Mặc dù các tác giả tuân theo công thức bằng cách cung cấp các thử nghiệm định tính bổ sung, những thử nghiệm này không mang lại gì so với vòng thử nghiệm nén trước đó, và tôi đã không đề cập đến chúng ở đây.

Được xuất bản lần đầu vào thứ Sáu, ngày 21 tháng 11 năm 2025