Góc nhìn Anderson
Dạy trí tuệ nhân tạo ‘nhớ’ lâu hơn

Điểm chínhPhương pháp nén mới có tên C3 giảm kích thước văn bản dài gấp 40 lần trong khi vẫn duy…
Xem thêm
- Phương pháp nén mới có tên C3 giảm kích thước văn bản dài gấp 40 lần trong khi vẫn duy trì 93% độ chính xác cho bộ nhớ AI.
- C3 mô phỏng trí nhớ con người bằng cách giảm chất lượng có thể dự đoán ở cuối câu, cho phép sửa chữa độ chính xác có mục tiêu.
- Cách tiếp cận trực tiếp từ văn bản sang tiềm ẩn này vượt trội hơn các phương pháp quang học, có khả năng cho phép LLM ghi nhớ toàn bộ cuộc hội thoại.
của cuộc trò chuyện. Một phương pháp nén văn bản mới có thể thay đổi điều đó và làm cho các phiên trò chuyện AI ít gây khó chịu hơn. Hệ thống AI trò chuyện như
Mô hình ngôn ngữ thường không thể nhớ phần đầu ChatGPT thường mất dấu các phần trước của cuộc trò chuyện, lặp lại chính mình hoặc đưa ra câu trả lời bỏ qua các quy tắc đã đồng ý trước đó. Điều nàylà doMô hình ngôn ngữ lớn (LLM) có khả năng tập trung hạn chế, được định nghĩa là một Sửa lỗi ‘quên’ này, do các hạn chế về chú ý, là một trong những hướng nghiên cứu quan trọng nhất về mô hình AI dựa trên ngôn ngữ – không chỉ vì hội chứng này ‘cửa sổ ngữ cảnh’ chú ý – giống như một chiếc đèn pin chỉ có thể chiếu sáng những gì nó nhắm trực tiếp vào và một vài vật thể liền kề. hạn chế nghiêm trọng khả năng trò chuyện đa vòng và nhất quán, và làm giảm hiệu quả của LLM trong nhiều trường hợp đòi hỏi độ chính xác cao, chẳng hạn như y tế và luật pháp.
Đánh bại nó
Nghiên cứu mới từ Trung Quốc† đề xuất một phương pháp mới để làm cho một lượng văn bản lớn hơn phù hợp với tài nguyên hạn chế của GPU chạy mô hình AI – với kết quả đạt được sự cải thiện nén 20 lần trong khi vẫn giữ được độ chính xác 98%: Nén


thành mã hóa hình ảnh. Điều này có nghĩa là toàn bộ một cuộc hội thoại dài có thể được nén lại và tái sử dụng (cập nhật) theo định kỳ vào các cuộc hội thoại sau đó, khi người nói thường quên các sự kiện trước đó và rơi vào hành vi ‘quên lãng’. Mặc dù đây là một <img class=”wp-image-226084″ src=”https://www.unite.ai/wp-content/uploads/2025/11/figure-5-1.jpg” alt=”Top, trí nhớ con người suy giảm ở cuối dòng dữ liệu; giữa: DeepSeek-OCR suy giảm ngẫu nhiên, không để lại neo nào có thể giúp sửa lỗi; dưới cùng: phương pháp mới suy giảm theo cách giống như bộ nhớ con người, về phía kết thúc dòng dữ liệu, cung cấp các dấu hiệu có thể giúp cải thiện độ chính xác thông qua xử lý sau. phương pháp nén mất mát , ngay cả cách mất mát xảy ra cũng hữu ích: dưới phương pháp mới, bộ nhớ suy giảm ở cuối câu,

để giải quyết vấn đề – có thể văn mang lại sự cải thiện lớn về khả năng nhớ lại và nhất quán trong cuộc trò chuyện, với độ chính xác 100% sau khi khắc phục. ở đâu Phương pháp mới được gọi là Bài báo cho biết: (C3), và được truyền cảm hứng từ cách DeepSeek-OCR nén sự kéo dài do bản dưới dạng hình ảnh, đạt được mức nén lớn. Tuy nhiên, bằng cách sử dụng hai mô hình ngôn ngữ (trung bình và lớn) để nén văn bản dài trực tiếp xuống Nén dồn ngữ cảnh bản nhúng tiềm ẩn , phương pháp mới cắt bỏ sử dụng hìnhảnh raster, do đó đạt được hiệu suất cải thiện. ‘Hiệu suất vượt trội của C3 có thể được quy cho thiết kế kiến trúc cơ bản của
nó. Phân tích DeepSeek-OCR cho rằng sự suy giảm hiệu suất của nó là do các yếu tố như “bố cục phức tạp” và “mờ hình ảnh ở độ phân giải thấp hơn” – các hạn chế vốn có của con đường quang học. Bài báo mới ‘ThESIS C3 của chúng tôi, bằng cách hoạt động
Trong lĩnh vực văn bản, nó hoàn toàn miễn nhiễm với các hiệu ứng trong lĩnh vực hình ảnh. Nó tránh được sự mất mát thông tin liên quan đến việc hiển thị văn bản thành pixel và sau đó mã hóa các pixel đó. Thay vào đó, nó tận dụng khả năng hiểu ngữ nghĩa mạnh mẽ của mô hình ngôn ngữ được huấn luyện trước để cô lập thông tin văn bản trực tiếp thành một biểu thức.
trực tiếp diễn tiềm ẩn hiệu quả.’ giả Nén dồn ngữ cảnh: Khám phá giới hạn trên của nén văn bảntitled , và đến từ hai tác†, những người dường như cũng đang cung cấp C3 như một kho lưu trữ mã nguồn mở trên GitHub.
Phương pháp
Để hiểu phương pháp mới, điều hữu ích là biết nhận dạng ký tự quang học (OCR) là gì, vì đây là nơi ý tưởng này bắt nguồn. OCR là một phương pháp thuật toán có từ những năm 1920 , mặc dù được phổ biến vào những năm 1990,nơi phát hiện mẫu cho phép một chương trình máy tính chuyển đổi văn bản raster (tức là văn bản trong hình ảnh, không thể chọn và chỉ tồn tại như nội dung nhiếp ảnh) thành văn bản có thể chỉnh sửa. Tác giả của DeepSeek-OCR đã phát hiện ra rằng văn bản có thể được nén nhiều hơn so với đường ống tiêu chuẩn bằng cách sử dụng OCR như một giai đoạn trung gian. Nói cách khác, thay vì nén văn bản chính nó, người ta có thể đạt được mật độ bản nhúng tiềm ẩn cao hơn (tức là nhiều thông tin được lưu trữ) bằng cách nén một phiên bản raster của văn bản đó : Từ bài báo phát hànhDeepSeek-OCR, một


bằng cách giới thiệu : các lời nhắc trừu tượng hướng dẫn mô hình trong việc cô lập ngữ cảnh dài đến vào một biểu diễn sau khi nén, cáctiềm ẩn nhỏ hơn nhiều. bản nhúng truy vấn có thể đào tạo Thay vì sửa đổi kiến trúc, phương pháp này chỉ cho ăn văn bản dài và bản nhúng truy vấn cùng nhau như một đầu vào duy nhất. Cơ chế chú ý tự của mô hình Để đánh giá bao nhiêu thông tin đã tồn tại nhà nghiên cứu đã hướng dẫn mô hình Qwen2.5 3B giải mã để tái tạo đầu vào ban đầu bằng cách sử dụng chỉ các token tiềm ẩn, và lời nhắc treats các yếu tố này giống hệt, cho phép nó xuất ra một ngữ cảnh tiềm ẩn cố định mà không cần các lớp hoặc thay đổi thiết kế mới; và đầu ra này sau đó được chuyển đến mô hình lớn hơn để tái tạo. . Vì nhiệm vụ liên quan đến việc tái tạo chính xác, thay vì ‘lặp lại văn bản’tóm tắt hoặc chuyển đổi, bất kỳ sự khác biệt nào so với bản gốc có thể được truy tìm trực tiếp đến thông tin bị mất trong quá trình nén, cung cấp một thử nghiệm sạch và khách quan về độ trung thực trên toàn bộ đường ống mã hóa – giải mã.
Dữ liệu và Kiểm tra
Bài báo cho biết các tác giả đã biên soạn một tập dữ liệu OCR ban đầu, bao gồm một triệu trang được lấy từ internet. Không có chi tiết nào khác về nguồn gốc này, và các tác giả dường như cố ý mập mờ về điểm này. Mặc dù vậy, họ quan sát thấy rằng việc kỹ thuật dữ liệu và chăm sóc không cần thiết cho mục đích của họ, và họ tuyên bố rằng họ có thể đào tạo mô hình của mình một cách hiệu quả trên các mẫu ‘đa dạng về chiều dài’; và họ cho rằng điều này cho thấy kiến trúc của họ là mạnh mẽ (và theo suy luận, được tổng quáthóa tốt,tùy thuộc vào cài đặt đào tạo). Mô hình được đào tạo trên một cụm hiệu suất cao bao gồm tám GPU NVIDIA H800, mỗi GPU được trang bị 80GB VRAM, với tổng tài nguyên VRAM là 640GB. Mỗi GPU chứa kích thước batch là 2, đạt được kích thước batch toàn cầu là 256, khi tính đến 16 bước tích lũy đã lên lịch. Bộ tối ưu hóa là AdamW , trong tổng số 40.000 bước. Để kiểm tra hiệu quả của kiến trúc C3, các nhànghiên cứu đã theo dõi cùng một thiết lập đánh giá được sử dụng trong bài báo gốc DeepSeek-OCR, sử dụng Fox benchmark để đo lường nén và độ chính xác tái tạo trên một loạt chiều dài tài liệu. Văn bản tiếng Anh đã được chọn, với các đoạn văn bản từ 600 đến 1300 token, với việc phân tích cú pháp được thực hiện bằng cách sử dụng bộ phân tích cú pháp Qwen. Để cho phép so sánh công bằng, các mức nén tương đương từ (DeepSeek-OCR) đường cơ sở quang học đã được sử dụng, với 64 và 100 token tiềm ẩn. Để khám phá giới hạn của phương pháp, các thử nghiệm bổ sung đã được chạy bằng cách sử dụng chỉ 32 token tiềm ẩn. Trong mọi trường hợp, tái tạo được khởi tạo với hướng dẫn : ‘lặp lại văn bản: ‘ Kết quả từ thử nghiệm ban đầu. Độ chính xác tái tỷ lệ nén đượctạo và

báo cho biết: Khi cả hai hệ thống được thử nghiệm trên các
mô hình nén trực tiếp văn bản sang tiềm ẩn của C3 vượt trội đáng kể so với phương pháp nén quang học trên tất cả các điều kiện được thử nghiệm, thiết lập một trạng thái mới về nén ngữ cảnh cao cấp.’ Trong thử nghiệm khó khăn nhất, toàn
tài liệu dài hơn, DeepSeek-OCR bắt đầu mất độ chính xác khi nén tăng, giảm xuống dưới 60% trong trường hợp cực đoan nhất. C3 xử lý mức nén tương tự với sự mất mát ít hơn nhiều, duy trì gần 98%, ngay cả khi đầu vào được thu nhỏ xuống một phần năm kích thước ban đầu. ‘Dữ liệu chứng minh một cách không thể tranh cãi rằng bộ văn bản được thu nhỏ xuống chỉ 32 token. Ngay cả khi đó, mô hình vẫn có thể khôi phục gần như tất cả nội dung gốc, giữ độ chính xác gần 99% trong nhiều trường hợp: Độ chính xác tái tạo và tỷ lệ nén ở 32 token tiềm ẩn, cho thấy

bốn mươi kích thước ban đầu, nó vẫn nhớ lại hơn 93%. So với các phương pháp quang học trước đây, giảm xuống khoảng 60% độ chính xác ở mức nén thấp hơn một nửa. Các tác giả cho biết †† : ‘Những phát hiện này chứng minh một cách thuyết phục lợi thế của kiến trúcC3.Bằng cáchtránh
các nút thắt thông tin và các biểu hiện tiềm tàng trong phương thức hình ảnh (ví dụ: giới hạn độ phân giải hình ảnh, độ phức tạp bố cục), phương pháp của chúng tôi xử lý nén cực độ với tổn thất thông tin tối thiểu. Họ cũng kết luận rằng C3 có thể ‘Kết quả từ thử nghiệm
chúng tôi rằng nén trực tiếp văn bản sang tiềm ẩn là một mô hình cơ bản hiệu quả và mạnh mẽ hơn so với các phương pháp quang học của nó.’ ‘mở khóa các khả năng mới trong việc
nghiệm khó khăn này củng cố tuyên bố của xử lý toàn bộ sách, tài liệu pháp lý rộng lớn, hoặc các cơ sở mã lớn cho các nhiệm vụ như trả lời câu hỏi, tóm tắt và phân tích’.
Kết luận
Đây là một trong những bài báo rõ ràng và dễ tiếp cận nhất mà tôi đã gặp gần đây, với một ý tưởng lõi rõ ràng có thể chứng minh là một phương pháp tấn công bổ sung chống lại vấn đề ‘cửa sổ ngữ cảnh’. Nhiều người dùng LLM sẽ đã học cách ‘làm mới’ thông tin quan trọng hoặc hướng dẫn định kỳ trong suốt một cuộc trò chuyện dài, sau khi đã khám phá ra cách khắc phục sự cố một cách khó khăn rằng các mô hình như ChatGPT không thể giữ thông tin đó trong thời gian dài. Tiếp theo sau cách khắc phục trực giác này, ý tưởng trong bài báo mới là một phiên bản nén cao của một cuộc trò chuyện dài có thể được tái tiêm tự động vào cửa sổ ngữ cảnh của thể hiện LLM hiện tại, về cơ bản là ‘nhớ lại bằng proxy’. Trong một môi trường mà sự khan hiếm GPU đang dẫn đến giá tăng thậm chí trên bộ nhớ máy tính truyền thống (như DRAM, nơi nhiều tải trọng GPU trước đây hiện được offload để hỗ trợ các mô hình lớn hơn), dường như không có khả năng phần cứng chủ của AI sẽ trở nên rộng rãi hơn trong tương lai gần; do đó, các phương pháp sáng tạo như này, gần như là một sự chạy lại của sự tiến hóa của nén dữ liệu những năm 1990, có thể chứng minh là cần thiết để thúc đẩy hiệusuất. Quan trọng hơn, điều đó sẽ thật tuyệt nếu LLM có thể duy trì một cuộc trò chuyện nhất quán trong một giờ hoặc hơn và thực sự nhớ lại cuộc trò chuyện là về gì ngay từ đầu. * Hướng dẫn cài đặt CLI được cung cấp, nhưng tôi không thể dành thời gian để cố gắng cài đặt và không chắc chắn liệu kho lưu trữ có hoàn chỉnh hay không. † Hai tác giả được chỉ định là Fanfan Liu và Haibo Qiu. Theo
nghiên cứu thiếu thận trọng cho thấy, Qiu hiện là một nhà nghiên cứu tại công ty công nghệ Trung Quốc Meituan, và Liu là sinh viên cao học tại Viện Hàn lâm Khoa học Trung Quốc. Cả hai hiện không có bài báo đang xem xét trong lịch sử của họ. Nếu bất kỳ thuộc tính nào trong số này là không chính xác, vui lòng liên hệ với tôi qua hồ sơ của tôi. †† Mặc dù các tác giả tuân theo công thức bằng
cách cung cấp các thử nghiệm định tính bổ sung, những thử nghiệm này không mang lại gì so với vòng thử nghiệm nén trước đó, và tôi đã không đề cập đến chúng ở đây. Được xuất bản lần đầu vào
thứ Sáu, ngày 21 tháng 11 năm 2025












