Góc nhìn Anderson

Dạy trí tuệ nhân tạo ‘nhớ’ lâu hơn

Martin Anderson
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
AI-generated image: A robot with ChatGPT logo at laptop, with vice on open head and glowing text emerging from head. GPT-image-1.
Điểm chínhPhương pháp nén mới có tên C3 giảm kích thước văn bản dài gấp 40 lần trong khi vẫn duy…
Xem thêm
  • Phương pháp nén mới có tên C3 giảm kích thước văn bản dài gấp 40 lần trong khi vẫn duy trì 93% độ chính xác cho bộ nhớ AI.
  • C3 mô phỏng trí nhớ con người bằng cách giảm chất lượng có thể dự đoán ở cuối câu, cho phép sửa chữa độ chính xác có mục tiêu.
  • Cách tiếp cận trực tiếp từ văn bản sang tiềm ẩn này vượt trội hơn các phương pháp quang học, có khả năng cho phép LLM ghi nhớ toàn bộ cuộc hội thoại.

của cuộc trò chuyện. Một phương pháp nén văn bản mới có thể thay đổi điều đó và làm cho các phiên trò chuyện AI ít gây khó chịu hơn. Hệ thống AI trò chuyện như

 

Mô hình ngôn ngữ thường không thể nhớ phần đầu ChatGPT thường mất dấu các phần trước của cuộc trò chuyện, lặp lại chính mình hoặc đưa ra câu trả lời bỏ qua các quy tắc đã đồng ý trước đó. Điều nàylà doMô hình ngôn ngữ lớn (LLM) có khả năng tập trung hạn chế, được định nghĩa là một Sửa lỗi ‘quên’ này, do các hạn chế về chú ý, là một trong những hướng nghiên cứu quan trọng nhất về mô hình AI dựa trên ngôn ngữ – không chỉ vì hội chứng này ‘cửa sổ ngữ cảnh’ chú ý – giống như một chiếc đèn pin chỉ có thể chiếu sáng những gì nó nhắm trực tiếp vào và một vài vật thể liền kề. hạn chế nghiêm trọng khả năng trò chuyện đa vòng và nhất quán, và làm giảm hiệu quả của LLM trong nhiều trường hợp đòi hỏi độ chính xác cao, chẳng hạn như y tế và luật pháp.

Đánh bại nó

Nghiên cứu mới từ Trung Quốc† đề xuất một phương pháp mới để làm cho một lượng văn bản lớn hơn phù hợp với tài nguyên hạn chế của GPU chạy mô hình AI – với kết quả đạt được sự cải thiện nén 20 lần trong khi vẫn giữ được độ chính xác 98%: Nén

Top, bộ nhớ của con người suy giảm ở cuối luồng dữ liệu; ở giữa: DeepSeek-OCR xuống cấp một cách ngẫu nhiên, không để lại điểm neo nào có thể hỗ trợ khắc phục sự cố; dưới cùng: phương pháp mới suy giảm theo cách tương tự như bộ nhớ của con người, hướng tới việc chấm dứt luồng dữ liệu, cung cấp các điểm đánh dấu có thể giúp cải thiện độ chính xác thông qua xử lý hậu kỳ. dồn ngữ cảnh tái tạo tài liệu dài hơn chính xác hơn các phương pháp nén quang học như DeepSeek-OCR, ngay cả khi thu nhỏ đầu vào lên đến bốn mươi lần. Trên một loạt chiều dài tài liệu và cài đặt nén, phương pháp mới duy trì độ trung thực gần như hoàn hảo, trong khi phương pháp quang học suy giảm mạnh dưới nén cao hơn. Nguồn Với độ chính xác93% – nằm trong các tham số có thể làm việc – nén văn bản thậm chí có thể đạt được : tỷ lần Ba lệ nén 40

Nén dồn ngữ cảnh tái tạo tài liệu dài hơn chính xác hơn các phương pháp nén quang học như DeepSeek-OCR, ngay cả khi thu nhỏ đầu vào lên đến bốn mươi lần. Trên một loạt chiều dài tài liệu và cài đặt nén, phương pháp mới duy trì độ trung thực gần như hoàn hảo trong khi phương pháp quang học suy giảm mạnh dưới nén cao hơn. cách tiếp cận để nén văn bản dài cho đầu vào mô hình ngôn ngữ: phương pháp cơ sở (trái) phân tích cú pháp văn bản trực tiếp, tạo ra số lượng token lớn; phương pháp quang học (giữa) chuyển đổi văn bản thành hình ảnh và trích xuất các bản nhúng trực quan bằng cách sử dụng Bộ chuyển đổi trực quan, đạt được nén 10 lần; và phương pháp C3 mới (phải) sử dụng mô hình ngôn ngữ nhỏ để nén văn bản thành chỉ 32 token tiềm ẩn, đạt được nén 40 lần mà không dựa

thành mã hóa hình ảnh. Điều này có nghĩa là toàn bộ một cuộc hội thoại dài có thể được nén lại và tái sử dụng (cập nhật) theo định kỳ vào các cuộc hội thoại sau đó, khi người nói thường quên các sự kiện trước đó và rơi vào hành vi ‘quên lãng’. Mặc dù đây là một <img class=”wp-image-226084″ src=”https://www.unite.ai/wp-content/uploads/2025/11/figure-5-1.jpg” alt=”Top, trí nhớ con người suy giảm ở cuối dòng dữ liệu; giữa: DeepSeek-OCR suy giảm ngẫu nhiên, không để lại neo nào có thể giúp sửa lỗi; dưới cùng: phương pháp mới suy giảm theo cách giống như bộ nhớ con người, về phía kết thúc dòng dữ liệu, cung cấp các dấu hiệu có thể giúp cải thiện độ chính xác thông qua xử lý sau. phương pháp nén mất mát , ngay cả cách mất mát xảy ra cũng hữu ích: dưới phương pháp mới, bộ nhớ suy giảm ở cuối câu,

Ba cách tiếp cận để nén văn bản dài cho đầu vào mô hình ngôn ngữ: phương pháp cơ sở (trái) phân tích cú pháp văn bản trực tiếp, tạo ra số lượng token lớn; phương pháp quang học (giữa) chuyển đổi văn bản thành hình ảnh và trích xuất các bản nhúng trực quan bằng cách sử dụng Bộ chuyển đổi trực quan, đạt được nén 10 lần; và phương pháp C3 mới (phải) sử dụng mô hình ngôn ngữ nhỏ để nén văn bản thành chỉ 32 token tiềm ẩn, đạt được nén 40 lần mà không dựa vào mã hóa trực quan. và không đồng đều trên toàn câu, như với kiến trúc DeepSeek-OCR đã truyền cảm hứng cho phương pháp mới; trên thực tế, các nhà nghiên cứu đằng sau bài báo mới cho rằng phương pháp của họ suy giảm theo cách giống như bộ nhớ con người, thay vì ngẫu nhiên: Điều này có nghĩa là có thể dự đoán dữ liệu được ghi nhớ có thể ít đáng tin cậy hơn, và sử dụng kiến thức này

để giải quyết vấn đề – có thể văn mang lại sự cải thiện lớn về khả năng nhớ lại và nhất quán trong cuộc trò chuyện, với độ chính xác 100% sau khi khắc phục. ở đâu Phương pháp mới được gọi là Bài báo cho biết: (C3), và được truyền cảm hứng từ cách DeepSeek-OCR nén sự kéo dài do bản dưới dạng hình ảnh, đạt được mức nén lớn. Tuy nhiên, bằng cách sử dụng hai mô hình ngôn ngữ (trung bình và lớn) để nén văn bản dài trực tiếp xuống Nén dồn ngữ cảnh bản nhúng tiềm ẩn , phương pháp mới cắt bỏ sử dụng hìnhảnh raster, do đó đạt được hiệu suất cải thiện. ‘Hiệu suất vượt trội của C3 có thể được quy cho thiết kế kiến trúc cơ bản của

nó. Phân tích DeepSeek-OCR cho rằng sự suy giảm hiệu suất của nó là do các yếu tố như “bố cục phức tạp” và “mờ hình ảnh ở độ phân giải thấp hơn” – các hạn chế vốn có của con đường quang học. Bài báo mới ‘ThESIS C3 của chúng tôi, bằng cách hoạt động

Trong lĩnh vực văn bản, nó hoàn toàn miễn nhiễm với các hiệu ứng trong lĩnh vực hình ảnh. Nó tránh được sự mất mát thông tin liên quan đến việc hiển thị văn bản thành pixel và sau đó mã hóa các pixel đó. Thay vào đó, nó tận dụng khả năng hiểu ngữ nghĩa mạnh mẽ của mô hình ngôn ngữ được huấn luyện trước để cô lập thông tin văn bản trực tiếp thành một biểu thức.

trực tiếp diễn tiềm ẩn hiệu quả.’ giả Nén dồn ngữ cảnh: Khám phá giới hạn trên của nén văn bảntitled , và đến từ hai tác†, những người dường như cũng đang cung cấp C3 như một kho lưu trữ mã nguồn mở trên GitHub.

Phương pháp

Để hiểu phương pháp mới, điều hữu ích là biết nhận dạng ký tự quang học (OCR) là gì, vì đây là nơi ý tưởng này bắt nguồn. OCR là một phương pháp thuật toán có từ những năm 1920 , mặc dù được phổ biến vào những năm 1990,nơi phát hiện mẫu cho phép một chương trình máy tính chuyển đổi văn bản raster (tức là văn bản trong hình ảnh, không thể chọn và chỉ tồn tại như nội dung nhiếp ảnh) thành văn bản có thể chỉnh sửa. Tác giả của DeepSeek-OCR đã phát hiện ra rằng văn bản có thể được nén nhiều hơn so với đường ống tiêu chuẩn bằng cách sử dụng OCR như một giai đoạn trung gian. Nói cách khác, thay vì nén văn bản chính nó, người ta có thể đạt được mật độ bản nhúng tiềm ẩn cao hơn (tức là nhiều thông tin được lưu trữ) bằng cách nén một phiên bản raster của văn bản đó : Từ bài báo phát hànhDeepSeek-OCR, một

Từ bài báo phát hành DeepSeek-OCR, một sơ đồ cho đường ống nén, bao gồm các bản vá raster 16x16 như thành phần OCR. Nguồn ( https://arxiv.org/pdf/2510.18234 ) sơ đồ cho đường ống nén, bao gồm các bản vá raster 16×16 như thành phần OCR. Nguồn Bài báo mới cho rằng các phương pháp quang học như DeepSeek-OCRCó thể hiểu sai nguồn gốc của lợi ích nén dữ liệu của chúng.Thay vì việc chuyển đổi từ văn bản sang hình ảnh là yếu tố chính, các tác giả lập luận rằng lợi ích chính đến từ việc chuyển đổi các token văn bản thành các embedding ngầm hiệu quả hơn. Để kiểm tra điều này, họ đã tạo ra một pipeline sử dụng hai mô hình ngônngữ: mô hình nhỏ hơn Qwen2.5 1.5B , hoạt động như bộ mã hóa, nén các đoạn văn bản dài thành một tập hợpnhỏ các token tiềm ẩn; và mô hình lớn hơn Qwen2.5 3B , hoạt động như bộ giải mã, tái tạo văn bản gốc từ các token đó: Trong hệthống C3 mới, mô hình Qwen2.5 1.5B nhỏ hơn nén một đầu vào dài thành một tập

Trong hệ thống C3 mới, mô hình Qwen2.5 1.5B nhỏ hơn nén một đầu vào dài thành một tập hợp token tiềm ẩn cố định, sử dụng các bản nhúng truy vấn có thể đào tạo. Các token này, cùng với một lời nhắc, được truyền đến mô hình Qwen2.5 3B lớn hơn, mô hình này tái tạo văn bản gốc. Kiến trúc này cho phép nhớ lại các chuỗi dài với độ trung thực cao bằng cách sử dụng chỉ một phần nhỏ của số lượng token ban đầu. hợp token tiềm ẩn cố định, sử dụng các bản nhúng truy vấn có thể đào tạo. Các token này, cùng với một lời nhắc, được truyền đến mô hình Qwen2.5 3B lớn hơn, mô hình này tái tạo văn bản gốc. Kiến trúc này cho phép nhớ lại các chuỗi dài với độ trung thực cao bằng cách sử dụng chỉ một phần nhỏ của số lượng token ban đầu. Để xử lý giai đoạn nén, các nhà nghiên cứu đã điều chỉnh mô hình Qwen2.5 1.5B đã được đào tạo trước

bằng cách giới thiệu : các lời nhắc trừu tượng hướng dẫn mô hình trong việc cô lập ngữ cảnh dài đến vào một biểu diễn sau khi nén, cáctiềm ẩn nhỏ hơn nhiều. bản nhúng truy vấn có thể đào tạo Thay vì sửa đổi kiến trúc, phương pháp này chỉ cho ăn văn bản dài và bản nhúng truy vấn cùng nhau như một đầu vào duy nhất. Cơ chế chú ý tự của mô hình Để đánh giá bao nhiêu thông tin đã tồn tại nhà nghiên cứu đã hướng dẫn mô hình Qwen2.5 3B giải mã để tái tạo đầu vào ban đầu bằng cách sử dụng chỉ các token tiềm ẩn, và lời nhắc treats các yếu tố này giống hệt, cho phép nó xuất ra một ngữ cảnh tiềm ẩn cố định mà không cần các lớp hoặc thay đổi thiết kế mới; và đầu ra này sau đó được chuyển đến mô hình lớn hơn để tái tạo. . Vì nhiệm vụ liên quan đến việc tái tạo chính xác, thay vì ‘lặp lại văn bản’tóm tắt hoặc chuyển đổi, bất kỳ sự khác biệt nào so với bản gốc có thể được truy tìm trực tiếp đến thông tin bị mất trong quá trình nén, cung cấp một thử nghiệm sạch và khách quan về độ trung thực trên toàn bộ đường ống mã hóa – giải mã.

Dữ liệu và Kiểm tra

Bài báo cho biết các tác giả đã biên soạn một tập dữ liệu OCR ban đầu, bao gồm một triệu trang được lấy từ internet. Không có chi tiết nào khác về nguồn gốc này, và các tác giả dường như cố ý mập mờ về điểm này. Mặc dù vậy, họ quan sát thấy rằng việc kỹ thuật dữ liệu và chăm sóc không cần thiết cho mục đích của họ, và họ tuyên bố rằng họ có thể đào tạo mô hình của mình một cách hiệu quả trên các mẫu ‘đa dạng về chiều dài’; và họ cho rằng điều này cho thấy kiến trúc của họ là mạnh mẽ (và theo suy luận, được tổng quáthóa tốt,tùy thuộc vào cài đặt đào tạo). Mô hình được đào tạo trên một cụm hiệu suất cao bao gồm tám GPU NVIDIA H800, mỗi GPU được trang bị 80GB VRAM, với tổng tài nguyên VRAM là 640GB. Mỗi GPU chứa kích thước batch là 2, đạt được kích thước batch toàn cầu là 256, khi tính đến 16 bước tích lũy đã lên lịch. Bộ tối ưu hóa là AdamW , trong tổng số 40.000 bước. Để kiểm tra hiệu quả của kiến trúc C3, các nhànghiên cứu đã theo dõi cùng một thiết lập đánh giá được sử dụng trong bài báo gốc DeepSeek-OCR, sử dụng Fox benchmark để đo lường nén và độ chính xác tái tạo trên một loạt chiều dài tài liệu. Văn bản tiếng Anh đã được chọn, với các đoạn văn bản từ 600 đến 1300 token, với việc phân tích cú pháp được thực hiện bằng cách sử dụng bộ phân tích cú pháp Qwen. Để cho phép so sánh công bằng, các mức nén tương đương từ (DeepSeek-OCR) đường cơ sở quang học đã được sử dụng, với 64 và 100 token tiềm ẩn. Để khám phá giới hạn của phương pháp, các thử nghiệm bổ sung đã được chạy bằng cách sử dụng chỉ 32 token tiềm ẩn. Trong mọi trường hợp, tái tạo được khởi tạo với hướng dẫn : ‘lặp lại văn bản: ‘ Kết quả từ thử nghiệm ban đầu. Độ chính xác tái tỷ lệ nén đượctạo và

Kết quả từ thử nghiệm ban đầu. Độ chính xác tái tạo và tỷ lệ nén được đo trên bảy phạm vi token bằng cách sử dụng 64 và 100 token tiềm ẩn, cho thấy hiệu suất vượt trội nhất quán của C3 so với DeepSeek-OCR, đặc biệt là ở các mức nén cao hơn. đo trên bảy phạm vi token bằng cách sử dụng 64 và 100 token tiềm ẩn, cho thấy hiệu suất vượt trội nhất quán của C3 so với DeepSeek-OCR, đặc biệt là ở các mức nén cao hơn. Thảo luận về kết quả ban đầu được hiển thị ở trên, bài

báo cho biết: Khi cả hai hệ thống được thử nghiệm trên các

mô hình nén trực tiếp văn bản sang tiềm ẩn của C3 vượt trội đáng kể so với phương pháp nén quang học trên tất cả các điều kiện được thử nghiệm, thiết lập một trạng thái mới về nén ngữ cảnh cao cấp.’ Trong thử nghiệm khó khăn nhất, toàn

tài liệu dài hơn, DeepSeek-OCR bắt đầu mất độ chính xác khi nén tăng, giảm xuống dưới 60% trong trường hợp cực đoan nhất. C3 xử lý mức nén tương tự với sự mất mát ít hơn nhiều, duy trì gần 98%, ngay cả khi đầu vào được thu nhỏ xuống một phần năm kích thước ban đầu. ‘Dữ liệu chứng minh một cách không thể tranh cãi rằng bộ văn bản được thu nhỏ xuống chỉ 32 token. Ngay cả khi đó, mô hình vẫn có thể khôi phục gần như tất cả nội dung gốc, giữ độ chính xác gần 99% trong nhiều trường hợp: Độ chính xác tái tạo và tỷ lệ nén ở 32 token tiềm ẩn, cho thấy

Độ chính xác tái tạo và tỷ lệ nén ở 32 token tiềm ẩn, cho thấy rằng ngay cả ở mức giảm cực đoan (lên đến gần 40 lần) độ chính xác vẫn trên 93%. rằng ngay cả ở mức giảm cực đoan (lên đến gần 40 lần) độ chính xác vẫn trên 93%. Ở cài đặt cực đoan nhất, nơi đầu vào được nén xuống gần một phần

bốn mươi kích thước ban đầu, nó vẫn nhớ lại hơn 93%. So với các phương pháp quang học trước đây, giảm xuống khoảng 60% độ chính xác ở mức nén thấp hơn một nửa. Các tác giả cho biết †† : ‘Những phát hiện này chứng minh một cách thuyết phục lợi thế của kiến trúcC3.Bằng cáchtránh

các nút thắt thông tin và các biểu hiện tiềm tàng trong phương thức hình ảnh (ví dụ: giới hạn độ phân giải hình ảnh, độ phức tạp bố cục), phương pháp của chúng tôi xử lý nén cực độ với tổn thất thông tin tối thiểu. Họ cũng kết luận rằng C3 có thể ‘Kết quả từ thử nghiệm

chúng tôi rằng nén trực tiếp văn bản sang tiềm ẩn là một mô hình cơ bản hiệu quả và mạnh mẽ hơn so với các phương pháp quang học của nó.’ ‘mở khóa các khả năng mới trong việc

nghiệm khó khăn này củng cố tuyên bố của xử lý toàn bộ sách, tài liệu pháp lý rộng lớn, hoặc các cơ sở mã lớn cho các nhiệm vụ như trả lời câu hỏi, tóm tắt và phân tích’.

Kết luận

Đây là một trong những bài báo rõ ràng và dễ tiếp cận nhất mà tôi đã gặp gần đây, với một ý tưởng lõi rõ ràng có thể chứng minh là một phương pháp tấn công bổ sung chống lại vấn đề ‘cửa sổ ngữ cảnh’. Nhiều người dùng LLM sẽ đã học cách ‘làm mới’ thông tin quan trọng hoặc hướng dẫn định kỳ trong suốt một cuộc trò chuyện dài, sau khi đã khám phá ra cách khắc phục sự cố một cách khó khăn rằng các mô hình như ChatGPT không thể giữ thông tin đó trong thời gian dài. Tiếp theo sau cách khắc phục trực giác này, ý tưởng trong bài báo mới là một phiên bản nén cao của một cuộc trò chuyện dài có thể được tái tiêm tự động vào cửa sổ ngữ cảnh của thể hiện LLM hiện tại, về cơ bản là ‘nhớ lại bằng proxy’. Trong một môi trường mà sự khan hiếm GPU đang dẫn đến giá tăng thậm chí trên bộ nhớ máy tính truyền thống (như DRAM, nơi nhiều tải trọng GPU trước đây hiện được offload để hỗ trợ các mô hình lớn hơn), dường như không có khả năng phần cứng chủ của AI sẽ trở nên rộng rãi hơn trong tương lai gần; do đó, các phương pháp sáng tạo như này, gần như là một sự chạy lại của sự tiến hóa của nén dữ liệu những năm 1990, có thể chứng minh là cần thiết để thúc đẩy hiệusuất. Quan trọng hơn, điều đó sẽ thật tuyệt nếu LLM có thể duy trì một cuộc trò chuyện nhất quán trong một giờ hoặc hơn và thực sự nhớ lại cuộc trò chuyện là về gì ngay từ đầu. * Hướng dẫn cài đặt CLI được cung cấp, nhưng tôi không thể dành thời gian để cố gắng cài đặt và không chắc chắn liệu kho lưu trữ có hoàn chỉnh hay không. † Hai tác giả được chỉ định là Fanfan Liu và Haibo Qiu. Theo

nghiên cứu thiếu thận trọng cho thấy, Qiu hiện là một nhà nghiên cứu tại công ty công nghệ Trung Quốc Meituan, và Liu là sinh viên cao học tại Viện Hàn lâm Khoa học Trung Quốc. Cả hai hiện không có bài báo đang xem xét trong lịch sử của họ. Nếu bất kỳ thuộc tính nào trong số này là không chính xác, vui lòng liên hệ với tôi qua hồ sơ của tôi. †† Mặc dù các tác giả tuân theo công thức bằng

cách  cung cấp các thử nghiệm định tính bổ sung, những thử nghiệm này không mang lại gì so với vòng thử nghiệm nén trước đó, và tôi đã không đề cập đến chúng ở đây. Được xuất bản lần đầu vào

thứ Sáu, ngày 21 tháng 11 năm 2025

Người viết về học máy, chuyên gia lĩnh vực tổng hợp hình ảnh con người. Cựu trưởng bộ phận nội dung nghiên cứu tại Metaphysic.ai, cho đến khi nó sáp nhập vào Brahma.ai của DNEG.
Trang web: martinanderson.ai
Liên hệ: martin@martinanderson.ai