Mengajar AI yang Mudah Lupa untuk ‘Mengingat itu’ Lebih Lama

Model bahasa sering tidak dapat mengingat awal percakapan. Metode kompresi teks baru dapat mengubah hal ini dan membuat sesi obrolan AI jauh menos mengesalkan.

Sistem AI percakapan seperti ChatGPT sering kehilangan jejak bagian awal percakapan, mengulangi diri, atau memberikan jawaban yang mengabaikan aturan yang telah disepakati sebelumnya.

Hal ini disebabkan oleh Model Bahasa Besar (LLM) yang memiliki kemampuan fokus yang terbatas, yang didefinisikan sebagai ‘jendela konteks’ perhatian – seperti senter yang hanya dapat menerangi apa yang ditujukan langsung, dan beberapa objek yang berdekatan.

Mengatasi kecenderungan ‘amnesia’ seperti ini, yang disebabkan oleh keterbatasan perhatian, adalah salah satu arah penelitian yang paling penting dalam model AI berbasis bahasa – terutama karena sindrom ini sangat membatasi kemungkinan percakapan multi-turn yang berguna dan konsisten, dan menghambat kegunaan LLM dalam berbagai konteks yang kritis, seperti kedokteran dan hukum.

Menghancurkan

Penelitian baru dari Cina^† mengusulkan metode baru untuk membuat jumlah teks yang signifikan lebih besar untuk masuk ke dalam sumber daya terbatas dari GPU yang menjalankan model AI – dengan hasil mencapai perbaikan kompresi 20x sambil mempertahankan akurasi 98%:

Kompresi Kasus Konteks (C3) merekonstruksi dokumen panjang dengan lebih akurat daripada metode kompresi optik seperti DeepSeek-OCR, bahkan ketika mengurangi input hingga empat puluh kali. Di seluruh rentang panjang dokumen dan pengaturan kompresi, metode baru mempertahankan fidelitas hampir sempurna, sementara pendekatan optik memburuk tajam di bawah kompresi yang lebih tinggi. Sumber

Dengan akurasi 93% – yang berada dalam parameter yang dapat digunakan – kompresi teks bahkan dapat mencapai 40x rasio kompresi:

Tiga pendekatan untuk mengompresi teks panjang untuk input model bahasa: metode baseline (kiri) menokenisasi teks secara langsung, menghasilkan jumlah token yang besar; rute optik (tengah) mengubah teks menjadi gambar dan mengekstrak embedding visual menggunakan Vision Transformer, mencapai kompresi 10x; dan metode C3 baru (kanan) menggunakan model bahasa kecil untuk mengompresi teks menjadi hanya 32 token laten, mencapai kompresi 40x tanpa mengandalkan enkoding visual.

Hal ini berarti bahwa keseluruhan percakapan yang panjang dapat dikompresi dan disuntikkan kembali (diperbarui) pada interval ke dalam konteks informasi latar belakang, nanti dalam obrolan – ketika LLM biasanya akan melupakan fakta-fakta sebelumnya dan tergelincir ke dalam perilaku ‘amnesia’.

Meskipun ini adalah metode kompresi lossy, bahkan cara kerja kehilangan informasi adalah berguna: di bawah metode baru, memori memburuk di akhir kalimat, dan tidak merata di seluruh kalimat, seperti pada arsitektur DeepSeek-OCR yang menginspirasi pendekatan baru; faktanya, peneliti di balik makalah baru ini menyarankan bahwa metode mereka memburuk dengan cara yang sama seperti memori manusia, bukan secara acak:

Atas, memori manusia memburuk di akhir aliran data; tengah: DeepSeek-OCR memburuk secara acak, meninggalkan tidak ada jangkar yang dapat membantu memperbaiki masalah; bawah: metode baru memburuk dengan cara yang sama seperti memori manusia, menuju akhir aliran data, menawarkan marker yang dapat membantu memperbaiki akurasi melalui pemrosesan pasca fakta.

Hal ini berarti bahwa satu dapat memprediksi di mana data yang diingat mungkin kurang dapat diandalkan, dan menggunakan pengetahuan ini untuk mengatasi masalah – potensial menawarkan perbaikan besar dalam mengingat percakapan dan koherensi, dengan akurasi 100% setelah perbaikan.

Pendekatan baru ini disebut Kompresi Kasus Konteks (C3), dan terinspirasi oleh cara DeepSeek-OCR mengompresi teks sebagai gambar, mencapai tingkat kompresi yang besar. Namun, dengan menggunakan dua model bahasa (medium dan besar) untuk mengompresi teks panjang secara langsung menjadi embedding laten, pendekatan baru memotong kehilangan informasi yang disebabkan oleh penggunaan raster gambar, sehingga mencapai kinerja yang lebih baik.

Makalah tersebut menyatakan:

‘Kinerja unggul C3 dapat dikaitkan dengan desain arsitektur dasarnya. Analisis DeepSeek-OCR menghipotesiskan bahwa penurunan kinerjanya disebabkan oleh faktor-faktor seperti “tata letak kompleks” dan “pemburukan gambar pada resolusi yang lebih rendah” – keterbatasan inheren jalur optik.

‘Paradigma C3 kami, dengan beroperasi langsung di domain teks, sepenuhnya kebal terhadap artefak domain visual ini. Ini menghindari kehilangan informasi yang terkait dengan rendering teks ke piksel dan kemudian mengkodekan piksel tersebut. Sebaliknya, ini menggunakan pemahaman semantik yang kuat dari model bahasa pra-terlatih untuk menyuling informasi teks langsung ke dalam representasi laten yang efisien.’

Makalah baru ini berjudul Kompresi Kasus Konteks: Menjelajahi Batas Atas Kompresi Teks, dan berasal dari dua penulis^†, yang tampaknya juga menawarkan C3 sebagai repositori sumber terbuka di GitHub.

Metode

Untuk memahami pendekatan baru, berguna untuk mengetahui apa itu pengenalan karakter optik (OCR), karena ini adalah tempat ide tersebut berasal.

OCR adalah metode algoritmik yang berasal dari 1920-an, meskipun populer pada 1990-an, di mana deteksi pola memungkinkan program komputer untuk mengubah teks raster (yaitu, teks di dalam gambar, yang tidak dapat dipilih dan hanya ada sebagai konten fotografi) menjadi teks yang dapat diedit.

Pencipta DeepSeek-OCR menemukan bahwa teks dapat dikompresi jauh lebih banyak daripada pipeline standar dengan menggunakan OCR sebagai tahap perantara. Dengan kata lain, bukan mengompresi teks itu sendiri, satu dapat mencapai kepadatan embedding laten yang lebih besar (yaitu, lebih banyak informasi yang disimpan) dengan mengompresi versi raster teks:

Dari makalah rilis DeepSeekOCR, skema untuk pipeline kompresi, termasuk patch raster 16×16 sebagai komponen OCR. Sumber

Penelitian baru ini menyatakan bahwa pendekatan optik seperti DeepSeek-OCR mungkin salah mengatributkan sumber keuntungan kompresi mereka. Sebaliknya, penulis menyatakan bahwa manfaat utama datang dari mengubah token teks yang panjang menjadi representasi laten yang lebih efisien.

Untuk menguji hal ini, mereka membuat pipeline yang menggunakan dua model bahasa: model Qwen2.5 1.5B yang lebih kecil, yang berfungsi sebagai encoder, mengompresi passage panjang menjadi set token laten kecil; dan model Qwen2.5 3B yang lebih besar, yang berfungsi sebagai decoder, merekonstruksi teks asli dari token tersebut:

Dalam sistem C3 baru, model Qwen2.5 1.5B yang lebih kecil mengompresi input panjang menjadi set token laten tetap, menggunakan embedding query yang dapat dilatih. Token ini, bersama dengan prompt, diberikan kepada model Qwen2.5 3B yang lebih besar, yang merekonstruksi teks asli. Arsitektur ini memungkinkan recall urutan panjang dengan fidelitas tinggi menggunakan hanya sebagian kecil dari jumlah token asli.

Untuk menangani tahap kompresi, peneliti menyesuaikan model Qwen2.5 1.5B yang pra-terlatih dengan memperkenalkan embedding query yang dapat dilatih: prompt abstrak yang memandu model dalam menyuling konteks masuk panjang menjadi representasi laten yang jauh lebih kecil.

Sebaliknya, metode ini hanya memberikan teks panjang dan embedding query bersama sebagai input tunggal. Mekanisme perhatian diri model ini memperlakukan elemen-elemen ini secara identik, memungkinkan model untuk mengeluarkan konteks laten tetap tanpa memerlukan lapisan atau perubahan desain baru; dan output ini kemudian diberikan kepada model yang lebih besar untuk merekonstruksi.

Untuk mengevaluasi seberapa banyak informasi yang selamat dari kompresi, peneliti memerintahkan decoder Qwen2.5 3B untuk merekonstruksi input asli menggunakan hanya token laten, dan prompt ‘ulangi teks’. Karena tugas ini melibatkan reproduksi yang tepat, bukan ringkasan atau paraphrase, setiap penyimpangan dari asli dapat langsung dilacak ke informasi yang hilang dalam kompresi, menawarkan tes yang jelas dan objektif tentang fidelitas di seluruh pipeline encode-decode.

Data dan Tes

Makalah tersebut menyatakan bahwa penulis mengompilasi dataset asli dari bahan OCR, yang berjumlah sejuta halaman yang diperoleh dari internet. Tidak ada detail lebih lanjut tentang sumber ini, dan penulis tampaknya sengaja samar tentang hal ini.

Meskipun demikian, mereka mengamati bahwa rekayasa data dan kurasi tidak diperlukan untuk tujuan mereka, dan bahwa mereka dapat melatih model mereka secara efektif pada sampel dengan panjang yang beragam; dan mereka menyatakan bahwa ini menunjukkan arsitektur mereka untuk menjadi tangguh (dan oleh inferensi, baik digenalisasi, tergantung pada pengaturan pelatihan).

Model ini dilatih pada klaster kinerja tinggi yang terdiri dari delapan GPU NVIDIA H800, masing-masing dilengkapi dengan 80GB VRAM, untuk total sumber daya VRAM sebesar 640GB. Setiap GPU dapat menampung ukuran batch 2, menghasilkan ukuran batch global sebesar 256, ketika mempertimbangkan 16 langkah akumulasi yang dijadwalkan. Optimizer yang digunakan adalah AdamW, selama total 40.000 langkah.

Untuk menguji efektivitas arsitektur C3, peneliti mengikuti pengaturan evaluasi yang sama seperti yang digunakan dalam makalah asli DeepSeek-OCR, menggunakan benchmark Fox untuk mengukur kompresi dan akurasi rekonstruksi di seluruh rentang panjang dokumen.

Teks bahasa Inggris dipilih, dengan passage yang berkisar dari 600 hingga 1300 token, dengan tokenisasi dilakukan menggunakan tokenizer Qwen.

Untuk memungkinkan perbandingan yang adil, tingkat kompresi yang setara dari baseline optik (DeepSeek-OCR) digunakan, dengan 64 dan 100 token laten. Untuk menjelajahi batas metode, tes tambahan dijalankan menggunakan hanya 32 token laten. Dalam setiap kasus, rekonstruksi dimulai dengan instruksi ‘ulangi teks:’:

Hasil dari tes awal. Presisi rekonstruksi dan rasio kompresi diukur di seluruh tujuh kisaran token menggunakan 64 dan 100 token laten, menunjukkan kinerja C3 yang konsisten lebih baik daripada DeepSeek-OCR, terutama pada tingkat kompresi yang lebih tinggi.

Membahas hasil awal yang divisualisasikan di atas, makalah tersebut menyatakan:

‘Data tersebut secara tidak ambigu menunjukkan bahwa paradigma kompresi langsung teks-ke-laten C3 secara signifikan lebih unggul daripada pendekatan kompresi optik di seluruh kondisi yang diuji, menetapkan standar baru dalam kompresi konteks yang tinggi.’

Ketika kedua sistem diuji pada dokumen yang lebih panjang, DeepSeek-OCR mulai kehilangan akurasi ketika kompresi meningkat, turun di bawah 60% dalam kasus yang paling ekstrem. C3 menangani tingkat kompresi yang sama dengan kehilangan yang jauh lebih sedikit, mempertahankan akurasi dekat dengan 98%, bahkan ketika input dikurangi menjadi seperduapuluh ukuran aslinya.

Dalam tes yang paling menantang, teks lengkap dikurangi menjadi hanya 32 token. Bahkan kemudian, model ini dapat memulihkan hampir semua konten asli, menjaga akurasi dekat dengan 99% dalam banyak kasus:

Akurasi rekonstruksi dan rasio kompresi pada 32 token laten, menunjukkan bahwa bahkan pada pengurangan yang ekstrem (hingga hampir 40x) presisi tetap di atas 93%.

Pada pengaturan yang paling ekstrem, di mana input dikompresi hingga hampir satu perempat ukuran aslinya, masih mengingat lebih dari 93%. Dibandingkan dengan metode optik sebelumnya, yang turun ke akurasi sekitar 60% pada setengah tingkat kompresi.

Penulis menyatakan^††:

‘Temuan ini secara konklusif menunjukkan keunggulan arsitektur C3. Dengan menghindari bottleneck informasi dan potensi artefak yang inheren dalam modalitas visual (misalnya, batasan resolusi gambar, kompleksitas tata letak), metode kami menangani kompresi ekstrem dengan kehilangan informasi yang minimal.

‘Hasil dari tes kasus yang agresif ini memperkuat klaim kami bahwa kompresi langsung teks-ke-laten adalah paradigma yang jauh lebih efisien dan kuat daripada lawanannya.’

Mereka juga menyimpulkan bahwa C3 dapat ‘membuka kemampuan baru dalam memproses buku lengkap, dokumen hukum yang luas, atau basis kode besar untuk tugas-tugas seperti menjawab pertanyaan, ringkasan, dan analisis’.

Kesimpulan

Ini adalah salah satu makalah yang paling jelas dan paling mudah diakses yang saya temukan baru-baru ini, dengan ide inti yang patut dipuji yang mungkin terbukti menjadi serangan tambahan terhadap ‘masalah jendela konteks’.

Banyak pengguna LLM telah belajar sekarang untuk ‘memperbarui’ informasi penting atau pedoman secara berkala sepanjang obrolan panjang, setelah menemukan dengan cara yang sulit bahwa seperti ChatGPT tidak dapat mempertahankan informasi tersebut untuk waktu yang lama. Mengikuti insting ini, ide yang diusulkan dalam makalah baru ini adalah bahwa versi kompresi yang sangat tinggi dari percakapan panjang dapat disuntikkan kembali (diperbarui) pada interval ke dalam jendela konteks instance LLM saat ini, secara efektif ‘mengingat dengan proksi’.

Dalam iklim di mana kelangkaan GPU menyebabkan lonjakan harga bahkan pada memori komputer tradisional (seperti DRAM, di mana banyak beban kerja GPU sebelumnya sekarang dipindahkan untuk mendukung model yang lebih besar), tampaknya tidak mungkin bahwa perangkat keras AI akan menjadi jauh lebih luas dalam waktu dekat; oleh karena itu, pendekatan inovatif seperti ini, yang hampir merupakan pengulangan nostalgia dari evolusi kompresi file pada 1990-an, mungkin terbukti diperlukan untuk mendorong kinerja ke depan.

Lebih penting lagi, akan sangat baik jika LLM dapat mempertahankan percakapan yang kohesif selama satu jam atau lebih, dan benar-benar mengingat apa yang dibicarakan pada awalnya.

* Petunjuk instalasi CLI diberikan, tetapi saya tidak dapat mengambil waktu untuk mencoba instalasi, dan tidak yakin apakah repositori tersebut lengkap.

^† Kedua penulis adalah Fanfan Liu dan Haibo Qiu. Seperti yang ditunjukkan oleh penelitian kasual, Qiu saat ini adalah peneliti di perusahaan teknologi Cina Meituan, dan Liu adalah mahasiswa S2 di Akademi Ilmu Pengetahuan Cina. Tidak ada dari mereka yang saat ini memiliki makalah yang dipertanyakan dalam daftar sejarah mereka. Jika salah satu atribusi ini tidak benar, silakan hubungi saya melalui profil saya.

^††  Penulis tetap pada formula dengan memberikan tes kualitatif tambahan, tetapi ini tidak menarik dibandingkan dengan putaran tes kompresi sebelumnya, dan saya tidak membahasnya di sini.

Makalah ini pertama kali diterbitkan pada hari Jumat, 21 November 2025