Memori Aktif vs. Memori Persisten dalam AI: Cara AI Mengingat, Mengambil Kembali, dan Melupakan

Memori aktif adalah informasi yang tersedia bagi sistem AI untuk tugas yang sedang dikerjakannya. Memori persisten adalah informasi yang disimpan oleh aplikasi terkait agar dapat digunakan kembali nanti. Hubungan antara keduanya menentukan apakah asisten dapat melanjutkan proyek, menerapkan preferensi, mengoreksi asumsi yang sudah tidak berlaku, atau berhenti memunculkan kembali sesuatu yang seharusnya sudah dilupakan.

Bayangkan sebuah asisten membantu Anda menyusun laporan penelitian. Dalam satu percakapan, asisten dapat merujuk pada kerangka laporan, suntingan terbaru Anda, dan sumber yang baru saja Anda berikan. Jika Anda membuka percakapan terpisah seminggu kemudian, kesinambungan bergantung pada mekanisme yang berbeda: apakah aplikasi menyimpan informasi yang relevan, dapat menemukannya, dan memberikannya kembali kepada model.

Itulah sebabnya AI bisa tampak mengingat satu detail, tetapi melupakan detail lain dari percakapan yang sama. Mengingat melibatkan serangkaian operasi. Kegagalan dapat terjadi saat informasi dicatat, disimpan, dicari, dipilih, ditafsirkan, atau diperbarui.

Panduan ini mengulas rangkaian tersebut secara terperinci. Untuk taksonomi yang lebih luas tentang memori episodik, semantik, dan prosedural, baca pengantar kami tentang jenis memori agen AI. Fokus di sini adalah batas antara hal yang aktif saat ini dan hal yang dapat bertahan melampaui tugas yang sedang dikerjakan.

Apa Sebenarnya Arti Memori Aktif dan Memori Persisten?

Istilah-istilah ini menggambarkan pembedaan arsitektural yang berguna, tetapi keduanya bukan pasangan istilah yang distandardisasi secara universal. Antarmuka produk dan makalah penelitian menggunakan istilah “memori kerja”, “memori jangka pendek”, “konteks”, “state”, dan “memori jangka panjang” dengan makna yang saling tumpang tindih. Karena itu, penjelasan yang tepat perlu mendefinisikan istilah-istilahnya.

Dalam artikel ini, konteks aktif berarti informasi yang diberikan kepada model untuk menghasilkan respons saat ini: instruksi, pesan, keluaran alat yang dipilih, materi yang diambil kembali, dan masukan lain yang dapat diproses model. State tugas aktif memiliki cakupan lebih luas. Isinya dapat berupa rencana, daftar periksa, atau variabel yang dikelola aplikasi, tetapi belum dimasukkan ke dalam konteks model. Kami menggunakan istilah memori aktif sebagai sebutan umum yang praktis untuk kumpulan informasi kerja saat ini, sekaligus membedakan kedua hal tersebut bila diperlukan.

Memori persisten adalah informasi tersimpan yang tetap ada setelah respons atau sesi berakhir dan masih tersedia untuk digunakan kemudian. Informasi ini dapat berupa preferensi yang disimpan, catatan proyek, rekaman peristiwa, kolom basis data terstruktur, atau titik pemeriksaan yang memungkinkan tugas yang belum selesai dilanjutkan. Persistensi menggambarkan penyimpanan; hal ini tidak menjamin bahwa informasi tersebut akan dibagikan ke setiap percakapan.

Jadi, ada dua pertanyaan terpisah: Apakah informasinya masih ada? dan Apakah model akan menerimanya saat dibutuhkan? Transkrip yang disimpan dapat menjawab pertanyaan pertama tanpa menjawab pertanyaan kedua.

Pengecualian Penting: State Jangka Pendek Dapat Disimpan

“Jangka pendek” tidak selalu berarti “hanya disimpan dalam RAM yang volatil”. State kerja percakapan dapat disimpan sebagai titik pemeriksaan di basis data dan dilanjutkan setelah terjadi gangguan. Sebagai contoh, dokumentasi memori LangChain membedakan state yang cakupannya terbatas pada utas dan disimpan melalui titik pemeriksaan dari memori jangka panjang yang ditata dalam ruang nama terpisah.

Bayangkan agen dukungan yang berhenti sementara menunggu pelanggan mengunggah tanda terima. Titik pemeriksaan yang disimpannya terkait dengan kasus dukungan tersebut. Titik pemeriksaan itu tersimpan secara persisten, tetapi tidak semestinya otomatis menjadi fakta umum tentang pelanggan atau muncul dalam permintaan yang tidak terkait.

Cara yang berguna untuk mengevaluasi fitur memori apa pun adalah dengan menanyakan tiga dimensinya: jangka waktu penyimpanan, cakupan, dan ketersediaannya bagi panggilan model saat ini. Label seperti “jangka panjang” tidak sepenuhnya menjawab satu pun dari pertanyaan tersebut.

Sekilas tentang Memori Aktif vs. Memori Persisten

Fakta yang sama dapat muncul di kedua kolom. Preferensi proyek yang disimpan bersifat persisten; salinannya yang dimasukkan ke dalam prompt hari ini bersifat aktif. Menghapus salinan itu dari prompt belum tentu menghapus versi asli yang tersimpan.

Apa yang Terjadi Selama Satu Respons AI?

Dalam aplikasi model bahasa pada umumnya, perangkat lunak pendukung menyusun masukan, model menghasilkan keluaran, lalu perangkat lunak menentukan langkah selanjutnya. Masukan dapat mencakup percakapan yang terlihat, tetapi juga dapat berisi instruksi sistem, deskripsi alat, catatan yang diambil, dan informasi yang tidak dilihat pengguna dalam transkrip obrolan.

Konteks yang telah disusun ini merupakan bukti langsung bagi model. Jika pesan sebelumnya tidak lagi disertakan, model tidak dapat mengingat kembali isinya secara persis dengan andal hanya karena aplikasi pernah menampilkannya. Model mungkin menyimpulkan jawaban yang masuk akal dari petunjuk di sekitarnya, tetapi penyimpulan berbeda dari mengingat kembali.

Alat memperluas hal-hal yang dapat diakses sistem. Model mungkin meminta berkas proyek, menerima isinya, lalu menggunakan isi tersebut dalam respons berikutnya. Berkas itu sudah tersedia bagi aplikasi sebelum menjadi bukti aktif. Perbedaan ini menjelaskan mengapa agen dapat mengakses arsip besar tanpa harus membaca seluruh arsip setiap kali merespons.

Di dalam sistem, implementasi transformer juga mempertahankan status komputasi, termasuk tembolok yang digunakan untuk menghindari pengulangan pekerjaan. Mekanisme tersebut berguna untuk menghasilkan inferensi secara efisien, tetapi tidak boleh disamakan dengan catatan preferensi atau riwayat proyek pengguna yang dapat disunting dan dikelola dengan memperhatikan izin. Respons yang lebih cepat tidak membuktikan bahwa memori personal telah dibuat.

Mengapa Jendela Konteks yang Lebih Besar Tidak Menyelesaikan Masalah Memori

Jendela konteks yang lebih besar memungkinkan aplikasi memberikan lebih banyak materi sekaligus. Hal ini dapat berguna ketika jawaban bergantung pada hubungan antara bagian-bagian dalam dokumen panjang atau beberapa sumber terkait. Namun, jendela yang lebih besar tidak menentukan materi mana yang layak dipertahankan, versi mana yang menjadi acuan, atau apakah pengguna boleh mengaksesnya.

Memasukkan informasi ke dalam jendela konteks juga tidak menjamin model akan menggunakannya dengan benar. Studi Tersesat di Tengah menunjukkan bahwa performa model yang diuji dapat berbeda-beda, bergantung pada letak bukti yang relevan dalam masukan panjang. Hasil ini mengingatkan kita untuk mengevaluasi penggunaan konteks secara efektif, alih-alih menganggap kapasitas yang diiklankan menjamin kemampuan mengingat kembali; hasil tersebut bukan prediksi performa pasti untuk setiap model yang lebih baru.

Misalkan arsip proyek berisi empat puluh diskusi tentang tanggal peluncuran. Tiga puluh sembilan diskusi menyebutkan tanggal semula, sedangkan perubahan terakhir yang disetujui menggeser tanggal tersebut. Memberikan seluruh empat puluh diskusi menimbulkan masalah dalam membaca dan menentukan informasi yang menjadi acuan. Catatan status terkini yang dikelola dengan cermat dan ditautkan ke perubahan yang disetujui dapat mempermudah penetapan jawaban yang relevan.

Karena itu, konteks panjang dan pengambilan informasi secara selektif dapat saling melengkapi. Pengambilan informasi menemukan kumpulan bukti yang berguna; konteks yang cukup besar memungkinkan model memeriksa bukti-bukti tersebut secara bersamaan. Pilihan desain bergantung pada tugas, ukuran materi sumber, dan konsekuensi jika suatu batasan terlewat.

Bagaimana Informasi Menjadi Memori Persisten

Memori yang tahan lama bermula dari keputusan untuk menyimpan informasi. Aplikasi dapat menyimpan instruksi eksplisit dari pengguna, menyimpulkan fakta kandidat dari percakapan, menyimpan suatu peristiwa, atau membuat ringkasan. Setiap cara menghasilkan jenis bukti yang berbeda.

“Untuk Proyek Cedar, gunakan satuan metrik” adalah preferensi proyek yang dinyatakan secara eksplisit. “Pengguna tampaknya lebih menyukai satuan metrik” adalah kesimpulan. “Tiga laporan Cedar terakhir menggunakan satuan metrik” adalah pengamatan. Catatan yang berguna mempertahankan perbedaan-perbedaan ini, alih-alih melebur semuanya menjadi klaim tanpa kualifikasi tentang setiap tugas mendatang.

Isi Catatan yang Berguna

Untuk asisten proyek hipotetis, sebuah catatan dapat mencakup pernyataan, identitas proyek, pengguna atau organisasi yang terkait dengannya, interaksi sebagai sumber, stempel waktu, status validitas, dan pengecualian apa pun. Kolom-kolom ini memungkinkan kita menelusuri asal informasi dan memastikan apakah informasi itu masih berlaku.

{
  "scope": "project:cedar",
  "statement": "Use metric units in project reports",
  "source_type": "explicit_user_instruction",
  "source_ref": "conversation_17/message_8",
  "status": "current",
  "exception": "Client edition may require dual units"
}

Ini adalah skema ilustratif, bukan standar universal. Tujuannya adalah menunjukkan mengapa suatu memori perlu memuat lebih dari sekadar satu kalimat. Rujukan sumber membantu verifikasi; cakupan mencegah generalisasi yang berlebihan; kolom status memungkinkan koreksi.

Penulisan Langsung vs. Pemrosesan Latar Belakang

Penulisan langsung dapat membuat koreksi eksplisit tersedia untuk permintaan berikutnya. Pemrosesan latar belakang dapat menelaah interaksi yang telah selesai, menggabungkan duplikat, atau menghasilkan ringkasan yang lebih matang. Dokumentasi LangChain menjelaskan kedua pendekatan beserta komprominya, termasuk pekerjaan tambahan yang dibebankan pada alur respons langsung.

Desain praktis mungkin menyimpan preferensi yang telah dikonfirmasi secara langsung, lalu memproses sesi riset yang panjang di kemudian waktu. Namun, sistem tetap harus menangani jeda di antara kedua langkah tersebut. Jika sistem memberi tahu pengguna bahwa preferensinya telah tersimpan sebelum penulisan berhasil, percakapan berikutnya dapat mengungkap kegagalan dalam kesinambungan.

Penulisan memori juga memerlukan kebijakan penanganan kegagalan. Jika penyimpanan untuk sementara tidak tersedia, aplikasi dapat memberi tahu bahwa penyimpanan belum selesai atau menyimpan operasi tertunda dengan penanda yang jelas. Menganggap upaya penulisan sebagai memori yang berhasil disimpan akan menyesatkan pengguna.

Cara Memori Persisten Kembali ke Konteks Aktif

Pengambilan kembali terdiri atas serangkaian keputusan tentang kelayakan, relevansi, dan bukti. Pertama, sistem perlu mengidentifikasi pengguna, penyewa, proyek, atau tugas yang catatannya boleh diakses. Selanjutnya, sistem menemukan catatan yang berpotensi relevan dan memilih catatan yang akan dimasukkan ke dalam konteks respons.

Metode pengambilan kembali sebaiknya disesuaikan dengan pertanyaannya. Pertanyaan “Berapa tenggat waktu Cedar yang telah disetujui?” mungkin paling tepat dijawab dengan mencari kolom proyek secara persis. Pertanyaan “Apakah kita pernah melihat kesalahan penerapan ini sebelumnya?” mungkin lebih terbantu oleh pencarian kata kunci dan kemiripan semantik pada insiden terdahulu. Basis data vektor adalah salah satu pilihan dalam proses tersebut, bukan keharusan untuk semua jenis memori.

Pencarian semantik sangat berguna ketika pilihan katanya berubah. Kueri tentang “menjaga agar laporan tetap ringkas” mungkin cocok dengan preferensi tersimpan berupa “ringkasan eksekutif singkat”. Namun, pernyataan terkait mungkin merujuk pada klien lain atau versi proyek yang sudah ditinggalkan. Kemiripan membantu menemukan kandidat, tetapi tidak membuktikan kebenaran atau memberi izin.

Pengambilan Kembali Memerlukan Hasil “Tidak Ditemukan”

Bayangkan pertanyaan, “Berapa batas pengeluaran yang saya setujui bulan lalu?” Jika tidak ada jumlah yang disetujui yang dapat ditemukan, respons yang membantu akan menjelaskan bukti yang belum tersedia dan meminta klarifikasi. Memberikan angka yang tampak masuk akal akan mengubah ketiadaan memori menjadi otorisasi yang direkayasa.

Karena itu, antarmuka memori harus membedakan kecocokan yang terkonfirmasi, kecocokan yang belum pasti, konflik, dan ketiadaan catatan pendukung. Setiap hasil dapat memicu tindakan yang berbeda: menjawab secara langsung, menyampaikan jawaban dengan catatan, meminta klarifikasi, atau menolak bertindak berdasarkan asumsi yang tidak didukung.

Setelah informasi ditemukan, penafsirannya tetap penting. Catatan yang menyebutkan “anggaran maksimum yang diajukan: $5,000, persetujuan masih menunggu” tidak boleh diubah menjadi “anggaran yang disetujui: $5,000”. Mempertahankan keterangan pembatas dalam representasi yang disimpan dan konteks yang diberikan sama pentingnya dengan menemukan dokumen yang tepat.

Contoh Praktis: Mengingat Proyek Seiring Waktu

Bayangkan seorang asisten membantu sebuah tim menyusun laporan riset Cedar. Contoh berikut bersifat hipotetis, tetapi menunjukkan beberapa pilihan desain memori yang umum.

Sesi Satu: Menetapkan Proyek

Pengguna meminta laporan, menetapkan satuan metrik, memberikan tiga sumber, dan mengatakan drafnya harus selesai pada hari Jumat. Konteks aktif mencakup instruksi tersebut dan kutipan sumber. Status tugas aktif mencatat bagian mana yang telah diselesaikan dan klaim mana yang masih perlu diverifikasi.

Catatan potensial untuk penyimpanan jangka panjang memiliki tujuan yang berbeda-beda. Preferensi satuan metrik terkait dengan proyek. Tenggat draf terkait dengan tonggak saat ini. Sumber yang diberikan harus disimpan dalam arsip bukti proyek. Klaim yang belum diverifikasi harus dimasukkan ke daftar riset tertunda, dengan ketidakpastiannya tetap dicatat.

Sesi Dua: Melanjutkan dengan Bukti yang Tepat

Tiga hari kemudian, pengguna meminta asisten menyelesaikan bagian metode. Asisten memerlukan kerangka terbaru, sumber yang relevan, status tugas saat ini, dan aturan pemformatan yang berlaku. Asisten belum tentu memerlukan setiap kalimat yang dibuang dari sesi curah gagasan sebelumnya.

Jika catatan titik pemeriksaan menyatakan bahwa tinjauan pustaka telah selesai, asisten tetap harus membuka dokumen yang tersimpan sebelum menyunting bagian lain di sekitarnya. “Selesai” adalah klaim tentang kemajuan; dokumen itu sendiri merupakan bukti tentang apa yang telah diselesaikan. Tautan permanen ke dokumen dapat lebih berguna daripada ringkasan yang berusaha memuat ulang seluruh isinya.

Sesi Tiga: Menerapkan Pengecualian Tanpa Menulis Ulang Semuanya

Pengguna meminta edisi untuk klien yang menggunakan satuan metrik dan imperial. Tugas saat ini harus menggunakan kedua sistem satuan. Apakah aturan umum proyek perlu diubah bergantung pada pilihan kata dan cakupan permintaan pengguna: “untuk edisi ini” cakupannya lebih sempit daripada “mulai sekarang, gunakan keduanya”.

Asisten yang cermat mencatat pengecualian khusus untuk edisi tersebut. Asisten yang menggeneralisasi secara berlebihan mengubah preferensi global dan menimbulkan kesalahan dalam laporan berikutnya. Ini tetap merupakan kegagalan memori meskipun setiap penulisan ke basis data dan permintaan pengambilan data berhasil.

Sesi Empat: Menyelesaikan Pekerjaan dan Menghapus Status Sementara

Setelah hasil diserahkan, tonggak tersebut harus ditandai sebagai selesai. Instruksi untuk “melanjutkan laporan” seharusnya mengarahkan asisten ke versi yang telah diserahkan dan mendorongnya menanyakan revisi apa yang diperlukan, bukan melanjutkan daftar periksa yang sudah tidak berlaku. Catatan kerja sementara dapat dihapus sesuai kebijakan proyek, sedangkan laporan akhir dan keputusan penting tetap tersedia.

Manfaat memori jangka panjang terlihat di sini: pengguna tidak perlu berulang kali memberikan penjelasan yang sama, dan kesinambungan kerja pun meningkat. Biayanya juga terlihat: aplikasi harus mengelola keterkaitan antara preferensi, pengecualian, dokumen, dan status tugas yang berubah.

Perangkuman, Pemadatan, dan Risiko Hilangnya Pengecualian

Interaksi yang panjang dapat mengumpulkan lebih banyak informasi daripada yang berguna untuk respons berikutnya. Pemadatan mengganti sebagian riwayat tersebut dengan representasi yang lebih ringkas. Ringkasan dapat mempertahankan tujuan, keputusan, pertanyaan yang belum terjawab, dan tautan ke pekerjaan yang mendasarinya.

Panduan Anthropic tentang rekayasa konteks menjelaskan pemadatan dan catatan yang disimpan di luar jendela konteks sebagai pendekatan untuk menjaga kesinambungan selama pekerjaan berlangsung dalam waktu lama. Kedua teknik ini mengubah materi yang tersedia untuk respons berikutnya, sehingga kualitasnya penting.

Kompresi dilakukan secara selektif. Ringkasan seperti “Gunakan satuan metrik” lebih singkat daripada “Gunakan satuan metrik, kecuali untuk edisi klien yang memerlukan kedua sistem satuan.” Namun, ringkasan itu juga keliru untuk salah satu kebutuhan penting proyek. Pengecualian yang hilang dapat terbawa tanpa disadari ke ringkasan berikutnya dan menjadi sulit dilacak.

Untuk asisten Cedar, serah terima yang lebih baik akan mempertahankan aturan umum, pengecualiannya, bagian-bagian yang telah selesai, tugas verifikasi yang masih tersisa, dan rujukan ke berkas terbaru. Rincian pasti seperti jumlah yang disetujui atau pengenal harus tetap disimpan dalam catatan terstruktur atau dokumen sumber jika pembulatan dapat menimbulkan dampak buruk.

Ringkasan juga harus mempertahankan ketidakpastian. “Kami mempertimbangkan untuk menggunakan Survey B” tidak boleh berubah menjadi “Survey B telah dipilih”. Jika riwayat yang dipadatkan membuat keputusan sementara tampak final, sistem telah menciptakan ingatan palsu saat berupaya menghemat konteks.

Cara Memori AI Menangani Koreksi dan Konflik

Memori persisten menjadi kurang berguna jika tidak dapat diperbarui. Proyek berubah, preferensi berkembang, dan informasi terdahulu ternyata keliru. Menambahkan koreksi sebagai catatan lain tanpa keterangan apa pun dapat membuat sistem pengambilan informasi harus memilih di antara dua pernyataan yang bertentangan.

Pembaruan yang lebih berguna menjelaskan bukti baru itu menggantikan informasi yang mana. Jika pemilik proyek memindahkan tanggal peluncuran dari 15 November ke 29 November, catatan lama dapat ditandai sebagai sudah digantikan dan ditautkan ke keputusan baru. Pertanyaan tentang tenggat saat ini menggunakan versi baru; pertanyaan tentang rencana semula dapat merujuk ke versi historis.

Kebaruan informasi saja tidak dapat menyelesaikan semua konflik. Catatan draf terbaru mungkin kurang berwenang dibandingkan kebijakan lama yang telah disetujui. Pengguna mungkin berwenang mengubah preferensi pribadi, tetapi tidak berwenang mengubah aturan yang berlaku di seluruh organisasi. Kebijakan pembaruan harus mempertimbangkan jenis fakta dan kewenangan sumbernya.

Beberapa pertentangan sebaiknya dibiarkan belum terselesaikan sampai seseorang memberikan klarifikasi. Jika dua pemilik proyek memberikan tanggal yang tidak cocok tanpa ada keterangan tegas bahwa salah satunya menggantikan yang lain, asisten dapat menampilkan kedua sumber dan menanyakan mana yang harus dijadikan acuan. Memilih secara diam-diam catatan yang paling mirip atau paling baru menyembunyikan keputusan yang mungkin bukan wewenang sistem untuk mengambilnya.

Apa Arti AI Melupakan Sesuatu?

Melupakan bukanlah satu sakelar tunggal. Sebuah produk dapat berhenti memasukkan fakta ke dalam prompt, mengecualikannya dari pencarian rutin, menandainya sebagai sudah kedaluwarsa, menghapus catatan memorinya, atau menghapus salinan lain yang masih tersimpan. Tindakan-tindakan ini memberikan dampak berbeda terhadap perilaku di masa mendatang dan data yang masih tersimpan.

Tidak Lagi Berada dalam Konteks Aktif

Sebuah fakta dapat hilang dari masukan model berikutnya karena pesan-pesan lama tidak disertakan atau diringkas. Hal ini mengurangi informasi yang dapat langsung digunakan oleh model. Transkrip asli atau catatan memori mungkin masih ada dan dapat muncul kembali melalui pengambilan informasi di kemudian waktu.

Membiarkan Informasi Kedaluwarsa atau Membatasi Pemanggilan Kembali

Tenggat yang telah kedaluwarsa dapat tetap tersimpan dalam arsip, tetapi dikecualikan dari kueri tentang pekerjaan saat ini. Pembatasan berguna jika penyimpanan riwayat memiliki tujuan, tetapi tidak seharusnya disebut sebagai penghapusan menyeluruh. Pencarian historis atau alur kerja administratif mungkin masih dapat mengakses catatan tersebut.

Menghapus Memori Tersimpan

Menghapus catatan permanen seharusnya juga mencakup representasi pengambilan informasi yang diturunkan darinya. Jika sebuah kalimat dihapus dari profil tetapi masih ada dalam ringkasan yang dapat ditelusuri, asisten mungkin akan menyimpulkan kembali preferensi yang sama di kemudian hari. Catatan sumber, embedding, ringkasan, tembolok, dan replika dapat memerlukan proses penghapusan tersendiri, bergantung pada arsitekturnya.

Cadangan dan log mungkin memiliki jadwal penyimpanannya sendiri. Produk seharusnya menjelaskan batasan tersebut dengan gamblang dan mencegah materi yang telah dihapus aktif kembali saat pemulihan. “Kami tidak akan lagi menggunakan memori ini” dan “semua salinan yang tersimpan telah dihapus” adalah dua janji yang berbeda.

Mengubah Bobot Model

Penghapusan memori eksternal tidak dengan sendirinya mengubah parameter model. Jika informasi digunakan dalam pelatihan, penanganannya pada model merupakan persoalan terpisah yang melibatkan proses pelatihan dan penerapan. Demikian pula, menghapus memori pribadi tidak menjamin bahwa model tidak akan pernah menghasilkan fakta serupa berdasarkan pengetahuan umum atau petunjuk yang diberikan dalam prompt baru.

Karena itu, uji penghapusan yang bermakna perlu menilai dua hal: apakah sistem masih menyimpan informasi tersebut dan apakah jalur pengambilan informasi yang biasa digunakan dapat memunculkannya kembali. Satu respons obrolan yang mengatakan “Saya lupa” tidak membuktikan keduanya.

Memori, RAG, Pelatihan, dan Caching: Batas-Batasnya

Generasi berbantuan pengambilan (RAG) menyajikan bukti eksternal kepada model selama proses generasi. Riset awal tentang RAG menggabungkan parameter model dengan indeks dokumen yang dapat ditelusuri. Sistem memori personal juga dapat menggunakan pengambilan informasi, tetapi juga memerlukan kebijakan untuk membuat, memperbarui, dan menghapus catatan interaksi.

Manual perusahaan dapat diambil tanpa menjadi memori tentang pengguna. Catatan interaksi sebelumnya dapat diambil dari berkas sederhana tanpa indeks vektor. Pengambilan informasi adalah sebuah mekanisme; tujuan dan siklus hidup catatan yang mendasarinya menentukan jenis sistem yang sedang dibangun.

Pelatihan dan penyetelan halus mengubah parameter model. Sebaliknya, memori eksternal biasa mengubah bukti yang disajikan kepada model. Asisten yang mengikuti preferensi yang baru disimpan dapat berperilaku berbeda meskipun bobot modelnya tidak berubah.

Penyimpanan cache prompt dan inferensi menggunakan kembali komputasi sebelumnya jika didukung. Keduanya dapat meningkatkan efisiensi, tetapi tidak dengan sendirinya memastikan apakah klaim yang diingat masih berlaku, telah diizinkan, atau sesuai untuk tugas mendatang. Lapisan-lapisan ini dapat berjalan berdampingan, dan pemecahan masalah mengharuskan kita mengidentifikasi lapisan yang bertanggung jawab atas perilaku yang diamati.

MemGPT merupakan contoh arsitektur berpengaruh yang mengeksplorasi pemindahan informasi antara konteks terbatas dan beberapa tingkat memori eksternal dengan menggunakan analogi sistem operasi. Pelajaran pentingnya adalah perlunya mengelola perpindahan informasi secara eksplisit, alih-alih berasumsi bahwa penyimpanan otomatis memperluas konteks langsung model tanpa batas.

Mengapa Memori Persisten Dapat Membuat Kesalahan Bertahan Lebih Lama

Respons yang keliru dapat memengaruhi satu interaksi. Memori yang keliru dapat memengaruhi banyak interaksi. Jika asisten menyimpulkan bahwa pengguna menyetujui suatu keputusan, menyimpan kesimpulan itu sebagai fakta, lalu kemudian mengutip catatan tersebut, kesalahan asisten sebelumnya dapat tampak seperti bukti independen.

Untuk asisten proyek kami, sumber asli harus tetap dapat dibedakan dari interpretasi model. Ringkasan keputusan dapat memudahkan penelusuran, tetapi keputusan yang telah disetujui itulah yang harus menjadi dasar setiap tindakan yang berdampak besar. Pengulangan dalam beberapa catatan yang dihasilkan tidak mengubah satu kesimpulan tanpa dukungan menjadi beberapa konfirmasi independen.

Memori persisten juga membuka jalan bagi kontaminasi instruksi. Dokumen yang tidak tepercaya mungkin memuat kalimat yang menyuruh asisten mengubah perilakunya di masa mendatang. Menyimpan kalimat itu sebagai aturan operasional akan memindahkan konten eksternal melintasi batas kewenangan. Aplikasi harus memperlakukan kalimat tersebut sesuai sumbernya, alih-alih mengangkatnya menjadi instruksi tepercaya hanya karena kalimat itu muncul di penyimpanan memori.

Lingkungan bersama menimbulkan batasan lain. Sebuah fakta mungkin relevan dengan pertanyaan, tetapi berkaitan dengan pelanggan atau proyek lain. Pemeriksaan akses harus membatasi pengambilan informasi sebelum informasi itu sampai ke model. Meminta model mengabaikan catatan yang tidak diizinkan setelah catatan tersebut telanjur diberikan merupakan rancangan yang lebih lemah.

Cara Menilai Apakah Memori Benar-Benar Berfungsi

Demonstrasi yang meyakinkan sering kali meminta asisten mengulangi satu preferensi yang tersimpan. Evaluasi yang serius menelusuri informasi yang berubah selama beberapa sesi dan memeriksa apakah memori meningkatkan keberhasilan penyelesaian tugas.

LongMemEval mengevaluasi ekstraksi informasi, penalaran lintas sesi, penalaran temporal, pembaruan pengetahuan, dan abstensi. Kategori-kategori tersebut menunjukkan bahwa kualitas memori jangka panjang mencakup lebih dari sekadar mengambil satu kalimat yang cocok. Hasil tolok ukur yang dipublikasikan harus ditafsirkan sesuai sistem dan pengaturan yang diuji, bukan dianggap menggambarkan semua produk yang tersedia saat ini.

Untuk alur kerja Cedar, evaluasi dapat dimulai dengan memperkenalkan sebuah preferensi, melanjutkan proyek, menambahkan pengecualian, mengubah tenggat, menghapus catatan, lalu mengajukan pertanyaan yang dirancang untuk mengungkap ingatan yang sudah usang atau tidak didukung. Model yang sama juga harus diuji tanpa fitur memori untuk memastikan apakah sistem tambahan tersebut meningkatkan hasil.

• Keakuratan pencatatan: Apakah sistem menyimpan pernyataan yang dimaksud beserta cakupan dan kualifikasinya?
• Kegunaan pengambilan informasi: Apakah sistem menemukan bukti yang diperlukan untuk tugas tersebut tanpa membanjiri konteks dengan riwayat yang tidak relevan?
• Penanganan pembaruan: Apakah koreksi menggantikan fakta yang berlaku saat ini sekaligus mempertahankan pembedaan historis yang berguna?
• Abstensi: Apakah asisten mengakui ketika tidak ada catatan yang mendukung?
• Isolasi: Apakah catatan tetap terbatas pada pengguna, penyewa, dan proyek yang tepat?
• Penghapusan: Apakah penghapusan atau kedaluwarsa mencegah informasi yang dimaksud diingat kembali di masa mendatang, termasuk melalui ringkasan turunan?
• Biaya operasional: Apakah peningkatan yang diperoleh sepadan dengan tambahan latensi, pemanggilan model, penyimpanan, dan pemeliharaan?

Kegagalan harus ditelusuri hingga ke tahap terjadinya. Jawaban yang tidak muncul mungkin disebabkan oleh penulisan yang gagal, cakupan pencarian yang keliru, keputusan pemeringkatan yang buruk, kualifikasi yang terlewat, atau model yang salah menafsirkan bukti yang sebenarnya baik. Memperbesar konteks tidak akan mengatasi semua kegagalan tersebut.

Memilih Desain Memori yang Tepat

Ringkasan dokumen yang hanya dibuat satu kali mungkin hanya memerlukan dokumen dan instruksi saat ini. Analisis yang terputus akan terbantu dengan titik pemeriksaan tugas. Asisten untuk proyek berulang mungkin memerlukan keputusan berversi dan referensi artefak. Asisten yang bekerja di banyak sesi pengguna mungkin memerlukan penyimpanan preferensi terpisah yang dapat disunting.

Mulailah dengan menentukan pertanyaan di masa mendatang yang harus dijawab oleh memori tersebut. “Apa yang masih belum selesai?” memerlukan status tugas. “Format apa yang diwajibkan klien ini?” memerlukan preferensi dengan cakupan tertentu. “Mengapa pendekatan ini kita tolak?” memerlukan catatan keputusan beserta bukti pendukung. Pertanyaan yang berbeda memerlukan representasi yang berbeda pula.

Utamakan sejumlah kecil catatan yang jelas dan dapat ditelusuri sumbernya daripada arsip tanpa penyaringan yang disajikan sebagai personalisasi. Pisahkan status terkini dari peristiwa masa lalu, pertahankan tautan ke artefak sumber, serta jadikan koreksi dan penghapusan bagian dari desain sejak awal.

Memori aktif memberi sistem AI gambaran masa kini yang koheren. Memori persisten dapat memberinya kesinambungan dari waktu ke waktu. Kualitas kesinambungan itu bergantung pada keputusan di antara keduanya: apa yang disimpan, apa yang dimunculkan kembali, versi mana yang berlaku, dan apa yang boleh dihapus.