Benchmarked DeepMind Michelangelo: Mengungkap Batasan LLM Konteks Panjang

Saat Kecerdasan Buatan (AI) terus berkembang, kemampuan untuk memproses dan memahami urutan informasi yang panjang menjadi semakin penting. Sistem AI sekarang digunakan untuk tugas kompleks seperti menganalisis dokumen panjang, mengikuti percakapan yang diperpanjang, dan memproses sejumlah besar data. Namun, banyak model saat ini mengalami kesulitan dengan penalaran konteks panjang. Ketika input menjadi lebih panjang, mereka sering kehilangan jejak detail penting, yang mengarah pada hasil yang kurang akurat atau kohern.

Masalah ini sangat problematis di industri kesehatan, layanan hukum, dan keuangan, di mana alat AI harus menangani dokumen rinci atau diskusi panjang sambil memberikan respons yang akurat dan konteks-kesadaran. Tantangan umum adalah drift konteks, di mana model kehilangan pandangan informasi sebelumnya saat memproses input baru, yang menghasilkan hasil yang kurang relevan.

Untuk mengatasi keterbatasan ini, DeepMind mengembangkan Benchmark Michelangelo. Alat ini secara ketat menguji bagaimana model AI mengelola penalaran konteks panjang. Terinspirasi oleh seniman Michelangelo, yang terkenal karena mengungkap patung kompleks dari blok marmer, benchmark membantu menemukan bagaimana model AI dapat mengekstrak pola bermakna dari dataset besar. Dengan mengidentifikasi di mana model saat ini gagal, Benchmark Michelangelo memimpin perbaikan masa depan dalam kemampuan AI untuk bernalar atas konteks panjang.

Memahami Penalaran Konteks Panjang di AI

Penalaran konteks panjang adalah tentang kemampuan model AI untuk tetap kohern dan akurat atas urutan teks, kode, atau percakapan yang panjang. Model seperti GPT-4 dan PaLM-2 berkinerja baik dengan input pendek atau sedang. Namun, mereka memerlukan bantuan dengan konteks yang lebih panjang. Ketika panjang input meningkat, model ini sering kehilangan jejak detail penting dari bagian sebelumnya. Ini mengarah pada kesalahan dalam memahami, meringkas, atau membuat keputusan. Masalah ini dikenal sebagai keterbatasan jendela konteks. Kemampuan model untuk mempertahankan dan memproses informasi menurun seiring dengan pertumbuhan konteks.

Masalah ini signifikan dalam aplikasi dunia nyata. Misalnya, di layanan hukum, model AI menganalisis kontrak, studi kasus, atau peraturan yang dapat berjumlah ratusan halaman. Jika model ini tidak dapat secara efektif mempertahankan dan bernalar atas dokumen panjang tersebut, mereka mungkin melewatkan klausa penting atau menafsirkan istilah hukum secara salah. Ini dapat mengarah pada saran atau analisis yang tidak akurat. Di kesehatan, sistem AI perlu mensintesis catatan pasien, riwayat medis, dan rencana perawatan yang meliputi tahun atau bahkan dekade. Jika model tidak dapat secara akurat mengingat informasi kritis dari catatan sebelumnya, mereka mungkin merekomendasikan perawatan yang tidak tepat atau mendiagnosis pasien secara salah.

Meskipun upaya telah dilakukan untuk meningkatkan batas token model (seperti GPT-4 yang menangani hingga 32.000 token, sekitar 50 halaman teks), penalaran konteks panjang masih merupakan tantangan. Masalah jendela konteks membatasi jumlah input yang dapat ditangani model dan memengaruhi kemampuannya untuk mempertahankan pemahaman yang akurat sepanjang urutan input. Ini mengarah pada drift konteks, di mana model secara bertahap melupakan detail sebelumnya saat informasi baru diperkenalkan. Ini mengurangi kemampuannya untuk menghasilkan output yang kohern dan relevan.

Benchmark Michelangelo: Konsep dan Pendekatan

Benchmark Michelangelo mengatasi tantangan penalaran konteks panjang dengan menguji LLM pada tugas yang memerlukan mereka untuk mempertahankan dan memproses informasi atas urutan yang diperpanjang. Tidak seperti benchmark sebelumnya, yang berfokus pada tugas konteks pendek seperti penyelesaian kalimat atau pertanyaan sederhana, Benchmark Michelangelo menekankan tugas yang menantang model untuk bernalar atas urutan data panjang, sering kali termasuk gangguan atau informasi yang tidak relevan.

Benchmark Michelangelo menantang model AI menggunakan Kueri Struktur Laten (LSQ) framework. Metode ini memerlukan model untuk menemukan pola bermakna dalam dataset besar sambil menyaring informasi yang tidak relevan, serupa dengan bagaimana manusia menyaring data kompleks untuk fokus pada apa yang penting. Benchmark ini berfokus pada dua area utama: bahasa alami dan kode, memperkenalkan tugas yang menguji lebih dari sekadar pengambilan data.

Salah satu tugas penting adalah Tugas Daftar Laten. Dalam tugas ini, model diberikan urutan operasi daftar Python, seperti menambahkan, menghapus, atau mengurutkan elemen, dan kemudian harus menghasilkan daftar akhir yang benar. Untuk membuatnya lebih sulit, tugas ini termasuk operasi yang tidak relevan, seperti membalik daftar atau membatalkan langkah sebelumnya. Ini menguji kemampuan model untuk fokus pada operasi kritis, mensimulasikan bagaimana sistem AI harus menangani dataset besar dengan relevansi yang bervariasi.

Tugas lain yang kritis adalah Resolusi Referensi Berganda (MRCR). Tugas ini mengukur seberapa baik model dapat melacak referensi dalam percakapan panjang dengan topik yang tumpang tindih atau tidak jelas. Tantangan ini adalah untuk model untuk menghubungkan referensi yang dibuat kemudian dalam percakapan ke poin sebelumnya, bahkan ketika referensi tersebut tersembunyi di bawah detail yang tidak relevan. Tugas ini mencerminkan diskusi dunia nyata, di mana topik sering bergeser, dan AI harus secara akurat melacak dan menyelesaikan referensi untuk mempertahankan komunikasi yang kohern.

Selain itu, Michelangelo menampilkan Tugas IDK, yang menguji kemampuan model untuk mengenali ketika tidak memiliki cukup informasi untuk menjawab pertanyaan. Dalam tugas ini, model diberikan teks yang mungkin tidak mengandung informasi relevan untuk menjawab kueri tertentu. Tantangan ini adalah untuk model untuk mengidentifikasi kasus di mana respons yang benar adalah “Tidak tahu” daripada memberikan jawaban yang masuk akal tetapi salah. Tugas ini mencerminkan aspek kritis dari keandalan AI—mengakui ketidakpastian.

Melalui tugas seperti ini, Michelangelo melampaui pengambilan sederhana untuk menguji kemampuan model untuk bernalar, mensintesis, dan mengelola input konteks panjang. Ini memperkenalkan benchmark sintetis yang skalabel dan tidak bocor untuk penalaran konteks panjang, memberikan ukuran yang lebih presisi tentang keadaan saat ini dan potensi masa depan LLM.

Implikasi untuk Penelitian dan Pengembangan AI

Hasil dari Benchmark Michelangelo memiliki implikasi signifikan untuk pengembangan AI. Benchmark menunjukkan bahwa LLM saat ini memerlukan arsitektur yang lebih baik, terutama dalam mekanisme perhatian dan sistem memori. Saat ini, sebagian besar LLM bergantung pada mekanisme perhatian diri. Ini efektif untuk tugas pendek tetapi bergelut ketika konteks tumbuh lebih besar. Ini adalah tempat kita melihat masalah drift konteks, di mana model melupakan atau mencampur detail sebelumnya. Untuk memecahkan ini, peneliti menjelajahi model yang ditingkatkan memori. Model ini dapat menyimpan informasi penting dari bagian awal percakapan atau dokumen, memungkinkan AI untuk mengingat dan menggunakannya saat diperlukan.

Pendekatan lain yang menjanjikan adalah pemrosesan hierarkis. Metode ini memungkinkan AI untuk memecah input panjang menjadi bagian yang lebih kecil dan dapat dikelola, membantu model untuk fokus pada detail yang paling relevan pada setiap langkah. Dengan cara ini, model dapat menangani tugas kompleks dengan lebih baik tanpa terlalu terbebani oleh terlalu banyak informasi sekaligus.

Perbaikan penalaran konteks panjang akan memiliki dampak yang signifikan. Di kesehatan, ini bisa berarti analisis catatan pasien yang lebih baik, di mana AI dapat melacak riwayat pasien dari waktu ke waktu dan menawarkan rekomendasi perawatan yang lebih akurat. Di layanan hukum, kemajuan ini bisa mengarah pada sistem AI yang dapat menganalisis kontrak panjang atau hukum kasus dengan akurasi yang lebih tinggi, memberikan wawasan yang lebih andal bagi pengacara dan profesional hukum.

Namun, dengan kemajuan ini datang kekhawatiran etis yang kritis. Ketika AI menjadi lebih baik dalam mempertahankan dan bernalar atas konteks panjang, ada risiko mengungkapkan informasi sensitif atau pribadi. Ini adalah kekhawatiran yang nyata untuk industri seperti kesehatan dan layanan pelanggan, di mana kerahasiaan sangat penting.

Jika model AI mempertahankan terlalu banyak informasi dari interaksi sebelumnya, mereka mungkin secara tidak sengaja mengungkapkan detail pribadi dalam percakapan masa depan. Selain itu, ketika AI menjadi lebih baik dalam menghasilkan konten panjang yang meyakinkan, ada bahaya bahwa itu bisa digunakan untuk menciptakan informasi yang salah atau disinformasi yang lebih maju, yang lebih mempersulit tantangan sekitar regulasi AI.

Ringkasan

Benchmark Michelangelo telah mengungkap wawasan tentang bagaimana model AI mengelola tugas konteks panjang yang kompleks, menyoroti kekuatan dan keterbatasan mereka. Benchmark ini mendorong inovasi saat AI berkembang, mendorong arsitektur model yang lebih baik dan sistem memori yang ditingkatkan. Potensi untuk mengubah industri seperti kesehatan dan layanan hukum adalah menarik tetapi datang dengan tanggung jawab etis.

Kekhawatiran privasi, informasi yang salah, dan keadilan harus ditangani saat AI menjadi lebih mahir dalam menangani sejumlah besar informasi. Pertumbuhan AI harus tetap fokus pada memberikan manfaat bagi masyarakat dengan bijak dan bertanggung jawab.