Seberapa Baiknya Agen AI dalam Riset Nyata? Di Dalam Laporan Deep Research Bench

Karena model bahasa besar (LLM) berkembang pesat, janji mereka sebagai asisten riset yang kuat juga berkembang. Mereka tidak hanya menjawab pertanyaan faktual sederhana—mereka menangani tugas “riset mendalam”, yang melibatkan alasan multi-langkah, mengevaluasi informasi yang bertentangan, menyumber data dari seluruh web, dan mensintesisnya menjadi output yang koheren.

Kemampuan yang muncul ini sekarang dipasarkan dengan nama merek yang berbeda oleh laboratorium besar—OpenAI menyebutnya “Riset Mendalam”, Anthropic menyebutnya “Pemikiran Diperpanjang”, Gemini dari Google (GOOGL ) menawarkan fitur “Pencarian + Pro”, dan Perplexity melabelinya “Pencarian Pro” atau “Riset Mendalam”. Tapi seberapa efektifkah penawaran ini dalam praktek? Laporan baru dari FutureSearch, berjudul Deep Research Bench (DRB): Mengevaluasi Agen Riset Web, menawarkan evaluasi yang paling ketat hingga saat ini—dan hasilnya mengungkap kemampuan yang mengesankan serta kekurangan yang kritis.

Apa itu Deep Research Bench?

Dibuat oleh tim FutureSearch, Deep Research Bench adalah benchmark yang dibangun dengan hati-hati untuk menilai kinerja agen AI pada tugas riset berbasis web multi-langkah. Ini bukan pertanyaan sederhana dengan jawaban yang lurus—mereka mencerminkan tantangan yang kacau, terbuka, dihadapi oleh analis, pembuat kebijakan, dan peneliti di pengaturan dunia nyata.

Benchmark ini mencakup 89 tugas yang berbeda di 8 kategori seperti:

• Cari Nomor: misalnya “Berapa banyak pengembalian perangkat medis kelas II FDA?”
• Validasi Klaim: misalnya “Apakah ChatGPT 10x lebih intensif energi daripada Pencarian Google?”
• Kompilasi Dataset: misalnya “Tren pekerjaan untuk pengembang perangkat lunak AS dari 2019–2023”

Setiap jenis tugas dirancang dengan hati-hati dengan jawaban yang diverifikasi oleh manusia dan dievaluasi menggunakan dataset yang beku dari halaman web yang dikumpulkan, yang disebut RetroSearch. Ini memastikan konsistensi di seluruh evaluasi model, menghindari keadaan fluktuatif dari web langsung.

Arsitektur Agen: ReAct dan RetroSearch

Di jantung Deep Research Bench terletak arsitektur ReAct, singkatan dari “Alasan + Tindakan.” Metode ini meniru bagaimana seorang peneliti manusia mungkin menangani masalah—dengan berpikir melalui tugas, melakukan tindakan seperti melakukan pencarian web, mengamati hasilnya, dan kemudian memutuskan apakah untuk mengulangi atau menyimpulkan.

Sementara model sebelumnya mengikuti loop ini secara eksplisit, model “pemikiran” yang lebih baru sering mempermudah proses, mengintegrasikan alasan lebih fluid ke dalam tindakan mereka. Untuk memastikan konsistensi di seluruh evaluasi, DRB memperkenalkan RetroSearch—versi statis dari web yang dibangun khusus. Daripada mengandalkan internet langsung, yang berubah terus, agen mengakses arsip yang dikurasi dari halaman web yang dikumpulkan menggunakan alat seperti Serper, Playwright, dan ScraperAPI. Skala ini mengesankan: untuk tugas kompleks seperti “Mengumpulkan Bukti,” RetroSearch dapat memberikan akses ke lebih dari 189.000 halaman, semua membeku dalam waktu, memastikan lingkungan pengujian yang adil dan dapat diulang.

Agen AI Mana yang Berkinerja Terbaik?

Di antara semua pesaing, o3 dari OpenAI muncul sebagai pemain terbaik, mencetak 0,51 dari skor maksimum 1,0 di Deep Research Bench. Meskipun itu mungkin terdengar sederhana, penting untuk memahami kesulitan benchmark ini: karena ambiguitas dalam definisi tugas dan penilaian, bahkan agen yang sempurna kemungkinan akan mencapai skor sekitar 0,8—apa yang disebut peneliti sebagai “langit-langit kebisingan.” Dengan kata lain, bahkan model terbaik saat ini masih jatuh pendek dari peneliti manusia yang terinformasi dengan baik dan metodis.

Namun, daftar peringkat menawarkan wawasan yang mengungkap. o3 tidak hanya memimpin tetapi melakukannya dengan kecepatan dan konsistensi, menunjukkan kinerja yang kuat di hampir semua jenis tugas. Claude 3.7 Sonnet dari Anthropic mengikuti dari dekat, menunjukkan keluwesan dalam mode “pemikiran” dan “non-pemikiran”. Gemini 2.5 Pro, model unggulan Google, berdiri terpisah karena kemampuannya untuk menangani tugas yang memerlukan perencanaan terstruktur dan alasan langkah demi langkah. Sementara itu, DeepSeek-R1 terbuka memberikan kejutan yang menyenangkan—mengikuti GPT-4 Turbo dan mempersempit kesenjangan kinerja antara model terbuka dan tertutup.

Di seluruh papan, pola yang jelas muncul: model “pemikiran” yang lebih baru konsisten outperform lawan-lawan sebelumnya, dan model tertutup mempertahankan keunggulan yang signifikan atas alternatif berat terbuka.

Di Mana Agen Mengalami Kesusahan?

Membaca pola kegagalan yang disoroti dalam laporan Deep Research Bench terasa sangat familiar. Salah satu aspek yang paling frustrasi yang saya temui secara pribadi—terutama selama sesi riset atau pembuatan konten yang panjang—adalah ketika agen AI hanya melupakan apa yang kita lakukan. Ketika jendela konteks meregang, model sering mulai kehilangan benang: detail kunci memudar, tujuan menjadi kabur, dan tiba-tiba, respons terasa tidak terkait atau tidak terarah. Pada titik tertentu, saya telah belajar bahwa seringkali lebih baik untuk memotong kerugian dan memulai dari awal, bahkan jika itu berarti membuang semua yang telah dihasilkan sejauh ini.

Ketidakmampuan mengingat itu bukan hanya anekdot—itu adalah prediktor kegagalan terbesar dalam evaluasi Deep Research Bench. Tapi itu bukan satu-satunya masalah yang berulang. Laporan juga menyoroti bagaimana beberapa model jatuh ke dalam penggunaan alat yang berulang, menjalankan pencarian yang sama berulang kali seolah terjebak dalam loop. Yang lain menunjukkan kerajinan kueri yang buruk, mencocokkan kata kunci dengan malas alih-alih berpikir kritis tentang bagaimana mencari secara efektif. Dan terlalu sering, agen menjadi korban kesimpulan prematur—menyampaikan jawaban setengah jadi yang secara teknis memenuhi kotak tetapi jatuh pendek dari wawasan yang sebenarnya.

Bahkan di antara model terbaik, perbedaan itu mencolok. GPT-4 Turbo, misalnya, menunjukkan kecenderungan yang signifikan untuk melupakan langkah sebelumnya, sementara DeepSeek-R1 lebih mungkin untuk mengalami halusinasi atau menciptakan informasi yang salah yang terdengar masuk akal. Di seluruh papan, model sering gagal untuk memeriksa sumber silang atau memvalidasi temuan sebelum memfinalisasi output mereka. Bagi siapa saja yang telah mengandalkan AI untuk pekerjaan serius, masalah ini akan terasa sangat familiar—dan mereka menekankan seberapa jauh kita masih harus pergi dalam membangun agen yang dapat benar-benar berpikir dan melakukan riset seperti manusia.

Apa tentang Kinerja Berbasis Memori?

Menariknya, Deep Research Bench juga mengevaluasi apa yang disebut “agen tanpa alat”—model bahasa yang beroperasi tanpa akses ke alat eksternal, seperti pencarian web atau pengambilan dokumen. Agen-agen ini bergantung sepenuhnya pada data pelatihan internal dan memori, menghasilkan jawaban berdasarkan apa yang telah mereka pelajari selama pelatihan. Dalam praktek, ini berarti mereka tidak dapat mencari atau memverifikasi informasi—mereka menebak berdasarkan apa yang mereka “ingat”.

Tidak terduga, agen-agen tanpa alat ini berkinerja hampir sama baiknya dengan agen riset penuh pada beberapa tugas. Misalnya, pada tugas Validasi Klaim—di mana tujuannya adalah menilai kemungkinan pernyataan—mereka mencetak 0,61, hampir menyamai rata-rata 0,62 dari agen yang diaktifkan alat. Ini menunjukkan bahwa model seperti o3 dan Claude memiliki prioritas internal yang kuat dan dapat sering mengenali kebenaran klaim umum tanpa perlu mencari web.

Tapi pada tugas yang lebih menantang—seperti Turunan Nomor, yang memerlukan menyatukan nilai dari berbagai sumber, atau Mengumpulkan Bukti, yang bergantung pada menemukan dan mengevaluasi fakta yang beragam dalam konteks—model-model tanpa alat ini benar-benar hancur. Tanpa informasi segar atau kemampuan pencarian waktu nyata, mereka hanya kekurangan sarana untuk menghasilkan jawaban yang akurat atau komprehensif.

Kontras ini menyoroti nuansa penting: sementara LLM saat ini dapat mensimulasikan “mengetahui” banyak hal, riset mendalam bergantung tidak hanya pada pengingatan, tetapi pada alasan dengan informasi yang dapat diverifikasi dan mutakhir—sesuatu yang hanya agen yang ditingkatkan dengan alat yang dapat benar-benar disampaikan.

Pikiran Akhir

Laporan DRB membuat satu hal jelas: sementara agen AI terbaik saat ini dapat melampaui manusia rata-rata pada tugas yang sempit, mereka masih tertinggal di belakang peneliti umum yang terampil—terutama ketika datang ke perencanaan strategis, adaptasi mid-proses, dan alasan dengan nuansa.

Kesenjangan ini menjadi sangat jelas selama sesi panjang atau kompleks—sesuatu yang saya alami secara langsung, di mana agen secara bertahap kehilangan jejak tujuan tugas, menyebabkan keruntuhan yang frustrasi dalam koherensi dan utilitas.

Apa yang membuat Deep Research Bench sangat berharga adalah bahwa itu tidak hanya menguji pengetahuan tingkat permukaan—itu menyelidiki persimpangan penggunaan alat, memori, alasan, dan adaptasi, menawarkan analog yang lebih dekat dengan riset dunia nyata daripada benchmark seperti MMLU atau GSM8k.

Ketika LLM terus mengintegrasikan ke dalam pekerjaan pengetahuan serius, alat FutureSearch seperti DRB akan sangat penting untuk menilai tidak hanya apa yang sistem ini ketahui, tetapi bagaimana mereka benar-benar bekerja.

on of tool use, memory, reasoning, and adaptation, offering a closer analog to real-world research than benchmarks like MMLU or GSM8k. As LLMs continue to integrate into serious knowledge work, FutureSearch tools like DRB will be essential for assessing not just what these systems know, but how well they actually work.