Google Research Menghadirkan Deliberasi Manusia ke dalam Pengklasifikasi AI Subjektif

Pada 4 November 2026, Google Research memperkenalkan Agile Deliberation, sebuah kerangka interaktif untuk membangun pengklasifikasi gambar berdasarkan kategori subjektif, yang disertai kode sumber terbuka dan demo notebook. Dalam studi pengguna yang terdiri atas 18 sesi, para peneliti melaporkan bahwa hasil pengklasifikasi lebih baik dan upaya yang dibutuhkan lebih sedikit dibandingkan penyempurnaan prompt secara manual.

Kerangka ini menangani kategori yang batasannya bergantung pada penilaian pribadi, konteks budaya, atau kebijakan operasional, seperti makanan sehat, karya seni yang menginspirasi, dan gambar umpan klik yang menjanjikan imbalan menyesatkan. Gagasan utamanya adalah bahwa pengguna sering kali menemukan sendiri batas pengambilan keputusan mereka saat memeriksa contoh-contoh yang sulit. Alur kerja pelabelan konvensional menganggap batas tersebut sudah tetap sebelum anotasi dimulai, sehingga perubahan maksud baru terlihat dalam bentuk label yang tidak konsisten atau keputusan model yang sewenang-wenang.

Agile Deliberation mengubah definisi yang terus berkembang menjadi spesifikasi yang dapat dibaca manusia sekaligus prompt yang menggerakkan pengklasifikasi model bahasa-visual. Rancangannya didasarkan pada wawancara dengan lima pakar moderasi konten dan analisis kualitatif atas 20 definisi dari alur kerja profesional mereka. Analisis tersebut menunjukkan bahwa para pakar terlebih dahulu menetapkan cakupan konsep, lalu menyempurnakannya dengan menggunakan gambar-gambar yang berada di batas kategori.

Dua Tahap Deliberasi Konsep

Penetapan cakupan konsep membagi gagasan awal menjadi beberapa subkonsep positif dan negatif yang berpotensi digunakan. Misalnya, pengguna yang membangun pengklasifikasi makanan sehat dapat memasukkan salad dan mangkuk berisi biji-bijian, sekaligus mengecualikan makanan olahan atau bahan mentah yang belum disiapkan. Gambar representatif mendukung setiap pilihan, dan subkonsep yang tidak menggambarkan pola visual bermakna dapat dibuang sebelum pengklasifikasi pertama dibuat.

Selanjutnya, iterasi konsep mencari gambar yang secara semantis berada di batas kategori, alih-alih sekadar memilih kasus ketika tingkat keyakinan model mendekati 0,5. Para peneliti berpendapat bahwa tingkat keyakinan model bahasa-visual mungkin tidak terkalibrasi dengan baik terhadap ambiguitas manusia: model bisa saja yakin terhadap suatu gambar yang dianggap sulit oleh seseorang. Contoh yang diambil dihapus duplikatnya dan dikelompokkan. Aturan bandit multi-lengan mengutamakan kelompok yang sebelumnya berhasil memperbaiki kesalahan atau menghasilkan masukan yang berguna.

Langkah untuk mengidentifikasi ambiguitas menyusun sekumpulan gambar berdasarkan satu persoalan yang dapat ditafsirkan, seperti saus kental, kandungan gula, atau ukuran porsi, serta menghasilkan penjelasan singkat tentang ambiguitas setiap gambar. Pengguna menandai gambar sebagai termasuk atau tidak termasuk dalam cakupan, dan dapat menambahkan alasan dalam bahasa alami. Sistem menghasilkan definisi alternatif, mengujinya terhadap semua label yang telah dikumpulkan hingga saat itu, memilih kandidat dengan skor F1 terbaik, dan memungkinkan penyuntingan manual.

Prototipe ini menggunakan Gemini 2.5 Pro untuk dekomposisi dan Gemini 2.5 Flash untuk klasifikasi, pembuatan kueri gambar di batas kategori, serta identifikasi ambiguitas. Model-model tersebut digunakan tanpa pelatihan tambahan atau penyesuaian halus, sementara antarmukanya dijalankan melalui notebook Colab interaktif.

Temuan Studi Langsung

Sembilan peserta tanpa pengalaman profesional dalam moderasi konten masing-masing menyelesaikan dua sesi berdurasi sekitar 90 menit: satu sesi menggunakan Agile Deliberation dan satu lagi menggunakan deliberasi manual, dengan urutan sistem yang diacak. Dua konsep yang diuji adalah makanan sehat dan moderasi umpan klik bayar-untuk-bermain. Setiap sesi mencakup sekitar 45 menit untuk menyusun definisi, memberi anotasi pada 200 gambar uji yang tidak disertakan dalam data pelatihan, mengisi survei, dan mengikuti wawancara selama 15 menit. Perbandingan tersebut juga mencakup klasifikasi zero-shot dan Modeling Collaborator, suatu tolok ukur dasar dekomposisi otomatis; peserta yang menggunakan metode manual dapat melihat prompt terperinci dari sistem tersebut.

Makalah tersebut melaporkan bahwa Agile Deliberation meningkatkan F1 sebesar 11% dibandingkan tolok ukur dasar zero-shot-nya untuk pay-to-play, sedangkan deliberasi manual meningkat 8% dibandingkan tolok ukur dasarnya sendiri. Untuk makanan sehat, Agile Deliberation menghasilkan peningkatan 10%, sementara deliberasi manual mengalami penurunan 3%. Peningkatan tersebut terutama berasal dari presisi yang lebih baik, disertai penurunan recall yang lebih kecil. Akurasi tidak digunakan karena definisi yang disesuaikan untuk masing-masing peserta menghasilkan distribusi label uji yang tidak seimbang.

Semua peserta lebih memilih Agile Deliberation daripada deliberasi manual. Peserta melaporkan rata-rata tingkat upaya sebesar 3,11 dengan Agile Deliberation, dibandingkan 4,67 dengan metode manual; rata-rata penilaian untuk perasaan tidak yakin, stres, atau kesal masing-masing sebesar 1,67 dan 3,00. Kedua perbedaan tersebut dinyatakan signifikan secara statistik pada p<.05. Wawancara memberikan penjelasan praktis: pengguna metode manual harus merancang sendiri pencarian contoh tandingan, dan beberapa peserta khawatir bahwa penyuntingan prompt untuk memperbaiki satu kesalahan akan merusak perilaku model di bagian lain.

Keterbatasan Studi dan Ketersediaan Kode

Evaluasi ini juga memiliki keterbatasan yang jelas. Para penulis mengingatkan bahwa jumlah peserta yang hanya sembilan membatasi kekuatan statistik dan kemampuan untuk menggeneralisasi temuan. Selain itu, setiap orang menggunakan kedua sistem untuk konsep yang berbeda guna mencegah definisi yang sudah terbentuk terbawa ke sesi kedua. Karena itu, pengalaman subjektif dapat dibandingkan di antara peserta yang sama, tetapi kinerja pengklasifikasi hanya dapat dibandingkan antar kelompok peserta. Studi ini tidak mengisolasi komponen individual atau mengevaluasi keseluruhan alur kerja pada model generatif lainnya.

Repositori sumber terbuka ini berisi basis kode dan dataset pendamping, serta notebook Demo.ipynb yang memandu pengguna langkah demi langkah untuk Jupyter atau Google Colab. Demonya membuat indeks pengambilan berbasis tetangga terdekat dari LAION400M. Penyiapan bawaan mengunduh dua shard dengan total sekitar 260 MB untuk memverifikasi alur kerja; penyiapan 100 shard yang didokumentasikan berukuran sekitar 13 GB. Proses pengambilan, pengunduhan gambar eksternal, dan pemanggilan model dapat memakan waktu beberapa detik hingga beberapa menit. Satu kunci API dapat terkena pembatasan laju, dan beberapa tahap mendukung penyimpanan tembolok di disk. Penafian di repositori menyatakan bahwa ini bukan produk Google yang didukung secara resmi.

Kontribusi praktis Agile Deliberation adalah menjadikan maksud subjektif sebagai bagian eksplisit yang dapat direvisi dalam pengembangan pengklasifikasi. Pengguna dapat memeriksa aturan positif dan negatif, menelaah kasus-kasus tepi yang mengungkap kekurangan, serta memberikan alasan untuk revisi. Bagi tim moderasi dan kurasi, hal ini menjadikan definisi kategori dan penilaian manusia yang membentuknya sebagai bagian dari proses pengembangan pengklasifikasi yang dapat diperiksa.