Google Research, öznel yapay zekâ sınıflandırıcılarına insan değerlendirmesini taşıyor

Google Research, 4 Kasım 2026’da Agile Deliberation’ı, öznel kategorilere dayalı görüntü sınıflandırıcıları oluşturmaya yönelik etkileşimli bir çerçeve olarak tanıttı; çerçeveye açık kaynak kodu ve bir not defteri demosu da eşlik etti. Araştırmacılar, 18 oturumluk bir kullanıcı çalışmasında, elle istem iyileştirmeye kıyasla sınıflandırıcı sonuçlarının daha iyi, gereken çabanın ise daha düşük olduğunu bildirdi.

Çerçeve; sınırları kişisel yargılara, kültürel bağlama veya uygulama politikasına bağlı olan kategorileri ele alıyor: sağlıklı yiyecekler, ilham verici sanat eserleri ve yanıltıcı ödüller vadeden tıklama tuzağı görselleri. Temel varsayımı, kullanıcıların zor örnekleri incelerken kendi karar sınırlarını çoğu zaman keşfettiği. Geleneksel bir etiketleme iş akışı, bu sınırları etiketleme başlamadan önce sabit kabul ediyor; böylece niyetteki değişimler tutarsız etiketler veya keyfî model kararları olarak ortaya çıkıyor.

Agile Deliberation, gelişen tanımı hem insanların okuyabileceği bir spesifikasyona hem de görsel-dil modeli sınıflandırıcısını yönlendiren isteme dönüştürüyor. Tasarım, beş içerik moderasyonu uzmanıyla yapılan görüşmelere ve onların mesleki iş akışlarından alınan 20 tanımın nitel analizine dayanıyor. Bu çalışmalar, uzmanların önce kavramların kapsamını belirlediğini, ardından sınırda kalan görseller üzerinden tanımları geliştirdiğini gösterdi.

Kavramları değerlendirmenin iki aşaması

Kavramın kapsamını belirleme aşamasında, başlangıçtaki bir fikir olası olumlu ve olumsuz alt kavramlara ayrılıyor. Örneğin sağlıklı yiyecekler için bir sınıflandırıcı oluşturan kullanıcı, salataları ve tahıllı kaseleri kapsama alırken işlenmiş yiyecekleri veya çiğ, hazırlanmamış malzemeleri kapsam dışında bırakabiliyor. Her tercihi temsili görseller destekliyor; anlamlı görsel örüntüleri tanımlamayan alt kavramlar ise ilk sınıflandırıcı oluşturulmadan önce elenebiliyor.

Kavramı yineleme aşamasında, modelin güven düzeyinin 0.5’e yaklaştığı örnekleri seçmekle yetinmek yerine, anlamsal açıdan sınırda kalan görseller aranıyor. Araştırmacılar, görsel-dil modeli güven düzeyinin insanların yaşadığı belirsizlikle yeterince örtüşmeyebileceğini savunuyor: model, bir insanın değerlendirmekte zorlandığı bir görsel konusunda kendinden emin olabilir. Getirilen örneklerde yinelenenler ayıklanıyor ve örnekler kümeleniyor; çok kollu haydut kuralı, daha önce hataları düzeltmiş veya yararlı geri bildirim sağlamış kümelere öncelik veriyor.

Belirsizlik madenciliği adımı, bir grup görseli kremalı soslar, şeker oranı veya porsiyon büyüklüğü gibi yorumlanabilir tek bir konu çevresinde düzenliyor ve her görseldeki belirsizliği kısaca açıklıyor. Kullanıcılar görselleri kapsam içinde veya dışında olarak işaretleyebiliyor ve doğal dille gerekçeler ekleyebiliyor. Sistem alternatif tanımlar oluşturuyor, bunları o ana kadar toplanan tüm etiketlerle karşılaştırarak test ediyor, F1 puanı en yüksek adayı seçiyor ve tanımların elle düzenlenmesine olanak tanıyor.

Prototip, ayrıştırma için Gemini 2.5 Pro’yu; sınıflandırma, sınırda kalan örnekleri sorgulama ve belirsizlik madenciliği içinse Gemini 2.5 Flash’ı kullanıyor. Bu modeller ek eğitim veya ince ayar yapılmadan kullanıldı ve arayüz, etkileşimli bir Colab not defteri üzerinden çalışıyor.

Canlı çalışma ne gösterdi?

Profesyonel içerik moderasyonu deneyimi olmayan dokuz katılımcının her biri, biri Agile Deliberation ile diğeri elle değerlendirmeyle olmak üzere, yaklaşık 90 dakikalık iki oturumu tamamladı; kullanılacak sistemlerin sırası rastgele belirlendi. Test edilen iki kavram sağlıklı yiyecekler ve ücret karşılığı oynama içeren tıklama tuzağı içeriklerinin moderasyonuydu. Her oturumda tanım üzerinde yaklaşık 45 dakika çalışma, daha önce kullanılmamış 200 test görselini etiketleme, bir anket ve 15 dakikalık bir görüşme yer aldı. Karşılaştırmalara ayrıca sıfır örnekli sınıflandırma ve otomatik ayrıştırma için bir başlangıç yöntemi olan Modeling Collaborator da dâhil edildi; elle çalışan katılımcılar bu sistemin ayrıntılı istemlerine başvurabildi.

Makale, Agile Deliberation’ın ücret karşılığı oynama kategorisinde F1 puanını sıfır örnekli başlangıç yöntemine kıyasla %11 artırdığını, elle değerlendirmenin ise kendi başlangıç yöntemine kıyasla %8 artış sağladığını bildiriyor. Sağlıklı yiyecekler kategorisinde Agile Deliberation %10 iyileşme sağlarken elle değerlendirmede %3 düşüş görüldü. Kazançlar esas olarak kesinliğin artmasından kaynaklandı; buna daha küçük oranlarda duyarlılık düşüşleri eşlik etti. Katılımcıların kişiselleştirilmiş tanımları test etiketlerinin dengesiz dağılmasına yol açtığı için doğruluk ölçütü kullanılmadı.

Tüm katılımcılar Agile Deliberation’ı elle değerlendirmeye tercih etti. Katılımcıların bildirdiği ortalama çaba puanı Agile Deliberation’da 3.11, elle çalışmada ise 4.67 oldu; kendini güvensiz, stresli veya rahatsız hissetmeye ilişkin ortalama puanlar sırasıyla 1.67 ve 3.00 olarak kaydedildi. Her iki fark da p<.05 düzeyinde istatistiksel olarak anlamlı bulundu. Görüşmeler, bu sonuçlara pratik bir açıklama sundu: Elle çalışan kullanıcılar karşı örnekleri bulmak için arama sorguları üretmek zorundaydı ve bazıları, bir hatayı düzelten istem değişikliğinin başka yerlerdeki davranışı bozmasından kaygı duyuyordu.

Çalışmanın sınırlamaları ve kodun erişilebilirliği

Değerlendirmenin önemli sınırlamaları da var. Yazarlar, katılımcı sayısının dokuzla sınırlı olmasının istatistiksel gücü ve genellenebilirliği kısıtladığı konusunda uyarıyor. Ayrıca herkes, ikinci oturuma önceden oluşturulmuş bir tanımı taşımamak için iki sistemi farklı kavramlar üzerinde kullandı. Bu nedenle öznel deneyim katılımcıların kendi içlerinde karşılaştırılabilirken sınıflandırıcı performansı yalnızca katılımcı grupları arasında karşılaştırılabildi. Çalışmada bileşenler tek tek yalıtılarak incelenmedi ve tüm iş akışı başka üretken modellerle değerlendirilmedi.

Açık kaynaklı depo, ilgili kod tabanını ve veri kümesini, ayrıca Jupyter veya Google Colab’da kullanılabilecek adım adım açıklamalı Demo.ipynb not defterini içeriyor. Demo, LAION400M üzerinde bir en yakın komşu erişim dizini oluşturuyor. Varsayılan kurulum, işlem hattını doğrulamak için toplamda yaklaşık 260 MB’lık iki parçayı indiriyor; belgelerde açıklanan 100 parçalı kurulumun toplam boyutu ise yaklaşık 13 GB. Erişim, harici görsellerin indirilmesi ve model çağrıları saniyelerden dakikalara kadar sürebilir; tek bir API anahtarı hız sınırına tabi olabilir ve birkaç aşamada diskte önbelleğe alma desteklenir. Depodaki sorumluluk reddi beyanında bunun Google tarafından resmen desteklenen bir ürün olmadığı belirtiliyor.

Agile Deliberation’ın pratik katkısı, öznel niyeti sınıflandırıcı geliştirme sürecinin açıkça tanımlanabilen ve gözden geçirilebilen bir parçası hâline getirmesidir. Kullanıcılar olumlu ve olumsuz kuralları inceleyebilir, eksiklikleri ortaya çıkaran sınır durumlarını değerlendirebilir ve değişiklik önerileri için gerekçeler sunabilir. Bu sayede moderasyon ve içerik düzenleme ekipleri, kategori tanımını ve bu tanımı şekillendiren insan yargılarını sınıflandırıcının incelenebilir geliştirme sürecinin bir parçası hâline getirebilir.