Anderson’un Açısı

Adobe ve Meta, Bilgisayar Görme Araştırmalarında Kullanıcı Çalışmaları Suistimalini Eleştiriyor

Martin Anderson
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Source: 'Evacuated King's College London students at the University of Bristol in 1940' - https://www.hmoob.press/nn/Bristol_University#wiki-2
Öne çıkan noktalarBilgisayarlı görü alanında kitle kaynaklı kullanıcı çalışmaları, genellikle eleştirel…
Daha fazla göster
  • Bilgisayarlı görü alanında kitle kaynaklı kullanıcı çalışmaları, genellikle eleştirel düşünmek yerine istenen cevapları çıkarsayan çalışanlar tarafından manipüle edilir.
  • Hakemler, giderek artan bir şekilde kullanıcı çalışmalarını bir koltuk değneği olarak talep ederek, yazarları vasat makaleler için anlamsız değerlendirmeler üretmeye zorlamaktadır.
  • Araştırmacılar, hedef kullanıcıları doğal ortamlarında işe almalı ve çalışma sonuçlarında önyargıyı önlemek için çıktıları 'bizim yöntemimiz' olarak etiketlemekten kaçınmalıdır.

Adobe (ADBE ) ve Meta, Washington Üniversitesi ile birlikte, bilgisayar görme (CV) araştırmalarında kullanıcı çalışmalarının artan şekilde suistimal edildiğini ve kötüye kullanıldığını iddia ettikleri kapsamlı bir eleştiri yayınladılar.

Kullanıcı çalışmaları, bir zamanlar genellikle yerel halk veya kampüs çevresindeki bir veya daha fazla akademik kurumun öğrencileriyle sınırlıydı, ancak şimdi neredeyse tamamen online crowdsourcing platformlarına Amazon gibi Mechanical Turk (AMT) göç etti.

Geniş bir dizi şikayet arasında, yeni makale, araştırma projelerinin makale hakemleri tarafından çalışmalar üretmeye zorlandığını, genellikle çalışmaları kötü şekilde formüle ettiğini, mantıksal olarak projenin bu yaklaşımı desteklemediği çalışmalar sipariş ettiğini ve sorunu gerçekten düşünmek yerine istenen yanıtları tahmin eden sinik kitle çalışanları tarafından sıklıkla manipüle edildiğini savunuyor.

On beş sayfalık tez (başlığı Bilgisayar Grafikleri ve Görme Alanında Daha İyi Kullanıcı Çalışmaları) yeni makalenin merkezi bölümü, crowdsourced kullanıcı çalışmalarının aslında bilgisayar görme alt sektörlerinin ilerlemesini engelleyebileceği konusunda birçok başka eleştiri getiriyor.

Makale, kullanıcı çalışmalarına ilişkin çok daha geniş bir dizi sorunu ele alır, ancak en güçlü eleştirilerini, kullanıcı çalışmalarında çıktı değerlendirmesi (yani, crowdsourced insanların yeni görüntü sentezleme algoritmalarının çıktısı gibi şeyleri değerlendirmek için kullanıcı çalışmalarında ödenen) tüm sektörü olumsuz şekilde etkileyebileceği konusunda saklar.

Birkaç merkezi noktanın seçilimine bakalım.

Sensasyonel Yorumlar

Makale, bilgisayar görme sektöründe yayımlananlar için öneriler sunar ve ‘sonuçları dikkatli bir şekilde yorumlayın’ uyarısını içerir. Makale, 2021’de, bireylerin AI tarafından üretilen sanat eserlerini doğru bir şekilde tanımlayamadıklarını iddia eden bir yeni araştırma çalışması örneğini verir. Bu sonuçlar popüler basında geniş ölçüde çarpıtılmıştır.

Yeni makalede belirtilen 2021 çalışmasının daha yüksek profilli medya raporlarından biri. Burada, The Daily Mail'in kaynağı The Times (ödemeli duvar) Kaynaklar: Daily Mail (arşiv bağlantısı) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Yeni makalede belirtilen 2021 çalışmasının daha yüksek profilli medya raporlarından biri. Burada, The Daily Mail’in kaynağı The Times (ödemeli duvar). Kaynaklar: Daily Mail (arşiv bağlantısı) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Yazarlar şöyle diyor*:

‘[Bir] çalışmada psikoloji dergisinde, geleneksel sanat eserlerinin ve AI teknolojileri tarafından oluşturulan görüntüler web’den toplandı ve crowdworkers bu görüntülerin hangi kaynaktan geldiğini ayırt etmeleri istendi. Sonuçlardan, “bireylerin AI tarafından üretilen sanat eserlerini doğru bir şekilde tanımlayamadıkları” sonucuna varıldı, bu çok geniş bir sonuçtur ve deneylerden doğrudan çıkmaz.

‘Ayrıca, makale, hangi özel görüntü setlerinin toplandığını veya kullanıldığını bildirmez, bu iddiaları doğrulamak ve yeniden üretmek zor, eğer değilse imkansız.’

‘Daha endişe verici olan, popüler basının bu sonuçları AI’lerin insanlarla aynı düzeyde sanat yapabildiği iddiasıyla yanlış bir şekilde sunduğu.’

Crowdworkersın Hile Yapmasını Engelleme

Crowdsourced işçiler genellikle çabaları için fazla ödeme almazlar. Kariyer olanakları sınırlı olduğundan, ve en iyi kazanç potansiyelleri, yüksek hacimli görevleri tamamlamaktan geçer, birçokları, araştırma önerir, mevcut görevi hızlandırmak için her türlü ‘kısayolu’ almaya eğilimlidir.

Makale, crowdsourced işçilerin, makine öğrenimi sistemleri gibi, kullanıcı çalışmalarında araştırmacılar tarafından formüle edilen tekrarlayan desenleri öğreneceğini ve gerçekten organik bir yanıt üretmek yerine, ‘doğru’ veya ‘istenilen’ yanıtı çıkaracağını gözlemledi.

Bu amaçla, makale, crowdsourced işçilerin ‘geçerlilik denemeleri’ veya ‘gözcüleri’ olarak bilinen kontroller yapılmasını önerir – efektif olarak, bir testin sahte kısımları, işçinin dikkatli olup olmadığını, rastgele tıklayıp tıklayamadığını veya testlerden kendisi çıkarılan bir deseni takip edip etmediğini görmek için tasarlanmıştır.

Yazarlar şöyle diyor:

‘Örneğin, stilize edilmiş görüntülerin çiftlerinde, bir görüntü kasıtlı ve nesnel olarak düşük kaliteli bir sonuç olabilir. Analiz sırasında, önceden belirlenmiş bir sayıda kontrole başarısız olan katılımcıların verileri atılabilir, dikkatsiz veya tutarsız olduklarına varsayılarak.’

‘Bu kontroller çalışmanın içine rastgele yerleştirilmeli ve diğer denemelerle aynı görünmelidir; aksi takdirde, katılımcılar hangi denemelerin kontrol olduğunu çözebilir.’

Araştırmacıların Hile Yapmasını Engelleme

Araştırmacılar, kasıtlı veya kasıtsız olarak, bu tür ‘oyunlara’ ortak olabilirler; crowdworkers’a istedikleri seçimleri ‘sinyal’ vermeleri için birçok yol vardır.

Örneğin makale, profilleri “ideal” yanıtları vermeye elverişli kitle çalışanlarını seçmenin, daha az seçilmiş ve daha rastgele bir grupta doğrulanmayabilecek bir hipotezi görünüşte doğrulayabileceğini belirtiyor.

Sözdizimi de önemli bir endişe kaynağı:

‘Sözdizimi, yüksek düzeyli hedefleri yansıtmalıdır, örneğin “hangisi daha az artifact içerir?” yerine “hangisi yüz bölgesinde daha az renk hatası içerir?” Ayrıca, belirsiz görev sözdizimi, yorum için çok fazla şey bırakır, örneğin “hangisi daha iyidir?” estetik olarak daha hoş olduğu şeklinde anlaşılabilir, oysa amaç gerçekçiliği değerlendirmekti.’

Araştırmacılar, katılımcılara, önlerinde bulunan olası seçenekler arasından hangisinin yazarın yöntemi olduğunu, önceki bir yöntem veya rastgele bir örnek olmadığını, açık veya örtük olarak bildirmenin bir başka yolu.

Makale şöyle diyor*:

‘[Katılımcılar] araştırmacıların istediği yanıtları verebilir, bilinçli veya bilinçsiz olarak, bu da “iyi katılımcı etkisi” olarak bilinir. Çıktıları “bizim yöntemimiz” veya “mevcut yöntem” gibi adlarla etiketlemeyin. Katılımcılar güç ilişkilerinden (örneğin araştırma oturumunu yöneten araştırmacının konumundan) ve araştırmacıların kullandığı yönlendirici dilden etkilenebilir, örneğin “dün inşa ettiğim bu aracı nasıl buluyorsunuz?” Araştırmacılar ve katılımcıların ilişkisi de (örneğin, her ikisi de aynı laboratuvarda veya şirketin çalışanıysa) önyargılı olabilir.’

Kullanıcı çalışmasındaki bir görevin formatı da çalışmanın tarafsızlığını etkileyebilir. Yazarlar, bir yan yana sunumda, temel olanın her zaman solda (yani ‘görüntü A’) ve yeni algoritmanın çıktısının sağda olduğu durumlarda, çalışma katılımcıları, B’nin ‘en iyi’ seçim olduğuna dair bir çıkarım yapabilir, araştırmacıların umduğu sonucun artan varsayımına dayanarak.

‘Görüntülerin ekrandaki boyutu, birbirlerine olan mesafeleri gibi diğer sunum özellikleri, katılımcıların yanıtlarını etkileyebilir. Çalışmayı birkaç farklı ayar ile pilotlamak, bu potansiyel karıştırıcı faktörleri erken tespit etmeye yardımcı olabilir.’

Yanlış İnsanların Yanlış Ürün için

Yazarlar, makalede birkaç noktada, crowdsourced işçilerin, önceki onyıllarda araştırmacıların genellikle yerel olarak ve genellikle akademik kurumların öğrencileri arasında yardım istemeye zorlandıkları daha ‘genel’ bir kaynak olduğunu gözlemlediler.

Etkin katılım gereksinimi, işe alınan crowdworker’a test ettiği ürün karşısında şaşırmış veya etkilenmemiş kalmasına pek alan bırakmaz ve makale yazarları, araştırmacıların, bir potansiyel ürün veya hizmet geliştirmeden ve test etmeden önce hedef kullanıcılarını tanımlamalarını önerir – aksi takdirde, üretmesi zor, ancak kimsenin istemediği bir şey üretebilirler.

‘Gerçekten, bilgisayar grafikleri veya görme araştırmacılarının endüstri uygulayıcıları tarafından araştırmalarını benimsemeye çalıştıklarını, ancak araştırmaların hedef kullanıcıların ihtiyaçlarını karşılamadığını gördüğümüz çok oldu. Araştırmacılar, başlangıçta ihtiyaç bulma yapmazlarsa, geliştirdikleri aracın kullanıcılar için hiçbir ihtiyacı veya ilgisini karşılamadığını keşfedebilirler.’

‘Bu tür araçlar, kullanıcı çalışmaları sırasında kötü performans gösterebilir, çünkü kullanıcılar, teknolojinin işe yaramaz, alakasız veya beklenmedik sonuçlar ürettiğini düşünebilir.’

Makale, kullanıcıların bir ürünü gerçekten kullanma olasılığı yüksek olanların, kolay bulunmasalar da (veya, muhtemelen, ucuz olmasalar da) çalışmalara seçilmesi gerektiğini gözlemledi.

Kampüste işe alma uygulamasına geri dönmek yerine (ki bu belki de biraz geriye dönük bir hareket olurdu), yazarlar, araştırmacıların kullanıcıları gerçek kullanım ortamlarında bulmalarını ve ilgili topluluklarla etkileşime girdiklerini önerdi.

‘Örneğin, bir ilgili aktif online mesaj panosu veya sosyal medya topluluğu kullanılabilir. Topluluğun yalnızca bir üyesi ile bile görüşmek, kartopu örneklemesi ile benzer bireylere ağdaki bağlantılar sunabilir.’

Geribildirim İsteme

Makale, kullanıcı çalışmalarına katılanlardan nitel geri bildirim istemenin de önerildiğini, çünkü bu, araştırmacıların yanlış varsayımlarını ortaya çıkarabileceğini gözlemledi.

‘Bu, çalışmayı hatalarıyla birlikte debug etmeye yardımcı olabilir, ancak çıktı tarafından etkilenen kullanıcıların derecelendirmelerini etkileyen beklenmedik yönleri de ortaya çıkarabilir. Katılımcı, çıktı ile çok memnun değilse, gerçekçi olmaması, estetik olmaması, önyargılı olması veya başka bir nedenle mi?’

‘Nitel bilgiler olmadan, araştırmacı, algoritmayı daha gerçekçi hale getirmeye çalışabilir, ancak temel kullanıcı sorununu ele almaz.’

Makaledeki birçok öneri gibi, bu öneri de, araştırmacıların zaman ve para harcamasını gerektirir, bu kültür, hızlı ve pratik olarak zorunlu crowdsourced kullanıcı çalışmalarına doğru kaymaktadır ve genellikle oldukça ucuzdur ve makaledeki eleştirilere tabi olan bir çalışma kültürüne uygundur.

Aşırı Çalışılmış

Makale, kullanıcı çalışmalarının, ön baskı bilgisayar görme topluluğunda bir tür ‘minimum gereksinim’ haline geldiğini, hatta bir çalışma formüle edilemeyecek durumlarda (örneğin, hiçbir ‘benzer’ analizi yapılamayacak kadar yeni veya marjinal bir fikir ve hiçbir anlamlı sonuç üretemeyecek bir metriğe tabi olamayan) önerir.

Örneğin, yazarlar, bir ICLR 2022 makalesi için çevrimiçi olarak mevcut (24 Haziran 2022’de alınan arşiv görüntüsü; bağlantı doğrudan yeni makaleden alınmıştır)† peer incelemelerine atıfta bulunurlar:

‘İki inceleme, kısmen, kullanıcı çalışmaları eksikliği nedeniyle çok olumsuz puanlar verdi. Makale sonunda kabul edildi ve inceleme yapanları “kullanıcı çalışmaları”nı kötü inceleme bahanesi olarak kullandıkları ve kapı bekçiliği yaptıkları için azarlayan bir özet eşliğinde kabul edildi. Tam tartışma okunmaya değer.’

‘Son karar, makalenin, binlerce kullanıcıya (gizli inceleme için inceleme yapanlara açıklanmayan bilgi) yıllardır kullanımda olan bir yazılım kütüphanesini tanımladığını belirtti. Komite bu bilgiye sahip olmasaydı, bu kadar etkili bir sistemi anlatan makale reddedilir miydi?’

‘Ve, yazarlar, bir kullanıcı çalışması yapmak için ek çaba sarf etselerdi, anlamlı olur muydu ve inceleme yapanları ikna eder miydi?’

Yazarlar, inceleme yapanların ve editörlerin, gerçekten bir anlamı veya değeri olmasa da, makalelere ‘ağır değerlendirme gereksinimleri’ dayattıklarını gözlemlediler.

‘Ayrıca, yazarların ve inceleme yapanların, MTurk değerlendirmelerini, zor kararlar vermekten kaçınmak için bir dayanak olarak kullandıklarını gözlemledik. İnceleme yapanların yorumları gibi “İmgelerin hangisinin daha iyi olduğunu söyleyemiyorum, belki bir kullanıcı çalışması yardımcı olabilir” potansiyel olarak zararlıdır, yazarları, kağıdını iyileştirmeyecek ek çalışmaya yöneltir.’

Yazarlar, makaleyi, bilgisayar görme ve bilgisayar grafikleri topluluklarının, kullanıcı çalışmalarını isteme şeklini daha dikkatli bir şekilde düşünme çağrısıyla kapatırlar, bunun yerine, kullanıcı çalışması istemenin mekanik bir varsayılan uygulamaya dönüşmesine izin vermemelidir. En ilginç çalışmaların bazılarının en kazançlı veya verimli araştırma ve yayın süreçlerine uymadığı sınır durumları da dikkate alınmalıdır.
Yazarlar şöyle diyor:

‘[Eğer] kullanıcı çalışmalarını yürütmenin birincil amacı yeni bilgi üretmek yerine hakemleri memnun etmekse, böyle kullanıcı çalışmalarının faydası ve geçerliliği, yazarlar ve inceleme yapanlar tarafından sorgulanmalıdır. Çalışmalarda kullanıcı değerlendirmesi bulunmayan çalışmaları cezalandırmak, aceleyle yapılan, kötü yürütülen kullanıcı araştırmalarına yol açar.

‘Unutulmaması gereken bir ilke, “kötü kullanıcı araştırmaları kötü sonuçlara yol açar” ve böyle araştırmalar, inceleme yapanlar devam ederse devam edecektir.’

 

* Makalenin içindeki alıntıların ilgili hyperlinks’e dönüştürülmesi
† Vurgu, yazarların değil, benim.

İlk olarak 24 Haziran 2022’de yayımlandı.

Makine öğrenimi üzerine yazar, insan görüntüsü sentezi alanında uzman. Metaphysic.ai'nin DNEG'e ait Brahma.ai bünyesine katılmasına kadar araştırma içeriğinden sorumlu yönetici olarak görev yaptı.
Web Sitesi: martinanderson.ai
İletişim: martin@martinanderson.ai