Tantangan ‘Kategorisasi Ras’ untuk Sistem Sintesis Gambar Berbasis CLIP

Penelitian baru dari AS menemukan bahwa salah satu model visi komputer populer di balik seri DALL-E yang sangat dipuji, serta banyak model generasi dan klasifikasi gambar lainnya, menunjukkan kecenderungan yang terbukti menuju hipodescent – aturan kategorisasi ras (juga dikenal sebagai ‘one drop’ rule) yang mengategorikan seseorang dengan bahkan sedikit keturunan genetik ‘campuran’ (yaitu non-Kaukasus) sepenuhnya ke dalam klasifikasi ras ‘minoritas’.

Karena hipodescent telah membedakan beberapa bab terburuk dalam sejarah manusia, penulis makalah baru tersebut menyarankan bahwa kecenderungan tersebut dalam penelitian dan implementasi visi komputer harus mendapatkan perhatian lebih, tidak hanya karena kerangka pendukung yang dipertanyakan, yang diunduh hampir sejuta kali sebulan, bisa lebih lanjut menyebarkan dan mempromosikan bias rasial dalam kerangka kerja hilir.

Arsitektur yang dipelajari dalam karya baru ini adalah Contrastive Language Image Pretraining (CLIP), sebuah model pembelajaran mesin multimodal yang mempelajari asosiasi semantik dengan pelatihan pada pasangan gambar/keterangan yang diambil dari internet – sebuah pendekatan semi-terawasi yang mengurangi biaya pelabelan yang signifikan, tetapi yang kemungkinan akan mencerminkan bias orang-orang yang membuat keterangan.