Sentetik Veri: Yüz Görüntülerinde Irksal Dönüşüm için Önyargıları Gidermek

UCLA araştırmacıları, tıbbi makine öğrenimi sistemlerini eğitmek için kullanılan veri setlerindeki yüzlerin apparent ırkını değiştirmek için bir yöntem geliştirdiler. Bu, birçok ortak veri setinin çektiği ırksal önyargıları gidermek için bir girişimdir.

Yeni teknik yayınlandı ve fotogerçekçi ve fizyolojik olarak doğru sentetik video üretme kabiliyetine sahiptir. Bu, uzaktan sağlık teşhis ve izleme için yeni tanı sistemlerinin geliştirilmesine yardımcı olmaya yönelik bir çalışmadır. Sistem, uzaktan fotoplethysmography (rPPG) técninini geliştirmeyi amaçlıyor. Bu, yüz videolarını analiz ederek kan akışındaki hacimsel değişiklikleri tespit eden bir bilgisayar görme tekniğidir.

Kaynak: https://arxiv.org/pdf/2106.06007.pdf. Büyütmek için tıklayın.

Bu çalışma, önceki araştırmaların kodlarını kullanarak yayınlandı ve yüzlerin apparent ırkını değiştirmeyi amaçlıyor. Ancak, bu yeni uygulama, sadece görsel olarak ırkı değiştirmek yerine, orijinal test verisinde pulsatile sinyalleri korumayı amaçlıyor.

Irksal Dönüşüm için CNN’ler

Sistemdeki ilk kısım, Durham ırk transfer modelini kullanarak proxy hedef çerçeveler oluşturur. Bu, VGGFace2’de önceden eğitilmiştir ve Caucasian’dan Afrika’ya doğru ırksal özellikler taşır. Ancak, bu, kan akışının fizyolojik göstergelerini temsil eden renk ve ton değişikliklerini içermez.

Durham Üniversitesi’nin 2020 yılında yaptığı araştırmanın dönüşüm pipeline’ı, yeni UCLA araştırmasının bir parçası olarak kullanıldı. Kaynak: https://arxiv.org/pdf/2004.08945.pdf. Büyütmek için tıklayın.

İkinci bir ağ, PhysResNet (PRN) olarak adlandırılır ve rPPG bileşenini sağlar. PhysResNet, görsel görünümü ve kan akışının fizyolojik göstergelerini temsil eden renk değişikliklerini öğrenmek için eğitilir.

Alt sol, 2020 Durham araştırmasının sonuçları, PPG bilgisi içermiyor. Orta sol, ırksal dönüşüme dahil edilen PPG bilgileri. Büyütmek için tıklayın.

UCLA projesinin önerdiği mimari, diğer rPPG tekniklerine göre daha iyi sonuçlar verir, hatta cilt rengi artırması olmadan bile %31’lik bir iyileşme gösterir.

UCLA ağı, kan hacmi ve dağılım bilgilerini başarıyla korur. Büyütmek için tıklayın.

UCLA araştırmacıları, gelecekteki çalışmaların bu alanda ırksal önyargıları gidermek için daha geniş kapsamlı zorluklara girişmesini umuyorlar. Ayrıca, sistemlerin daha yüksek çözünürlüklü video çıkışı vermesini umuyorlar, çünkü mevcut sistem 80×80 piksel çözünürlüğe sahiptir.

Etnik olarak Çeşitli Veri Setlerinin Eksikliği

Ekonomik ve pratik koşullar, ırksal olarak çeşitli veri setlerinin oluşturulmasını engelleyen bir engel oluşturmuştur. Veri setleri genellikle yerel olarak oluşturulur ve birçok faktör, veri setlerindeki konuların sıklıkla beyaz ırka ait olmasını sağlar. Bu faktörler arasında, araştırma yapılan şehirlerdeki azınlık nüfusunun bileşimi ve diğer sosyoekonomik faktörler bulunur.

Koyu ciltli konuların daha fazla olduğu ülkelerde, veri toplamak için gerekli ekipman ve kaynaklar genellikle eksik olur.

Yerlilerin cilt tonu dünya haritası, Amerikan Fiziksel Antropoloji Dergisi’nden.

Şu anda, koyu ciltli konular, rPPG veri setlerinin ana içeriğinin %0, %5 ve %10’unu oluşturuyor.

Homojen Beyaz Veri

2019 yılında yayınlanan bir araştırmada bulundu ki, ABD hastanelerinde yaygın olarak kullanılan bir algoritma, beyaz konulara karşı nặng bir önyargıya sahiptir. Çalışma, siyah insanların özel bakım ve hastane kabulü için daha az başvuruda bulunduklarını gösterdi.

Aynı yıl, Malezya ve Avustralya’dan araştırmacılar buldu ki, ‘Kendi Irkı Önyargısı’ problemi, dünya çapında birçok bölgede, Asya’da da dahil olmak üzere veri setlerinin oluşturulmasında bir sorundur.

Ölçek ve Mimari ile İlgili Potansiyel Sınırlamalar

Veri setlerinin ırksal çeşitliliği sınırlayan bazı sınırlamalar etik değil, pratiktir. Veri setinin çeşitliliği ne kadar genişse, o kadar iyi genelleme sağlar, ancak her bir veri alt kümesindeki desenleri tanıma yeteneği azalır.

Bu, geniş uygulama alanına sahip ancak spesifik sonuçlar vermeyen modellere yol açabilir, çünkü veri boyutu, toplu işleme boyutu ve sınırlı donanım kaynakları gibi kısıtlamalar nedeniyle her bir alt küme için daha az eğitim zamanı, dikkat ve kaynak ayrılmış olur.

Öte yandan, girdi verilerini daha sınırlı özelliklere sahip bir küme ile sınırlamak, daha etkili ve granüler sonuçlar verebilir, ancak bu sonuçlar sadece sınırlı veri kümesine özgüdür ve geniş uygulama alanı olmaz.

PPG Simülasyonu için Sentetik Avatarlar

UCLA makalesi, Microsoft Araştırma’nın 2020 yılında yaptığı önceki çalışmalara da atıfta bulunur. Bu çalışmada, 3D görüntü sentezi kullanarak PPG bilgilerini içeren yüz videoları oluşturmak için ırksal olarak esnek sentetik avatarlar kullanılmıştır.

Microsoft araştırması tarafından oluşturulan sentetik avatarlar, PPG bilgilerini içeren ışın izleme görüntüleri ile. Kaynak: https://arxiv.org/pdf/2010.12949.pdf. Büyütmek için tıklayın.