Google Araştırmacıları AI Modellerinin Geri Kalmasına Neden Olan Alt Belirlenme Problemini Keşfetti

Google’ (GOOGL ) dan bir araştırma ekibi, AI modellerinin başarısızlıklarının ortak bir nedenini belirledi ve bu nedenin alt belirlenme sorunu olduğunu belirtti. Bu sorun, makine öğrenimi modellerinin laboratuvar ortamında optimal performans göstermelerine rağmen gerçek dünya uygulamalarında farklı performans göstermelerine neden oluyor.

Makine öğrenimi modelleri, gerçek dünya uygulamalarında görevlerini yerine getiremediklerinde sık sık başarısız oluyorlar. Bu uyumsuzluğun birçok nedeni var, ancak AI modellerinin başarısız olmasına neden olan en yaygın nedenlerden biri veri kaymasıdır. Veri kayması, makine öğrenimi modelinin geliştirilmesinde kullanılan veri türüyle modelin uygulandığı veri türü arasındaki temel farklılıktır. Örneğin, yüksek kaliteli görüntü verisi ile eğitilen bilgisayar görüşü modelleri, düşük kaliteli kameralarla alınan verilere uygulandıklarında zorluk yaşayacaktır.

MIT Technology Review’e göre, Google’dan 40 farklı araştırmacı, makine öğrenimi modellerinin performansının neden bu kadar değişken olduğunu belirledi. Sorun, “alt belirlenme” olarak bilinen istatistiksel bir kavramdır ve gözlemlenen olguların birçok olası nedeninin olduğu ancak modelin tümünü hesaba katmadığı durumları tanımlar. Çalışmanın lideri Alex D’Amour, bu sorunun birçok makine öğrenimi modelinde görüldüğünü ve “her yerde meydana geldiğini” belirtti.

Tipik olarak, bir makine öğrenimi modeli büyük miktarda veri ile eğitilir ve model bu veriden ilgili kalıpları çıkarır. Daha sonra model, daha önce görmediği örneklerle karşılaştırılarak, öğrendiği özelliklere dayanarak bu örneklerin doğasını tahmin etmesi istenir. Model belirli bir doğruluk seviyesine ulaştığında, eğitim genellikle tamamlanmış olarak kabul edilir.

Google araştırma ekibine göre, modellerin gerçekten eğitim dışı verilere genellemesini sağlamak için daha fazla şey yapılması gerekiyor. Klasik makine öğrenimi modeli eğitim yöntemi, tüm testleri geçen ancak küçük ve önemli olmayan farklılıkları olan çeşitli modeller üretir. Modeldeki farklı düğümlere farklı rastgele değerler atanabilir veya eğitim verisi farklı şekilde seçilebilir veya temsil edilebilir. Bu varyasyonlar küçük ve genellikle keyfi olup, eğitim sırasında modelin performansına büyük etkisi yoksa göz ardı edilebilir. Ancak bu küçük değişikliklerin etkisi birikebilir ve gerçek dünya performansında büyük farklılıklara neden olabilir.

Alt belirlenme sorunu, eğitim sürecinin iyi modeller üretmesine rağmen, aynı zamanda kötü bir model üretmesine de neden olabileceği ve bu farkın üretimden sonra keşfedilebileceği için sorunludur.

Araştırmacılar, alt belirlenmenin etkilerini değerlendirmek için çeşitli modelleri incelediler. Her model aynı eğitim süreciyle eğitildi ve sonra modellerin performansındaki farklılıkları vurgulamak için bir dizi teste tabi tutuldu. Bir örnekte, 50 farklı görüntü tanıma sistemi aynı eğitim süreciyle eğitildi, ancak başlangıçta rastgele atanan sinir ağı değerleri farklıydı. Stres testleri, orijinal veri kümesindeki resimlerin kontrast veya parlaklık ayarlamasıyla değiştirilmiş bir varyasyonu olan ImageNet-C kullanılarak gerçekleştirildi. Modeller ayrıca ObjectNet üzerinde test edildi, bu, her gün kullanılan nesnelerin farklı açılarda ve bağlamlarda görüntülendiği bir resim serisidir. Tüm 50 model, eğitim veri kümesinde yaklaşık aynı performansı göstermesine rağmen, stres testlerinde performansları büyük ölçüde değişti.

Araştırmacılar, iki farklı NLP sistemi ve çeşitli diğer bilgisayar görüşü modellerini eğittiğinde ve test ettiğinde benzer sonuçlar elde etti. Her durumda, modeller eğitim süreci aynı olmasına rağmen birbirlerinden büyük ölçüde farklılaştı.

D’Amour’a göre, makine öğrenimi araştırmacıları ve mühendisleri, modelleri serbest bırakmadan önce çok daha fazla stres testi yapmalılar. Bu, belirli görevler için gerçek dünya verisi kullanılarak özelleştirilmiş stres testleri gerektirdiği için zor olabilir, ancak bazı görevler ve bağlamlar için bu veri elde edilmesi zor olabilir. Alt belirlenme sorununa bir olası çözüm, aynı anda birçok model üretmek ve sonra modelleri bir dizi gerçek dünya görevinde test etmek ve tutarlı olarak en iyi sonuçları gösteren modeli seçmektir. Bu şekilde model geliştirmek zaman alıcı ve kaynak yoğun olabilir, ancak özellikle tıbbi bağlamlarda veya güvenlik öncelikli diğer alanlarda kullanılan AI modelleri için bu trade-off olabilir. D’Amour, MIT Technology Review’e şunları söyledi:

“Modellerimiz için tam olarak hangi gereksinimlere sahip olduğumuzu belirleme konusunda daha iyi olmamız gerekiyor. Çünkü genellikle modelin dünyada başarısız olmasının ardından bu gereksinimleri keşfediyoruz.”