Andrew Ng, Makine Öğreniminde Fazla Uyum Kültürünü Eleştiriyor

Son on yılda makine öğreniminin en etkili seslerinden biri olan Andrew Ng, şu anda sektörün veri yerine model mimarisindeki yeniliklere ne ölçüde vurgu yaptığına ve özellikle de "aşırı uyumlu" sonuçlara ne ölçüde izin verdiğine ilişkin endişelerini dile getiriyor. genelleştirilmiş çözümler veya ilerlemeler olarak tasvir edilebilir.

Bunlar, mevcut makine öğrenimi kültürüne yönelik, en yüksek yetkililerinden birinden kaynaklanan kapsamlı eleştirilerdir ve bir sektöre yönelik korkularla kuşatılmış bir sektördeki güven için çıkarımlara sahiptir. üçüncü çöküş altmış yıllık bir alanda yapay zeka gelişimine iş güveni.

Stanford Üniversitesi'nde profesör olan Ng, aynı zamanda deeplearning.ai'nin kurucularından biridir ve Mart ayında bir tezkere kuruluşun bir damıtılmış sitesinde son konuşma birkaç temel tavsiyeye kadar:

İlk olarak, araştırma topluluğu, veri temizlemenin makine öğrenimindeki zorlukların %80'ini oluşturduğundan şikayet etmeyi bırakmalı ve sağlam MLOps metodolojileri ve uygulamaları geliştirme işine başlamalıdır.

İkinci olarak, verileri bir makine öğrenimi modeline aşırı uydurarak elde edilebilecek "kolay kazançlardan" uzaklaşmalıdır, böylece bu modelde iyi performans gösterir, ancak genelleme yapamaz veya geniş çapta konuşlandırılabilir bir model üretemez.

Veri Mimarisi ve Küratörlüğün Zorluğunu Kabul Etmek

"Benim görüşüm", diye yazdı Ng. "işimizin yüzde 80'i veri hazırlığıysa, o zaman veri kalitesinin sağlanması bir makine öğrenimi ekibinin önemli işidir."

Şöyle devam etti:

"Mühendislerin bir veri kümesini iyileştirmenin en iyi yolunu bulma şanslarına güvenmek yerine, yüksek kaliteli veri kümeleri oluşturmak da dahil olmak üzere yapay zeka sistemleri oluşturmayı daha tekrarlanabilir ve sistematik hale getirmeye yardımcı olan MLOps araçları geliştirebileceğimizi umuyorum."

'MLOps, gelişmekte olan bir alandır ve farklı insanlar onu farklı şekilde tanımlar. Ancak MLOps ekiplerinin ve araçlarının en önemli düzenleme ilkesi, bir projenin tüm aşamalarında tutarlı ve yüksek kaliteli veri akışını sağlamak olmalıdır diye düşünüyorum. Bu, birçok projenin daha sorunsuz ilerlemesine yardımcı olacaktır.'

Zoom üzerinden canlı yayında konuşma Soru-Cevap oturumu Nisan ayının sonunda Ng, radyoloji için makine öğrenimi analiz sistemlerindeki uygulanabilirlik eksikliğini ele aldı:

"Stanford Hastanesi'nden veri topladığımızda, ardından aynı hastaneden alınan veriler üzerinde eğitim ve test yaptığımızda, gerçekten de [algoritmaların] belirli koşulları tespit etmede insan radyologlarla karşılaştırılabilir olduğunu gösteren makaleler yayınlayabiliyoruz.

“…[Ne zaman] aynı modeli, aynı yapay zeka sistemini sokağın aşağısındaki daha eski bir hastaneye, daha eski bir makineyle götürdüğünüzde ve teknisyen biraz farklı bir görüntüleme protokolü kullandığında, bu veriler sürüklenerek yapay zeka sisteminin performansının düşmesine neden olur. önemli ölçüde bozulur. Buna karşılık, herhangi bir insan radyolog eski hastaneye yürüyerek gidebilir ve gayet iyi yapabilir."

Yetersiz Spesifikasyon Bir Çözüm Değildir

Aşırı uyum, bir makine öğrenimi modeli, belirli bir veri kümesinin (veya verilerin biçimlendirilme biçiminin) tuhaflıklarını barındıracak şekilde özel olarak tasarlandığında meydana gelir. Bu, örneğin söz konusu veri kümesinden iyi sonuçlar üretecek ancak diğer veriler üzerinde 'genelleme yapmayacak' ağırlıkların belirlenmesini içerebilir.

Çoğu durumda, bu tür parametreler, eğitim kümesinin 'veri olmayan' yönlerinde, örneğin toplanan bilgilerin özel çözünürlüğünde veya diğer müteakip veri kümelerinde yeniden meydana gelmesi garanti edilmeyen diğer özel durumlarda tanımlanır.

İyi olsa da, veri mimarisinin veya model tasarımının kapsamını veya esnekliğini körü körüne genişleterek çözülebilecek bir sorun değil, gerçekte ihtiyaç duyulan şey geniş çapta uygulanabilir ve bir dizi veride iyi performans gösterecek oldukça belirgin özellikler olduğunda. ortamlar – daha çetrefilli bir meydan okuma.

Genel olarak, bu tür "yetersiz spesifikasyon", yalnızca Ng'nin son zamanlarda özetlediği, bir makine öğrenimi modelinin görünmeyen verilerde başarısız olduğu sorunlara yol açar. Bu durumdaki fark, modelin başarısız olmasının nedeni, veri veya veri biçimlendirmesinin aşırı donanımlı orijinal eğitim setinden farklı olması değil, modelin çok kırılgan değil, çok esnek olmasıdır.

2020 sonlarında kâğıt Yetersiz Belirtim, Modern Makine Öğreniminde Güvenilirlik İçin Zorluklar Sunuyor Bu uygulamaya karşı yoğun eleştiriler yöneltti ve diğer kurumların yanı sıra Google ve MIT'den en az kırk makine öğrenimi araştırmacısı ve bilim adamının adını taşıyordu.

Makale, 'kısa yoldan öğrenmeyi' eleştiriyor ve model eğitiminin başladığı rastgele tohum noktasına dayalı olarak, yeterince belirtilmemiş modellerin çılgın teğetlerde nasıl kalkabileceğini gözlemliyor. Katkıda bulunanlar şunları gözlemliyor:

"Birçok alanda pratik makine öğrenimi ardışık düzenlerinde yetersiz spesifikasyonun her yerde olduğunu gördük. Gerçekten de, eksik tanımlama sayesinde, kararların esasen önemli yönleri, parametre başlatma için kullanılan rastgele tohum gibi keyfi seçimlerle belirlenir.'

Kültürü Değiştirmenin Ekonomik Sonuçları

Akademik geçmişine rağmen Ng, havadar bir akademisyen değil, Google Brain ve Coursera'nın kurucu ortağı, Baidu'da Büyük Veri ve Yapay Zeka'nın eski baş bilimcisi ve kurucu Sektördeki yeni girişimler için 175 milyon ABD dolarını yöneten Landing AI.

"Yalnızca sağlık hizmetleri değil, yapay zekanın tamamında konsept kanıtından üretime kadar bir boşluk var" dediği zaman, bu, mevcut yutturmaca seviyesi ve lekelenmiş geçmişi onu giderek daha fazla karakterize eden bir sektöre bir uyandırma çağrısı olarak amaçlanıyor. belirsiz uzun vadeli bir iş yatırımı, kuşatmak tanım ve kapsam problemleriyle.

Bununla birlikte, yerinde iyi çalışan ve diğer ortamlarda başarısız olan tescilli makine öğrenimi sistemleri, endüstri yatırımını ödüllendirebilecek türden bir pazar ele geçirmeyi temsil eder. "Aşırı uyum sorunu"nu mesleki bir tehlike bağlamında sunmak samimiyetsiz bir yol sunar. para kazanma açık kaynak araştırmasına kurumsal yatırım ve rakipler tarafından kopyalanmasının mümkün olduğu ancak sorunlu olduğu durumlarda (etkin bir şekilde) tescilli sistemler üretmek.

Bu yaklaşımın uzun vadede işe yarayıp yaramayacağı, makine öğrenimindeki gerçek atılımların ne ölçüde gerekli olmaya devam edeceğine bağlıdır. her zamankinden daha yüksek yatırım seviyelerive barındırma ve operasyonlar için gerekli devasa kaynaklar nedeniyle, tüm üretken girişimlerin kaçınılmaz olarak bir dereceye kadar FAANG'a geçip geçmeyeceği.