Andrew Ng, Makine Öğreniminin Aşırı Uyumlanma Kültürünü Eleştiriyor

Andrew Ng, son on yılın en etkili seslerinden biri olan makine öğrenimi, sektörün model mimarisindeki yeniliklere veri üzerinde verdiği önemden daha fazla önem verdiğine ve özellikle de “aşırı uyumlu” sonuçların genelleştirilmiş çözümler veya ilerlemeler olarak sunulmasına izin verdiğine ilişkin endişelerini dile getiriyor.

Bu, sektörün bir numaralı otoritesinden gelen kapsamlı eleştiriler ve AI geliştirme alanında altmış yıl içinde üçüncü kez iş güveninin çökmesi endişesiyle karşı karşıya kalan bir sektörde güven için önemli sonuçlar doğuruyor.

Ng, Stanford Üniversitesi’nde profesör ve deeplearning.ai’nin kurucularından biri ve Mart ayında organizasyonun sitesinde bir mesaj yayınladı ve recent konuşmasını iki temel öneriye indirgedi:

İlki, araştırma topluluğunun veri temizliğinin makine öğrenimindeki zorlukların %80’ini temsil ettiğinden şikayet etmeyi bırakması ve güçlü MLOps metodolojileri ve uygulamaları geliştirmeye başlaması gerektiğidir.

İkincisi, topluluğun “kolay kazançlar” elde etmek için veri setine aşırı uyumlu bir makine öğrenimi modeli oluşturmak yerine, geniş bir veri ortamında iyi performans gösteren ve yaygın olarak dağıtılabilecek bir model oluşturmak için çalışması gerektiğidir.

Aşırı Uyumlanma Kültürünü Kabul Etme ve Veri Mimarisi ve Düzenleme

Ng, “Görüşüm”, diye yazdı, “eğer işimizin %80’i veri hazırlama ise, o zaman veri kalitesini güvence altına almak, bir makine öğrenimi ekibinin önemli işidir.”

Devam etti:

‘Mühendislerin en iyi yolu bulması için şansa bırakmak yerine, AI sistemlerini, yüksek kaliteli veri setlerini de dahil olmak üzere, daha tekrarlanabilir ve sistematik bir şekilde oluşturmanıza yardımcı olan MLOps araçları geliştirmeyi umuyorum.

‘MLOps bir olgunlaşan alandır ve farklı insanlar onu farklı şekilde tanımlar. Ancak MLOps ekipleri ve araçları için en önemli organizasyon ilkesinin, bir projenin tüm aşamalarında veri akışının tutarlı ve yüksek kalitede olmasını güvence altına almak olması gerektiğini düşünüyorum. Bu, birçok projenin daha sorunsuz ilerlemesine yardımcı olacaktır.’

Ng, Nisan ayının sonunda Zoom’da canlı yayınlanan bir Soru-Cevap oturumu sırasında, radyoloji için makine öğrenimi analiz sistemlerindeki uygulama açığını ele aldı:

“Stanford Hastanesi’nden veri topladığımızda, aynı hastanede eğitim verip test ettiğimizde, gerçekten de insan radyologlarla karşılaştırılabilir sonuçlar elde edebildiğimizi gösteren makaleler yayınlıyoruz.

“…Ancak aynı modeli, aynı AI sistemini, caddede aşağıda bulunan daha eski bir hastaneye götürdüğümüzde, daha eski bir makineyle ve teknisyenin biraz farklı bir görüntüleme protokolü kullandığında, veri kayması AI sisteminin performansını önemli ölçüde azaltmasına neden olur. Buna karşılık, herhangi bir insan radyolog, caddede aşağıda bulunan daha eski hastaneye yürüyerek gidebilir ve iyi performans gösterebilir.”

Aşırı Belirsizlik Çözüm Değildir

Aşırı uyumlanma, bir makine öğrenimi modelinin belirli bir veri setinin veya veri formatının tuhaflıklarına göre özel olarak tasarlandığı durumdadır. Bu, örneğin, o veri setinden iyi sonuçlar üretecek ağırlıklar belirlemek olabilir, ancak diğer verilerde genelleştirilemez.

Çoğu durumda, bu parametreler, toplama setinin “veri dışı” yönleri olarak tanımlanır, Örneğin, toplanan bilginin özel çözünürlüğü veya diğer garanti edilmeyen tekrarlanan veri setleri boyunca yeniden ortaya çıkmayan özellikler.

Veri mimarisi veya model tasarımının esnekliğini veya kapsamını kör bir şekilde genişletmek, aslında Ng’nin 최근 açıkladığı sorunlara yol açar, burada bir makine öğrenimi modeli görünmeyen verilerde başarısız olur. Bu durumda, model, orijinal eğitim setine aşırı uyumlu olduğu için değil, esnek olduğu için başarısız olur.

2020’nin sonlarında makale Modern Makine Öğreniminde Güvenilirlik için Aşırı Belirsizlik Zorluklar Sunar, bu uygulamaya karşı yoğun bir eleştiri sundu ve Google ve MIT dahil olmak üzere çeşitli kurumların yaklaşık kırk makine öğrenimi araştırmacısı ve bilim insanının isimlerini taşıyordu.

Makale, “kısa yol öğrenimi”ni eleştirdi ve model eğitiminin başlangıcındaki rastgele başlangıç noktasına bağlı olarak underspecifiye modellerin nasıl çılgın sapmalara gidebileceğini gözlemledi. Katılımcılar şunları belirtti:

‘Pratik makine öğrenimi boru hatları boyunca birçok alanda aşırı belirsizliğin yaygın olduğunu gördük. Aslında, aşırı belirsizlik sayesinde, önemli kararların önemli yönleri, parametrelerin başlangıç noktası için kullanılan rastgele tohum gibi keyfi seçimlere bağlıdır.’

Kültür Değişiminin Ekonomik Sonuçları

Ng, akademik kimliğine rağmen, Google Brain ve Coursera’nın kurucu ortağı, Baidu’da Büyük Veri ve AI için eski baş bilim insanı ve Landing AI’nin kurucusu olarak derin ve üst düzey endüstri deneyimine sahiptir. Landing AI, sektördeki yeni girişimlere 175 milyon dolarlık fon yönetimi sağlar.

“Tüm AI’nin, sadece sağlık hizmetlerinin değil, bir kavram kanıtı ile üretime geçiş aralığının olduğu” ifadesi, sektörün şimdiki düzeydeki hype ve lekeli geçmişiyle birlikte, giderek artan bir şekilde belirsiz bir uzun vadeli iş yatırımı olarak karakterize edildiği konusunda uyanmaya yönelik bir çağrıdır, tanımlama ve kapsam sorunlarıyla karşı karşıya kalıyor.

Bununla birlikte,proprietary makine öğrenimi sistemleri, yerinde iyi çalışır ancak diğer ortamlarda başarısız olur ve bu, endüstri yatırımını ödüllendirebilecek bir tür pazar payı olabilir. Aşırı uyumlu problemi, bir mesleki tehlike olarak sunmak, açık kaynaklı araştırmaya corporate yatırımını paraya çevirmek ve etkili bir şekilde proprietary sistemler oluşturmak için bir yol sunar, ancak rakipler tarafından yeniden üretilmesi sorunlu olabilir.

Bu yaklaşımın uzun vadede işe yarayıp yaramayacağı, makine öğrenimindeki gerçek ilerlemelerin her zaman daha büyük yatırımları gerektirip gerektirmediğine ve tüm üretken girişimlerin FAANG’ye bazı düzeyde göç edip etmediğine bağlıdır, çünkü barındırma ve operasyon için gerekli olan devasa kaynaklar nedeniyle.