AI Araştırmacıları, Güven Aralıklarını Hesaplamak için Hızlı Yöntem Geliştirdi, Modelin Güvenilmez Olmadığını Bildiriyor

Araştırmacılar, MIT’den son zamanlarda bir teknik geliştirdiler. Bu teknik, derin öğrenme ağ modellerininrapid olarak güven seviyelerini hesaplamalarına olanak tanır. Bu da veri bilimcilerinin ve diğer AI kullanıcılarının, bir modelin verdiği tahminlere ne kadar güvenilebileceğini bilmelerine yardımcı olabilir.

Sanal sinir ağlarına dayalı AI sistemleri, günümüzde birçok karar için sorumludur. Bu kararların birçoğu insanların sağlığı ve güvenliği ile ilgilidir. Bu nedenle, sinir ağlarının çıktı güvenliğini tahmin etmeleri gerekir. Böylece, veri bilimcileri tahminlerin ne kadar güvenilir olduğunu bilebilirler.最近, Harvard ve MIT’den bir araştırma ekibi, sinir ağlarının hızlı bir şekilde güven seviyelerini hesaplayabilmesi için bir yöntem tasarladı.

Derin öğrenme modelleri, son on yılda giderek daha da gelişti ve artık veri sınıflandırma görevlerinde insanları kolayca geride bırakabilir. Derin öğrenme modelleri, insanların sağlığı ve güvenliği riske atılabilecek alanlarda kullanılmaktadır. Örneğin, otonom araçları sürmek ve taramalardan tıbbi durumları teşhis etmek gibi. Bu gibi durumlarda, bir modelin %99 doğru olması yeterli değildir. Modelin yanlış olduğu %1’lik durumlarda felaketler meydana gelebilir. Bu nedenle, veri bilimcilerinin bir tahminden ne kadar emin olduklarını bilmeleri gerekir.

Sanal sinir ağları için güven aralığını oluşturmanın birkaç yolu vardır, ancak geleneksel yöntemler oldukça yavaş ve hesaplama açısından pahalıdır. Sanir ağları inanılmaz derecede büyük ve karmaşıktır ve milyarlarca parametre içerir. Sadece tahminler oluşturmak bile hesaplama açısından pahalı olabilir ve önemli miktarda zaman alabilir. Güven seviyesini oluşturmak daha da uzun sürer. Çoğu önceki belirsizlik ölçüm yöntemi, örneklemeye veya ağı tekrar tekrar çalıştırarak güven seviyesini tahmin etmeye dayanıyordu. Bu, yüksek hızlı trafik gerektiren uygulamalar için her zaman mümkün değildir.

MIT Haberlerine göre, Alexander Amini, MIT ve Harvard’dan oluşan araştırmacıların birleşik grubuna liderlik etmektedir. Amini’ye göre, araştırmacıların geliştirdiği yöntem, “derin delillendirme регрессии” adı verilen bir teknik kullanarak belirsizlik tahminini hızlandırır. Amini, MIT’ye göre, veri bilimcilerinin hem hızlı modellere hem de güvenilir belirsizlik tahminlerine ihtiyacı vardır. Böylece, güvenilemeyen modeller ayırt edilebilir. Araştırmacılar, modelin hızını korurken belirsizlik tahminini oluşturmak için bir yol tasarladılar.

Araştırmacılar, sinir ağı modelini, her kararın yanında olasılıksal bir dağılım oluşturacak şekilde tasarladılar. Ağ, eğitim过程inde kararları için delilleri tutar ve delillere dayalı olasılık dağılımı oluşturur. Delillendirme dağılımı, modelin güven seviyesini temsil eder ve hem modelin nihai kararı hem de orijinal girdi verisi için belirsizliği temsil eder. Hem girdi verisi hem de kararlar için belirsizliği yakalamak önemlidir. Belirsizliği azaltmak, belirsizliğin kaynağını bilmeye bağlıdır.

Araştırmacılar, belirsizlik tahmini tekniklerini bir bilgisayar görme görevine uygulayarak test ettiler. Model, bir dizi görüntüye eğitim verildiğinde, hem tahminler hem de belirsizlik tahminleri oluşturdu. Ağ, yanlış tahminlerde yüksek belirsizlik tahmin etti. “Ağın yaptığı hatalara çok iyi şekilde uyarlandı, bu da yeni bir belirsizlik tahmin edicisinin kalitesini değerlendirmek için en önemli şeylerden biri,” dedi Amini, modelin test sonuçları hakkında.

Araştırma ekibi, ağ mimarisi ile daha fazla test gerçekleştirdi. Tekniklerini stres test etmek için, daha önce hiç görülmemiş nesnelerden oluşan “dağılım dışı” verileri de test ettiler. Ağ, bu bilinmeyen nesneler için yüksek belirsizlik rapor etti. İç mekanlarda eğitim verilen ağ, dış mekanlardan alınan görüntülere yüksek belirsizlik gösterdi. Testler, ağın kararlarının yüksek belirsizliğe sahip olduğunu ve belirli yüksek riskli durumlardaki güvenilemeyeceğini vurguladı.

Araştırma ekibi, ağın ayrıca fotoğrafların değiştirilip değiştirilmediğini belirleyebileceğini bildirdi. Araştırmacılar, fotoğraflara karşıt gürültü eklediğinde, ağ, yeni değiştirilen görüntüleri yüksek belirsizlik tahminleriyle etiketledi. Bu etki, ortalama bir insan gözlemcisi tarafından görülemeyecek kadar inceydi.

Eğer teknik güvenilirse, derin delillendirme регрессии, genel olarak AI modellerinin güvenliğini artırabilir. Amini’ye göre, derin delillendirme регрессii, insanların riskli durumlar için AI modellerini kullanırken dikkatli kararlar almasına yardımcı olabilir. Amini, MIT Haberlerine göre şunları söyledi:

“Bu tür [sinir ağı] modellerin, insanları potansiyel olarak yaşamı tehdit eden sonuçlarla temas eden durumlara, araştırma laboratuvarından gerçek dünyaya doğru aktığını görmeye başlıyoruz. Bir doktor veya araçtaki bir yolcunun, bu karara bağlı herhangi bir risk veya belirsizlik konusunda bilgilendirilmesi gerekir.”