Google'ın Yeni Nöral Teğet Kitaplığı, Veri Bilimcilerine Modellere Dair "Eşi Görülmemiş" İçgörü Sağlıyor

Google, makine öğreniminin kara kutusunu açmayı ve mühendislere makine öğrenimi sistemlerinin nasıl çalıştığına dair daha fazla bilgi vermeyi amaçlayan yeni bir açık kaynak kitaplık tasarladı. VentureBeat tarafından bildirildiği gibi, Google araştırma ekibi, kitaplığın makine öğrenimi modellerinin nasıl çalıştığına dair "benzeri görülmemiş" bilgiler sağlayabileceğini söylüyor.

Sinir ağları, verileri çeşitli şekillerde dönüştüren matematiksel işlevler içeren nöronlar aracılığıyla çalışır. Ağdaki nöronlar katmanlar halinde birleştirilir ve sinir ağlarının derinliği ve genişliği vardır. Bir sinir ağının derinliği, sahip olduğu katman sayısına göre kontrol edilir ve ağların farklı katmanları, nöronlar arasındaki bağlantıları ayarlayarak, katmanlar arasında hareket ederken verilerin nasıl işlendiğini etkiler. Katmandaki nöron sayısı, katmanın genişliğidir. Google araştırma mühendisi Roman Novak'a ve Google'da kıdemli araştırma bilimcisi Samuel S. Schoenholz'a göre, modellerin genişliği düzenli, tekrarlanabilir davranışla sıkı bir şekilde ilişkilidir. Bir blog gönderisinde iki araştırmacı, sinir ağlarını daha geniş hale getirmenin davranışlarını daha düzenli hale getirdiğini ve yorumlanmasını kolaylaştırdığını açıkladı.

Gauss süreci adı verilen farklı bir makine öğrenimi modeli vardır. Gauss süreci, çok değişkenli bir normal dağılım olarak temsil edilebilen stokastik bir süreçtir. Bir Gauss süreciyle, değişkenlerin her set/sonlu lineer kombinasyonu normal olarak dağıtılacaktır. Bu, değişkenler arasındaki olağanüstü karmaşık etkileşimleri yorumlanabilir doğrusal cebir denklemleri olarak temsil etmenin mümkün olduğu anlamına gelir ve bu nedenle bir yapay zekanın davranışının bu mercek aracılığıyla incelenmesi mümkündür. Makine öğrenimi modelleri Gauss süreçleriyle tam olarak nasıl ilişkilidir? Genişliği sonsuz büyük olan makine öğrenimi modelleri, bir Gauss sürecinde birleşir.

Bununla birlikte, makine öğrenimi modellerini bir Gauss sürecinin merceğinden yorumlamak mümkün olsa da, bir modelin sonsuz genişlik sınırının türetilmesini gerektirir. Bu, her bir ayrı mimari için yapılması gereken karmaşık bir hesaplamalar dizisidir. Bu hesaplamaları daha kolay ve daha hızlı yapmak için Google araştırma ekibi Neural Tangents'ı tasarladı. Neural Tangents, bir veri bilimcinin yalnızca birkaç satır kod kullanmasına ve aynı anda birden fazla sonsuz genişlikte ağ eğitmesine olanak tanır. Herhangi bir bireysel modelde meydana gelebilecek sorunlardan etkilenmeyen daha sağlam bir tahmin elde etmek için birden fazla sinir ağı genellikle aynı veri kümeleri üzerinde eğitilir ve tahminlerinin ortalaması alınır. Böyle bir tekniğe toplu öğrenme denir. Topluluk öğreniminin dezavantajlarından biri, genellikle hesaplama açısından pahalı olmasıdır. Yine de sonsuz genişlikte bir ağ eğitildiğinde, topluluk bir Gauss süreci ile tanımlanır ve varyans ve ortalama hesaplanabilir.

Üç farklı sonsuz genişlikte sinir ağı mimarisi bir test olarak karşılaştırıldı ve karşılaştırmanın sonuçları blog yazısında yayınlandı. Genel olarak, Gauss süreçleri tarafından yönetilen topluluk ağlarının sonuçları düzenli, sonlu sinir ağı performansına benzer:

Araştırma ekibinin açıkladığı gibi bir blog yazısı:

"Gördük ki, sonlu sinir ağlarını taklit ederek, sonsuz genişlikte ağlar benzer bir performans hiyerarşisini takip ediyor ve tamamen bağlı ağlar evrişimli ağlardan daha kötü performans gösteriyor ve bu ağlar da geniş artık ağlardan daha kötü performans gösteriyor. Bununla birlikte, normal eğitimden farklı olarak, bu modellerin öğrenme dinamikleri, davranışlarına [yeni] içgörü sağlayan kapalı biçimde tamamen izlenebilir."

Neural Tangents'ın piyasaya sürülmesi, TensorFlow Dev Summit ile aynı zamana denk gelecek gibi görünüyor. Geliştirme zirvesinde, Google'ın TensorFlow platformunu kullanan makine öğrenimi mühendisleri bir araya geliyor. Neural Tangents duyurusu, TensorFlow Quantum'un duyurulmasından kısa bir süre sonra gelir.

Neural Tangents, GitHub aracılığıyla kullanıma sunuldu ve ilgilenenlerin erişebileceği bir Google Colaboratory not defteri ve öğretici var.