Google’dan Yeni Neural Tangent Kitaplığı Veri Bilimcilerine “Önünsezin” Model İçgörüsü Sağlıyor

Google (GOOGL ), makine öğreniminin siyah kutusunu açmaya ve mühendislerin makine öğrenimi sistemlerinin nasıl çalıştığını daha iyi anlamalarına yardımcı olmak amacıyla yeni bir açık kaynak kitaplığı tasarladı. VentureBeat tarafından bildirildiği üzere, Google araştırma ekibi, kitaplığın makine öğrenimi modellerinin nasıl çalıştığını anlamaya yönelik “önünsezin” içgörüler sağlayabileceğini belirtti.

Sinir ağları, veri çeşitli şekillerde dönüştüren matematiksel fonksiyonlar içeren nöronlardan oluşur. Ağdaki nöronlar katmanlar halinde birleştirilir ve sinir ağları derinlik ve genişlik sahiptir. Bir sinir ağının derinliği, katman sayısına göre belirlenir ve ağın farklı katmanları, nöronlar arasındaki bağlantıları değiştirerek verilerin katmanlar arasında nasıl işlendiğini etkiler. Bir katmandaki nöron sayısı, o katmanın genişliğidir. Google araştırma mühendisi Roman Novak ve Google’da kıdemli araştırma bilimcisi Samuel S. Schoenholz’a göre, modellerin genişliği, düzenli ve tekrarlanabilir davranışla yakından ilişkilidir. İki araştırmacı, bir blog yazısında, sinir ağlarını genişletmenin davranışını daha düzenli ve yorumlanabilir hale getirdiğini açıkladı.

Makine öğrenimi modeli türlerinden biri de Gauss süreci olarak adlandırılır. Gauss süreci, çok değişkenli normal dağılım olarak temsil edilebilen bir olasılık sürecidir. Gauss sürecinde, değişkenlerin her sonlu lineer kombinasyonu normal dağılım olacaktır. Bu, olağanüstü karmaşık değişken etkileşimlerini yorumlanabilir lineer cebir denklemleri olarak temsil etmek ve因此 AI davranışının bu lens aracılığıyla incelenmesini mümkün kılar. Makine öğrenimi modelleri ile Gauss süreçleri arasındaki ilişki nedir? Sınırsız genişlikte olan makine öğrenimi modelleri, bir Gauss sürecine yakınsar.

Ancak, makine öğrenimi modellerini Gauss süreci lensi aracılığıyla yorumlamak, modelin sınırsız genişlik limitini türetmeyi gerektirir. Bu, her mimari için yapılması gereken karmaşık bir dizi hesaplama işlemdir. Bu hesaplamaları daha kolay ve hızlı hale getirmek için Google araştırma ekibi Neural Tangents’i tasarladı. Neural Tangents, bir veri bilimcisine sadece birkaç satır kod kullanarak birden fazla sınırsız genişlikte ağ eğitimini sağlar. Çoğu zaman, birden fazla sinir ağı aynı veri kümeleri üzerinde eğitilir ve tahminleri ortalaması alınarak daha robust bir tahmin elde edilir ve bu, herhangi bir bireysel modelde oluşabilecek sorunlardan kaçınmayı sağlar. Bu teknik, toplu öğrenme olarak adlandırılır. Toplu öğrenmenin eksik yönlerinden biri, genellikle hesaplama açısından pahalı olmasıdır. Ancak, sınırsız genişlikte bir ağ eğitildiğinde, toplu, bir Gauss süreci tarafından açıklanır ve varyans ve ortalama hesaplanabilir.

Üç farklı sınırsız genişlikte sinir ağı mimarisi test amacıyla karşılaştırıldı ve karşılaştırma sonuçları blog yazısında yayımlandı. Genel olarak, Gauss süreçleri tarafından yönlendirilen toplu ağların performansı, normal sinir ağlarının performansına benzer:

Araştırma ekibi bir blog yazısında açıkladığı gibi:

“Sınırlı sinir ağlarını taklit eden, sınırsız genişlikte ağların da benzer bir performans hiyerarşisine sahip olduğunu görüyoruz. Tam olarak bağlı ağlar, convolutional ağlardan daha kötü performans gösterirken, convolutional ağlar da geniş rezidüel ağlardan daha kötü performans gösterir. Ancak, normal eğitimden farklı olarak, bu modellerin öğrenme dinamikleri kapalı formda tamamen izlenebilir, bu da onların davranışlarına yeni içgörüler sağlar.”

Neural Tangents’in piyasaya sürülmesi, TensorFlow Dev Summit ile çakışıyor gibi görünüyor. Geliştirici zirvesi, Google’ın TensorFlow platformunu kullanan makine öğrenimi mühendislerinin bir araya geldiği bir etkinlik. Neural Tangents duyurusu, TensorFlow Quantum duyurusunun hemen ardından geldi.

Neural Tangents, GitHub üzerinden erişilebiliyor ve ilgililerin erişebileceği bir Google Colaboratory defteri ve öğretici mevcut.