Meta-Öğrenme Nedir?

Meta-Öğrenme Nedir?

Makine öğreniminin en hızlı büyüyen araştırma alanlarından biri, meta-öğrenme alanıdır. Makine öğrenimi bağlamında meta-öğrenme, diğer makine öğrenimi modellerinin eğitimi ve optimizasyonunda makine öğrenimi algoritmalarının kullanılmasını ifade eder. Meta-öğrenme daha da popüler hale geldikçe ve daha fazla meta-öğrenme tekniği geliştirildikçe, meta-öğrenmenin ne olduğu ve çeşitli uygulamalarını anlamak faydalı olacaktır. Meta-öğrenmenin arkasındaki fikirleri, meta-öğrenme türlerini ve meta-öğrenmenin kullanılabileceği bazı yolları inceleyelim.

Meta-öğrenme terimi, Donald Maudsley tarafından, insanların ne öğrendiklerini şekillendirmeye başlayan bir süreci tanımlamak için kullanılmıştır. Daha sonra, bilişsel bilimciler ve psikologlar, meta-öğrenmeyi “öğrenmeyi öğrenme” olarak tanımladılar.

Makine öğrenimi için meta-öğrenme, “öğrenmeyi öğrenme” fikri yapay zeka sistemlerine uygulanır. Yapay zeka bağlamında meta-öğrenme, bir yapay zeka makinesinin çeşitli karmaşık görevleri öğrenme yeteneği, bir görevi öğrenmek için kullandığı ilkeleri diğer görevlere uygulayabilmesidir. Yapay zeka sistemleri genellikle bir görevi gerçekleştirmek için birçok küçük alt görevi öğrenmek zorunda kalırlar. Bu eğitim süreci uzun zaman alabilir ve yapay zeka ajanları, bir görevde öğrendikleri bilgileri kolayca başka bir görevde kullanamazlar. Meta-öğrenme modelleri ve teknikleri oluşturmak, yapay zekanın öğrenme yöntemlerini genelleştirmesine ve yeni beceriler kazanmasına yardımcı olabilir.

Meta-Öğrenme Türleri

Optimizör Meta-Öğrenme

Meta-öğrenme, genellikle mevcut bir sinir ağı’nın performansını optimize etmek için kullanılır. Optimizör meta-öğrenme yöntemleri, genellikle başka bir sinir ağı’nın hiperparametrelerini değiştirerek, temel sinir ağı’nın performansını iyileştirmeyi sağlar. Sonuç olarak, hedef ağ, eğitildiği görevi gerçekleştirmekte daha iyi hale gelir. Meta-öğrenme optimizörünün bir örneği, gradyan iniş sonuçlarını iyileştirmek için bir ağı kullanmaktır.

Az-Atış Meta-Öğrenme

Az-atış meta-öğrenme yaklaşımı, bir derin sinir ağı’nın, eğitim veri setlerinden görülmeyen veri setlerine genellemesini sağlayan bir yaklaşımdır. Az-atış sınıflandırma, normal bir sınıflandırma görevine benzer, ancak bu durumda veri örnekleri tüm veri setleridir. Model, birçok farklı öğrenme görevi/veri seti üzerinde eğitilir ve ardından birçok eğitim görevi ve görülmeyen veri üzerinde en iyi performansı için optimize edilir. Bu yaklaşım, her bir eğitim örneğinin/veri setinin birkaç sınıftan oluşabileceği anlamına gelir. Örneğin, her bir eğitim örneği/veri seti iki sınıftan oluşabilir, bu da toplam dört atış anlamına gelir. Bu durumda, toplam eğitim görevi, dört-atış iki-sınıf sınıflandırma görevi olarak tanımlanabilir.

Az-atış öğrenmede, fikir, bireysel eğitim örneklerinin minimal olması ve ağın sadece birkaç resim gördükten sonra nesneleri tanımayı öğrenmesidir. Bu, bir çocuğun sadece birkaç resim gördükten sonra nesneleri ayırt etmesi gibi bir şeydir. Bu yaklaşım, tek-atış üreteci modeller ve hafıza güçlendirilmiş sinir ağları gibi tekniklerin geliştirilmesinde kullanılmıştır.

Metrik Meta-Öğrenme

Metrik tabanlı meta-öğrenme, bir metriğin etkili bir şekilde kullanılıp kullanılmadığını ve ağın/ağların hedef metriğe ulaşıp ulaşmadığını belirlemek için sinir ağlarının kullanılmasını ifade eder. Metrik meta-öğrenme, az-atış öğrenmeye benzer, çünkü sadece birkaç örnek kullanılarak ağ, metrik uzayını öğrenir. Aynı metrik, çeşitli alanlar boyunca kullanılır ve ağlar metriğe uymazlarsa, başarısız olarak kabul edilir.

Yinelenen Model Meta-Öğrenme

Yinelenen model meta-öğrenme, meta-öğrenme tekniklerinin Yinelenen Sinir Ağları (RNN) ve Benzer Uzun Kısa Süreli Hafıza (LSTM) ağlarına uygulanmasıdır. Bu teknik, RNN/LSTM modelini bir veri setini sıralı olarak öğrenmeye eğitmeyi ve ardından bu eğitilmiş modeli başka bir öğrenici için temel olarak kullanmayı içerir. Meta-öğrenen, ilk modeli eğitmek için kullanılan özel optimizasyon algoritmasını devralır. Meta-öğrenenin miras aldığı parametreleştirme, hızlı bir şekilde başlatılmasını ve yeni senaryolarda güncellenmesini sağlar.

Meta-Öğrenme Nasıl Çalışır?

Meta-öğrenmenin genau şekilde çalışması, modelin ve görevin doğasına bağlı olarak değişir. Ancak genel olarak, bir meta-öğrenme görevi ilk ağından ikinci ağındaki parametreleri kopyalamayı içerir.

Meta-öğrenmede iki eğitim süreci vardır. Meta-öğrenme modeli, genellikle temel modelin birkaç eğitim adımı tamamlandıktan sonra eğitilir. Temel modelin ileri, geri ve optimizasyon adımlarından sonra, optimizasyon modeli için ileri eğitim geçidi gerçekleştirilir. Örneğin, temel modelin üç veya dört eğitim adımı tamamlandıktan sonra, bir meta-kayıp hesaplanır. Meta-kayıp hesaplandıktan sonra, her bir meta-parametre için gradientler hesaplanır. Ardından, optimizatördeki meta-parametreler güncellenir.

Meta-kaybı hesaplamak için bir możliklık, ilk modelin ileri eğitim geçidini tamamlamak ve daha önce hesaplanan kayıpları birleştirmektir. Meta-optimizatör, başka bir meta-öğrenen olabilir, ancak bir noktada ADAM veya SGD gibi bir ayrı optimizatör kullanılmalıdır.

Çoklu derin öğrenme modelleri yüz binlerce veya hatta milyonlarca parametre içerebilir. Tamamen yeni bir parametre seti olan bir meta-öğrenen oluşturmak hesaplama açısından pahalı olacaktır. Bu nedenle, koordinat-paylaşımı adı verilen bir taktik genellikle kullanılır. Koordinat-paylaşımı, meta-öğrenenin/optimizatörün temel modelden tek bir parametre öğrenmesini ve sonra da bu parametreyi diğer tüm parametrelerin yerine kopyalamasını sağlar. Sonuç olarak, optimizatörün parametreleri modelin parametrelerine bağlı olmaz.