Meta-Öğrenme Nedir?

Meta-Öğrenme Nedir?

Makine öğreniminin en hızlı büyüyen araştırma alanlarından biri, meta-öğrenme alanıdır. Makine öğrenimi bağlamında meta-öğrenme, diğer makine öğrenimi modellerinin eğitimi ve optimizasyonunda makine öğrenimi algoritmalarının kullanılmasını ifade eder. Meta-öğrenme giderek daha popüler hale geliyor ve daha fazla meta-öğrenme tekniği geliştiriliyor, bu nedenle meta-öğrenmenin ne olduğu ve çeşitli şekillerde nasıl uygulanabileceği konusunda bir fikir sahibi olmak faydalıdır. Meta-öğrenmenin arkasındaki fikirleri, meta-öğrenme türlerini ve meta-öğrenmenin kullanılabileceği bazı yolları inceleyelim.

Meta-öğrenme terimi, Donald Maudsley tarafından insanların ne öğrendiklerini şekillendirmeye başladıkları, “algı, sorgulama, öğrenme ve büyüme alışkanlıklarını içselleştirdikleri” bir süreci tanımlamak için kullanılmıştır. Daha sonra bilişsel bilimciler ve psikologlar, meta-öğrenmeyi “nasıl öğrenileceğini öğrenme” olarak tanımladılar.

Makine öğrenimi versiyonu için meta-öğrenme, “nasıl öğrenileceğini öğrenme” fikri yapay zeka sistemlerine uygulanır. Yapay zeka anlamında meta-öğrenme, bir yapay zeka makinesinin çeşitli karmaşık görevleri gerçekleştirmeyi öğrenme yeteneğidir, bir görevi öğrenmek için kullandığı ilkeleri diğer görevlere uygular. Yapay zeka sistemleri genellikle bir görevi gerçekleştirmek için birçok küçük alt görevi mastering etmek zorunda kalırlar. Bu eğitim uzun zaman alabilir ve yapay zeka ajanları, bir görevde öğrendiklerini kolayca başka bir görevde uygulayamazlar. Meta-öğrenme modelleri ve teknikleri oluşturmak, yapay zekanın öğrenme yöntemlerini genelleştirmeyi ve yeni beceriler kazanmayı hızlandırabilir.

Meta-Öğrenme Türleri

Optimizer Meta-Öğrenme

Meta-öğrenme, genellikle mevcut bir sinir ağı’nın performansını optimize etmek için kullanılır. Optimizer meta-öğrenme yöntemleri genellikle, bir başka sinir ağı’nın hiperparametrelerini değiştirerek temel sinir ağı’nın performansını iyileştirmek için çalışır. Sonuç olarak, hedef ağ, eğitildiği görevi gerçekleştirmede daha iyi hale gelir. Meta-öğrenme optimizatörü的一个 örneği, gradyan iniş sonuçlarını iyileştirmek için bir ağı kullanmaktır.

Az-Atış Meta-Öğrenme

Az-atış meta-öğrenme yaklaşımı, derin bir sinir ağı’nın, eğitim veri setlerinden görülmemiş veri setlerine genelleştirebileceği bir yaklaşımdır. Az-atış sınıflandırma örneği, normal bir sınıflandırma görevine benzer, ancak bu durumda veri örnekleri tüm veri setleridir. Model, birçok farklı öğrenme görevi/veri seti üzerinde eğitilir ve ardından birçok eğitim görevi ve görülmemiş veri üzerinde en iyi performansı için optimize edilir. Bu yaklaşımda, tek bir eğitim örneği birden fazla sınıfa bölünür. Bu, her bir eğitim örneği/veri setinin potansiyel olarak iki sınıftan oluşabileceği anlamına gelir, toplam dört atış için. Bu durumda, toplam eğitim görevi, dört-atış iki-sınıf sınıflandırma görevi olarak tanımlanabilir.

Az-atış öğrenmede, bireysel eğitim örneklerinin minimalistik olduğu ve ağın sadece birkaç resim gördükten sonra nesneleri tanımayı öğrenebileceği fikri vardır. Bu, bir çocuğun sadece birkaç resim gördükten sonra nesneleri ayırt etmeyi öğrenmesine benzer. Bu yaklaşım, tek-atış üretici modeller ve hafıza artırilmiş sinir ağları gibi tekniklerin oluşturulmasında kullanılmıştır.

Metrik Meta-Öğrenme

Metrik tabanlı meta-öğrenme, bir metriğin etkili bir şekilde kullanılıp kullanılmadığını ve ağın veya ağların hedef metriğe ulaşıp ulaşmadığını belirlemek için sinir ağlarının kullanılmasını ifade eder. Metrik meta-öğrenme, az-atış öğrenmeye benzer, çünkü sadece birkaç örnek eğitim için kullanılır ve ağ, metrik uzayını öğrenir. Aynı metrik, çeşitli alanlar boyunca kullanılır ve ağlar metriğe uymazsa başarısız olarak kabul edilir.

Tekrarlayan Model Meta-Öğrenme

Tekrarlayan model meta-öğrenme, meta-öğrenme tekniklerinin Tekrarlayan Sinir Ağları (RNN) ve benzeri Uzun Kısa Süreli Hafıza (LSTM) ağlarına uygulanmasıdır. Bu teknik, RNN/LSTM modelini bir veri setini sıralı olarak öğrenmeye eğiterek çalışır ve sonra bu eğitilmiş modeli başka bir öğrenici için temel olarak kullanır. Meta-öğrenen, ilk modeli eğitmek için kullanılan özel optimizasyon algoritmasını devralır. Meta-öğrenenin miras aldığı parametreleme, onun hızlı bir şekilde başlatılmasını ve yakınsamayı sağlar, ancak yine de yeni senaryolara güncellenmesine olanak tanır.

Meta-Öğrenme Nasıl Çalışır?

Meta-öğrenmenin genau şekilde gerçekleştirilmesi, model ve görevin doğasına bağlı olarak değişir. Ancak genel olarak, bir meta-öğrenme görevi ilk ağından parametreleri kopyalamayı içerir. ikinci ağından/optimizatörden.

Meta-öğrenmede iki eğitim süreci vardır. Meta-öğrenme modeli, genellikle temel model üzerinde birkaç adım eğitim yapıldıktan sonra eğitilir. Temel modeli eğitmek için ileri, geri ve optimizasyon adımları之后, optimizasyon modeli için ileri eğitim geçidi yapılır. Örneğin, temel model üzerinde üç veya dört adım eğitim yapıldıktan sonra, bir meta-kayıp hesaplanır. Meta-kayıp hesaplandıktan sonra, her bir meta-parametre için gradyanlar hesaplanır. Bunun ardından, optimizatördeki meta-parametreler güncellenir.

Meta-kaybı hesaplamak için bir olasılık, ilk modelin ileri eğitim geçidini tamamlamak ve daha önce hesaplanmış kayıpları birleştirmektir. Meta-optimizatör, başka bir meta-öğrenen olabilir, ancak belirli bir noktada ADAM veya SGD gibi bir diskret optimizatör kullanmak gerekir.

Çoklu derin öğrenme modelleri yüz binlerce veya hatta milyonlarca parametre içerebilir. Tamamen yeni bir parametre setine sahip bir meta-öğrenen oluşturmak hesaplamalı olarak pahalı olacaktır, bu nedenle koordinat-paylaşımı adı verilen bir taktik genellikle kullanılır. Koordinat-paylaşımı, meta-öğrenen/optimizatörü, temel modelden tek bir parametre öğrenerek ve sonra bu parametreyi diğer tüm parametrelerin yerine klonlayarak tasarlamayı içerir. Sonuç olarak, optimizatörün parametreleri modelin parametrelerine bağlı olmaz.