Meta-Öğrenme nedir?

Meta-Öğrenme nedir?

Makine öğreniminde en hızlı büyüyen araştırma alanlarından biri, meta öğrenme. Makine öğrenimi bağlamında meta-öğrenme, diğer makine öğrenimi modellerinin eğitimine ve optimizasyonuna yardımcı olmak için makine öğrenimi algoritmalarının kullanılmasıdır. Meta-öğrenme giderek daha popüler hale geldikçe ve daha fazla meta-öğrenme teknikleri geliştirildiğinden, meta-öğrenmenin ne olduğunu anlamak ve uygulanabileceği çeşitli yollar hakkında fikir sahibi olmak faydalıdır. Meta-öğrenmenin arkasındaki fikirleri inceleyelim, meta-öğrenme türleri, yanı sıra meta-öğrenmenin kullanılabileceği bazı yollar.

Meta-öğrenme terimi, Donald Maudsley tarafından, insanların öğrendiklerini şekillendirmeye başladıkları, "içselleştirdikleri algılama, sorgulama, öğrenme ve büyüme alışkanlıklarının giderek daha fazla kontrolünde" hale geldikleri bir süreci tanımlamak için icat edildi. Daha sonra, bilişsel bilimciler ve psikologlar meta-öğrenmeyi “nasıl öğrenileceğini öğrenmek” olarak tanımlayacaklardı.

Meta-öğrenmenin makine öğrenimi versiyonu için, "nasıl öğrenileceğini öğrenme" genel fikri yapay zeka sistemlerine uygulanır. Yapay zeka anlamında meta-öğrenme, yapay zekaya sahip bir makinenin, bir görevi öğrenmek için kullandığı ilkeleri alıp diğer görevlere uygulayarak çeşitli karmaşık görevleri nasıl gerçekleştireceğini öğrenme yeteneğidir. AI sistemlerinin tipik olarak, birçok küçük alt görevde uzmanlaşarak bir görevi gerçekleştirmek için eğitilmesi gerekir. Bu eğitim uzun sürebilir ve yapay zeka aracıları bir görev sırasında öğrenilen bilgileri başka bir göreve kolayca aktaramaz. Meta-öğrenme modelleri ve teknikleri oluşturmak, yapay zekanın öğrenme yöntemlerini genelleştirmeyi öğrenmesine ve yeni becerileri daha hızlı edinmesine yardımcı olabilir.

Meta-Öğrenme Türleri

Optimize Edici Meta-Öğrenim

Meta-öğrenme genellikle zaten var olan bir sinir ağının performansını optimize etmek için kullanılır. Optimize edici meta-öğrenme yöntemleri, temel sinir ağının performansını iyileştirmek için tipik olarak farklı bir sinir ağının hiperparametrelerini değiştirerek çalışır. Sonuç, hedef ağın eğitilmekte olduğu görevi yerine getirmede daha iyi hale gelmesidir. Bir meta-öğrenme optimize edicinin bir örneği, geliştirmek için bir ağın kullanılmasıdır. dereceli alçalma Sonuçlar.

Az Çekim Meta-Öğrenme

Birkaç adımlı meta-öğrenme yaklaşımı, eğitim veri kümelerinden görünmeyen veri kümelerine genelleme yapabilen derin bir sinir ağının tasarlandığı bir yaklaşımdır. Az atışlı bir sınıflandırma örneği, normal bir sınıflandırma görevine benzer, ancak bunun yerine veri örnekleri tüm veri kümeleridir. Model, birçok farklı öğrenme görevi/veri kümesi üzerinde eğitilir ve ardından çok sayıda eğitim görevi ve görünmeyen veriler üzerinde en yüksek performans için optimize edilir. Bu yaklaşımda, tek bir eğitim örneği birden çok sınıfa bölünür. Bu, her eğitim örneğinin/veri kümesinin potansiyel olarak toplam 4 atış olmak üzere iki sınıftan oluşabileceği anlamına gelir. Bu durumda, toplam eğitim görevi 4 vuruşlu 2 sınıflı bir sınıflandırma görevi olarak tanımlanabilir.

Az atışlı öğrenmede fikir, bireysel eğitim örneklerinin minimalist olması ve ağın yalnızca birkaç resim gördükten sonra nesneleri tanımlamayı öğrenebilmesidir. Bu, bir çocuğun sadece birkaç resim gördükten sonra nesneleri ayırt etmeyi öğrenmesine çok benziyor. Bu yaklaşım, tek seferlik üretken modeller ve hafıza artırılmış sinir ağları gibi teknikler oluşturmak için kullanılmıştır.

Metrik Meta-Öğrenme

Metrik tabanlı meta-öğrenme, bir metriğin etkili bir şekilde kullanılıp kullanılmadığını ve ağın veya ağların hedef metriğe ulaşıp ulaşmadığını belirlemek için sinir ağlarının kullanılmasıdır. Metrik meta-öğrenme, ağı eğitmek ve metrik uzayı öğrenmesini sağlamak için yalnızca birkaç örnek kullanıldığı için, az atışlı öğrenmeye benzer. Farklı etki alanında aynı metrik kullanılır ve ağlar metrikten farklılık gösterirse, başarısız oldukları kabul edilir.

Tekrarlayan Model Meta-Öğrenme

Tekrarlayan model meta-öğrenme, meta-öğrenme tekniklerinin Tekrarlayan Sinir Ağlarına ve benzer Uzun Kısa Süreli Bellek ağlarına uygulanmasıdır. Bu teknik, bir veri kümesini sırayla öğrenmek için RNN/LSTM modelini eğiterek ve daha sonra bu eğitilen modeli başka bir öğrenci için temel olarak kullanarak çalışır. Meta-öğrenici, ilk modeli eğitmek için kullanılan özel optimizasyon algoritmasını benimser. Meta öğrenicinin devralınan parametreleştirmesi, hızlı bir şekilde başlatılmasına ve yakınsamasına, ancak yine de yeni senaryolar için güncelleme yapabilmesine olanak tanır.

Meta-Öğrenme Nasıl Çalışır?

Meta-öğrenmenin tam olarak yürütülme şekli, modele ve eldeki görevin doğasına bağlı olarak değişir. Bununla birlikte, genel olarak, bir meta-öğrenme görevi parametreler üzerinden kopyalamayı içerir birinci ağın ikinci ağın/iyileştiricinin parametrelerine.

Meta-öğrenmede iki eğitim süreci vardır. Meta-öğrenme modeli, tipik olarak, temel model üzerinde birkaç eğitim adımı gerçekleştirildikten sonra eğitilir. Temel modeli eğiten ileri, geri ve optimizasyon adımlarından sonra, optimizasyon modeli için ileri eğitim geçişi gerçekleştirilir. Örneğin, temel model üzerinde üç veya dört adımlık eğitimden sonra bir meta-kayıp hesaplanır. Meta kayıp hesaplandıktan sonra, her meta parametre için gradyanlar hesaplanır. Bu meydana geldikten sonra, optimize edicideki meta parametreler güncellenir.

Meta kaybı hesaplamak için bir olasılık, ilk modelin ileri eğitim geçişini bitirmek ve daha sonra zaten hesaplanmış olan kayıpları birleştirmektir. Meta-iyileştirici, başka bir meta-öğrenci bile olabilir, ancak belirli bir noktada ADAM veya SGD gibi ayrı bir iyileştiricinin kullanılması gerekir.

Birçok derin öğrenme modeli, yüz binlerce hatta milyonlarca parametreye sahip olabilir. Tamamen yeni bir parametre kümesine sahip bir meta-öğrenci oluşturmak, hesaplama açısından pahalı olacaktır ve bu nedenle, genellikle koordinat paylaşımı adı verilen bir taktik kullanılır. Koordinat paylaşımı, temel modelden tek bir parametre öğrenecek ve ardından bu parametreyi diğer tüm parametrelerin yerine klonlayacak şekilde meta-öğrenici/iyileştiriciyi tasarlamayı içerir. Sonuç, optimize edicinin sahip olduğu parametrelerin modelin parametrelerine bağlı olmamasıdır.