Topluluk Öğrenmesi Nedir?

Makine öğreniminin en güçlü tekniklerinden biri topluluk öğrenmesidir. Topluluk öğrenmesi birden fazla makine öğrenimi modelinin tahminlerin güvenilirliğini ve doğruluğunu artırmak için kullanılmasidir. Ancak birden fazla makine öğrenimi modelinin kullanılması nasıl daha doğru tahminlere yol açar? Topluluk öğrenme modelleri oluşturmak için hangi teknikler kullanılır? Bu soruların cevaplarını araştıracağız, topluluk modellerini kullanmanın nedenlerini ve topluluk modellerini oluşturmanın temel yollarını inceleyeceğiz.

Topluluk Öğrenmesi Nedir?

Basitçe söylemek gerekirse, topluluk öğrenmesi birden fazla makine öğrenimi modelini eğitme ve çıktılarını birleştirmeye yönelik bir süreçtir. Farklı modeller, optimal bir tahmin modeli oluşturmak için bir temel olarak kullanılır. Farklı bireysel makine öğrenimi modellerinin birleştirilmesi, genel modelin stabilitesini artırabilir ve daha doğru tahminlere yol açabilir. Topluluk öğrenme modelleri genellikle bireysel modellerden daha güvenilir olup, bu nedenle birçok makine öğrenimi yarışmasında ilk sırayı alırlar.

Topluluk öğrenme modeli oluşturmak için mühendislerin kullanabileceği farklı teknikler vardır. Basit topluluk öğrenme teknikleri, farklı modellerin çıktılarını ortalama almak gibi şeyler içerir, ayrıca birçok temel öğrenme modelinin tahminlerini birleştirmek için geliştirilmiş daha karmaşık yöntemler de vardır.

Neden Topluluk Eğitimi Yöntemlerini Kullanmalıyız?

Makine öğrenimi modelleri birbirlerinden çeşitli nedenlerle farklı olabilir. Farklı makine öğrenimi modelleri farklı nüfus veri örnekleri üzerinde çalışabilir, farklı modelleme teknikleri kullanılabilir ve farklı bir hipotez kullanılabilir.

BirTrivia oyununu büyük bir grup insanla oynadığınızı hayal edin. Eğer yalnız bir takımdaysanız, bilgili olduğunuz bazı konular ve bilmediğiniz birçok konu olacaktır. Şimdi diğer insanlarla bir takımda olduğunuzu varsayalım. Tıpkı sizin gibi, kendi uzmanlıkları hakkında bazı bilgiler olacak ve diğer konularda hiçbir bilgiye sahip olmayacaklar. Ancak bilgilerinizi birleştirdiğinizde, daha fazla alanda daha doğru tahminler elde edersiniz ve takımınızın bilgisi olmayan konuların sayısı azalır. Bu, topluluk öğrenmesinin temel aldığı aynı ilkedir, bireysel modellerin (bireysel modellerin) tahminlerini birleştirmek için daha doğru tahminler elde etmek ve hataları azaltmak.

İstatistikçiler bir kalabalığın belirli bir soruya verilen cevaplarından oluşturulan olasılık dağılımını kanıtlamışlardır. Doğru cevabı bilen kişiler doğru cevabı güvenle seçerler, yanlış cevapları seçenler ise yanlış cevapları olası cevapların aralığına dağıtırlar. Trivia oyununa geri dönersek, eğer siz ve iki arkadaşınız doğru cevabın A olduğunu biliyorsanız, üçünüz de A’ye oy vereceksiniz, takımınızın diğer üç üyesi ise doğru cevabı bilmedikleri için yanlış cevapları B, C, D veya E olarak seçeceklerdir. Sonuç olarak, A üç oy alır ve diğer cevaplar en fazla bir veya iki oy alır.

Tüm modellerde bir miktar hata vardır. Bir modelin hataları, yukarıda belirtilen nedenlerle diğer bir modelin ürettiği hatalardan farklı olacaktır. Tüm hatalar incelendiğinde, belirli bir cevaba veya diğerine yoğunlaşmayacak, sondern olası tüm yanlış cevaplar etrafında dağılacaktır. Farklı modellerin doğru tahminleri ise doğru ve doğru cevaba yoğunlaşacaktır. Topluluk eğitimi yöntemleri kullanıldığında, doğru cevabı daha yüksek bir güvenilirlikle bulunabilir.

Basit Topluluk Eğitimi Yöntemleri

Basit topluluk eğitimi yöntemleri genellikle yalnızca istatistiksel özet tekniklerini uygulamayı içerir, Örneğin, bir dizi tahminden modu, ortalamayı veya ağırlıklı ortalamayı belirlemek.

Mod, bir dizi numaradaki en sık görülen öğeyi ifade eder. Modu elde etmek için, bireysel öğrenme modelleri tahminlerini döndürür ve bu tahminler nihai tahmine oy olarak kabul edilir. Tahminlerin ortalamasını belirlemek, tahminlerin aritmetik ortalamasını hesaplamak ve en yakın tam sayıya yuvarlamak kadar basittir. Son olarak, ağırlıklı ortalama, modellerin farklı ağırlıklar atanmasıyla hesaplanabilir, burada ağırlıklar modelin algılanan önemini temsil eder. Sınıflandırma tahmini için sayısal gösterimi, 0 ile 1,0 arasında bir ağırlıkla çarpılır, ardından ağırlıklı bireysel tahminler toplanır ve sonuç en yakın tam sayıya yuvarlanır.

Gelişmiş Topluluk Eğitimi Yöntemleri

Üç temel gelişmiş topluluk eğitimi tekniği vardır, her biri belirli bir makine öğrenimi sorununa çözüm olarak tasarlanmıştır. “Bagging” teknikleri, bir modelin tahminlerinin varyansını azaltmak için kullanılır, varyans, aynı gözlem için yapılan tahminlerin sonuçlarının ne kadar farklı olduğunu ifade eder. “Boosting” teknikleri, modellerin önyargısını azaltmak için kullanılır. Son olarak, “yığma”, genel olarak tahminleri iyileştirmek için kullanılır.

Topluluk öğrenme yöntemleri genellikle iki gruba ayrılarak sınıflandırılabilir: sıralı yöntemler ve paralel topluluk yöntemleri.

Sıralı topluluk yöntemleri, temel öğrenme modellerinin sıralı olarak üretildiği için bu adı taşır. Sıralı yöntemlerde, temel fikir, temel öğrenme modelleri arasındaki bağımlılığın, daha doğru tahminler elde etmek için sömürülmesidir. Yanlış olarak etiquetlenmiş örneklerin ağırlıkları ayarlanırken, doğru olarak etiquetlenmiş örnekler aynı ağırlıkları korur. Her yeni öğrenme modeli üretildiğinde, ağırlıklar değişir ve (umut edildiği gibi) doğruluk artar.

Paralel topluluk yöntemlerine karşılık olarak, paralel topluluk yöntemleri temel öğrenme modellerini paralel olarak üretir. Paralel topluluk öğrenimi gerçekleştirilirken, temel fikir, temel öğrenme modellerinin bağımsızlığını sömürmektir, çünkü genel hata oranı, bireysel öğrenme modellerinin tahminlerinin ortalaması alınarak azaltılabilir.

Topluluk eğitimi yöntemleri homojen veya heterojen olabilir. Çoğu topluluk öğrenme yöntemi homojendir, yani tek bir tür temel öğrenme modeli/algortimasını kullanır. Karşıt olarak, heterojen topluluklar, öğrenme algoritmalarını çeşitlendirerek ve değiştirerek, doğruluğun mümkün olduğunca yüksek olmasını sağlar.

Topluluk Öğrenme Algoritmaları Örnekleri

Topluluk güçlendirme görselleştirilmesi. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Sıralı topluluk yöntemlerine örnek olarak AdaBoost, XGBoost ve Gradient tree boosting verilebilir. Bunlar hepsi boosting modelleridir. Bu boosting modellerinin amacı, zayıf ve düşük performanslı öğrenme modellerini daha güçlü öğrenme modellerine dönüştürmektir. AdaBoost ve XGBoost gibi modeller, biraz daha iyi performans gösteren zayıf öğrenme modelleriyle başlar. Eğitim devam ettikçe, verilere ağırlıklar uygulanır ve ayarlanır. Daha önceki eğitim roundsında öğrenme modelleri tarafından yanlış olarak etiquetlenen örnekler, daha fazla ağırlık kazanır. Bu işlem istenen sayıda eğitim roundu için tekrarlandıktan sonra, tahminler birleştirilir, bu da regresyon görevleri için ağırlıklı toplam ve sınıflandırma görevleri için ağırlıklı oydur.

Bagging öğrenme süreci. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Paralel bir topluluk modeli örneği, Rastgele Orman sınıflandırıcısıdır ve Rastgele Ormanlar aynı zamanda bir bagging tekniğinin örneğidir. “Bagging” terimi “bootstrap agregasyonu”ndan gelir. Toplam veri kümesinden “bootstrap örnekleme” adı verilen bir örnekleme tekniği kullanılarak örnekler alınır ve bu örnekler temel öğrenme modelleri tarafından tahminler yapmak için kullanılır. Sınıflandırma görevleri için, temel modellerin çıktıları oylama kullanılarak birleştirilir, regresyon görevleri için ise ortalamaları alınır. Rastgele Ormanlar, bireysel karar ağaçlarını temel öğrenme modelleri olarak kullanır ve ensemble中的 her ağaç, veri kümesinden farklı bir örnekleme kullanılarak oluşturulur. Ayrıca, her ağacın oluşturulması için özelliklerin rastgele bir alt kümesi kullanılır. Bu, yüksek oranda rastgeleleştirilmiş bireysel karar ağaçlarına yol açar, bunlar güvenilir tahminler sağlamak için birleştirilir.

Topluluk yığma görselleştirilmesi. Foto: Supun Setunga via Wikimedia Commons, CC BY S.A 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Topluluk yığma tekniklerine gelince, birden fazla regresyon veya sınıflandırma modeli, daha yüksek düzeyde bir meta-model aracılığıyla birleştirilir. Alt düzeyli temel modeller, tüm veri kümesine beslenerek eğitilir. Temel modellerin çıktıları daha sonra meta-modeli eğitmek için kullanılan özellikler olarak kullanılır. Topluluk yığma modelleri genellikle heterojen doğadadır.