Topluluk Öğrenimi Nedir?

Makine öğreniminin en güçlü tekniklerinden biri topluluk öğrenimidir. Topluluk öğrenimi birden fazla makine öğrenimi modelinin tahminlerin güvenilirliğini ve doğruluğunu artırmak için kullanılmasidir. Ancak birden fazla makine öğrenimi modelinin kullanılması nasıl daha doğru tahminlere yol açar? Topluluk öğrenimi modelleri oluşturmak için hangi teknikler kullanılır? Bu soruların cevaplarını keşfedeceğiz, topluluk modellerini kullanmanın arkasındaki mantığı ve topluluk modelleri oluşturmanın temel yollarını inceleyeceğiz.

Topluluk Öğrenimi Nedir?

Basitçe söylemek gerekirse, topluluk öğrenimi birden fazla makine öğrenimi modelini eğitme ve çıktılarını birleştirmeye yönelik bir süreçtir. Farklı modeller, bir optimal öngörücü model oluşturmak için temel olarak kullanılır. Farklı bireysel makine öğrenimi modellerinin birleşmesi, genel modelin stabilitesini artırabilir, bu da daha doğru tahminlere yol açar. Topluluk öğrenimi modelleri genellikle bireysel modellerden daha güvenilir olup, bu nedenle birçok makine öğrenimi yarışmasında ilk sırayı alırlar.

Mühendislerin topluluk öğrenimi modeli oluşturmak için kullanabileceği farklı teknikler vardır. Basit topluluk öğrenimi teknikleri, farklı modellerin çıktılarını ortalama almak gibi şeyleri içerir, ancak birden fazla temel öğrenici/modelin tahminlerini birleştirmek için geliştirilmiş daha karmaşık yöntemler ve algoritmalar da vardır.

Neden Topluluk Eğitimi Yöntemlerini Kullanmalıyız?

Makine öğrenimi modelleri çeşitli nedenlerle birbirinden farklı olabilir. Farklı makine öğrenimi modelleri farklı nüfus veri örnekleri üzerinde çalışabilir, farklı modelleme teknikleri kullanılabilir ve farklı bir hipotez kullanılabilir.

BirTrivia oyununu büyük bir insan grubuyla oynadığınızı hayal edin. Eğer yalnız bir takımda oynuyorsanız, bazı konularda bilgi sahibi olacağınız ve birçok konudan da haberiniz olmayacağından emin olabilirsiniz. Şimdi, diğer insanlarla birlikte bir takımda oynadığınızı varsayalım. Tıpkı sizin gibi, onlar da kendi uzmanlıklarıyla ilgili bazı bilgilerine sahip olacaklar ve diğer konularda da bilgisiz olacaklar. Ancak bilgilerinizi birleştirdiğinizde, daha fazla alanda daha doğru tahminlerde bulunabilir ve takımınızın bilgisiz olduğu konuların sayısı azalır. Bu, topluluk öğreniminin temelini oluşturan aynı ilkedir, bireysel modellerin (takım üyelerinin) tahminlerini birleştirmek ve doğruluğu artırmak, hataları azaltmak için.

İstatistikçiler kanıtlamıştır ki, belirli bir soruya verilen cevaplar için olası cevapların bir aralığında, insanların tahminlerinin olasılık dağılımı oluşturur. Doğru cevabı bilen kişiler doğru cevabı güvenle seçerler, yanlış cevapları seçenler ise yanlış cevapları olası cevapların aralığına dağıtırlar. Trivia oyununa geri dönecek olursak, eğer siz ve iki arkadaşınız doğru cevabın A olduğunu biliyorsanız, üçünüz de A’yi seçersiniz, ancak doğru cevabı bilmeyen takım arkadaşlarınız yanlış olarak B, C, D veya E’yi seçebilir. Sonuç olarak, A üç oy alır ve diğer cevaplar en fazla bir veya iki oy alabilir.

Tüm modellerde bazı hatalar vardır. Bir modelin hataları, yukarıda belirtilen nedenlerle, başka bir modelin ürettiği hatalardan farklıdır. Tüm hatalar incelendiğinde, belirli bir cevaba veya başka bir cevaba toplu halde नह chứ dağınık bir şekilde dağılırlar. Yanlış tahminler esasen tüm olası yanlış cevapları kapsar ve birbirlerini iptal eder. Aynı zamanda, farklı modellerin doğru tahminleri doğru, doğru cevaba toplu halde toplanır. Topluluk eğitimi yöntemleri kullanıldığında, doğru cevabı daha güvenilir bir şekilde bulunabilir.

Basit Topluluk Eğitimi Yöntemleri

Basit topluluk eğitimi yöntemleri genellikle yalnızca istatistiksel özet tekniklerini içerir, Örneğin, bir dizi tahminden mod, ortalama veya ağırlıklı ortalama belirleme.

Mod, bir sayı kümesindeki en sık görülen öğeyi ifade eder. Modu elde etmek için, bireysel öğrenme modelleri tahminlerini döndürür ve bu tahminler nihai tahmine oy olarak dikkate alınır. Tahminlerin ortalamasını belirlemek, basitçe tahminlerin aritmetik ortalamasını hesaplamak ve yuvarlak bir tam sayıya yuvarlamakla yapılır. Son olarak, ağırlıklı ortalama, modellerin farklı ağırlıklar atanmasıyla hesaplanabilir, bu ağırlıklar o modelin algılanan önemini temsil eder. Sınıflandırma tahmini için sayısal temsil, 0 ile 1,0 arasında bir ağırlıkla birlikte çarpılır, bireysel ağırlıklı tahminler daha sonra birleştirilir ve sonuç en yakın tam sayıya yuvarlanır.

Gelişmiş Topluluk Eğitimi Yöntemleri

Üç temel gelişmiş topluluk eğitimi tekniği vardır, her biri belirli bir makine öğrenimi problemiyle ilgilenmek üzere tasarlanmıştır. “Bagging” teknikleri, bir modelin tahminlerinin varyansını azaltmak için kullanılır, varyans, aynı gözlem temelinde yapılan tahminlerin sonuçlarının ne kadar farklı olduğunu ifade eder. “Boosting” teknikleri, modellerin önyargısını gidermek için kullanılır. Son olarak, “yığma” genel olarak tahminleri iyileştirmek için kullanılır.

Topluluk öğrenimi yöntemleri genellikle iki farklı gruba ayrılabilir: sıralı yöntemler ve paralel topluluk yöntemleri.

Sıralı topluluk yöntemleri, temel öğrenici/modellerin sıralı olarak oluşturulduğu için “sıralı” adını alır. Sıralı yöntemlerde, temel fikir, daha doğru tahminler elde etmek için temel öğreniciler arasındaki bağımlılığı kullanmaktır. Yanlış olarak etiquetlenmiş örneklerin ağırlıkları ayarlanır, doğru olarak etiquetlenmiş örnekler ise aynı ağırlıkları korur. Her yeni bir öğrenici oluşturulduğunda ağırlıklar değişir ve (umulur ki) doğruluk artar.

Sıralı topluluk modellerinin aksine, paralel topluluk yöntemleri temel öğrenici/modelleri paralel olarak oluşturur. Paralel topluluk öğrenimi gerçekleştirilirken, temel fikir, temel öğrenicilerin bağımsızlığını kullanmaktır, çünkü genel hata oranı, bireysel öğrenicilerin tahminlerinin ortalaması alınarak azaltılabilir.

Topluluk eğitimi yöntemleri homojen veya heterojen olabilir. Çoğu topluluk öğrenimi yöntemi homojendir, yani tek bir tür temel öğrenme modeli/algortimasını kullanır. Buna karşılık, heterojen topluluklar, öğrenicileri çeşitlendirmek ve öğrenicileri değiştirmek için farklı öğrenme algoritmaları kullanır, böylece doğruluk mümkün olduğunca yüksek olur.

Topluluk Öğrenimi Algoritmaları Örnekleri

Topluluk güçlendirme görselleştirilmesi. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Sıralı topluluk yöntemleri örnekleri arasında AdaBoost, XGBoost ve Gradient tree boosting bulunur. Bunlar tümü güçlendirme modelleridir. Bu güçlendirme modelleri için amaç, zayıf, düşük performanslı öğrenicileri daha güçlü öğrenicilere dönüştürmektir. AdaBoost ve XGBoost gibi modeller, biraz daha iyi performans gösteren birçok zayıf öğreniciyle başlar. Eğitim devam ettikçe, verilere ağırlıklar uygulanır ve ayarlanır. Daha önceki eğitim roundsında öğreniciler tarafından yanlış sınıflandırılan örnekler daha fazla ağırlık alır. İstenen sayıda eğitim roundu tamamlandıktan sonra, tahminler birleştirilir, bu da regresyon görevleri için ağırlıklı toplam ve sınıflandırma görevleri için ağırlıklı oydur.

Bagging öğrenme süreci. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Paralel bir topluluk modeli örneği, Random Forest sınıflandırıcıdır ve Random Forests ayrıca bir bagging tekniğidir. “Bagging” terimi “bootstrap agregasyonu”ndan gelir. Bootstrap örneklemesi adı verilen bir örneklem teknikleriyle örnekler toplam veri kümesinden alınır ve bu örnekler temel öğreniciler tarafından tahminler yapmak için kullanılır. Sınıflandırma görevleri için, temel modellerin çıktıları oylama kullanılarak birleştirilir, regresyon görevleri için ise birlikte ortalaması alınır. Random Forests, bireysel karar ağaçlarını temel öğrenici olarak kullanır ve ensemble中的 her ağaç, veri kümesinin farklı bir örneği kullanılarak oluşturulur. Ayrıca, ağacın oluşturulması için özelliklerin rastgele bir alt kümesi kullanılır. Bu, bireysel karar ağaçlarının yüksek oranda rastgeleleştirilmesine yol açar ve bunlar birleştirilerek güvenilir tahminler sağlanır.

Topluluk yığma görselleştirilmesi. Foto: Supun Setunga via Wikimedia Commons, CC BY S.A 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Yığma topluluk teknikleri açısından, birden fazla regresyon veya sınıflandırma modeli, daha yüksek düzeyde bir meta-model aracılığıyla birleştirilir. Alt düzeyli temel modeller, tüm veri kümesine beslenerek eğitilir. Temel modellerin çıktıları, daha sonra meta-modeli eğitmek için özellikler olarak kullanılır. Yığma topluluk modelleri genellikle heterojen doğadadır.