Gradient Boosting Nedir?

Gradient boosting aşamalı olarak eklemeli bir tahmin modeli oluşturur. Çoğu zaman sığ bir karar ağacı olan her yeni zayıf öğrenici, seçilen kaybın negatif gradyanını yaklaşık alarak mevcut topluluğun hatalarını azaltmak üzere eğitilir.

Son tahmin, birçok küçük düzeltmenin toplamıdır. Bu, tablo verilerinde doğrusal olmayan ilişkileri ve etkileşimleri modelleyebilir, ancak aynı esneklik gürültü ve sızıntıya da uyum sağlayabileceği için dikkatli bir doğrulama gereklidir.

Temel Çıkarımlar

• Gradient boosting, fonksiyonel bir gradyan inişidir: her öğrenici topluluğu daha düşük kayba doğru yönlendirir.
• Öğrenme oranı ve ağaç sayısı, adım boyutunu model uzunluğuyla takas eder.
• Ağaç derinliği etkileşim karmaşıklığını kontrol eder; alt örnekleme ve düzenleme aşırı öğrenmeyi azaltabilir.
• XGBoost, LightGBM ve CatBoost, farklı mühendislik ve kategorik özellik seçimlerine sahip ilgili uygulamalardır.

Sıralı Hata Düzeltmesi

Basit bir sabit tahminle başlayın. Kayıbın her eğitim örneği için nasıl değişeceğini hesaplayın, ardından bu negatif gradyanlara bir decision tree uydurun. Ağacın ölçeklenmiş bir versiyonunu topluluğa ekleyin ve tekrarlayın.

Kare hata regresyonu için negatif gradyanlar artıklardır, bu da süreci sezgisel kılar. Diğer türevlenebilir kayıplar sınıflandırma, sağlam regresyon veya sıralama için farklı sahte artıklar üretir.

Öğrenme Oranı, Ağaç Derinliği ve Turlar

Daha küçük bir öğrenme oranı, her ağacı daha nazik bir düzeltme yapar ve genellikle daha fazla tur gerektirir. Sığ ağaçlar etkileşim derecesini sınırlar; daha derin ağaçlar daha karmaşık desenleri yakalar ancak varyans ve maliyeti artırır.

Veriden bağımsız en iyi bir ayar yoktur. Gerekli durumlarda zaman‑bilinçli veya gruplu doğrulama ile birlikte ayarlayın ve dağıtıma uygun bir doğrulama setinde erken durdurma kullanın.

Düzenleme ve Alt Örnekleme

Satır alt örnekleme rastgelelik getirir ve varyansı azaltabilir. Sütun alt örnekleme aynı özelliklere tekrarlı bağımlılığı sınırlar. L1/L2 ceza terimleri, minimum yaprak boyutu, bölünme kazancı eşikleri ve maksimum derinlik bireysel ağaçları kısıtlar.

Düzenleme hedef sızıntısını veya temsili olmayan bölmeyi düzeltmez. Overfitting kontrolleri veri hattıyla başlamalıdır.

XGBoost, LightGBM ve CatBoost

XGBoost, seyrekliğe duyarlı algoritmalarla ölçeklenebilir düzenlenmiş ağaç artırma sistemi getirdi. LightGBM, verimlilik için histogram teknikleri ve yaprak‑odaklı büyümeyi kullanır. CatBoost, kategorik özelliklerle çalışırken hedef sızıntısını azaltmak için tasarlanmış sıralı teknikler içerir.

Kütüphane varsayılanları ve kategori işleme farklılık gösterir. Kıyaslamalar yalnızca eğitim hızına değil, ön işleme süresi, bellek, tahmin gecikmesi ve yerel eksik değer davranışına da yer vermelidir.

Değerlendirme ve Yorumlama

Göreve uygun tutulan test ölçütlerini, risk kararları için olasılık kalibrasyonunu ve alt grup kontrollerini kullanın. Bölünme sayısı veya kazanç temelli özellik önemleri yanlı olabilir ve nedenselliği kanıtlamaz.

Kısmi bağımlılık, birikmiş yerel etkiler ve SHAP tarzı atıflar davranışı incelemeye yardımcı olabilir, ancak ilişkili özellikler yorumu zorlaştırır. Politika veya açıklama kısıtlamaları baskın olduğunda daha basit bir doğrusal veya monoton model tercih edilebilir.

Sıralı Ağaçlar ve Artık Düzeltmesi

Gradient boosting, her seferinde bir zayıf öğrenici ekleyerek eklemeli bir model oluşturur. Her yeni ağaç, seçilen kaybın mevcut tahminlere göre negatif gradyanını yaklaşıklar—kare hata regresyonu için artıklar ve sınıflandırma için dönüştürülmüş hata sinyali. Öğrenme oranı her ağacın katkısını ölçeklendirirken, ağaç derinliği etkileşimleri kontrol eder. Çok sayıda sığ ağaç, karmaşık doğrusal olmayan ilişkileri yakalayabilir. Bagging’den farklı olarak, ağaçlar bağımlı ve sıralıdır; bu uyumu artırır ancak yöntemi gürültü, sızıntı ve ayarlamaya karşı hassas kılar.

Gradient artırmalı karar ağaçları gibi uygulamalar küçültme, satır ve özellik alt örnekleme, histogram bölünmeleri, düzenleme ve etkili eksik değer işleme kullanır. XGBoost, ikinci mertebe bilgisi ve açık cezalar uygular; LightGBM, yaprakları büyütür ve histogram ve örnekleme teknikleri kullanır; CatBoost, hedef sızıntısını azaltmak için tasarlanmış sıralı istatistiklerle kategorik değişkenleri işler. Varsayılanları ve kategori işleme yaklaşımları farklıdır. Özellikle hedef kodlaması söz konusu olduğunda, ön işleme ve hiperparametre aramaları eğitim katmanının içinde yapılmalıdır.

Ayarlama, Yorumlama ve Değerlendirme

Ana kontroller arasında ağaç sayısı, öğrenme oranı, maksimum derinlik veya yaprak sayısı, minimum yaprak verisi, satır ve sütun örneklemesi ve düzenleme bulunur. Daha düşük öğrenme oranları genellikle daha fazla ağaç gerektirir. Bir doğrulama setinde erken durdurma kullanın ve ardından dokunulmamış bir test setinde doğrulayın. Sınıf‑özel ölçütleri, kalibrasyonu, hata maliyetini ve zaman ve alt grup bazında performansı değerlendirin. Ağaç artırma, tablo benchmark’larında hâkim olabilir ancak ilişkiler basit veya veri istikrarsız olduğunda doğrusal bir temel modele yenik düşebilir.

Kazanç‑tabanlı özellik önemi, çok sayıda bölünme fırsatı olan değişkenleri tercih edebilir. Permütasyon önemi ve SHAP’ı temkinli kullanın, ilişkili özellikleri inceleyin ve karşı‑olgu ya da aşındırma testleri yapın. Açıklamalar, uyarlanmış modeli tanımlar, nedensel etkileri değil. Kısmi bağımlılık, öngörücüler ilişkili olduğunda imkânsız özellik kombinasyonlarını değerlendirebilir. Eksikliklerin veya tanımlayıcıların kısayol olup olmadığını ve monoton kısıtlamaların alan kurallarıyla gerekçelendirilip gerekçelendirilmediğini kontrol edin.

Üretim Operasyonu

Tam özellik boru hattını, kategori eşlemesini, modeli ve eşik değerini serileştirin. Kütüphane veya derleyici sürümleri arasında tahminleri doğrulayın ve gerçekçi ağaç sayısı ve toplu boyutunda gecikmeyi ölçün. Şemayı, eksiklikleri, kategori kaymasını, skor dağılımını, kalibrasyonu ve sonuçları izleyin. Yeni kategoriler ve değişen kaynak sistemler örnekleri istenmeyen dallara yönlendirebilir. Geri alma ve yeniden eğitim kanıtlarını tutun. Gradient boosting, yapılandırılmış veriler için güçlüdür, ancak doğruluğu istikrarlı özellik anlamına, sızıntısız doğrulamaya ve karmaşık topluluk etrafındaki operasyonel kontrollerine bağlıdır.

Uygulamalı Örnek: İddia Triage’i için Gradient Boosting

Bir sigorta şirketi, ödemeyi reddetmek yerine uzman incelemesi için talepleri önceliklendirmek amacıyla artırılmış ağaçlar kullanır. Özellikler, girişte mevcut bilgilere sınırlıdır, kategorik kodlama katlamalar içinde uygulanır ve talepler müşteri ve zamana göre bölünür. Düzenlenmiş lojistik bir temel ve çeşitli artırma kütüphaneleri karşılaştırılır. Değerlendirme, inceleme kapasitesindeki hatırlama, kalibrasyon, yanlış yük, işleme süresi ve talep türleri ve ilgili etkilenen gruplar arasındaki hataları rapor eder.

Açıklamalar, kaynak alanları ve belirsizliği gösterir ancak sahtekarlık için nedensel nedenler olarak tanımlanmaz. Düşük destekli kategoriler ve eksik şema normal incelemeye yönlendirilir. Tam özellik boru hattı, model ve eşik sürümlenir; izleme eksiklikleri, yeni kategorileri, skor kaymasını, geçersiz kılmaları ve sonuçları takip eder. Bir politika veya kaynak‑sistem değişikliği yeniden değerlendirme gerektirir. Model, yalnızca iş yükünü kaydırıyorsa veya doğrulanmış operasyonel fayda olmadan eşitsiz denetim yaratıyorsa kaldırılır.

Uygulama Kanıtı ve Operasyonel Hazırlık

Üretim kararı, yalnızca başarılı bir gösterimden daha fazlasını gerektirir. Hedef kullanıcıları, çalışma ortamını, girdileri, çıktıları, bağımlılıkları, sorumluyu ve her önemli hatanın sonucunu tanımlayın. Ayarlamadan önce yinelenebilir bir temel ve sürümlenmiş bir değerlendirme seti oluşturun. Normal durumları, sınır koşullarını, hatalı veya eksik girdileri, dağılım kaymasını, bağımlılık kesintisini, kötü kullanımı ve hizmet dışı kalma ihtimali yüksek grupları veya ortamları test edin. Görev kalitesini kalibrasyon veya belirsizlik, gecikme, iş hacmi, kaynak maliyeti, erişilebilirlik, gizlilik ve güvenlik ile birlikte ölçün. Bağımsız bir inceleyicinin sonucu yeniden üretebilmesi ve kanıtı çekici bir prototipten ayırabilmesi için her dönüşümü ve eşik değerini kaydedin.

Başlamadan önce, sürüm, istisna, değişiklik, geri alma ve emeklilik yetkisini atayın. Aşamalı bir dağıtım kullanın, güvenli bir geri dönüşü koruyun ve kasıtlı olarak eklenen hatalarla izlemeyi doğrulayın. Operasyonel telemetri, gereksiz hassas verileri toplamadan giriş kalitesini, çıktı davranışını, model veya kural sürümünü, bağımlılık sağlığını, insan geçersiz kılmalarını ve doğrulanmış sonuçları ortaya koymalıdır. Uyarı eşiklerini ve bir yanıt sorumlusunu tanımlayın, ardından dağıtımdan sonra gerçek dünya kanıtını gözden geçirin; çevrim dışı performansın devam edeceğini varsaymayın. Veri kaynakları, kullanıcılar, modeller, satıcılar, politikalar, donanım veya hedefler değiştiğinde yeniden değerlendirin. Bakımı yapılan bir sistem, belgelenmiş bir kurtarma, olay öğrenimi, silme ve saklama prosedürleri ve devre dışı bırakılması veya değiştirilmesi gereken net bir noktaya da ihtiyaç duyar.

Sıkça Sorulan Sorular

Gradient boosting, gradient descent ile aynı mıdır?

Fonksiyon uzayında gradyan inişi fikrini kullanır, kaybı azaltan öğreniciler ekler. Temel öğrenici genellikle doğrudan güncellenen bir parametre vektörü yerine bir ağaçtır.

Neden çok sayıda sığ ağaç kullanılır?

Her ağaç sınırlı bir düzeltme yapar. Toplamları, derinlik ve öğrenme oranının modelin etkileşimleri ne kadar agresif şekilde uydurduğunu kontrol ettiği bir ortamda karmaşık fonksiyonları ifade edebilir.

Temel Referanslar

• Friedman: Açgözlü fonksiyon yaklaşımı
• Chen and Guestrin: XGBoost
• Ke et al.: LightGBM
• Prokhorenkova et al.: CatBoost