Doğrusal Regresyon Nedir?

Doğrusal regresyon sürekli bir hedefi bir veya daha fazla girdi özelliğinin doğrusal kombinasyonu olarak modeller. Tahmin, tahminleme ve daha karmaşık bir modelin anlamlı bir değer katıp katmadığını anlamak için şeffaf bir temel çizgi olarak kullanılır.

Bağımsız değişken ve bağımlı değişken terimleri modeldeki rolleri tanımlar, kanıtlanmış neden-sonuç ilişkisini ifade etmez. Bir regresyon, ilişkiyi açıklayan karıştırma, seçim yanlılığı, ters nedensellik veya ölçüm hatası gibi faktörler varken bir birliktelik tespit edebilir.

Temel Çıkarımlar

• Hedef y, girdi özellikleri X üzerinden modellenir; makalenin eski sürümü bir formül açıklamasında bu etiketleri ters çevirmişti.
• En küçük kareler yöntemi, kare residual toplamını en aza indirir.
• Residual tanılamaları ve varsayımlar, çıkarım ve belirsizlik açısından önemlidir.
• Ridge ve lasso düzenlemesi, öngörücüler çok sayıda veya ilişkili olduğunda yardımcı olur.

Basit doğrusal regresyon

Tek bir özellik ile model şu şekildedir:

ŷ = β₀ + β₁x

β₀ kesiti, β₁ ise eğimi temsil eder. i. gözlem için residual yᵢ - ŷᵢ şeklindedir. En küçük kareler (OLS) katsayıları, kare residual toplamını en aza indirecek şekilde seçer.

Eğim, uyarlanmış model altında bir birim özellik değişimiyle hedefte beklenen değişikliği tahmin eder. Çalışma tasarımı ve varsayımlar nedensel tanımlamayı desteklemedikçe bu, nedensel bir etki olarak tanımlanmamalıdır.

Çoklu doğrusal regresyon

p özellik ile:

ŷ = β₀ + β₁x₁ + β₂x₂ + … + βₚxₚ

Her katsayı, diğer dahil edilen özellikler koşulunda yorumlanır. Çoklu regresyon, kodlama, polinom terimleri ve etkileşimler aracılığıyla kategorik değişkenleri de içerebilir. Katsayılar doğrusal olduğu sürece “doğrusal” kalır; dönüşmüş özellikler (ör. x²) dahil edilse bile.

Varsayımlar ve tanılamalar

Tahmin için temel soru, modelin ne kadar genelleştirilebildiğidir. Klasik katsayı testleri ve aralıkları için ek varsayımlar önem kazanır:

• Doğrusallık: koşullu ortalama, seçilen doğrusal form ile temsil edilir.
• Bağımsız veya doğru modellenmiş hatalar: tekrarlayan, gruplanmış, mekânsal veya zaman serisi gözlemler farklı bir hata yapısı gerektirebilir.
• Sabit hata varyansı: heteroskedastisite standart hataları ve belirsizlik tahminlerini etkiler.
• sınırlı çoklu doğrusal bağlantı: güçlü korelasyonlu öngörücüler bireysel katsayıları istikrarsızlaştırır.
• Residual dağılımı: normallik, bazı küçük örneklem çıkarımları için ilgilidir; her özelliğin normal dağılımlı olması zorunlu değildir.

Residual grafikler, kaldıraç ve etki ölçütleri ve alan incelemesi, aykırı değerleri, doğrusal olmayanlıkları, değişen varyansı veya uyumu domine eden gözlemleri ortaya çıkarabilir.

Tahminleri değerlendirme

• Ortalama mutlak hata (MAE) mutlak residual büyüklüklerinin ortalamasını alır.
• Ortalama kare hata (MSE) büyük hatalara daha fazla ağırlık verir.
• Kök ortalama kare hata (RMSE) kare hatayı hedef birimlerine geri döndürür.
• R² residual varyansını değerlendirme verisindeki sabit bir temel ile karşılaştırır.

R² doğruluk değildir, nedenselliği kanıtlamaz ve tutulan veri üzerinde negatif olabilir. Doğrulama, gerçek tahmin ortamına uygun olmalı; gerektiğinde zaman ya da grup‑bilinçli bölünmeler kullanılmalıdır.

Ridge, lasso ve elastic net

Ridge regresyonu katsayıları küçülten bir L2 cezası ekler ve ilişkili öngörücülerde istikrar sağlar. Lasso bir L1 cezası ekler ve bazı katsayıları sıfıra indirebilir. Elastic net her ikisini birleştirir. Özelliklerin, bu cezalar karşılaştırılmadan önce genellikle uyumlu ölçeklendirilmesi gerekir.

Düzenleme, daha düşük varyans karşılığında bir yanlılık getirir ve aşırı uyumu azaltabilir. Ceza gücü, nihai test setinden değil, doğrulama ile seçilir.

Doğrusal regresyonun yanlış araç olduğu durumlar

İlişkiler güçlü doğrusal olmayan, hatalar geçmiş değerlere bağımlı, hedef dağılımları özel modelleme gerektiren veya birkaç aykırı değer kare kaybını domine eden durumlarda doğrusal model başarısız olabilir. Karar ağaçları, genelleştirilmiş doğrusal modeller, zaman serisi modelleri, sağlam regresyon veya doğrusal olmayan yöntemler daha uygun olabilir.

Karmaşık bir model üstün geldiğinde bile, doğrusal regresyon değerli bir temel çizgidir. Büyük bir sistem onu güvenilir bir şekilde geçemezse, ek karmaşıklık haklı gösterilemeyebilir.

Model varsayımları, tahmin ve tanılamalar

Doğrusal regresyon, sayısal bir sonucun koşullu ortalamasını bir kesit ve ağırlıklı öngörücüler toplamı olarak modeller. En küçük kareler, kare residualları en aza indirecek katsayıları seçer. Katsayılar, diğer dahil edilen değişkenler sabit tutulurken bir birim öngörücü değişimi için beklenen sonuç değişimini tanımlar; bu, nedensel tanımlama varsayımları ve çalışma tasarımı daha fazlasını haklı çıkarmazsa yalnızca bir birlikteliktir. Bir veri sözlüğü olmadan birim, kodlama, dönüşüm, etkileşim ve referans kategorileri yorumlamayı belirler.

Klasik çıkarım, fonksiyonel form, bağımsız hatalar, sabit varyans ve belirli testler ile aralıklar için hata dağılımı varsayımlarına dayanır. Residual‑versus‑uyarlanmış grafikler doğrusal olmayanlık ya da heteroskedastisiteyi ortaya çıkarır; Q–Q grafikler kuyruk davranışını değerlendirir; kaldıraç ve etki tanılamaları tahminleri güçlü şekilde etkileyen gözlemleri belirler. İlişkili öngörücüler belirsizliği şişirir ve bireysel katsayıları istikrarsızlaştırır; tahminler yeterli olsa bile. Robust standart hatalar, dönüşümler, spline’lar, hiyerarşik yapı veya başka bir model, rahatsız edici veri noktalarını silmek yerine tercih edilebilir.

Düzenleme, değerlendirme ve sorumlu kullanım

Ridge regresyonu katsayıları L2 cezası ile küçültür, lasso bazılarını L1 cezası ile sıfıra indirebilir; elastic net ikisini birleştirir. Ceza ölçeği karşılaştırılabilir olmalıysa öngörücüler standartlaştırılmalı ve güç, doğrulama ya da çapraz‑doğrulama ile seçilmelidir. Ortalama mutlak hata, kök ortalama kare hata, residual dağılımı, aralıkların farklı değer aralıklarındaki kalibrasyonu ve belirsizlik, zaman ya da grup bölünmeleriyle birlikte değerlendirilmelidir. Ortalama bir temel ve doğrusal olmayan alternatiflerle karşılaştırılmalı, ancak şeffaflık ve istikrar değerli olduğunda doğrusal modeller korunmalıdır.

Gözlemlenen öngörücü aralığının dışına çıkmak, kanıtsız bir şekilde uyarlanmış çizgiye uzanmak anlamına gelir ve tehlikeli olabilir. Özellik aralıklarını, eksikliği, residualları ve alt grup hatalarını üretimde izleyin. Tahmin aralıkları, bireysel sonuç belirsizliğini tanımlar ve ortalama için güven aralıklarından daha geniştir; ikisi de varsayımlara dayanır. Etki tahmini hedefi ise değişkenleri nedensel yanlılığa sürükleyecek şekilde kontrol etmekten kaçının. Doğrusal regresyon, tanımlı bir ilişki için hassas bir araçtır; dünyanın doğrusal olduğu ya da bir katsayının müdahale anlamına geldiği evrensel bir garanti değildir.

Uygulamalı örnek: teslim süresini tahmin etme

Bir lojistik ekibi, teslim süresini mesafe, hizmet seviyesi, bölge, hafta içi ve bilinen hava koşullarına göre modeller. Doğrusal olmayan residual desenlerini inceler ve lineer denklemi kelimenin tam anlamıyla fizik gibi almaktan kaçınarak gerekçeli spline ve etkileşimler ekler. Taşıyıcı ve rota grupları, doğrulama katlamalarını tanımlar. Ortalama mutlak hata, kuyruk hatası, aralık kapsama ve sistematik yanlılık raporlanır. İptal edilen teslimatlar ve varış sonrası kaydedilen veriler dışlanır ya da açıkça modellenir.

Katsayılar birimlerde belgelenir ve ilişkili öngörücüler altında kararsızlık için kontrol edilir. Model, doğrulanmış mesafe ve bölge aralıklarının dışına çıkarılamaz. Tahmin aralıkları tahminlerle birlikte sunulur ve sonraki planlama bu belirsizliği kullanır. İzleme, özellik aralıklarını, residualları, aralık kapsamasını ve ağ değişikliklerinden sonraki yanlılığı takip eder. Taşıyıcı ya da hava koşulu hakkında nedensel bir iddia, yalnızca tahmini katsayılardan çıkarılamaz; müdahale desteklemek için operasyonel deneyler ya da daha güçlü tanımlama gerekir.

Uygulama kanıtları ve operasyonel hazırlık

Bir üretim kararı, sadece başarılı bir gösterimden daha fazlasını gerektirir. Hedef kullanıcıları, çalışma ortamını, girdileri, çıktıları, bağımlılıkları, sorumluyu ve her önemli hatanın sonucunu tanımlayın. Ayarlamadan önce yeniden üretilebilir bir temel ve sürümlenmiş bir değerlendirme seti oluşturun. Normal durumları, sınır koşullarını, hatalı ya da eksik girdileri, dağılım kaymasını, bağımlılık kesintisini, yanlış kullanımı ve en çok hizmet dışı kalabilecek grup ya da ortamları test edin. Görev kalitesini kalibrasyon ya da belirsizlik, gecikme, verim, kaynak maliyeti, erişilebilirlik, gizlilik ve güvenlik ile birlikte ölçün. Her dönüşüm ve eşik kaydedilsin, böylece bağımsız bir gözden geçiren sonuçları yeniden üretebilir ve kanıtı çekici bir prototipten ayırabilir.

Lansmandan önce, sürüm, istisnalar, değişiklikler, geri alma ve emeklilik sorumluluğu için yetki atayın. Aşamalı bir dağıtım kullanın, güvenli bir geri dönüş sağlayın ve kasıtlı olarak eklenen hatalarla izlemeyi doğrulayın. Operasyonel telemetri, girdi kalitesini, çıktı davranışını, model ya da kural sürümünü, bağımlılık sağlığını, insan müdahalelerini ve gereksiz hassas veri toplamayarak doğrulanmış sonuçları ortaya koymalıdır. Uyarı eşikleri ve bir yanıt sorumlusu tanımlayın, ardından dağıtımdan sonra gerçek dünya kanıtlarını gözden geçirin; çevrim dışı performansın devam edeceğini varsaymayın. Veri kaynakları, kullanıcılar, modeller, satıcılar, politikalar, donanım ya da hedefler değiştiğinde yeniden değerlendirin. Sürekli bir sistem ayrıca belgelenmiş kurtarma, olay öğrenimi, silme ve saklama prosedürleri ve devre dışı bırakılması ya da değiştirilmesi gereken net bir noktayı da içermelidir.

Sıkça Sorulan Sorular

Doğrusal regresyon yalnızca bir girdi değişkeni gerektirir mi?

Hayır. Basit regresyon bir öngörücüye sahiptir, çoklu doğrusal regresyon ise sayısal, kodlanmış kategorik, dönüştürülmüş ve etkileşimli birçok özelliği kullanabilir.

Doğrusal regresyon nedenselliği kanıtlayabilir mi?

Hayır. Nedensel yorumlama, savunulabilir bir araştırma tasarımı ve karıştırma, seçim, ölçüm ve müdahale hakkında varsayımlar gerektirir. Yalnızca tahmini bir katsayı, uyarlanmış modelde bir birliktelik tanımlar.

Temel referanslar

• scikit-learn: Linear Models
• NIST/SEMATECH: Linear least squares regression