Esneklik > Doğru Oran: Neden ‘model esnekliği’ operasyonel modeller için gerçek ölçüt olmalıdır

Ingo Mierswa tarafından, RapidMiner‘ın Kurucusu, Başkanı ve Baş Veri Bilimcisi.

Veri bilimi son birkaç yılda büyük ilerleme kaydetmiştir ve birçok kuruluş, işlemler hakkında daha derin içgörüler elde etmek veya gelecekte olası sonuçları tahmin etmek için gelişmiş analiz veya makine öğrenimi modellerini kullanmaktadır. Diğer “bilim” dallarında, bir projenin başarılı olup olmayacağı souvent belli değildir ve veri bilimi projelerinin %87’sinin üretimde hiç yer almadığı bildirilmiştir. %100’lük bir başarı oranı beklenemez, ancak veri bilimi projelerinde, kabul edilemeyecek kadar yüksek başarısızlık oranlarına yol açan bazı kalıplar vardır. Bu sorunlu kalıplar, herhangi bir özel endüstri veya kullanım durumu bağımsız olarak var gibi görünmektedir, bu da veri biliminde evrensel bir sorun olduğunu göstermektedir.

Makine öğreniminin başarısını ölçmek

Makine öğrenimi (ML) modelleri oluşturan veri bilimcileri, bu modellerin nasıl performans gösterdiğini ölçmek için iyi tanımlanmış matematiksel ölçütler kullanır. Uygulanan kriter, model türüne bağlı olarak değişir. Bir modelin yeni durumlar için sınıflar veya kategoriler öngörmesi gerektiğini varsayalım – örneğin, bir müşterinin ayrılacağına dair bir öngörü. Bu gibi durumlarda, veri bilimcileri, modelin ne kadar doğru olduğu (doğru oran) veya müşterilerin gerçekten ayrılma eğiliminde olduklarını öngörürse ne kadar doğru olduğu (duyarlılık) gibi ölçümleri kullanır.

Veri bilimcilerinin bu gibi objektif ölçütler benötir, çünkü işlerinin bir kısmı, bu değerlendirme ölçütlerini en iyi modeli üretmek için optimize etmektir. Aslında, modelleme için veri hazırlamaktan sonraki en önemli adımda, veri bilimcileri, bu modelleri oluşturma ve ayarlamayla uğraşırlar ve bu, veri bilimcilerinin zamanının çoğunu alır.

Bunun dezavantajı, veri bilimcilerinin aslında modelleri üretimde kullanmaya odaklanmadıklarıdır, bu da birden fazla nedenden dolayı sorunludur. İlk olarak, başarılı sonuçlar üretemeyen modeller, organizasyonlar için iş etkileri yaratamaz. İkincisi, bu organizasyonlar, başarılı sonuçlar üretemeyen modelleri geliştirmek, eğitmek ve operasyonel hale getirmek için zaman ve para harcamışlardır ve bu nedenle, ML ve diğer veri bilimi araçlarını organizasyonları için işe yaramaz olarak değerlendirebilir ve gelecekteki veri bilimi girişimlerini ilerletmekten vazgeçebilirler.

Gerçek şu ki, veri bilimcileri sadece model ayarlamasını sever ve buna çok zaman harcarlar. Ancak iş etkileri olmadan, bu zaman iyi harcanmaz, özellikle de günümüzün veri bilimcileri açısından bu kaynak ne kadar sınırlıysa.

Netflix ödülü ve üretim başarısızlığı

Son yıllarda, model oluşturma ve operasyonelleştirme arasında aşırı yatırım yapılma fenomenini gördük. Netflix Ödülü (NFLX ), kullanıcıların film derecelendirmelerini öngören en iyi işbirliği filtreleme algoritması için açık bir yarışmaydı. Bir filme yüksek puan verdiyseniz, muhtemelen bu filmi beğendiğiniz için, Netflix size belirli başlıkları önerecektir ve eğer önerilen içeriği beğenirseniz, muhtemelen daha uzun süre Netflix müşterisi olarak kalacaksınız. Büyük ödül, Netflix’in kendi algoritmasını en az %10 oranında geliştirebilen takıma verilen 1 milyon ABD Doları idi.

Yarışma 2006 yılında başladı ve sonraki üç yılda, küresel olarak 40.000’den fazla veri bilimi ekibinin katkıları, başlık önerme başarısında %10’dan fazla bir iyileşmeye yol açtı. Ancak, kazanan ekibin modelleri hiçbir zaman operasyonelleştirilmedi. Netflix, “doğru oranındaki artış, modelleri üretimde kullanmak için gereken çabayı haklı çıkarmak için yeterli görünmüyordu” dedi.

Optimal her zaman optimal değildir

Model doğruluğu ve diğer veri bilimi ölçütleri, uzun süredir bir modelin başarısını üretimde kullanmadan önce ölçmek için kullanılmıştır. Gördüğümüz gibi, birçok model üretimde hiç kullanılmaz – bu, hem enerji hem de harcanan zaman açısından bir kaynak israfıdır.

Ancak, model ayarlamasına aşırı yatırım kültürü ile ilgili daha fazla sorun vardır. İlk olarak, test verilerine istemeden uyarlama, veri bilimcisinin yönettiği verilere göre iyi performans gösteren ancak üretimde zayıf performans gösteren veya hatta zarar veren modellere yol açar. Bu, iki nedenden dolayı olur:

1. Test hatası ile üretim hatası arasında iyi bilinen bir uyumsuzluk vardır
2. İş etkisi ve veri bilimi performans ölçütleri genellikle ilişkili olmakla birlikte, “optimal” modeller her zaman en büyük etkiye sahip değildir

Yukarıdaki ilk nokta, “test kümesine uyarlama” olarak da bilinir. Veri bilimi yarışmaları katılımcıları arasında, özellikle Kaggle yarışmaları arasında, bu olgu iyi bilinmektedir. Bu yarışmalarda, kamu ve özel liderlik tabloları arasındaki güçlü bir versiyonu zaten görebilirsiniz. Aslında, bir yarışmacı, verilere hiç bakmadan kamu liderlik tablosunu kazanabilir verilere hiç bakmadan. Aynı şekilde, özel liderlik tablosu ve genel yarışma kazananı, değerlendirildiği veri kümesi dışında herhangi bir veri kümesinde performansını sürdüremeyen bir model üretebilir.

Doğru oran iş etkisine eşit değildir

Uzun süredir, test veri kümelerine modellerin uyarlanmasına yol açan bu uygulamayı kabul ettik. Sonuç olarak, en iyi modelin aslında ortalama performans gösteren bir model olduğu ortaya çıkıyor:

• Öngörüsel doğruluk gibi ölçümler iş etkisine eşit değildir
• %1’lik bir doğruluk artışı, %1’lik daha iyi iş sonucuna çevrilemez
• İş etkisine göre diğer modelleri aşan düşük performanslı modeller olduğu durumlar vardır
• Bakım, puanlama hızı veya zaman içinde değişikliklere karşı dayanıklılık (esneklik) gibi diğer faktörler de dikkate alınmalıdır.

Bu son nokta özellikle önemlidir. En iyi modeller, sadece yarışmaları kazanmak veya veri bilimi laboratuvarında iyi görünmekle kalmaz, üretimde de iyi performans gösterir ve çeşitli test kümelerinde iyi performans gösterir. Bu modellere “esnek” modeller diyoruz.

Değişim ve esnekliğin önemi

Tüm modeller zamanla bozulur. Sadece bu bozulmanın ne kadar hızlı olduğu ve modelin değişen koşullar altında nasıl performans gösterdiği önemlidir. Modelin bozulmasının nedeni, dünyanın statik olmamasıdır. Bu nedenle, modele uygulanan veriler de zamanla değişir. Bu değişiklikler yavaşça meydana gelirse, buna “kavramsal kayma” diyoruz. Değişiklikler aniden meydana gelirse, buna “kavramsal değişim” diyoruz. Örneğin, müşteriler, trendlerin ve/veya pazarlamanın etkisi altında yavaşça tüketim davranışlarını değiştirebilir. Eğilim modelleri belirli bir noktada artık çalışmayabilir. Bu değişiklikler belirli durumlar tarafından dramatik olarak hızlandırılabilir. COVID-19, örneğin, tuvalet kağıdı ve dezenfektan gibi ürünlerin satışını beklenmedik şekilde artırdı – belirli ürünlerde ani ve keskin bir artış, böyle bir modeli tamamen yanlış yola sokabilir.

Esnek bir model, doğruluk veya kesinlik gibi ölçütlere göre en iyi model olmayabilir, ancak daha geniş bir veri kümesi üzerinde iyi performans gösterir. Bu nedenle, daha uzun bir süre boyunca iyi performans gösterir ve bu nedenle daha iyi iş etkileri yaratma yeteneğine sahiptir.

Doğrusal ve diğer basit modeller genellikle daha esnek olur, çünkü bunları belirli bir test kümesine veya zamana uyarlama daha zordur. Daha güçlü modeller, daha basit bir model için “rakip” olarak kullanılabilir, böylece veri bilimcileri, bu modelin de zaman içinde dayanıklı olup olmadığını görebilir. Ancak bu, modelleme yolculuğunun başlangıcında değil, sonunda yapılmalıdır.

Veri biliminde esnekliği ölçmek için resmi bir KPI henüz tanımlanmamıştır, ancak veri bilimcileri modellerinin esnekliğini değerlendirmek için birkaç yol kullanabilir:

• Çapraz doğrulama çalışmasında daha küçük standart sapmalar, model performansının farklı test kümelerine bağlı olmadığını gösterir
• Veri bilimcileri tam çapraz doğrulamalar yapmıyorsa, test ve doğrulama için iki farklı veri kümesi kullanabilir. Test ve doğrulama veri kümeleri arasındaki hata oranları arasındaki fark, daha yüksek esnekliği gösterir
• Eğer model üretimde düzgün bir şekilde izlenirse, hata oranları zaman içinde görülebilir. Hata oranlarının zaman içinde tutarlılığı, model esnekliğini gösterir.
• Eğer model izleme çözümünüz, kaymayı hesaba katıyorsa, veri bilimcileri, modelin bu girdinin nasıl etkilendiğine de dikkat etmelidir.

Veri Biliminde Kültür Değişimi

Bir model operasyonel aşamada dağıtıldıktan sonra, modelin doğruluğuna yönelik tehditler仍 devam etmektedir. Yukarıdaki son iki nokta, model esnekliği ile ilgili olarak, üretimde modellerin düzgün bir şekilde izlenmesini gerektirir. Veri biliminde kültür değişimi için bir başlangıç noktası olarak, şirketler, uygun model izleme yatırımı yapmaya ve veri bilimcilerini, modeller üretimde dağıtıldıktan sonra performansı için sorumlu tutmaya başlamalıdır. Bu, model oluşturma kültüründen, değer yaratma ve sürdürme kültürüne veri biliminde anında bir değişiklik getirecektir.

Son dünya olayları bize gösterdi ki, dünya hızla değişiyor. Şimdi, daha önce hiç olmadığı kadar, anlamlı iş etkileri yaratmak için zaman içinde dayanıklı modeller oluşturmaya ihtiyacımız var – sadece doğru olanlar değil. Örneğin, Kaggle, veri bilimcilerini, COVID-19’a karşı küresel mücadelede kullanılan model çözümleri oluşturmaya teşvik etmek için bir yarışma düzenliyor. Bu yarışmadan elde edilen en başarılı modellerin en dayanıklı olanlar, en doğru olanlar değil, olduğunu öngörüyorum, çünkü COVID-19 verilerinin bir günde nasıl hızla değişebileceğini gördük.

Veri bilimi, “en iyi” modeli üretmek yerine gerçeği bulmaya odaklanmalıdır. Esneklikten yana daha yüksek bir standartta kendimizi tutarak, veri bilimcileri, organizasyonlarımız için daha fazla iş etkileri yaratma ve geleceği olumlu yönde şekillendirmeye yardımcı olma yeteneğine sahip olacaktır.