Yapay zeka temelleri
Veri Bilimi Nedir?
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Data science veriyi savunulabilir bilgi, tahmin veya kararlara dönüştürme pratiğidir. Alan uzmanlığı, istatistik, bilişim, veri mühendisliği, görselleştirme ve iletişimi birleştirir. Bir model çalışmanın bir parçası olabilir, ancak disiplin modellemeden önce başlar ve dağıtımdan sonra da devam eder.
En önemli soru “Hangi algoritmayı kullanmalıyız?” değil, “Hangi kararı destekliyoruz, bu kararı yanıtlayacak kanıt nedir ve sonucun hâlâ faydalı olduğunu nasıl bileceğiz?”
Temel Çıkarımlar
- Veri bilimi, uçtan uca kanıt iş akışıdır, makine öğrenmesiyle eş anlamlı değildir.
- Problem tanımı, ölçüm ve veri yönetişimi, model karmaşıklığından daha sık başarıyı belirler.
- Tahminsel ve nedensel sorular farklı varsayımlar ve değerlendirme tasarımları gerektirir.
- Dağıtılan bir analiz, kullanıcılarına uygun izleme, dokümantasyon ve iletişim gerektirir.
Bir karar ve bir estimand ile başlayın
Bir proje, kullanıcıyı, kararı, müdahaleyi ve hatanın maliyetini belirlemelidir. Tanımlayıcı bir soru için hedef bir oran ya da eğilim olabilir. Tahmin için gelecekteki talep ya da risk olabilir. Nedensel bir soru için estimand, belirtilen varsayımlar altında tanımlı bir müdahalenin etkisini tanımlar.
“İçgörü bul” gibi belirsiz hedefler değerlendirmeyi imkânsız kılar. Ölçülebilir bir amaç, veri toplama için bir sınır oluşturur ve analizin her mevcut alana yayılmasını önler.
Verileri Toplayın, Yönetin ve Anlayın
Ekipler, kaynakları, sahipliği, onayı, saklama süresini, veri kökenini ve erişimi envanterler. Yapılandırılmış ve yapılandırılmamış verileri ayırt eder, birimleri ve zaman damgalarını tanımlar ve kayıtların ilgili nüfusu ve zaman dilimini temsil edip etmediğini inceler.
Temizleme sadece eksik satırları silmek değildir. Çift kayıtların, imkânsız değerlerin, etiket belirsizliğinin, şema kaymalarının, sansürlemenin ve analiz birimini değiştiren birleştirmelerin çözülmesini içerir. Her dönüşüm yeniden üretilebilir ve belgelenmiş olmalıdır.
Modellemeden Önce Keşif Yapın
Keşifsel analiz dağılımları, eksiklikleri, ilişkileri ve olası ölçüm artefaktlarını inceler. Görselleştirme, özet ortalamanın gizlediği aykırı değerleri ve alt grup farklılıklarını ortaya çıkarabilir. Keşif, hipotezleri bilgilendirmeli ancak doğrulayıcı kanıt olarak yanlış yorumlanmamalıdır.
Özellik mühendisliği, boyut indirgeme ve temsil öğrenimi modellemeyi iyileştirebilir, ancak dönüşümler sızıntıyı önlemek için yalnızca eğitim verileri üzerinde uygulanmalıdır.
Soru İçin Yöntemleri Seçin
İstatistiksel tahmin, ilgi duyulan miktarlar etrafındaki belirsizliği niceler. Makine öğrenmesi, birincil hedef yeni verilerde tahmin performansı olduğunda faydalıdır. Hedef bir müdahale etkisi olduğunda deneyler ve nedensel çıkarım yöntemleri gerekir.
Bir temel model, anlaşılacak kadar basit olmalıdır. Daha karmaşık modeller, daha iyi tutma performansı, kalibre edilmiş belirsizlik, operasyonel değer veya görüntü ya da dil işleme gibi gerekli bir yetenek sayesinde ek maliyetlerini hak etmeli.
Değerlendirin, İletişim Kurun ve İzleyin
Değerlendirme karar ile uyumlu olmalıdır. Bir sınıflandırıcı yalnızca doğruluk yerine kesinlik, geri çağırma, kalibrasyon ve alt grup analizine ihtiyaç duyabilir; bir tahmin sistemi zaman‑bilincine sahip geriye dönük test gerektirir. Aşırı uyum ve sızıntı, sadece model özellikleri değil, süreç hatalarıdır.
İletişim, varsayımları, belirsizliği, sınırlamaları ve önerilen eylemleri içerir. Bir model ya da gösterge paneli kullanıma alındığında, ekipler girdi kalitesini, sonuç kaymasını, kullanıcı davranışını ve sonraki etkileri izler. Emekli bir karar süreci bir arşiv ve net sorumluluk gerektirirken, dağıtılmış bir süreç bir operatör gerektirir.
Veri Bilimi Yaşam Döngüsü ve Analitik Sorular
Veri bilimi, alan bilgisi, istatistik, bilişim ve iletişimi birleştirerek veriyi kararlar için kanıta dönüştürür. Öncelikle tanımlama, teşhis, tahmin ve nedensel çıkarımı ayırt edin. Ne olduğunu raporlayan bir gösterge paneli, kimlerin ayrılacağını tahmin eden bir model ve bir müdahalenin ayrılmayı değiştirip değiştirmediğini ölçen bir deney farklı sorulara yanıt verir. Veri çekmeden önce birim, nüfus, zaman aralığı, sonuç, eylem ve hata maliyetini tanımlayın. Başarısız projelerin çoğu, hedeflenen kararı destekleyemeyen ölçülebilir bir vekil çözümle uğraşır.
Veri edinimi, köken, izinler, örnekleme tasarımı ve bir veri sözleşmesi gerektirir. Keşif, dağılımları, eksiklikleri, çift kayıtları, aykırı değerleri, ilişkileri, ölçüm değişikliklerini ve olası sızıntıyı kontrol eder. Temizleme tercihleri analitik varsayımlardır: eksik satırları silmek, değerleri doldurmak ya da aykırı değerleri sınırlamak nüfusu ve sonucu değiştirebilir. Ham veriyi değişmez şekilde ve dönüşümleri kod olarak sürümleyin, birimler ve anlamlarla veri sözlüğü oluşturun. Dönüşümleri öğrenmeden ya da hipotezleri tekrar tekrar test etmeden önce değerlendirme verisini bölün.
Modelleme, Çıkarım ve Tekrarlanabilirlik
İstatistiksel çıkarım, varsayımlar altında belirsizliği niceler; tahminsel modelleme örnek dışı performansı tahmin eder; nedensel analiz, tasarım ya da savunulabilir varsayımlar aracılığıyla tanımlamayı gerektirir. Soruyla ve veri üretim süreciyle uyumlu yöntemler seçin. Basit temellerle karşılaştırın, gruplanmış ya da zaman‑bilincine sahip doğrulama kullanın ve belirsizlik ile duyarlılığı raporlayın. Yüksek korelasyon ya da özellik önemi nedenselliği kanıtlamaz. Çoklu test, araştırmacı özgürlüğü ve seçici raporlama ikna edici kalıplar üretebilir; bu yüzden ön kayıt ya da açıkça ayrılmış doğrulayıcı aşama yardımcı olabilir.
Tekrarlanabilirlik, kod, ortam, veri anlık görüntüsü, rastgele tohumlar, sorgu tanımları ve manuel kararların kaydını içerir. Otomatik testler şemaları, iş değişmezlerini, dönüşümleri ve ölçümleri kapsamalıdır. Not defterleri keşif için değerlidir ancak üretim çalışması modüler, incelenebilir boru hatları gerektirir. Hakem incelemesi, varsayımları, sızıntıyı, hedef geçerliliğini ve sonuçların genellenebilirliğini sorgulamalıdır. Yalnızca istatistiksel anlamlılık ya da model puanı yerine etki büyüklüklerini, belirsizliği, sınırlamaları ve karşı kanıtları iletiyin.
Dağıtım ve Karar Etkisi
Analiz tekrarlayan bir süreci yönlendiriyorsa, sorumlular atayın, veri tazeliğini ve sonuç kalitesini izleyin ve geri alma ya da emeklilik tanımlayın. Kişisel ve gizli bilgileri en aza indirme, erişim kontrolü, saklama ve güvenli çıktılarla koruyun. Alt grup etkilerini ve kullanıcıların modele tepkisini değerlendirin; geri bildirim döngüleri gelecekteki veriyi değiştirebilir. Kararın gerçek hedefi iyileştirip iyileştirmediğini ölçün, yalnızca bir modelin dağıtılıp dağıtılmadığını değil. Veri bilimi, kanıtın eylemi güvenilir ve şeffaf bir şekilde değiştirdiği zaman başarılıdır; bir organizasyon sahiplenme olmadan gösterge panelleri, özellikler veya deneyler biriktirdiğinde değil.
Uygulamalı Örnek: Bir Tutma Müdahalesini Ölçme
Bir ürün ekibi daha düşük tutma oranı gözlemler ve aktif kullanıcı, kohort, zaman dilimi, dışlamalar ve kararı tanımlar. Analistler, modellemeden önce ölçüm araçlarını, eksik olayları ve edinim karışımını denetler. Tanımlayıcı kohortlar düşüşün nerede gerçekleştiğini belirler, tahminsel model araştırma katılımcılarını önceliklendirir ve rastgele bir onboarding deneyi önerilen değişikliğin tutmayı artırıp artırmadığını tahmin eder. Bunlar ayrı varsayımlar ve çıktılara sahip üç farklı analizdir.
Not defteri, sorgular, veri anlık görüntüsü, metrik tanımı ve deney planı sürümlenmiş ve hakemden geçirilmiştir. Sonuçlar, destek talebi ve erişilebilirlik için koruma sınırlarıyla birlikte etki büyüklüğünü ve belirsizliği raporlar. Bir gösterge paneli deneyi izler ancak önceden belirlenmiş analizi yerine geçmez. Müdahale başarılı olursa, dağıtım aşamalı olur ve uzun vadeli davranışı kontrol eder. Çalışma, karmaşık bir model ya da görsel olarak çekici bir grafik üretilmesi nedeniyle değil, tekrarlanabilir bir kararı desteklemesi durumunda değerli kabul edilir.
Uygulama Kanıtı ve Operasyonel Hazırlık
Bir üretim kararı, başarılı bir gösterimden daha fazlasını gerektirir. Hedef kullanıcıları, çalışma ortamını, girdileri, çıktıları, bağımlılıkları, sorumluyu ve her önemli hatanın sonucunu tanımlayın. Ayarlamadan önce tekrarlanabilir bir temel ve sürümlenmiş bir değerlendirme seti oluşturun. Olağan durumları, sınır koşullarını, hatalı ya da eksik girdileri, dağılım kaymasını, bağımlılık kesintisini, yanlış kullanımı ve hizmet dışı kalma olasılığı yüksek grup ya da ortamları test edin. Görev kalitesini kalibrasyon veya belirsizlik, gecikme, işlem hacmi, kaynak maliyeti, erişilebilirlik, gizlilik ve güvenlikle birlikte ölçün. Bağımsız bir inceleyicinin sonucu yeniden üretebilmesi ve kanıtı çekici bir prototipten ayırabilmesi için her dönüşüm ve eşik kaydedilsin.
Başlamadan önce, sürüm, istisnalar, değişiklikler, geri alma ve emeklilik yetkisini atayın. Aşamalı bir dağıtım kullanın, güvenli bir geri dönüşü koruyun ve kasıtlı olarak eklenen hatalarla izlemeyi doğrulayın. Operasyonel telemetri, gereksiz hassas veri toplamadan girdi kalitesini, çıktı davranışını, model ya da kural sürümünü, bağımlılık sağlığını, insan müdahalelerini ve onaylanmış sonuçları ortaya koymalıdır. Uyarı eşiklerini ve bir yanıt sorumlusunu tanımlayın, ardından dağıtımdan sonra gerçek dünya kanıtını gözden geçirin; çevrim dışı performansın devam edeceğini varsaymayın. Veri kaynakları, kullanıcılar, modeller, satıcılar, politikalar, donanım veya hedefler değiştiğinde yeniden değerlendirin. Bakımı yapılan bir sistemin, belgelenmiş kurtarma, olay öğrenimi, silme ve saklama prosedürleri ve devre dışı bırakılması ya da değiştirilmesi gereken net bir noktası da olmalıdır.
Sıkça Sorulan Sorular
Veri bilimi, veri analitiğiyle aynı mıdır?
Terimler çakışır. Veri bilimi genellikle veri ürünleri ve tahmin sistemleri oluşturmayı içerirken, analitik daha çok tanımlayıcı ve tanılayıcı karar desteğine odaklanabilir. Kurumsal kullanım farklılık gösterir.
Her veri bilimi projesi AI’ye ihtiyaç duyar mı?
Hayır. İyi tasarlanmış bir sorgu, grafik, deney ya da istatistiksel tahmin, karmaşık bir modelden daha faydalı ve güvenilir olabilir.
Temel Referanslar
