Veri Bilimi Nedir?

Veri bilim alanının her geçen gün daha da büyüdüğü ve popüler hale geldiği görülüyor. LinkedIn’e göre, veri bilimi 2017 yılında en hızlı büyüyen iş alanlarından biri olarak belirlenmiştir ve 2020 yılında Glassdoor, veri bilimcisinin işini Amerika’daki en iyi üç iş arasında göstermiştir. Veri bilim alanının artan popülerliği nedeniyle, daha fazla insanın bu alana ilgi duyması şaşırtıcı değildir. Ancak veri bilimi tam olarak nedir?

Veri bilimini tanıyalım, veri bilimini tanımlamak, büyük veri ve yapay zeka alanının bu alandaki değişimlerini öğrenmek, bazı ortak veri bilim araçlarını keşfetmek ve veri bilim örneklerini incelemek için zaman ayıralım.

Veri Bilimi Nedir?

Veri bilim araçlarını ve örneklerini keşfetmeden önce, veri bilimini tanımlamak istiyoruz.

“Veri bilimi” terimini tanımlamak aslında biraz zor, çünkü bu terim birçok farklı görev ve analiz yöntemine uygulanıyor. Bilime ne demek olduğu hatırlayarak başlayabiliriz. Bilim, gözlem ve deneysel yöntemler aracılığıyla fiziksel ve doğal dünyayı sistematik olarak inceleyen bir alandır ve insanların doğal süreçleri anlamalarını geliştirmeyi amaçlar. Bu tanımdaki önemli kelimeler “gözlem” ve “anlama”dır.

Eğer veri bilimi, veri中的 desenleri anlamak için bir süreç ise, o zaman veri bilimcisinin sorumluluğu, veriyi dönüştürmek, veriyi analiz etmek ve veriden desenleri çıkarmaktır. Diğer bir deyişle, bir veri bilimcisine veri verilir ve onlar çeşitli araçlar ve teknikler kullanarak veriyi analiz etmeye hazırlar (veriyi analiz için hazırlar) ve sonra veriden anlamlı desenleri çıkarırlar.

Veri bilimcisinin rolü, geleneksel bir bilim insanının rolüne benzer. Her ikisi de, dünya nasıl işlediğini anlamak için verilerin analizini desteklemek veya reddetmek için hipotezler hakkında veri analizine odaklanırlar, dünya hakkında anlayışımızı geliştirmek için verideki desenleri anlamaya çalışırlar. Veri bilimcileri, geleneksel bir bilim insanının kullandığı aynı bilimsel yöntemleri kullanırlar. Bir veri bilimcisi, incelemek istedikleri bir fenomen hakkında gözlemler toplar, sonra ilgili fenomen hakkında bir hipotez oluşturur ve bu hipotezi bazı şekilde geçersiz kılmak için veri arar.

Eğer hipotez veriyle çelişmiyorsa, bir teori veya model oluşturabilirler, sonra bu modeli tekrar tekrar test edebilirler, diğer benzer veri setleri için geçerli olup olmadığını görmek için. Eğer bir model yeterince güçlü ise, eğer desenleri iyi açıklar ve diğer testlerde geçersiz kılınmazsa, gelecekteki olayları öngörmede bile kullanılabilir.

Veri bilimcileri genellikle kendi verilerini deneysel olarak toplamazlar. Kontrollü ve çift kör denemelerle deneyler tasarlamak ve hipotezle karıştırılabilecek değişkenleri keşfetmek için geleneksel bilim insanlarının yaptığı gibi çalışmazlar. Veri bilimcileri tarafından analiz edilen veriler genellikle gözlem çalışmaları ve sistemlerden elde edilir, bu da veri bilimcisinin işinin geleneksel bir bilim insanının işinden farklı olabileceği bir yöntemdir, çünkü geleneksel bilim insanları genellikle daha fazla deney yapar.

Bununla birlikte, bir veri bilimcisi, A/B testi olarak adlandırılan bir tür deney yapmakla görevlendirilebilir, burada veri toplamak için bir sistemde değişiklikler yapılır ve veri desenlerinin nasıl değiştiği görülür.

Her ne teknik ve araç kullanılırsa kullanılsın, veri bilimi sonunda dünyayı anlamak için veriden anlam çıkarmayı amaçlar, ve veri gözlem ve deneysel yöntemler aracılığıyla elde edilir. Veri bilimi, algoritmalar, istatistiksel ilkeler ve çeşitli araçlar ve makineler kullanarak veriden çıkarımlar elde etme sürecidir, bu çıkarımlar bize dünya hakkında bilgi verir.

Veri Bilimcileri Ne Yapar?

Herhangi bir faaliyetin bilimsel bir şekilde veri analizi içerdiğinde, bu faaliyeti veri bilimi olarak adlandırabiliriz, bu da veri bilimini tanımlamayı zorlaştıran şeyin bir kısmıdır. Daha net olmak için, bir veri bilimcisinin günlük faaliyetlerine bir göz atalım.

Veri bilimi birçok farklı disiplini ve uzmanlığı bir araya getirir. Foto: Calvin Andrus via Wikimeedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:DataScienceDisciplines.png)

Belirli bir günde, bir veri bilimcisi şunları isteyebilir: veri depolama ve alma şemaları oluşturmak, veri ETL (extract, transform, load) pipeline’ları oluşturmak ve veriyi temizlemek, istatistiksel yöntemler uygulamak, veri görselleştirmeleri ve paneller oluşturmak, yapay zeka ve makine öğrenimi algoritmalarını uygulamak, verilere dayalı eylem önerileri yapmak.

Yukarıda belirtilen görevleri biraz daha ayrıntılı olarak ele alalım.

Bir veri bilimcisi, verilerin depolanması ve alınması için gereken teknoloji kurulumuyla ilgilenmek zorunda kalabilir, hem donanım hem de yazılım açısından. Bu pozisyonun sorumlusu bazen “Veri Mühendisi” olarak da adlandırılabilir. Ancak bazı şirketler bu sorumlulukları veri bilimcilerinin rolüne dahil eder. Bir veri bilimcisi ayrıca ETL pipeline’ları oluşturmak veya oluşturmaya yardımcı olmak zorunda kalabilir. Veri genellikle veri bilimcisinin ihtiyaç duyduğu şekilde biçimlendirilmiş olarak gelmez. Bunun yerine, verinin ham形式de veri kaynağından alınması, kullanılabilir bir forma dönüştürülmesi ve ön işlemlerinin yapılması (verinin standardize edilmesi,冗余lerin düşürülmesi ve bozuk verilerin kaldırılması) gerekir.

Veri Biliminin İstatistiksel Yöntemleri

Veri bilimini gerçekten bir bilim haline getirmek için istatistiğin uygulanması gereklidir. İstatistiksel yöntemler, veri setlerinden ilgili desenleri çıkarmak için kullanılır ve bir veri bilimcisinin istatistiksel kavramlara hakim olması gerekir. Anlamlı korelasyonları sahte korelasyonlardan ayırt edebilmeli, karıştırıcı değişkenleri kontrol edebilmelidir. Ayrıca, hangilerinin model/hangilerinin öngörücü güce sahip olduğunu belirlemek için hangi araçları kullanacağını bilmelidir. Bir veri bilimcisi, regresyon yaklaşımını sınıflandırma yaklaşımından ayırt edebilmeli, örneklem ortalamasını örneklem medyanından ayırt edebilmelidir. Bir veri bilimcisiWithout bu kritik beceriler olmadan bilim insanı olamaz.

Veri Görselleştirme

Bir veri bilimcisinin işinin kritik bir parçası, bulgularını başkalarına iletmektir. Eğer bir veri bilimcisi bulgularını başkalarına etkili bir şekilde iletemezse, bulgularının sonuçları önemli değildir. Bir veri bilimcisi aynı zamanda etkili bir hikaye anlatıcısı olmalıdır. Bu, veri setindeki ve içindeki keşfedilen desenlerle ilgili ilgili noktaları ileten görselleştirmeler üretmek anlamına gelir. Bir veri bilimcisinin kullanabileceği birçok farklı veri görselleştirme aracı vardır ve bunlar ilk, temel keşif (keşifsel veri analizi) veya modelin ürettiği sonuçları görselleştirmek için kullanılabilir.

Öneriler ve İş Uygulamaları

Bir veri bilimcisinin, organizasyonunun veya işinin gereksinimlerini ve hedeflerini anlamak için bazı sezgilere sahip olması gerekir. Bir veri bilimcisinin bunları anlaması gerekir, çünkü hangi değişkenleri ve özelliklerin analiz edilmesi gerektiğini bilmeleri gerekir, organizasyonun hedeflerine ulaşmasına yardımcı olacak desenleri keşfetmelidir. Veri bilimcileri, işletmenin liderliğinin yaptığı varsayımlar ve işletmenin faaliyet gösterdiği kısıtlamalar hakkında farkında olmalıdır.

Makine Öğrenimi ve Yapay Zeka

Makine öğrenimi ve diğer yapay zeka algoritmaları ve modelleri, veri bilimcilerinin veri analizinde, veri中的 desenleri keşfetmede, değişkenler arasındaki ilişkileri belirlemede ve gelecekteki olayları öngörmesinde kullandıkları araçlardır.

Geleneksel Veri Bilimi ve Büyük Veri Bilimi

Veri toplama yöntemleri daha da gelişmiş ve veritabanları daha da büyüdükçe, geleneksel veri bilimi ve “büyük veri” bilimi arasında bir fark ortaya çıktı.

Geleneksel veri analitiği ve veri bilimi, betimsel ve keşifsel analitikle yapılır, projelerin performans sonuçlarını analiz etmek ve desenleri bulmaya çalışmak amaçlanır. Geleneksel veri analitiği yöntemleri genellikle sadece geçmiş ve güncel verilere odaklanır. Veri analistleri genellikle temizlenip standartlaştırılmış veri ile çalışırken, veri bilimcileri genellikle karmaşık ve kirli veri ile çalışır. Daha gelişmiş veri analitiği ve veri bilimi teknikleri, gelecekteki davranışları öngörmek için kullanılabilir, ancak bu genellikle büyük veri ile yapılır, çünkü öngörücü modeller genellikle güvenilir bir şekilde inşa edilmek için büyük miktarda veriye ihtiyaç duyar.

“Büyük veri”, geleneksel veri analitiği ve bilim teknikleri ve araçları ile ele alınamayacak kadar büyük ve karmaşık olan veridir. Büyük veri genellikle online platformlar ve gelişmiş veri dönüştürme araçları kullanılarak toplanır ve veri bilimcileri tarafından analiz edilmeye hazır hale getirilir. Veri bilimcisinin işinin geleneksel bir bilim insanının işinden farklı olabileceği bir yön budur.

Veri Bilimi Araçları

Ortak veri bilimi araçları, verilerin depolanması, keşifsel veri analizi, veri modelleme, ETL ve veri görselleştirme için kullanılan araçları içerir. Amazon Web Services, Microsoft Azure ve Google Cloud gibi platformlar, veri bilimcilerinin verilerini depolamasına, dönüştürmesine, analiz etmesine ve modellemesine yardımcı olmak için araçlar sunar. Ayrıca, Airflow (veri altyapısı) ve Tableau (veri görselleştirme ve analitiği) gibi bağımsız veri bilimi araçları da vardır.

Veri modelleme için kullanılan makine öğrenimi ve yapay zeka algoritmaları genellikle TensorFlow, PyTorch ve Azure Machine Learning Studio gibi veri bilimi modülleri ve platformları aracılığıyla sağlanır. Bu platformlar, veri bilimcilerin veri setlerine düzenleme yapmasına, makine öğrenimi mimarilerini oluşturmasına ve makine öğrenimi modellerini eğitmelerine olanak tanır.

Diğer ortak veri bilimi araçları ve kütüphaneler arasında SAS (istatistiksel modelleme için), Apache Spark (akış verilerinin analizi için), D3.js (tarayıcıda etkileşimli görselleştirmeler için) ve Jupyter (etkileşimli, paylaşımlı kod blokları ve görselleştirmeler için) bulunur.

Foto: Seonjae Jo via Flickr, CC BY SA 2.0 (https://www.flickr.com/photos/130860834@N02/19786840570)

Veri Bilimi Örnekleri

Veri bilimi ve uygulamaları her yerde bulunur. Veri bilimi, yiyecek teslimatı, spor, trafik ve sağlık gibi her şeyde uygulamalara sahiptir. Veri her yerde ve bu nedenle veri bilimi her şeye uygulanabilir.

Yiyecek teslimatı açısından, Uber, Uber Eats olarak adlandırılan bir teslimat sistemi üzerinde çalışıyor. Uber Eats, insanların yiyeceklerini zamanında, sıcak ve taze olarak teslim etmek zorunda. Bunun gerçekleşmesi için, şirketin veri bilimcileri, restoranlardan teslimat noktalarına olan mesafe, tatil yoğunluğu, pişirme süresi ve hatta hava koşulları gibi faktörleri dikkate alan istatistiksel modeller kullanmalılar.

Spor istatistikleri, takım yöneticileri tarafından en iyi oyuncuları belirlemek ve güçlü, güvenilir takımlar oluşturmak için kullanılır. Bir örnek, Michael Lewis’in Moneyball kitabında belgelenen veri bilimidir, burada Oakland Athletics takımının genel müdürü, takımına düşük maliyetle kaliteli oyuncular belirlemek için çeşitli istatistikleri analiz etmiştir.

Trafik desenlerinin analizi, otonom araçların oluşturulması için kritiktir. Otonom araçlar, etrafındaki faaliyetleri öngörmeli ve yol koşullarındaki değişikliklere (yağmurlu havalarda gerekli olan daha uzun durma mesafesi gibi) ve yol上的 araç sayısının artması gibi değişikliklere tepki vermelidir. Otonom araçların ötesinde, Google Maps gibi uygulamalar, trafik desenlerini analiz ederek yolculara çeşitli güzergahlar ve ulaşım araçları kullanarak varış noktalarına ulaşmak için ne kadar süre gerektiğini söyler.

Veri bilimi, numerous faaliyetleri ve disiplinleri bir araya getirir. Ancak veri bilimi her zaman, veriden ilgi çekici, ilginç hikayeler anlatmak ve dünyayı daha iyi anlamak için veriden anlam çıkarmakla ilgilenir.