Büyük Veri Nedir?

Büyük Veri Nedir?

“Büyük Veri” current era’nın sıkça kullanılan buzz words’lerinden biridir, ancak gerçekten ne anlama geliyor?

Büyük verinin basit bir tanımı. Büyük veri geleneksel veri işleme ve depolama yöntemleri tarafından işlenip depolanamayacak kadar büyük ve karmaşık olan verilerdir. Bu, kullanabileceğiniz hızlı bir tanımdır, ancak büyük verinin temellerini anlamak için daha derin ve eksiksiz bir anlayışa sahip olmak yararlı olacaktır. Büyük verinin temelindeki bazı kavramlara bakalım, depolama, yapı ve işleme gibi.

Büyük Veri Ne Kadar Büyük?

Herhangi bir verinin “X” boyutunun üzerinde olması büyük veri olarak kabul edilemez, veri işlenirken çevre çok önemlidir. Bir verinin büyük veri olarak nitelendirilebilmesi için gerekli boyuta ulaşması, kullanılan bağlam veya görev tarafından belirlenir. İki farklı boyutta olan iki veri seti farklı bağlamlarda büyük veri olarak kabul edilebilir.

Somut olmak gerekirse, 200 megabaytlık bir dosyayı e-posta eki olarak göndermeye çalıştığınızda bunu yapamazsınız. Bu bağlamda, 200 megabaytlık dosya büyük veri olarak kabul edilebilir. Buna karşılık, aynı yerel ağ içindeki bir cihaza 200 megabaytlık bir dosyayı kopyalamak hiç zaman almaz ve bu bağlamda büyük veri olarak görülmez.

Ancak, 15 terabayt video verisinin bilgisayar görme uygulamalarında eğitim için ön işleme tabi tutulduğunu varsayalım. Bu durumda, video dosyaları o kadar fazla yer kaplar ki güçlü bir bilgisayar bile hepsini işleyecek çok uzun zaman alır ve işleme genellikle işleme süresini azaltmak için birbirine bağlı birden fazla bilgisayarlar arasında dağıtılır. Bu 15 terabayt video verisi kesinlikle büyük veri olarak nitelendirilebilir.

Büyük Veri Yapıları

Büyük veri üç farklı kategoriye sahiptir: yapılandırılmamış veri, yarı yapılandırılmış veri ve yapılandırılmış veri.

Yapılandırılmamış veri, tanımlanabilir bir yapıya sahip olmayan verilerdir, yani veri esasen büyük bir havuzda bulunur. Yapılandırılmamış verinin örnekleri, etiketsiz görüntülerle dolu bir veritabanı olabilir.

Yarı yapılandırılmış veri, resmi bir yapıya sahip olmayan ancak gevşek bir yapı içinde bulunan verilerdir. Örneğin, e-posta verileri yarı yapılandırılmış veri olarak kabul edilebilir, çünkü bireysel e-postalardaki verilere atıfta bulunabilirsiniz, ancak resmi veri kalıpları kurulmamıştır.

Yapılandırılmış veri, formal bir yapıya sahip olan ve farklı özelliklere göre kategorilere ayrılmış verilerdir. Yapılandırılmış verinin bir örneği, isimler, e-postalar, telefon numaraları ve web siteleri gibi iletişim bilgilerini içeren bir Excel elektronik tablosudur.

Bu veri türleri arasındaki farklar hakkında daha fazla bilgi okumak istiyorsanız, lütfen buradaki bağlantıyı kontrol edin.

Büyük Veri Değerlendirme Ölçütleri

Büyük veri üç farklı ölçütte analiz edilebilir: hacim, hız ve çeşitlilik.

Hacim, verinin boyutunu ifade eder. Veri setlerinin ortalama boyutu genellikle artmaktadır. Örneğin, 2006 yılında en büyük sabit sürücü 750 GB’lik bir sabit sürücüydü. Buna karşılık, Facebook’un günde 500 terabaytın üzerinde veri ürettiği düşünülmektedir ve bugün mevcut en büyük tüketici sabit sürücüsü 16 terabaytlık bir sabit sürücüdür. Bir dönem büyük veri olarak nitelendirilen bir şey, başka bir dönemde büyük veri olmayabilir. Daha fazla veri üretiliyor çünkü etrafımızdaki nesnelerin çoğu sensörler, kameralar, mikrofonlar ve diğer veri toplama cihazları ile donatılmıştır.

Hız, verinin ne kadar hızlı hareket ettiğini veya belirli bir süre içinde ne kadar veri üretildiğini ifade eder. Sosyal medya akışları her dakika yüz binlerce gönderi ve yorum üretirken, kendi e-posta kutunuz muhtemelen çok daha az aktivite görecektir. Büyük veri akışları, genellikle gerçek zamanlı olarak veya neredeyse gerçek zamanlı olarak yüz binlerce veya milyonlarca olayı işleyen akışlardır. Bu veri akışlarına örnek olarak online oyun platformları ve yüksek frekanslı hisse senedi alım-satım algoritmaları verilebilir.

Çeşitlilik, veri seti içindeki farklı veri türlerini ifade eder. Veri, ses, video, metin, fotoğraf veya seri numaraları gibi çeşitli formatlardan oluşabilir. Genel olarak, geleneksel veritabanları, bir veya birkaç veri türünü işleyecek şekilde tasarlanmıştır. Başka bir deyişle, geleneksel veritabanları, oldukça homojen ve tutarlı bir yapıya sahip olan verilerin depolanmasına yönelik olarak tasarlanmıştır. Uygulamalar daha çeşitli hale geldikçe, daha fazla özellik içerirler ve daha fazla insan tarafından kullanılır, veritabanlarının daha fazla veri türünü depolayabilmesi için evrimleşmesi gerekmiştir. Yapılandırılmamış veritabanları, büyük veri depolamak için idealdir, çünkü birbirleriyle ilgili olmayan birden fazla veri türünü depolayabilirler.

Büyük Veri İşleme Yöntemleri

Büyük verilerin analizini kolaylaştırmak için tasarlanmış çeşitli platformlar ve araçlar bulunmaktadır. Büyük veri havuzlarından anlamlı kalıpları çıkarmak için analiz edilmelidir, bu da geleneksel veri analiz araçları ile zorlu bir görev olabilir. Büyük veri analiz araçları geliştirmek için birçok şirket ortaya çıktı. Büyük veri analiz araçları, ZOHO Analytics, Cloudera ve Microsoft (MSFT ) BI gibi sistemleri içerir.