Bugünlerin veri odaklı bankacılık manzarasında, devasa miktarlarda veriyi verimli bir şekilde yönetme ve analiz etme yeteneği rekabet avantajını sürdürmek için çok önemlidir. Veri gölü evi kavramı, finans sektöründe veri yönetimine nasıl yaklaştığımızı yeniden şekillendiren devrimci bir kavram sunar. Bu yenilikçi mimari, veri ambarları ve veri gölleri nin en iyi özelliklerini birleştirir. Yapılandırılmış ve yapılandırılmamış verilerin depolanması, işlenmesi ve analiz edilmesi için birleşik bir platform sağlar, bu da bankaların stratejik karar alma için verilerini kullanmak isteyenler için paha biçilmez bir varlık haline getirir.

Veri Mimarilerinin Evrimi

Veri gölü evlerine yolculuk doğası gereği evrimleşmiştir. Geleneksel veri ambarları uzun süredir bankacılık analitiğinin omurgası olmuştur, yapılandırılmış veri depolama ve hızlı sorgu performansı sunar. Ancak sosyal medya, müşteri etkileşimleri ve IoT cihazları gibi kaynaklardan gelen yapılandırılmamış verilerin yakın zamanda patlamasıyla, büyük miktarda ham veriyi depolamak için veri gölleri çağdaş bir çözüm olarak ortaya çıktı.

Veri gölü evi, bu evrimin bir sonraki adımı temsil eder ve veri ambarları ile veri gölleri arasındaki boşluğu köprüler. Akbank gibi bankalar için bu, artık her iki dünyanın avantajlarını享biliriz demektir – veri ambarlarının yapısı ve performansı ve veri göllerinin esnekliği ve ölçeklenebilirliği.

Veri Gölü Evinin Temel Kavramları

Melez Mimarisi

Temelinde, bir veri gölü evi, veri gölleri ve veri ambarlarının güçlerini entegre eder. Bu melez yaklaşım, bankaların büyük miktarda ham veriyi depolamasına olanak tanır, ancak aynı zamanda veri ambarlarına özgü hızlı, karmaşık sorguları gerçekleştirebilme yeteneğini korur.

Birleşik Veri Platformu

Bir veri gölü evinin en önemli avantajlarından biri, yapılandırılmış ve yapılandırılmamış verilerin tek bir platformda birleştirilmesidir. Bankalar için bu, geleneksel işlem verilerini müşteri etkileşimlerinden alınan yapılandırılmamış verilerle birlikte analiz edebileceğimiz anlamına gelir, böylece işimiz ve müşterilerimiz hakkında daha kapsamlı bir görüş sağlar.

Temel Özellikler ve Avantajlar

Veri gölleri, özellikle bankacılık sektöründe çok değerli olan birkaç temel avantaja sahiptir.

Ölçeklenebilirlik

Veri hacmimiz büyüdükçe, göl evi mimarisi bu büyümeyi kolayca karşılayabilir. Bankacılıkta bu çok önemlidir, çünkü sürekli olarak büyük miktarda işlem ve müşteri verisi biriktiriyoruz. Göl evi, depolama ve işleme kapasitemizi mevcut operasyonlarımızı bozmadan genişletmemize olanak tanır.

Esneklik

Farklı veri türlerini depolayabilir ve analiz edebiliriz, işlem kayıtlarından müşteri e-postalarına kadar. Bu esneklik, bugünün bankacılık ortamında çok değerlidir, çünkü sosyal medya, müşteri hizmetleri etkileşimleri ve diğer kaynaklardan gelen yapılandırılmamış veriler, geleneksel yapılandırılmış verilerle birleştirildiğinde zengin içgörüler sağlayabilir.

Gerçek Zamanlı Analitik

Bu, dolandırıcılık tespit, risk değerlendirmesi ve kişiselleştirilmiş müşteri deneyimleri için çok önemlidir. Bankacılıkta, verilerin gerçek zamanlı olarak analiz etme yeteneği, bir sahtekarlık işlemini durdurmak ile milyonlarca dolar kaybetmek arasındaki farkı olabilir. Ayrıca, kişiselleştirilmiş hizmetler sunmamıza ve kredi onayları veya yatırım önerileri konusunda saniyeler içinde kararlar almamıza olanak tanır.

Mali Verimlilik

Veri altyapımızı birleştirmek, genel maliyetleri azaltmamıza olanak tanır. Veri ambarlama ve büyük veri analitiği için ayrı sistemler yerine, bir veri gölü evi bu işlevleri birleştirmemize olanak tanır. Bu, yalnızca donanım ve yazılım maliyetlerini azaltmakla kalmaz, aynı zamanda BT altyapımızı basitleştirir, bu da daha düşük bakım ve işletim maliyetlerine yol açar.

Veri Yönetimi

Robust veri yönetimi uygulamalarını uygulamak için gelişmiş yetenek, bizim gibi yüksek düzenlenmiş endüstrilerde çok önemlidir. Bir veri gölü evinin birleşik doğası, tüm verilerimize tutarlı veri kalitesi, güvenlik ve gizlilik önlemlerini uygulamayı kolaylaştırır. Bu, bankacılıkta özellikle önemlidir, çünkü GDPR , PSD2 ve çeşitli ulusal bankacılık düzenlemelerine gibi katı düzenlemelere uymak zorundayız.

Ön Premise Veri Gölü Evi Mimarisi

Ön premise bir veri gölü evi, bir organizasyonun kendi veri merkezlerinde, bulutta değil, uygulanmış bir veri gölü evi mimarisidir. Akbank gibi birçok banka için, ön premise bir çözüm seçmek genellikle düzenleyici gereksinimlere, veri egemenliği endişelerine ve veri altyapımız üzerinde tam kontrol ihtiyacı tarafından belirlenir.

Temel Bileşenler

Ön premise bir veri gölü evi genellikle dört temel bileşenden oluşur:

• Veri depolama katmanı
• Veri işleme katmanı
• Meta veri yönetimi
• Güvenlik ve yönetim

Her biri, güçlü, verimli ve güvenli bir veri yönetim sistemi oluşturmada kritik bir rol oynar.

Ön Premise Veri Gölü Evinin Ayrıntılı Mimarisi

Veri Depolama Katmanı

Depolama katmanı, ön premise bir veri gölü evinin temelidir. Büyük veri depolarımızı yönetmek için Hadoop Distributed File System (HDFS) ve nesne depolama çözümlerinin bir kombinasyonunu kullanıyoruz. Yapılandırılmış veriler için, müşteri hesap bilgileri ve işlem kayıtları gibi, Apache Iceberg kullanıyoruz. Bu açık tabela formatı, büyük veri kümelerini sorgulamak ve güncellemek için mükemmel performans sağlar. Daha dinamik verilerimiz için, gerçek zamanlı işlem günlükleri gibi, Apache Hudi kullanıyoruz, bu da upsert’leri ve artımlı işleme olanak tanır.

Veri İşleme Katmanı

Veri işleme katmanı, işin gerçekleştiği yerdir. Farklı veri ihtiyaçlarımıza répond olmak için toplu ve gerçek zamanlı işleme kombinasyonunu kullanıyoruz.

ETL işlemleri için Informatica PowerCenter kullanıyoruz, bu da bankadaki çeşitli kaynaklardan verileri entegre etmemize olanak tanır. Ayrıca, veri ambarımızda verileri dönüştürmek için dbt (veri derleme aracı) entegre etmeye başladık.

Apache Spark , büyük veri kümeleri üzerinde karmaşık analitik gerçekleştirmemizi sağlayan büyük veri işlemede kritik bir rol oynar. Gerçek zamanlı işleme, özellikle dolandırıcılık tespiti ve gerçek zamanlı müşteri içgörülerinde, Apache Flink kullanıyoruz.

Sorgu ve Analitik

Veri bilimcilerinin ve analistlerimizin veri gölü evimizden içgörüler elde etmesini sağlamak için, Trino uyguladık, bu da depolandığı yere bakılmaksızın tüm veri gölümüzü etkileşimli olarak sorgulamamıza olanak tanır.

Meta Veri Yönetimi

Etkili meta veri yönetimi, veri gölü evimizde düzeni korumanın çok önemlidir. Verilerimizi kataloglamak ve dizine eklemek için Apache Hive metastore ve Apache Iceberg kullanıyoruz. Ayrıca, veri ekibimizin mevcut veri gölümüzde hangi verilerin mevcut olduğunu keşfetmesine ve anlamasına yardımcı olmak için LinkedIn’in açık kaynaklı meta veri motoru Amundsen uyguladık.

Güvenlik ve Yönetim

Bankacılık sektöründe güvenlik ve yönetim çok önemlidir. Erişim kontrolü ve veri gizliliği için Apache Ranger kullanıyoruz, bu da hassas müşteri verilerine yalnızca yetkili personele erişebileceğini sağlar. Veri soyolu ve denetimi için Apache Atlas uyguladık, bu da sistemlerimizdeki veri akışını izlememize ve düzenleyici gereksinimlere uymamıza yardımcı olur.

Uygulama Konuları

Altyapı Gereksinimleri

Ön premise bir veri gölü evi uygulamak, önemli altyapı yatırımı gerektirir. Akbank olarak, artan depolama ve işleme taleplerini karşılayabilmek için donanımızı yükseltmek zorunda kaldık. Bu, yüksek performanslı sunucular, güçlü ağ ekipmanı ve ölçeklenebilir depolama çözümlerini içeriyordu.

Mevcut Sistemlerle Entegrasyon

Mevcut sistemlerimizle veri gölü evini entegre etmek, bizim için önemli bir zorluktu. Mevcut sistemlerimizden yeni mimariye dần dần veri ve işlemleri taşıyan bir aşama aşama göç stratejisi geliştirdik. Bu yaklaşım, yeni sisteme geçiş yaparken iş sürekliliğini korumanıza olanak tanır.

Performans ve Ölçeklenebilirlik

Veri hacmimiz büyüdükçe yüksek performansı sağlamak, bizim için önemli bir odak noktası olmuştur. Veri bölümlendirme stratejileri uyguladık ve sorgu motorlarımızı optimize ettik, böylece veri hacmimiz artsa bile hızlı sorgu yanıt sürelerini koruruz.

Zorluklar ve En İyi Uygulamalar

Ortak Zorluklar

Ön premise bir veri gölü evi uygulamaya çalışırken, birkaç zorlukla karşılaştık:

• Veri entegrasyonu sorunları, özellikle miras sistemlerle
• Veri hacmimiz büyüdükçe performansı koruma
• Çeşitli veri kaynaklarındaki veri kalitesini koruma
• Ekibimizi yeni teknolojiler ve işlemler hakkında eğitme

En İyi Uygulamalar

Aşağıdaki en iyi uygulamaları benimsedik:

• Başından itibaren güçlü veri yönetimi uygulayın
• Veri kalitesi araçlarına ve işlemlerine yatırım yapın
• Ekibinize kapsamlı eğitim sağlayın
• Tam ölçekli uygulama yapmadan önce bir pilot proje başlatın
• Mimarinizi düzenli olarak gözden geçirin ve optimize edin

Gelecek Eğilimleri

Veri gölü evi alanında, birkaç heyecan verici eğilim görüyoruz:

• Veri yönetimi ve analitiği için AI ve makine öğreniminin artan benimsenmesi
• Veri gölleri ile kenar bilgisayarın daha büyük entegrasyonu
• Veri yönetimi ve kalite yönetiminde artan otomasyon
• Veri gölü evi mimarilerini destekleyen açık kaynaklı teknolojilerin devam eden evrimi

Sonuç

Ön premise veri gölü evi, bankacılık sektöründe veri yönetiminde önemli bir adımdır. Akbank olarak, bu, veri altyapımızı birleştirmemize, analitik yeteneklerimizi artırmamıza ve en yüksek veri güvenliği ve yönetim standartlarını korumamıza olanak tanır.

Bankacılık teknolojisindeki sürekli değişen manzaraya devam ederken, veri gölü evi, stratejik avantaj için verilerini kullanmak isteyen bankalar için hayati bir rol oynayacaktır. Ön premise veya bulutta olsun, bir veri gölü evi mimarisini ciddiye almak, artık bankalar için isteğe bağlı değil, zorunludur.