Bugünlerin veri odaklı bankacılık manzarasında, büyük miktarda veriyi etkili bir şekilde yönetmek ve analiz etmek, rekabet avantajını korumak için çok önemlidir. Veri gölet evi , veri yönetimine yaklaşımımızı yeniden şekillendiren devrim niteliğinde bir kavram sunar. Bu yenilikçi mimari, veri ambarları ve veri göletleri nin en iyi özelliklerini bir araya getirir. Yapılandırılmış ve yapılandırılmamış verilerin depolanması, işlenmesi ve analiz edilmesi için birleşik bir platform sağlar, bu da bankaların stratejik karar alma için verilerini kullanmak isteyenler için paha biçilmez bir varlık haline getirir.

Veri Mimarileri Evrimi

Veri gölet evlerine yolculuk doğası gereği evrimleşmiştir. Geleneksel veri ambarları uzun süredir bankacılık analitiğinin omurgası olmuştur, yapılandırılmış veri depolama ve hızlı sorgu performansı sunar. Ancak, sosyal medya, müşteri etkileşimleri ve IoT cihazları gibi kaynaklardan gelen yapılandırılmamış verilerin yakın zamanda patlamasıyla, büyük miktarda ham veriyi depolamak için veri göletleri çağdaş bir çözüm olarak ortaya çıktı.

Veri gölet evi, veri ambarları ve veri göletleri arasındaki boşluğu köprüleyen bir sonraki adımdır. Akbank gibi bankalar için bu, yapılandırılmış veri depolama ve hızlı sorgu performansı sunan veri ambarlarının avantajlarını ve büyük miktarda ham veriyi depolayabilen veri göletlerinin esnekliğini ve ölçeklenebilirliğini bir araya getirebileceği anlamına gelir.

Veri Gölet Evi Kavramları

Melez Mimarisi

Temelde, bir veri gölet evi, veri göletleri ve veri ambarlarının güçlerini entegre eder. Bu melez yaklaşım, bankaların büyük miktarda ham veriyi depolayabilmesini sağlar ve aynı zamanda veri ambarlarına özgü hızlı ve karmaşık sorguları gerçekleştirebilme yeteneğini korur.

Birleşik Veri Platformu

Veri gölet evinin en önemli avantajlarından biri, yapılandırılmış ve yapılandırılmamış verilerin tek bir platformda birleştirilmesidir. Bankalar için bu, geleneksel işlemsel verilerin yanı sıra müşteri etkileşimlerinden gelen yapılandırılmamış verileri analiz edebileceği anlamına gelir, böylece işimiz ve müşterilerimiz hakkında daha kapsamlı bir görünüm sağlar.

Önemli Özellikler ve Avantajlar

Veri gölet evleri, özellikle bankacılık sektöründe değerli olan birkaç önemli avantaj sunar.

Ölçeklenebilirlik

Veri hacmimiz büyüdükçe, gölet evi mimarisi bu büyümeyi kolayca karşılayabilir. Bu, bankacılıkta çok önemlidir, çünkü sürekli olarak büyük miktarda işlemsel ve müşteri verisi biriktiriyoruz. Gölet evi, depolama ve işleme kapasitemizi mevcut operasyonlarımızı bozmadan genişletmemizi sağlar.

Esneklik

Farklı veri türlerini, işlem kayıtlarından müşteri e-postalarına kadar depolayabilir ve analiz edebiliriz. Bu esneklik, sosyal medya, müşteri hizmetleri etkileşimleri ve diğer kaynaklardan gelen yapılandırılmamış verilerin zengin içgörüler sağlayabileceği günümüz bankacılık ortamında çok değerlidir.

Gerçek Zamanlı Analitik

Bu, dolandırıcılık tespiti, risk değerlendirmesi ve kişiselleştirilmiş müşteri deneyimleri için çok önemlidir. Bankacılıkta, verilerin gerçek zamanlı olarak analiz edebilme yeteneği, milyonlarca dolar kaybetmek yerine sahteciliği durdurmak arasındaki farkı yaratabilir. Ayrıca, kredi onayları veya yatırım önerileri konusunda anında kararlar alabilmemizi sağlar.

Maliyet Etkinliği

Veri altyapımızı birleştirdiğimiz için genel maliyetleri azaltabiliriz. Veri ambarlama ve büyük veri analizi için ayrı sistemler yerine, bir veri gölet evi bu işlevleri birleştirmemizi sağlar. Bu, sadece donanım ve yazılım maliyetlerini azaltmakla kalmaz, aynı zamanda BT altyapımızı basitleştirir, bu da daha düşük bakım ve operasyonel maliyetlere yol açar.

Veri Yönetimi

Güçlü veri yönetimi uygulamalarını uygulamak için gelişmiş yetenek, özellikle yüksek düzenleme gerektiren endüstrimizde çok önemlidir. Bir veri gölet evinin birleşik doğası, tüm verilerimize karşı tutarlı veri kalitesi, güvenlik ve gizlilik önlemlerini uygulamayı kolaylaştırır. Bu, GDPR, PSD2 ve çeşitli ulusal bankacılık düzenlemelerine uymak zorunda olduğumuz için özellikle önemlidir.

Şirket İçi Veri Gölet Evi Mimarisi

Şirket içi bir veri gölet evi, bir veri gölet evi mimarisinin bir organizasyonun kendi veri merkezlerinde, bulutta değil, uygulanmasıdır. Akbank gibi birçok banka için, şirket içi bir çözüm seçmek genellikle düzenleyici gereksinimler, veri egemenliği endişeleri ve veri altyapımıza tam kontrol ihtiyacı tarafından yönlendirilir.

Temel Bileşenler

Bir şirket içi veri gölet evi genellikle dört temel bileşenden oluşur:

• Veri depolama katmanı
• Veri işleme katmanı
• Meta veri yönetimi
• Güvenlik ve yönetim

Her biri, güçlü, verimli ve güvenli bir veri yönetim sistemi oluşturmada kritik bir rol oynar.

Şirket İçi Veri Gölet Evi Mimarisi Ayrıntıları

Veri Depolama Katmanı

Depolama katmanı, bir şirket içi veri gölet evinin temelidir. Büyük veri depolarımızı yönetmek için Hadoop Dağıtılmış Dosya Sistemi (HDFS) ve nesne depolama çözümlerinin bir kombinasyonunu kullanıyoruz. Yapılandırılmış veriler için, müşteri hesap bilgileri ve işlem kayıtları gibi, Apache Iceberg kullanıyoruz. Bu açık tablo formatı, büyük veri kümeleri için sorgulama ve güncelleme performansı sağlar. Daha dinamik verilerimiz için, gerçek zamanlı işlem günlükleri gibi, Apache Hudi kullanıyoruz, bu da upsert’leri ve artımlı işleme olanak tanır.

Veri İşleme Katmanı

Veri işleme katmanı, işin gerçekleştiği yerdir. Farklı veri gereksinimlerimize đáp vermek için toplu ve gerçek zamanlı işleme kullanıyoruz.

ETL işlemleri için Informatica PowerCenter kullanıyoruz, bu da bankadaki çeşitli kaynaklardan verileri entegre etmemizi sağlar. Ayrıca, veri ambarımızda verileri dönüştürmek için dbt (veri derleme aracı) entegre etmeye başladık.

Apache Spark, büyük veri analitiklerimizde kritik bir rol oynar, büyük veri kümeleri üzerinde karmaşık analizler gerçekleştirebilmemizi sağlar. Gerçek zamanlı işleme için, özellikle dolandırıcılık tespiti ve gerçek zamanlı müşteri içgörülerinde, Apache Flink kullanıyoruz.

Sorgu ve Analitik

Veri bilimcilerinin ve analistlerimizin veri gölet evimizden içgörüler elde etmesini sağlamak için, Trino için etkileşimli sorgulama uyguladık. Bu, depolandığı yere bakılmaksızın tüm veri göletimiz boyunca hızlı SQL sorguları gerçekleştirebilmemizi sağlar.

Meta Veri Yönetimi

Etkili meta veri yönetimi, veri gölet evimizde düzeni korumak için çok önemlidir. Apache Hive metastore ile birlikte Apache Iceberg kullanıyoruz, bu da verilerin kataloğunu ve indeksini oluşturmamızı sağlar. Ayrıca, veri ekibimizin veri göletimizde bulunan verileri keşfetmesine ve anlamasına yardımcı olmak için Amundsen uyguladık, bu LinkedIn’in açık kaynaklı meta veri motorudur.

Güvenlik ve Yönetim

Bankacılık sektöründe güvenlik ve yönetim çok önemlidir. Hassas müşteri verilerine yalnızca yetkili personele erişimi sağlamak için Apache Ranger kullanıyoruz. Veri kökenini ve denetimini izlemek için Apache Atlas uyguladık, bu da verilerimizin sistemlerimizdeki akışını izlememizi ve düzenleyici gereksinimlere uymamızı sağlar.

Uygulama Konuları

Altyapı Gereksinimleri

Şirket içi bir veri gölet evi uygulamak, önemli altyapı yatırımları gerektirir. Akbank olarak, depolama ve işleme taleplerini karşılamak için donanımızı yükseltmek zorunda kaldık. Bu, yüksek performanslı sunucular, güçlü ağ ekipmanları ve ölçeklenebilir depolama çözümlerini içeriyordu.

Mevcut Sistemlerle Entegrasyon

Birincil zorluklarımızdan biri, veri gölet evini mevcut sistemlerimizle entegre etmekti. İş sürekliliğini korurken yeni mimariye geçiş için kademeli bir göç stratejisi geliştirdik. Bu yaklaşım, işlemsel sürekliliği korurken sistemlerimizi yeni sisteme geçirmemizi sağladı.

Performans ve Ölçeklenebilirlik

Verilerimiz büyüdükçe yüksek performansı sağlamak, odak noktamız olmuştur. Veri bölümlendirme stratejileri uyguladık ve sorgu motorlarımızı optimize ettik, böylece veri hacmimiz arttıkça hızlı sorgu yanıt sürelerini koruruz.

Zorluklar ve En İyi Uygulamalar

Ortak Zorluklar

Şirket içi bir veri gölet evi uygulamaya çalışırken, birkaç zorlukla karşılaştık:

• Mirás sistemlerle entegrasyon sorunları
• Veri hacmi büyüdükçe performansı koruma
• Farklı veri kaynaklarından gelen veri kalitesini koruma
• Ekibimizi yeni teknolojiler ve süreçler hakkında eğitime tabi tutma

En İyi Uygulamalar

Aşağıdakiler, uyguladığımız bazı en iyi uygulamalardır:

• Başından itibaren güçlü veri yönetimi uygulamak
• Veri kalitesi araçlarına ve süreçlerine yatırım yapmak
• Ekibinize kapsamlı eğitim sağlamak
• Tam ölçekli uygulama yapmadan önce pilot bir proje başlatmak
• Mimarinizi düzenli olarak gözden geçirmek ve optimize etmek

Gelecek Trendler

Veri gölet evi alanında, gelecekte birkaç heyecan verici trend görüyoruz:

• Veri yönetimi ve analitik için yapay zeka ve makine öğreniminin artan benimsenmesi
• Veri gölet evleriyle kenar bilgisayarın daha fazla entegrasyonu
• Veri yönetimi ve kalite yönetiminde artan otomasyon
• Veri gölet evi mimarilerini destekleyen açık kaynaklı teknolojilerin sürekli evrimi

SONUÇ

Şirket içi veri gölet evi, bankacılık sektöründe veri yönetiminde önemli bir adım niteliğindedir. Akbank olarak, bu, veri altyapımızı birleştirmemizi, analitik yeteneklerimizi artırmamızı ve en yüksek veri güvenliği ve yönetim standartlarını sağlamamızı sağladı.

Bankacılık teknolojisinin sürekli değişen manzarasında ilerlerken, veri gölet evi, verilerini stratejik avantaj için kullanmak isteyen bankalar için çok önemli bir rol oynayacaktır. Dijital çağda rekabetçi kalmak isteyen bankalar için, şirket içi veya bulut tabanlı olsun, bir veri gölet evi mimarisini ciddiye almak artık bir seçenek değil, bir zorunluluktur.