Dalam lanskap perbankan yang didorong oleh data saat ini, kemampuan untuk mengelola dan menganalisis jumlah data yang besar dengan efisien sangat penting untuk mempertahankan keunggulan kompetitif. Data lakehouse menyajikan konsep revolusioner yang mengubah cara kita mendekati pengelolaan data di sektor keuangan. Arsitektur inovatif ini menggabungkan fitur terbaik dari gudang data dan danau data. Ini menyediakan platform terpadu untuk menyimpan, memproses, dan menganalisis data terstruktur dan tidak terstruktur, membuatnya menjadi aset tak ternilai bagi bank yang ingin memanfaatkan data mereka untuk pengambilan keputusan strategis.

Evolusi Arsitektur Data

Perjalanan menuju data lakehouse telah berkembang secara evolusioner. Gudang data tradisional telah lama menjadi tulang punggung analitik perbankan, menawarkan penyimpanan data terstruktur dan kinerja kueri yang cepat. Namun, dengan ledakan data tidak terstruktur dari sumber termasuk media sosial, interaksi pelanggan, dan perangkat IoT, danau data muncul sebagai solusi kontemporer untuk menyimpan jumlah data mentah yang besar.

Data lakehouse mewakili langkah berikutnya dalam evolusi ini, menjembatani kesenjangan antara gudang data dan danau data. Bagi bank seperti Akbank, ini berarti kita sekarang dapat menikmati manfaat dari kedua dunia – struktur dan kinerja gudang data, serta fleksibilitas dan skalabilitas danau data.

Konsep Kunci Data Lakehouse

Arsitektur Hibrider

Pada intinya, data lakehouse mengintegrasikan kekuatan danau data dan gudang data. Pendekatan hibrida ini memungkinkan bank untuk menyimpan jumlah data mentah yang besar sambil mempertahankan kemampuan untuk melakukan kueri kompleks yang cepat, khas gudang data.

Platform Data Terpadu

Salah satu kelebihan terbesar dari data lakehouse adalah kemampuannya untuk menggabungkan data terstruktur dan tidak terstruktur dalam satu platform. Bagi bank, ini berarti kita dapat menganalisis data transaksional tradisional bersama dengan data tidak terstruktur dari interaksi pelanggan, memberikan gambaran yang lebih komprehensif tentang bisnis dan pelanggan kita.

Fitur dan Manfaat Kunci

Data lakehouse menawarkan beberapa manfaat kunci yang sangat berharga di sektor perbankan.

Skalabilitas

Ketika volume data kita tumbuh, arsitektur lakehouse dapat dengan mudah diskalakan untuk menampung pertumbuhan ini. Ini sangat penting dalam perbankan, di mana kita terus mengumpulkan jumlah data transaksional dan pelanggan yang besar. Lakehouse memungkinkan kita untuk memperluas kemampuan penyimpanan dan pemrosesan kita tanpa mengganggu operasi kita yang ada.

Fleksibilitas

Kita dapat menyimpan dan menganalisis berbagai jenis data, dari catatan transaksi hingga email pelanggan. Fleksibilitas ini sangat berharga dalam lingkungan perbankan saat ini, di mana data tidak terstruktur dari media sosial, interaksi layanan pelanggan, dan sumber lain dapat memberikan wawasan kaya ketika digabungkan dengan data terstruktur tradisional.

Analitik Waktu Nyata

Ini sangat penting untuk deteksi penipuan, penilaian risiko, dan pengalaman pelanggan yang dipersonalisasi. Dalam perbankan, kemampuan untuk menganalisis data dalam waktu nyata dapat berarti perbedaan antara menghentikan transaksi penipuan dan kehilangan jutaan. Ini juga memungkinkan kita untuk menawarkan layanan yang dipersonalisasi dan membuat keputusan dalam waktu singkat tentang persetujuan pinjaman atau rekomendasi investasi.

Ekonomi

Dengan mengkonsolidasikan infrastruktur data kita, kita dapat mengurangi biaya secara keseluruhan. Sebagai gantinya untuk memelihara sistem terpisah untuk gudang data dan analitik big data, data lakehouse memungkinkan kita untuk menggabungkan fungsi-fungsi ini. Ini tidak hanya mengurangi biaya perangkat keras dan perangkat lunak tetapi juga menyederhanakan infrastruktur TI kita, mengarah ke biaya pemeliharaan dan operasional yang lebih rendah.

Pengelolaan Data

Kemampuan yang ditingkatkan untuk mengimplementasikan praktik pengelolaan data yang kuat, sangat penting dalam industri yang sangat diatur ini. Sifat terpadu dari data lakehouse membuatnya lebih mudah untuk menerapkan langkah-langkah kualitas data, keamanan, dan privasi yang konsisten di seluruh data kita. Ini sangat penting dalam perbankan, di mana kita harus mematuhi regulasi ketat seperti GDPR, PSD2, dan berbagai regulasi perbankan nasional.

Arsitektur Data Lakehouse On-Premise

Data lakehouse on-premise adalah arsitektur data lakehouse yang diimplementasikan dalam pusat data organisasi sendiri, bukan di cloud. Bagi banyak bank, termasuk Akbank, memilih solusi on-premise sering didorong oleh persyaratan regulasi, kekhawatiran kedaulatan data, dan kebutuhan untuk mengontrol infrastruktur data kita sepenuhnya.

Komponen Inti

Data lakehouse on-premise biasanya terdiri dari empat komponen inti:

• Lapisan penyimpanan data
• Lapisan pemrosesan data
• Manajemen metadata
• Keamanan dan pengelolaan

Setiap komponen ini memainkan peran penting dalam menciptakan sistem pengelolaan data yang kuat, efisien, dan aman.

Arsitektur Terperinci Data Lakehouse On-Premise

Lapisan Penyimpanan Data

Lapisan penyimpanan adalah fondasi dari data lakehouse on-premise. Kita menggunakan kombinasi Hadoop Distributed File System (HDFS) dan solusi penyimpanan objek untuk mengelola repositori data kita yang luas. Untuk data terstruktur, seperti informasi akun pelanggan dan catatan transaksi, kita menggunakan Apache Iceberg. Format tabel terbuka ini menyediakan kinerja yang sangat baik untuk kueri dan pembaruan dataset besar. Untuk data kita yang lebih dinamis, seperti log transaksi waktu nyata, kita menggunakan Apache Hudi, yang memungkinkan upsert dan pemrosesan inkremental.

Lapisan Pemrosesan Data

Lapisan pemrosesan data adalah tempat di mana keajaiban terjadi. Kita menggunakan kombinasi pemrosesan batch dan waktu nyata untuk menangani kebutuhan data yang beragam.

Untuk proses ETL, kita menggunakan Informatica PowerCenter, yang memungkinkan kita untuk mengintegrasikan data dari berbagai sumber di seluruh bank. Kita juga telah mulai mengintegrasikan dbt (data build tool) untuk mengubah data di gudang data kita.

Apache Spark memainkan peran penting dalam pemrosesan big data kita, memungkinkan kita untuk melakukan analitik kompleks pada dataset besar. Untuk pemrosesan waktu nyata, terutama untuk deteksi penipuan dan wawasan pelanggan waktu nyata, kita menggunakan Apache Flink.

Kueri dan Analitik

Untuk memungkinkan ilmuwan data dan analis kita untuk mendapatkan wawasan dari data lakehouse kita, kita telah mengimplementasikan Trino untuk kueri interaktif. Ini memungkinkan kueri SQL cepat di seluruh danau data kita, terlepas dari di mana data disimpan.

Manajemen Metadata

Manajemen metadata yang efektif sangat penting untuk mempertahankan ketertiban dalam data lakehouse kita. Kita menggunakan Apache Hive metastore bersama dengan Apache Iceberg untuk mengatalog dan mengindeks data kita. Kita juga telah mengimplementasikan Amundsen, mesin metadata sumber terbuka LinkedIn, untuk membantu tim data kita menemukan dan memahami data yang tersedia di lakehouse kita.

Keamanan dan Pengelolaan

Dalam sektor perbankan, keamanan dan pengelolaan sangat penting. Kita menggunakan Apache Ranger untuk kontrol akses dan privasi data, memastikan bahwa data pelanggan yang sensitif hanya dapat diakses oleh personel yang berwenang. Untuk jejak data dan auditing, kita telah mengimplementasikan Apache Atlas, yang membantu kita melacak aliran data melalui sistem kita dan mematuhi persyaratan regulasi.

Pertimbangan Implementasi

Persyaratan Infrastruktur

Mengimplementasikan data lakehouse on-premise memerlukan investasi infrastruktur yang signifikan. Di Akbank, kita telah harus meningkatkan perangkat keras kita untuk menangani peningkatan permintaan penyimpanan dan pemrosesan. Ini termasuk server kinerja tinggi, peralatan jaringan yang kuat, dan solusi penyimpanan yang dapat diskalakan.

Integrasi dengan Sistem yang Ada

Salah satu tantangan utama kita adalah mengintegrasikan data lakehouse dengan sistem yang ada. Kita mengembangkan strategi migrasi bertahap, secara bertahap memindahkan data dan proses dari sistem warisan kita ke arsitektur baru. Pendekatan ini memungkinkan kita untuk mempertahankan kontinuitas bisnis sambil beralih ke sistem baru.

Kinerja dan Skalabilitas

Memastikan kinerja tinggi ketika data kita tumbuh telah menjadi fokus utama. Kita telah mengimplementasikan strategi partisi data dan mengoptimalkan mesin kueri kita untuk mempertahankan waktu respons kueri yang cepat bahkan ketika volume data kita meningkat.

Tantangan dan Praktik Terbaik

Tantangan Umum

Dalam perjalanan kita untuk mengimplementasikan data lakehouse on-premise, kita telah menghadapi beberapa tantangan:

• Masalah integrasi data, terutama dengan sistem warisan
• Mempertahankan kinerja ketika volume data tumbuh
• Memastikan kualitas data di seluruh sumber data yang beragam
• Melatih tim kita pada teknologi dan proses baru

Praktik Terbaik

Berikut beberapa praktik terbaik yang kita adopsi:

• Implementasikan pengelolaan data yang kuat dari awal
• Investasikan pada alat dan proses kualitas data
• Berikan pelatihan komprehensif untuk tim kita
• Mulai dengan proyek pilot sebelum implementasi skala penuh
• Tinjau dan optimalkan arsitektur kita secara teratur

Tren Masa Depan

Menghadap ke depan, kita melihat beberapa tren menarik di ruang data lakehouse:

• Pengadopsian yang meningkat dari AI dan pembelajaran mesin untuk pengelolaan dan analitik data
• Integrasi yang lebih besar dari komputasi edge dengan data lakehouse
• Otomatisasi yang ditingkatkan dalam pengelolaan dan kualitas data
• Evolusi terus-menerus dari teknologi sumber terbuka yang mendukung arsitektur data lakehouse

Kesimpulan

Data lakehouse on-premise mewakili lompatan besar dalam pengelolaan data untuk sektor perbankan. Di Akbank, ini telah memungkinkan kita untuk mempersatukan infrastruktur data kita, meningkatkan kemampuan analitik kita, dan mempertahankan standar tertinggi keamanan dan pengelolaan data.

Ketika kita terus menavigasi lanskap teknologi perbankan yang terus berubah, data lakehouse akan memainkan peran penting dalam kemampuan kita untuk memanfaatkan data untuk keunggulan strategis. Bagi bank yang ingin tetap kompetitif di era digital, serius mempertimbangkan arsitektur data lakehouse – baik on-premise maupun di cloud – tidak lagi opsional, itu sangat penting.