W dzisiejszym krajobrazie bankowości, w którym dane odgrywają kluczową rolę, efektywne zarządzanie i analiza ogromnych ilości danych są niezbędne do utrzymania przewagi konkurencyjnej. Data lakehouse przedstawia rewolucyjną koncepcję, która zmienia sposób, w jaki podchodzimy do zarządzania danymi w sektorze finansowym. Ta innowacyjna architektura łączy najlepsze cechy magazynów danych i jeziorek danych. Zapewnia zjednoczoną platformę do przechowywania, przetwarzania i analizy zarówno strukturalnych, jak i niestrukturalnych danych, co czyni ją niezwykle cennym aktywem dla banków, które chcą wykorzystać swoje dane do podejmowania strategicznych decyzji.

Ewolucja architektur danych

Droga do data lakehouse była ewolucyjna. Tradycyjne magazyny danych przez długi czas były podstawą analiz bankowych, oferując przechowywanie strukturalnych danych i szybką wydajność zapytań. Jednak wraz z niedawnym wybuchem niestrukturalnych danych z źródeł, w tym mediów społecznościowych, interakcji z klientami i urządzeń IoT, jeziora danych pojawiły się jako współczesne rozwiązanie do przechowywania ogromnych ilości surowych danych.

Data lakehouse reprezentuje następny krok w tej ewolucji, mostkując lukę między magazynami danych a jeziorami danych. Dla banków, takich jak Akbank, oznacza to, że możemy teraz korzystać z zalet obu światów – struktury i wydajności magazynów danych oraz elastyczności i skalowalności jezior danych.

Kluczowe pojęcia Data Lakehouse

Hybrydowa architektura

W swojej istocie data lakehouse integruje siły jezior danych i magazynów danych. Ten hybrydowy podejście pozwala bankom przechowywać ogromne ilości surowych danych, jednocześnie zachowując możliwość wykonywania szybkich, złożonych zapytań, typowych dla magazynów danych.

Zjednoczona platforma danych

Jedną z najważniejszych zalet data lakehouse jest jej zdolność do łączenia strukturalnych i niestrukturalnych danych w jednej platformie. Dla banków oznacza to, że możemy analizować tradycyjne dane transakcyjne obok niestrukturalnych danych z interakcji z klientami, co daje nam bardziej kompleksowy widok naszego biznesu i klientów.

Kluczowe funkcje i korzyści

Data lakehouse oferuje kilka kluczowych korzyści, które są szczególnie cenne w sektorze bankowym.

Skalowalność

W miarę wzrostu naszych wolumenów danych, architektura lakehouse może łatwo skalować, aby pomieścić ten wzrost. Jest to kluczowe w bankowości, gdzie ciągle gromadzimy ogromne ilości danych transakcyjnych i danych klientów. Lakehouse pozwala nam rozszerzyć nasze możliwości przechowywania i przetwarzania bez zakłócania naszych istniejących operacji.

Elastyczność

Możemy przechowywać i analizować różne typy danych, od rekordów transakcyjnych do e-maili klientów. Ta elastyczność jest niezwykle cenna w dzisiejszym środowisku bankowym, gdzie niestrukturalne dane z mediów społecznościowych, interakcji z klientami i innych źródeł mogą dostarczyć bogatych informacji, gdy łączymy je z tradycyjnymi strukturalnymi danymi.

Analiza w czasie rzeczywistym

Jest to kluczowe dla wykrywania oszustw, oceny ryzyka i personalizowanych doświadczeń klientów. W bankowości zdolność do analizy danych w czasie rzeczywistym może oznaczać różnicę między zatrzymaniem transakcji oszustwa a utratą milionów. Pozwala nam również oferować personalizowane usługi i podejmować decyzje w czasie rzeczywistym dotyczące zatwierdzeń kredytów lub rekomendacji inwestycyjnych.

Efektywność kosztowa

Poprzez konsolidację naszej infrastruktury danych, możemy zmniejszyć ogólne koszty. Zamiast utrzymywać odrębne systemy dla magazynowania danych i analizy big data, data lakehouse pozwala nam połączyć te funkcje. Nie tylko zmniejsza to koszty sprzętu i oprogramowania, ale także upraszcza naszą infrastrukturę IT, co prowadzi do niższych kosztów utrzymania i operacyjnych.

Zarządzanie danymi

Wzmacniająca zdolność do wdrożenia solidnych praktyk zarządzania danymi, co jest kluczowe w naszym wysoko uregulowanym przemyśle. Zjednoczona natura data lakehouse ułatwia stosowanie spójnych środków jakości danych, bezpieczeństwa i prywatności we wszystkich naszych danych. Jest to szczególnie ważne w bankowości, gdzie musimy przestrzegać surowych regulacji, takich jak RODO, PSD2 i różne krajowe regulacje bankowe.

Architektura On-Premise Data Lakehouse

On-premise data lakehouse to architektura data lakehouse wdrożona wewnątrz centrów danych organizacji, a nie w chmurze. Dla wielu banków, w tym Akbank, wybór rozwiązania on-premise jest często podyktowany wymogami regulacyjnymi, problemami suwerenności danych i potrzebą pełnej kontroli nad naszą infrastrukturą danych.

Kluczowe składniki

On-premise data lakehouse składa się zwykle z czterech kluczowych składników:

• Warstwa przechowywania danych
• Warstwa przetwarzania danych
• Zarządzanie metadanymi
• Bezpieczeństwo i zarządzanie

Każdy z tych składników odgrywa kluczową rolę w tworzeniu solidnego, wydajnego i bezpiecznego systemu zarządzania danymi.

Szczegółowa architektura On-Premise Data Lakehouse

Warstwa przechowywania danych

Warstwa przechowywania jest podstawą on-premise data lakehouse. Używamy kombinacji Hadoop Distributed File System (HDFS) i rozwiązań przechowywania obiektów do zarządzania naszymi ogromnymi repozytoriami danych. Dla strukturalnych danych, takich jak informacje o koncie klienta i rekordy transakcyjne, wykorzystujemy Apache Iceberg. Ten otwarty format tabeli zapewnia doskonałą wydajność dla zapytań i aktualizacji dużych zbiorów danych. Dla naszych bardziej dynamicznych danych, takich jak logi transakcyjne w czasie rzeczywistym, używamy Apache Hudi, co pozwala na upserts i przetwarzanie przyrostowe.

Warstwa przetwarzania danych

Warstwa przetwarzania to miejsce, gdzie następuje magia. Zatrudniamy kombinację przetwarzania wsadowego i w czasie rzeczywistym, aby obsłużyć nasze różnorodne potrzeby danych.

Dla procesów ETL używamy Informatica PowerCenter, co pozwala nam integrować dane z różnych źródeł w całym banku. Zaczęliśmy również wdrażać dbt (data build tool) do transformacji danych w naszym magazynie danych.

Apache Spark odgrywa kluczową rolę w naszym przetwarzaniu big data, pozwalając nam wykonywać złożone analizy na dużych zbiorach danych. Dla przetwarzania w czasie rzeczywistym, szczególnie dla wykrywania oszustw i analizy klientów w czasie rzeczywistym, używamy Apache Flink.

Zapytania i analiza

Aby umożliwić naszym naukowcom i analitykom danych wyprowadzanie wniosków z naszego data lakehouse, wdrożyliśmy Trino do interaktywnych zapytań. Pozwala to na szybkie zapytania SQL w całym naszym jeziorze danych, niezależnie od miejsca przechowywania danych.

Zarządzanie metadanymi

Skuteczne zarządzanie metadanymi jest kluczowe dla utrzymania porządku w naszym data lakehouse. Używamy Apache Hive metastore w połączeniu z Apache Iceberg do katalogowania i indeksowania naszych danych. Wdrożyliśmy również Amundsen, otwarty silnik metadanych LinkedIn, aby pomóc naszemu zespołowi danych odkryć i zrozumieć dane dostępne w naszym jeziorze.

Bezpieczeństwo i zarządzanie

W sektorze bankowym bezpieczeństwo i zarządzanie są najważniejsze. Używamy Apache Ranger do kontroli dostępu i prywatności danych, zapewniając, że wrażliwe dane klientów są dostępne tylko dla upoważnionego personelu. Dla linii danych i audytu wdrożyliśmy Apache Atlas, co pomaga nam śledzić przepływ danych przez nasze systemy i spełniać wymagania regulacyjne.

Uwagi dotyczące wdrożenia

Wymagania infrastrukturalne

Wdrożenie on-premise data lakehouse wymaga znaczących inwestycji w infrastrukturę. W Akbank musieliśmy uaktualnić nasze urządzenia, aby obsłużyć zwiększone wymagania dotyczące przechowywania i przetwarzania. Obejmowało to serwery o wysokiej wydajności, solidne urządzenia sieciowe i rozwiązania przechowywania danych o dużej skalowalności.

Integracja z istniejącymi systemami

Jednym z naszych kluczowych wyzwań było zintegrowanie data lakehouse z naszymi istniejącymi systemami. Opracowaliśmy strategię migracji etapowej, stopniowo przenosząc dane i procesy z naszych systemów legacy do nowej architektury. Podejście to pozwoliło nam utrzymać ciągłość biznesową podczas przejścia na nowy system.

Wydajność i skalowalność

Gwarantowanie wysokiej wydajności w miarę wzrostu naszych danych było kluczowym celem. Wdrożyliśmy strategie partycjonowania danych i zoptymalizowaliśmy nasze silniki zapytań, aby utrzymać szybkie czasy odpowiedzi zapytań, nawet wraz ze wzrostem naszych wolumenów danych.

Wyzwania i najlepsze praktyki

Typowe wyzwania

Podczas naszej podróży w celu wdrożenia on-premise data lakehouse, spotkaliśmy się z kilkoma wyzwaniami:

• Problemy z integracją danych, szczególnie z systemami legacy
• Utrzymywanie wydajności w miarę wzrostu wolumenów danych
• Zapewnienie jakości danych z różnych źródeł
• Szkolenie naszego zespołu w nowych technologiach i procesach

Najlepsze praktyki

Oto kilka najlepszych praktyk, które przyjęliśmy:

• Wdrożenie solidnych praktyk zarządzania danymi od samego początku
• Inwestowanie w narzędzia i procesy jakości danych
• Świadczenie kompleksowego szkolenia dla naszego zespołu
• Rozpoczęcie od projektu pilotażowego przed wdrożeniem pełnoskalowym
• Regularne przeglądanie i optymalizowanie naszej architektury

Przyszłe trendy

Spójrzmy w przyszłość, widzimy kilka ekscytujących trendów w przestrzeni data lakehouse:

• Zwiększona adopcja AI i uczenia maszynowego do zarządzania danymi i analizy
• Większa integracja obliczeń brzegowych z data lakehouse
• Zwiększona automatyzacja w zarządzaniu jakością i zarządzaniu danymi
• Dalszy rozwój technologii open-source wspierających architektury data lakehouse

Podsumowanie

On-premise data lakehouse reprezentuje znaczący krok naprzód w zarządzaniu danymi w sektorze bankowym. W Akbank pozwoliło nam to na zjednoczenie naszej infrastruktury danych, poprawę naszych możliwości analitycznych i utrzymanie najwyższych standardów bezpieczeństwa i zarządzania danymi.

Podczas gdy będziemy kontynuować nawigację w ciągle zmieniającym się krajobrazie technologii bankowych, data lakehouse bez wątpienia odegra kluczową rolę w naszej zdolności do wykorzystania danych do strategicznej przewagi. Dla banków, które chcą pozostać konkurencyjnymi w erze cyfrowej, poważne rozważenie architektury data lakehouse – niezależnie od tego, czy jest to on-premise, czy w chmurze – nie jest już opcjonalne, jest niezbędne.