Zasilaj swoje wysiłki ML i AI za pomocą transformacji danych – Liderzy myśli

Im większa różnorodność, szybkość i objętość danych, które posiadamy, tym bardziej możliwe staje się wykorzystanie analizy predykcyjnej i modelowania do prognozowania wzrostu i identyfikowania obszarów możliwości i poprawy. Jednak uzyskanie największej wartości z raportów, narzędzi machine learning (ML) i sztucznej inteligencji (AI) wymaga, aby organizacja miała dostęp do danych z wielu źródeł i aby dane te były wysokiej jakości i godne zaufania. To często jest największą barierą w transformacji dużych danych w strategię biznesową.

Profesjonaliści danych spędzają tak dużo czasu na gromadzeniu i walidacji danych, aby przygotować je do użycia, że mają niewiele czasu, aby skupić się na swoim podstawowym celu: analizie danych i wyprowadzaniu z nich wartości biznesowej. Niezbyt zaskakująco, 76 procent naukowców danych twierdzi, że przygotowanie danych jest najmniej przyjemną częścią ich pracy. Co więcej, obecne wysiłki w zakresie przygotowania danych, takie jak wykorzystywanie danych i tradycyjne ETL, wymagają ręcznego wysiłku ze strony specjalistów IT i nie są wystarczające, aby poradzić sobie z skalą i złożonością dużych danych.

Firmy, które chcą wykorzystać potęgę AI, muszą zerwać z tymi nudnymi i w dużej mierze ręcznymi procesami, które zwiększają ryzyko “śmieci w, śmieci out” wyników. Zamiast tego potrzebują procesów transformacji danych, które wyodrębniają surowe dane z wielu źródeł i formatów, łączą je i dodają wartość za pomocą logiki biznesowej i wskaźników, aby przygotować je do analizy. Z złożoną transformacją danych mogą być pewni, że modele AI/ML opierają się na czystych, dokładnych danych, które dostarczają godne zaufania wyniki.

Wykorzystywanie potęgi chmury z ELT

Najlepszym miejscem do przygotowania i transformacji danych jest obecnie chmurowy magazyn danych (CDW), taki jak Amazon (AMZN ) Redshift, Google (GOOGL ) BigQuery, Microsoft Azure Synapse lub Snowflake. Podczas gdy tradycyjne podejścia do magazynowania danych wymagają, aby dane zostały wyodrębnione i przekształcone przed ich załadowaniem, CDW wykorzystuje skalowalność i wydajność chmury do szybszego pobierania i transformacji danych, oraz umożliwia wyodrębnienie i załadowanie danych z wielu różnych źródeł danych przed ich przekształceniem w CDW.

Idealnie, model ELT najpierw przenosi dane do sekcji CDW zarezerwowanej dla surowych danych przejściowych. Stamtąd CDW może wykorzystać nieograniczone zasoby obliczeniowe dostępne dla zadań integracji danych i ETL, które oczyszczają, agregują, filtrowane i łączą dane przejściowe. Dane mogą być następnie przekształcone w inny schemat – np. data vault lub Star Schema, optymalizując dane do raportowania i analizy

Podejście ELT pozwala również na replikację surowych danych w CDW do późniejszego przygotowania i transformacji, gdy i jak potrzeba. Pozwala to na wykorzystanie narzędzi analityki biznesowej, które określają schemat podczas odczytu i produkują określone transformacje na żądanie, skutecznie pozwalając na transformację tych samych danych na wiele sposobów, gdy odkryjesz nowe zastosowania.

Przyspieszanie modeli machine learning

Te przykłady z życia wzięte pokazują, jak dwie firmy z różnych branż wykorzystują transformację danych w CDW do napędzania inicjatyw AI.

Boutique marketingowa i agencja reklamowa zbudowała własną platformę zarządzania klientami, aby pomóc swoim klientom lepiej identyfikować, rozumieć i motywować swoich klientów. Przekształcając dane w CDW, platforma szybko i łatwo integruje dane klientów w czasie rzeczywistym z kanałów do 360-stopniowego widoku klienta, który informuje modele AI/ML platformy o tym, jak uczynić interakcje z klientami bardziej spójnymi, terminowymi i personalizowanymi.

Globalna firma logistyczna, która realizuje 100 milionów dostaw do 37 milionów unikalnych klientów w 72 krajach, potrzebuje ogromnych ilości danych, aby napędzać swoje codzienne operacje. Przyjęcie transformacji danych w CDW umożliwiło firmie wdrożenie 200 modeli machine learning w ciągu jednego roku. Modele te generują 500 000 prognoz dziennie, znacznie poprawiając wydajność i napędzając lepszą obsługę klienta, co spowodowało zmniejszenie liczby połączeń telefonicznych do centrum obsługi klienta o 40 procent.

Najlepsze praktyki, aby zacząć

Firmy, które chcą wesprzeć swoje inicjatywy AI/ML za pomocą potęgi transformacji danych w chmurze, muszą zrozumieć swój konkretny przypadek użycia i potrzeby. Zaczynając od tego, co chcesz zrobić ze swoimi danymi – zmniejszyć koszty paliwa, optymalizując trasy dostaw, zwiększyć sprzedaż, dostarczając najlepsze oferty do agentów obsługi klienta w czasie rzeczywistym itp. – pozwala to na odwrócenie procesów, aby zidentyfikować, które dane dostarczą istotne wyniki.

Gdy tylko określisz, jakie dane potrzebne są Twojemu projektowi AI/ML do budowy modeli, potrzebujesz chmurowego, rodzimego rozwiązania ELT, które sprawi, że Twoje dane będą odpowiednie do użycia. Szukaj rozwiązania, które:

• Jest neutralne dla dostawców i może współpracować z Twoim obecnym stosem technologicznym

• Jest wystarczająco elastyczne, aby skalować w górę i w dół oraz dostosowywać się do zmian Twojego stosu technologicznego

• Może obsłużyć złożone transformacje danych z wielu źródeł danych

• Oferuje model cenowy “płać za to, co używasz”, w którym płacisz tylko za to, co używasz

• Jest zaprojektowane specjalnie dla Twojego preferowanego CDW, aby w pełni wykorzystać jego funkcje i uruchamiać zadania szybciej i transformować dane bezproblemowo.

Rozwiązanie do transformacji danych w chmurze, które uwzględnia wspólne cechy wszystkich CDW, może zapewnić spójne doświadczenie, ale tylko takie, które umożliwia potężne funkcje różnicujące Twojego wybranego CDW, może dostarczyć wysoką wydajność, która przyspiesza czas dostępu do informacji. Prawidłowe rozwiązanie umożliwi Ci napędzanie projektów AI/ML za pomocą czystych, zaufanych danych z większej liczby źródeł w krótszym czasie – i generowanie szybszych, bardziej niezawodnych wyników, które napędzają wcześniej niewykorzystaną wartość biznesową i innowacje.