Jeronimo De Leon, Starszy Menedżer Produktu ds. Sztucznej Inteligencji w Backblaze – Wywiad

Jeronimo De Leon to doświadczony lider w dziedzinie zarządzania produktem z ponad 10-letnim doświadczeniem w prowadzeniu innowacji opartych na sztucznej inteligencji w środowiskach przedsiębiorstw i startupów. Obecnie pełni funkcję Starszego Menedżera Produktu ds. Sztucznej Inteligencji w Backblaze, gdzie kieruje rozwojem funkcji AI/ML, skupia się na tym, jak Backblaze ulepsza cykl życia danych AI dla architektur MLOps klientów, oraz wdraża narzędzia i agenty AI w celu optymalizacji operacji wewnętrznych.

Backblaze to firma świadcząca usługi chmury obliczeniowej i backupu, która zapewnia nieograniczone, automatyczne kopie zapasowe komputerów dla osób fizycznych i firm, a także rozwiązania do przechowywania obiektów w chmurze dla przedsiębiorstw, mediów i obciążeń aplikacji. Usługi tej firmy koncentrują się na przystępności cenowej, bezpieczeństwie danych, łatwej odtwarzalności oraz bezproblemowej zgodności z istniejącymi systemami.

Przynosisz ponad dekadę doświadczenia w zarządzaniu produktami opartymi na sztucznej inteligencji – od pracy z LLM w Intelas i RAG w Welcome.AI, poprzez uruchomienie czatu Bloomberg’a, aż po kierowanie działaniami związanymi z AI w Backblaze. Jak te doświadczenia ukształtowały twoje spojrzenie na rolę przechowywania w chmurze w skalowaniu przepływów pracy AI/ML?

Od czasu rozpoczęcia pracy nad projektami AI w IBM Watson widzę, jak tempo innowacji dramatycznie przyspiesza. To, co kiedyś zajmowało lata, aby przenieść się z badań do produkcji, teraz zajmuje tylko kilka miesięcy. Niemniej jednak podstawowe wyzwania infrastrukturalne pozostają takie same: gdzie są dane, jak je przechowujemy i jak do nich efektywnie dostajemy?

Wcześniej ograniczeniami były możliwości obliczeniowe i modele, ale teraz mamy nadmiar wstępnie wytrenowanych modeli i wiele dostawców usług obliczeniowych. Jednakże, gdy zaczynaliśmy projekt wtedy, zwykle musieliśmy zacząć od projektu zbierania i przetwarzania danych, co wciąż jest takie same dzisiaj. Nieustannie widzę, jak organizacje napotykają na ten sam wąski gardziel, którym jest konsolidacja danych z różnych źródeł. Organizacje, które odnoszą sukces, to te, które rozwiązują problem dostępności danych na wczesnym etapie, tworząc podstawę, która skaluje wraz z ich dojrzałością AI. Twoje decyzje dotyczące architektury przechowywania danych określają, jak szybko możesz przystąpić do szkolenia modelu i innowacji.

Gdzie widzisz przechowywanie w chmurze odgrywające najbardziej krytyczne role w całym cyklu życia AI – od pobierania i przetwarzania danych, przez szkolenie, dostrajanie, inferencję i monitorowanie?

Przechowywanie w chmurze jest kluczowe w całym cyklu życia AI, z kluczowymi etapami w agregacji danych, przetwarzaniu, szkoleniu i inferencji. Na początku systematyczne konsolidowanie, katalogowanie i zabezpieczanie archiwów przyspiesza rozpoczęcie nowych projektów i ułatwia testowanie nowych modeli. Czyste, dobrze przetworzone dane często biją ilość danych, co sprawia, że przechowywanie jest centralne zarówno dla jakości, jak i skali. Jedna z moich ulubionych sentencji Backblaze brzmi: „To nie jest zbieractwo, jeśli chodzi o dane”. Nigdy nie wiesz, jak cenne będą, więc organizacje powinny zbierać jak najwięcej danych. Podczas szkolenia, skalowalne przechowywanie zapewnia przepływ ogromnych zbiorów danych, a podczas inferencji, przechwytywanie danych wyjściowych i opinii użytkowników umożliwia ciągłe iteracje. Ostatecznie przechowywanie jest podstawą, która określa, jak szybko możesz innowować z AI.

Jakie są największe przeszkody, z którymi organizacje spotykają się podczas skalowania przechowywania dla AI, i jak te wyzwania różnią się między mniejszymi startupami a dużymi przedsiębiorstwami?

Największymi przeszkodami w skalowaniu przechowywania dla AI są koszt, zarządzanie danymi i dostępność. Przechowywanie dużych ilości danych jest tylko częścią wyzwania; muszą one również być zorganizowane, odzyskiwane i zarządzane z odpowiednimi kontrolami. Czyste, dobrze zorganizowane dane często są bardziej wartościowe niż sama ilość danych.

Dla startupów, pierwszym wyzwaniem jest pozyskanie wystarczającej ilości danych do szkolenia i udoskonalania ich modeli. Gdy je mają, koszt i architektura stają się następnymi barierami.

Dla dużych przedsiębiorstw, wyzwaniem jest złożoność. Ich dane są obfite, ale rozproszone w siedzibach, systemach legacy i reżimach zgodności, co utrudnia konsolidację i dostępność.

Organizacje, które odnoszą sukces, traktują przechowywanie jako strategicznego usprawnienia, które skaluje pod względem kosztu, wydajności i dostępności wraz z ich dojrzałością AI.

Wśród kosztu, opóźnienia, bezpieczeństwa i zgodności, które z nich uważasz za najbardziej palącą barierę dla skalowania AI dzisiaj, i jak organizacje powinny priorytetowo podejść do jej rozwiązania?

Wśród kosztu, opóźnienia, bezpieczeństwa i zgodności, opóźnienie jest jedną z najbardziej palących barier. Bezpośrednio wpływa na szkolenie modelu i inferencję, a inferencja w szczególności kształtuje doświadczenie użytkownika. Organizacje robią wszystko, co możliwe, aby zredukować opóźnienia na tym etapie, ponieważ opóźnienia w dostarczaniu prognoz mogą podważyć przyjęcie.

Koszt pozostaje stałym wyzwaniem, ponieważ rosną ilości danych, a zgodność staje się bardziej krytyczna, gdy organizacje rosną, zwłaszcza w branżach regulowanych. Startupy często koncentrują się najpierw na koszcie i opóźnieniu, podczas gdy przedsiębiorstwa muszą balansować opóźnienie z wymogami zarządzania i regulacyjnymi. Priorytetem powinno być budowanie przechowywania, które minimalizuje opóźnienia szkolenia i inferencji, przy jednoczesnym zachowaniu efektywności kosztowej i zgodności, gdy przyjęcie AI się rozszerza.

Przedsiębiorstwa często podkreślają potrzebę elastyczności i łatwego dostępu do danych, aby napędzać innowacje AI. Z twojego punktu widzenia, co oznacza prawdziwa elastyczność w dostępie do danych, i dlaczego jest tak istotna?

W niedawnym wykładzie, który wygłosiłem, podkreśliłem ideę inteligentnego archiwizowania. Prawdziwa elastyczność w dostępie do danych zaczyna się od scentralizowania informacji w strukturalnym, przeszukiwalnym archiwum. Oznacza to ujednolicenie różnych formatów, normalizację i oznaczenie spójności, oraz umożliwienie indeksowania do przyszłych zapytań. Ten podejście zapewnia, że dane nie tylko są przechowywane, ale również są użyteczne.

Jest to istotne, ponieważ tworzy podstawę dla analiz i modelowania. Gdy dane są zorganizowane i przeszukiwalne, zespoły mogą pracować szybciej, eksperymentować swobodniej i redukować opóźnienia w szkoleniu i inferencji. Bez tego rodzaju elastyczności, przechowywanie szybko staje się wąskim gardzielem zamiast usprawnieniem dla innowacji AI.

Czy możesz podzielić się przypadkami użycia w świecie rzeczywistym – takimi jak z klientami Decart AI lub Wynd Labs – które pokazują, jak odpowiednie podejście do przechowywania w chmurze może bezpośrednio umożliwić innowacje AI?

To są dwa wspaniałe przykłady, jak odpowiednie podejście do przechowywania w chmurze może bezpośrednio umożliwić innowacje AI. Decart skupił się na szkoleniu modelu, gdzie przenoszenie danych do obliczeń było kluczowe. Z Backblaze B2 skalowali do 16 PB w 90 dni, szkolili na wielu klastrach GPU bez kosztów wyjścia, i osiągnęli dziesięciokrotną wydajność w porównaniu z konkurentami. Ta niezawodność i wydajność pozwoliła im innowować szybciej.

Wynd Labs skupił się na dostępie klientów do danych. Pobierają petabajty dziennie i obsługują dziesiątki petabajtów miesięcznie. Z wysokowydajnymi usługami Backblaze i bezpłatnymi opłatami za wyjście, mogli skalować do zapotrzebowania przedsiębiorstw i reinwestować zasoby w rozwój produktu. Ta zdolność do dostarczania dostępu do danych w skali odblokowała nowe możliwości dla ich platformy.

W obu przypadkach, odpowiednia strategia przechowywania przekształciła infrastrukturę z ograniczenia w usprawnienie, pozwalając firmom skoncentrować się na innowacjach w AI zamiast na zarządzaniu kosztami i złożonością.

Podczas gdy modele AI i zestawy danych stają się coraz bardziej złożone, jakie wskazówki dałbyś organizacjom, które próbują balansować wydajność przechowywania z efektywnością kosztową?

Organizacje muszą myśleć o swoim długoterminowym użyciu danych z myślą o produkcie. Zbieranie, przetwarzanie, przenoszenie i uruchamianie inferencji na danych będą kluczowe dla tego, jak ich produkt ewoluuje. Jeśli nie uwzględnią tego teraz, koszty i wyzwania przechowywania tylko się nasilą z czasem. Ponieważ AI będzie centralną częścią ich produktu i organizacji, przechowywanie musi być zaprojektowane wcześnie, aby balansować wydajność z efektywnością kosztową, tak aby mogło skalować się gładko, gdy będą rosły.

Bezpieczeństwo i zgodność są szczególnie istotne w branżach regulowanych. Jak widzisz ewolucję przechowywania w chmurze, aby wesprzeć potrzeby zarządzania, jednocześnie pozwalając zespołom innowować szybko?

Zarządzanie jest kluczową częścią przechowywania. Uproszczenie dostępu z solidną podstawą dla zarządzania danymi, zabezpieczeń i audytu jest krytyczne. Widzę, jak przechowywanie w chmurze ewoluuje z silniejszymi wbudowanymi kontrolami, takimi jak szyfrowanie domyślne, fine-grained permissions, ślady audytu i opcje rezydencji danych. Równie ważna jest linia danych. W AI, wiedza o pochodzeniu danych, jak zostały przetworzone i jak wpływają na modele, jest niezbędna zarówno dla zgodności, jak i zaufania.

Jednocześnie platformy przechowywania poprawiają użyteczność, aby zespoły mogły poruszać się szybko. Gdy zarządzanie, linia danych i dostępność współpracują, organizacje mogą spełniać wymagania regulacyjne, jednocześnie kontynuując innowacje z AI w szybkim tempie.

Dla organizacji oceniających lub przenoszących się do B2, jaka rada lub wskazówka dałbyś w zakresie wdrożenia – szczególnie dotyczącej migracji danych, integracji z istniejącymi MLOps lub stosami obliczeniowymi, czy optymalizacji pod kątem przepływu i opłat za wyjście?

Ponieważ B2 jest kompatybilne z S3, integruje się bezpośrednio z istniejącymi MLOps i stosami obliczeniowymi bez potrzeby rearchitektury. Często pracujemy z klientami nad proof of concept, aby zwalidować migrację, wydajność i integrację przed skalowaniem. Następnie koncentrujemy się na optymalizacji przepływu, przenoszenia danych i orkiestracji danych, aby zespoły mogły szkolić na klastrach, uruchamiać inferencję i iterować szybko bez zwalniania przez infrastrukturę.

Jak Backblaze ewoluuje swoje oferty przechowywania, aby sprostać tym nowym potrzebom – zwłaszcza w trendach wokół LLM, zestawów danych o skali egzabajtów i strategii hybrydowych lub wielochmurowych?

W Backblaze koncentrujemy się nie tylko na tym, jak dane są używane dzisiaj, ale jak będą one orkiestrowane w przyszłości. Przechowywanie jest już nie tylko archiwum, ale staje się narzędziem, które umożliwia szybki dostęp, efektywny transfer i niezawodną orkiestrację danych w różnych środowiskach. Z LLM i zestawami danych o skali egzabajtów, ta podstawa łatwego dostępu i wysokiej wydajności będzie krytyczna nie tylko dla szkolenia i inferencji, ale również dla nowej klasy agentów AI, które polegają na danych, aby procesy stały się bardziej autonomiczne. Rezultatem jest podstawa przechowywania, która umożliwia innowacje teraz i przygotowuje organizacje na to, co nadchodzi.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Backblaze.