Christian Stano, Field CTO w Anyscale – seria wywiadów

Christian Stano, Field CTO w Anyscale, zbudował karierę na styku wielkoskalowej infrastruktury AI, platform uczenia maszynowego i obliczeń rozproszonych. Przed dołączeniem do Anyscale kierował zespołem platform AI/ML w Attentive. Rozbudowywał tam infrastrukturę wspierającą personalizację dla ponad pół miliarda subskrybentów i pomagał wdrażać ujednolicone systemy obliczeniowe oparte na Ray, które przyspieszały rozwój oprogramowania i obniżały koszty operacyjne. Wcześniej zajmował się cyberbezpieczeństwem, architekturą chmurową i inicjatywami AI w sektorze publicznym w organizacjach takich jak Coalfire i Deloitte, gdzie współtworzył jedną z pierwszych platform uczenia maszynowego amerykańskiego Departamentu Obrony. Jego doświadczenie obejmuje inżynierię platform AI, MLOps, infrastrukturę projektowaną z myślą o chmurze, wspieranie programistów i rozwój organizacji. Ma dzięki temu rozległą praktykę w pomaganiu przedsiębiorstwom w uruchamianiu AI na dużą skalę w środowiskach produkcyjnych.

Anyscale to firma stojąca za Ray, frameworkiem obliczeń rozproszonych o otwartym kodzie źródłowym, szeroko stosowanym do skalowania zadań AI i Pythona w klastrach CPU i GPU. Firmę założyli pierwotni twórcy Ray z RISELab na Uniwersytecie Kalifornijskim w Berkeley. Koncentruje się ona na upraszczaniu wdrażania, orkiestracji i zarządzania wielkoskalową infrastrukturą AI do trenowania, inferencji, przetwarzania danych i obsługi zadań agentów AI. Platforma umożliwia organizacjom uruchamianie rozproszonych systemów AI w chmurze i we własnej infrastrukturze, zapewniając obserwowalność, nadzór i optymalizacje wydajności zaprojektowane dla nowoczesnych aplikacji AI. Ray stał się podstawową warstwą nowej infrastruktury AI. Pomaga programistom skalować zadania z jednego komputera do tysięcy węzłów przy minimalnych zmianach w istniejącym kodzie Pythona.

Pracowałeś w cyberbezpieczeństwie, przy platformach uczenia maszynowego dla sektora publicznego i przy systemach personalizacji o ogromnej skali. Jakie prawidłowości stale obserwujesz, gdy organizacje próbują przejść od pilotaży AI do produkcji?

W różnych branżach regularnie pojawiają się trzy prawidłowości. Po pierwsze, zespoły nie mają niezawodnej, przygotowanej ścieżki od rozwoju do produkcji. Potrafią zbudować model w środowisku notebookowym, ale brakuje standardowego sposobu uruchomienia go w produkcji. Każde wdrożenie jest osobnym przedsięwzięciem, a każda awaria zaskoczeniem. Po drugie, infrastruktura nie skaluje się wraz z potrzebami. System, który działał w pilotażu, załamuje się pod rzeczywistym wolumenem danych lub ruchem. Po trzecie, zespoły działają po omacku. Brakuje im obserwowalności, by wiedzieć, jak systemy faktycznie działają, gdzie zbliżają się do awarii i kiedy interweniować.

Wszystkie trzy łączy ten sam podstawowy problem: zespoły nie mają właściwego wyobrażenia o skalowaniu przez rozdzielanie pracy między więcej maszyn. Próbują rozwiązać wszystko naraz, zamiast świadomie ustalić kolejność działań. Myślę o trzech fazach: uruchomić, dopracować, przyspieszyć. To nie jednorazowe kamienie milowe, lecz powtarzające się etapy. Stale ustalasz priorytety między tym, co nie działa teraz, a tym, co zepsuje się później. Skuteczne zespoły wiedzą, w której są fazie, i pilnują, by nie wybiegać naprzód, zanim fundamenty będą solidne.

Do Anyscale trafiają zespoły na każdym etapie. Niektóre nadal próbują uruchomić system i potrzebują niezawodnej ścieżki od rozwoju do produkcji. Inne już ją mają, ale toną w złożoności operacyjnej i muszą dopracować system. Wiele stworzyło coś, co działa, lecz nie potrafi rozszerzyć tego do skali wymaganej przez biznes. Ujednolicona warstwa obliczeniowa pomaga na każdym etapie, ale punkt wyjścia zależy od najbardziej dotkliwego problemu.

W Attentive pomagałeś skalować systemy AI obsługujące setki milionów użytkowników. Jakie największe bariery architektoniczne lub organizacyjne musiałeś pokonać, aby osiągnąć taką skalę?

Największą barierą była krzywa złożoności infrastruktury w kształcie litery S. Kiedy modele miały uwzględniać więcej danych i obsługiwać więcej klientów, dotarliśmy do punktu zwrotnego w zapotrzebowaniu na moc obliczeniową. Nawet największe węzły skalowane pionowo zgłaszały błędy braku pamięci, a proste skalowanie poziome również nie wystarczało. Nasza moc obliczeniowa nie nadążała za skalą danych.

Naturalną reakcją było dodawanie kolejnych narzędzi, by obejść ograniczenia. Tak nauczyłem się działać na podstawie wcześniejszych doświadczeń. Każde narzędzie rozwiązywało wąski problem, lecz zwiększało złożoność operacyjną. Nasz potok ML był zagrożony przekształceniem w mozaikę integracji. Każde nowe zastosowanie oznaczało więcej łączenia systemów, więcej możliwych awarii, wyższe koszty i większe obciążenie zespołu platformowego.

Skalowanie umożliwiło nam ostatecznie połączenie przetwarzania danych, trenowania, inferencji i udostępniania modeli na Ray i Anyscale. Efekt był natychmiastowy: radykalnie niższe koszty infrastruktury, znacznie szybsze cykle trenowania nawet przy rosnących wolumenach danych oraz możliwość skalowania modeli do obsługi grup klientów większych o kilka rzędów wielkości.

Co skłoniło Cię do dołączenia do Anyscale właśnie na tym etapie i jak postrzegasz wpływ roli Field CTO na wdrażanie AI w przedsiębiorstwach?

Doświadczenie z wprowadzeniem Anyscale do Attentive zasadniczo zmieniło moje podejście do budowy platform ML. Wcześniej znaczna część kosztów inżynierii platform wynikała z łączenia rozdrobnionych systemów. Dzięki Anyscale mogliśmy wyeliminować znaczną część tego dodatkowego nakładu i skoncentrować się na warunkach pracy programistów, niezawodności i wydajności. Ta zmiana miała ogromny wpływ na produktywność zespołu i wyniki systemu. Dołączenie do Anyscale pozwoliło mi zająć się tym problemem na pełny etat i pomagać innym organizacjom przejść tę samą transformację. Jako Field CTO przekładam te praktyczne doświadczenia na powtarzalne metody, które klienci mogą stosować podczas skalowania AI.

Wiele przedsiębiorstw nadal tkwi w fazie pilotażowej AI. Co konkretnie według Ciebie zawodzi, gdy firmy próbują przekształcić te wczesne eksperymenty w systemy produkcyjne na większą skalę?

Gdy firmy przechodzą od eksperymentów AI do produkcji, rzadko zawodzi wyłącznie model. Problem dotyczy otaczającego go systemu i jego obsługi operacyjnej. Czasem zespoły wcześnie docierają do limitów infrastruktury i nie mogą trenować ani udostępniać modeli na pożądaną skalę. Muszą przez to ograniczyć liczbę klientów lub zastosowań obsługiwanych przez model. Częściej problemy pojawiają się w produkcji przez nieoczekiwane przypadki brzegowe lub zmiany w danych. Pamięć jest jednym z najczęstszych punktów awarii: gdy zmienia się rozmiar, rozkład lub rodzaj danych, zadaniom kończy się pamięć i ich wykonanie się nie udaje. Trudno to przewidzieć, a jeszcze trudniej automatycznie przywrócić po tym działanie. Awarie w produkcyjnych systemach AI są nieuniknione. Celem nie jest całkowite ich wyeliminowanie, lecz szybkie wykrywanie i rozumienie oraz budowa samonaprawiających się systemów, które rozwiążą problemy, zanim wpłyną na biznes.

Ray, framework obliczeń rozproszonych stworzony przez zespół stojący za Anyscale, zyskuje popularność jako podstawa zadań AI. Dlaczego wykonywanie rozproszone staje się tak ważną warstwą nowoczesnej infrastruktury AI?

Wykonywanie rozproszone i zarządzanie obciążeniami stały się podstawowymi wymogami dla potoków AI. Współczesne zadania AI są z natury równoległe i zasobochłonne. Trenowanie, inferencja i przetwarzanie danych wymagają koordynacji dużej liczby zadań między CPU i GPU, często dynamicznej. W obecnym środowisku obliczeniowym zarządzanie tymi zadaniami przy ograniczonych zasobach jest ogromnym obciążeniem operacyjnym. Tradycyjne systemy nie były projektowane dla takiej złożoności ani skali. Frameworki takie jak Ray są kluczowe, bo automatyzują podstawową koordynację i pozwalają płynnie skalować zadania z jednego komputera do tysięcy węzłów. To element szerszego przejścia do obliczeń projektowanych od początku dla AI: infrastruktura powstaje specjalnie dla wzorców zadań AI, zamiast być adaptacją starszych paradygmatów.

Gdy coraz więcej firm wdraża Ray przez platformę Anyscale, jakie różnice dostrzegasz między organizacjami przyjmującymi ujednolicone podejście jako standard a tymi, które łączą oddzielne narzędzia?

Różnica sprowadza się ostatecznie do skupienia i efektywności. Zespoły zależne od wielu niepołączonych systemów poświęcają dużo czasu na ich łączenie, zarządzanie niespójnościami i reagowanie na awarie w różnych środowiskach. Powstaje dodatkowy nakład operacyjny, który spowalnia eksperymentowanie. Ujednolicone podejście pozwala natomiast skupić wysiłki na poprawie jednego systemu. Przynosi to lepszą niezawodność, wyższą wydajność i płynniejszą pracę programistów. Ułatwia też dyżury interwencyjne i debugowanie, ponieważ wzorce są spójne i łatwiejsze do zrozumienia. Rezultatem jest nie tylko efektywność techniczna, lecz także większa przejrzystość organizacyjna.

Jak ważne są warunki pracy programistów (DevEx) dla przyspieszenia wdrażania AI w różnych zespołach, biorąc pod uwagę Twoje doświadczenie w budowaniu kompletnych platform ML?

DevEx to jeden z obszarów o największym wpływie na przyspieszenie wdrażania AI. Gdy zespoły platformowe ułatwiają korzystanie z systemów przez standardowe przepływy pracy, szablony i ograniczanie przeszkód infrastrukturalnych, zwiększają produktywność każdego inżyniera w organizacji. Ma to szczególne znaczenie w AI, gdzie zmiany zachodzą wyjątkowo szybko, a zespoły muszą szybko powtarzać cykle rozwoju, by zachować konkurencyjność. Lepszy DevEx bezpośrednio przyspiesza eksperymenty, skraca drogę do produkcji i ostatecznie zwiększa wpływ na wyniki biznesowe. Narzędzia programistyczne oparte na AI wzmacniają te podstawy DevEx. Pod wieloma względami jest to najbardziej skalowalny sposób zwiększania tempa w całej organizacji.

Efektywność kosztowa staje się poważnym wyzwaniem wraz ze wzrostem skali zadań AI. Jakie często pomijane sposoby pozwalają przedsiębiorstwom obniżyć koszty infrastruktury bez poświęcania wydajności?

Wraz ze wzrostem skali zadań AI zarządzanie kosztami staje się ważniejsze i bardziej złożone. Często nie docenia się, jak szybko koszty mogą wymknąć się spod kontroli z powodu nieefektywności, zwłaszcza w infrastrukturze opartej na GPU. Duże klastry mogą uruchamiać tysiące węzłów. Jeśli zasoby nie są prawidłowo zarządzane lub wyłączane, koszty szybko narastają. Powstaje charakterystyczny dla AI niekontrolowany rozrost zasobów, w którym wykorzystanie mocy obliczeniowej rośnie szybciej, niż zespoły mogą je śledzić lub kontrolować. Rozwiązanie wymaga połączenia silnego nadzoru, widoczności i automatyzacji, takich jak automatyczne skalowanie, automatyczne kończenie działania i centralne zarządzanie zasobami. Przy dużej skali efektywność kosztowa nie jest tylko kwestią operacyjną, lecz podstawową częścią projektowania systemu.

Pracowałeś nad technologiami od magazynów cech modeli, czyli feature stores, po systemy inferencji w czasie rzeczywistym. Jak Twoim zdaniem zmienia się równowaga między wsadowymi zadaniami AI a zadaniami czasu rzeczywistego?

Ta równowaga zasadniczo się nie zmieniła: nadal zależy od wymagań biznesowych. Przetwarzanie wsadowe jest zwykle bardziej efektywne kosztowo i łatwiejsze w utrzymaniu, dlatego pasuje do wielu zastosowań. Systemy czasu rzeczywistego są natomiast niezbędne, gdy opóźnienie wpływa bezpośrednio na doświadczenie użytkownika lub wynik biznesowy, jak w aplikacjach czatu albo wykrywaniu oszustw. Oba podejścia będą nadal współistniały. Organizacje powinny budować platformy, które skutecznie obsługują każde z nich. Decyzja sprowadza się ostatecznie do kompromisów między kosztami, opóźnieniem i niezawodnością.

Jak będzie wyglądała dojrzała platforma AI dla przedsiębiorstw za 2–3 lata i jak w tę przyszłość wpisują się narzędzia takie jak Ray oraz platformy takie jak Anyscale?

W najbliższych latach dojrzałe platformy AI dla przedsiębiorstw będą miały kilka kluczowych cech. Będą korzystać z ujednoliconej infrastruktury obsługującej cały cykl życia AI, od przetwarzania danych przez trenowanie po inferencję, zamiast ze zbioru niepołączonych narzędzi. Będą miały dobrze zorganizowaną bieżącą eksploatację po wdrożeniu, z obserwowalnością automatyzowaną przez agentów, niezawodnością i szybkim debugowaniem. Zarządzanie kosztami będzie przewidywalne i pod kontrolą, co pozwoli organizacjom skalować się w sposób zrównoważony. Być może najważniejsze będzie wysokie tempo rozwoju, dzięki któremu zespoły łatwo i szybko przejdą od pomysłu do produkcji. Ray i Anyscale odgrywają tu centralną rolę, dostarczając fundament zaprojektowany dla AI, który umożliwia taką skalę i efektywność.

Dziękujemy za znakomity wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej, mogą odwiedzić Anyscale.