Julian LaNeve, CTO w Astronomer – Seria wywiadów

Julian LaNeve jest Dyrektorem Technicznym (CTO) w Astronomer, który jest siłą napędową Apache Airflow i nowoczesnej orkiestracji danych, aby zasilić wszystko, od sztucznej inteligencji po ogólne analizy.

Julian zajmuje się produktem i inżynierią w Astronomer, gdzie koncentruje się na doświadczeniu deweloperów, obserwowalności danych i sztucznej inteligencji. Jest również autorem Cosmos, dostawcy Airflow do uruchamiania projektów dbt Core jako DAG Airflow.

Jest pasjonatem wszystkiego, co związane z danymi i oprogramowaniem open source, ponieważ spędza swój wolny czas na hackathonach, prototypowaniu nowych projektów i eksplorowaniu najnowszych osiągnięć w dziedzinie danych.

Czy mógłbyś podzielić się swoją osobistą historią, jak zostałeś zaangażowany w inżynierię oprogramowania i jak awansowałeś na stanowisko CTO w Astronomer?

Programuję od czasów szkoły średniej. Dla mnie inżynieria zawsze była wspaniałym wyrazem twórczości: mogłem wymyślić pomysł i użyć niezbędnej technologii, aby zbudować wizję. Po spędzeniu trochę czasu w inżynierii chciałem jednak zrobić coś więcej. Chciałem zrozumieć, jak prowadzi się biznes, jak sprzedaje się produkty i jak buduje się zespoły – i chciałem się tego nauczyć szybko.

Spędziłem kilka lat pracując w firmie konsultingowej BCG, gdzie pracowałem nad różnymi projektami w różnych branżach. Nauczyłem się wiele, ale ostatecznie brakowało mi budowania produktów i pracy nad dłuższą wizją. Postanowiłem dołączyć do zespołu zarządzania produktem Astronomer, gdzie mógłbym nadal pracować z klientami i budować strategie (rzeczy, które lubiłem w konsultingu), ale mógłbym także zajmować się budowaniem produktu i pracą z technologią.

Przez jakiś czas pełniłem funkcję hybrydowego PM/inżyniera – pracowałem z klientami, aby zrozumieć wyzwania, z którymi się mierzą, i projektowałem produkty i funkcje jako PM. Następnie brałem wymagania produktu i pracowałem z zespołem inżynierskim, aby zbudować produkt lub funkcję. Z czasem robiłem to z większą liczbą produktów w Astronomer, co ostatecznie doprowadziło mnie do stanowiska CTO, które obecnie piastuję.

Dla użytkowników, którzy nie są zaznajomieni z Airflow, czy mógłbyś wyjaśnić, co sprawia, że jest to idealna platforma do programistycznego tworzenia, planowania i monitorowania przepływów pracy?

Apache Airflow to platforma open-source do tworzenia, planowania i monitorowania przepływów pracy zorientowanych na partię. Airflow zapewnia możliwości zarządzania przepływami, które są niezbędne dla nowoczesnych platform danych chmurowych. Automatyzuje wykonywanie zadań, koordynuje zależności między zadaniami i daje organizacjom centralny punkt kontroli dla monitorowania i zarządzania przepływami.

Architekci platform danych wykorzystują Airflow do automatyzacji przenoszenia i przetwarzania danych przez i między różnymi systemami, zarządzania złożonymi przepływami danych i zapewnienia elastycznego planowania, monitorowania i alertowania. Wszystkie te funkcje są bardzo przydatne dla nowoczesnych zespołów danych, ale to, co sprawia, że Airflow jest idealną platformą, to fakt, że jest to projekt open-source – co oznacza, że istnieje społeczność użytkowników i współtwórców Airflow, którzy stale pracują nad dalszym rozwojem platformy, rozwiązywaniem problemów i udostępnianiem najlepszych praktyk.

Airflow ma również wiele integracji z popularnymi bazami danych, aplikacjami i narzędziami, a także dziesiątki usług chmurowych — i co miesiąc dodawane są nowe.

Jak Astronomer wykorzystuje Airflow do wewnętrznych procesów?

Używamy Airflow bardzo często! Oczywiście, mamy swój zespół danych, który wykorzystuje Airflow do dostarczania danych do biznesu i naszych klientów. Mają oni bardzo zaawansowane narzędzia, które zbudowali wokół Airflow, które posłużyły jako inspiracja dla rozwoju funkcji na platformie.

Używamy również Airflow do niektórych nietypowych przypadków użycia, ale działa on bardzo dobrze. Na przykład, nasz zespół CRE wykorzystuje Airflow do monitorowania setek klastrów Kubernetes i tysięcy wdrożeń Airflow, które uruchamiamy w imieniu naszych klientów. Ich potoki są uruchamiane ciągle, aby sprawdzić, czy nie ma problemów, i jeśli zauważymy jakieś, otworzymy proaktywne bilety wsparcia w imieniu naszych klientów.

Użyłem nawet Airflow do osobistych przypadków użycia. Mój ulubiony (do tej pory) był, kiedy przenosiłem się do Nowego Jorku. Jeśli kiedykolwiek mieszkałeś tutaj, wiesz, że rynek wynajmu jest szalony. Mieszkania są wynajmowane w ciągu godzin od ich opublikowania. Mój współlokator i ja mieliśmy listę kryteriów, na które się zgadzaliśmy (lokalizacja, liczba sypialni, łazienek itp.), i zbudowałem DAG Airflow, który był uruchamiany co kilka minut, ściągał nowe oferty z różnych stron z ofertami mieszkań i wysyłał mi SMS (dzięki Twilio!), gdy tylko coś nowego pasowało do naszych kryteriów. Mieszkanie, w którym teraz mieszkam, zostało znalezione dzięki Airflow!

Astronomer zaprojektował Astro, nowoczesną platformę orkiestracji danych, napędzaną przez Airflow. Czy mógłbyś podzielić się z nami, jak to narzędzie umożliwia firmom łatwe umieszczenie Airflow w centrum ich operacji danych?

Astro umożliwia organizacjom i konkretnie inżynierom danych, naukowcom i analitykom danych budowanie, uruchamianie i rozwijanie krytycznych przepływów danych na jednej platformie dla wszystkich przepływów danych. Jest to jedyna zarządzana usługa Airflow, która zapewnia wysoki poziom bezpieczeństwa i ochrony danych i pomaga firmom skalować swoje wdrożenia i zwolnić zasoby, aby skoncentrować się na ogólnych celach biznesowych.

Jeden z naszych klientów, Anastasia, firma technologiczna, wybrała Astro, aby zarządzać Airflow, ponieważ nie miała wystarczającej ilości czasu ani zasobów, aby utrzymać Airflow na własną rękę. Astro działa na tyle, aby zespoły mogły się skoncentrować na podstawowych działaniach biznesowych, a nie spędzać czasu na niezróżnicowanych działaniach, takich jak zarządzanie Airflow.

Jednym z podstawowych komponentów Astro jest elastyczna skalowalność, czy mógłbyś wyjaśnić, co to jest i dlaczego jest ważne dla środowisk chmury?

Dla nas oznacza to po prostu naszą zdolność do spełnienia wymagań obliczeniowych naszych klientów bez uruchamiania dużej ilości infrastruktury cały czas. Nasi klienci używają naszej platformy do różnych przypadków użycia, z których większość ma wysokie wymagania obliczeniowe (szkolenie modeli uczenia maszynowego, przetwarzanie dużych zbiorów danych itp.). Jednym z podstawowych zalet Astronomer jest to, że jako klient nie musisz myśleć o maszynach, które uruchamiają twoje potoki. Wdrożysz swoje potoki do Astro i możesz oczekiwać, że będą działać. Zbudowaliśmy zestaw funkcji i systemów, które pomagają skalować naszą infrastrukturę, aby spełnić zmieniające się wymagania naszych klientów, i jest to coś, nad czym będziemy dalej pracować w przyszłości.

Byłeś odpowiedzialny za zbudowanie przez zespół Astronomer Ask-Astro, czatu zasilanego przez LLM dla Apache Airflow. Czy mógłbyś podzielić się z nami szczegółami na temat Ask-Astro i LLM, które ją napędzają?

Nasz zespół w Astronomer ma jednych z najbardziej znanych członków społeczności Airflow i chcieliśmy ułatwić im udostępnianie wiedzy. Aby to zrobić, stworzyliśmy implementację referencyjną architektury Andreessen Horowitz dla aplikacji LLM, która pokazuje najczęstsze systemy, narzędzia i wzorce projektowe, które widzieliśmy używane przez startupy AI i zaawansowane firmy technologiczne. Zaczęliśmy od niektórych uzasadnionych opinii na temat tej implementacji referencyjnej, a Apache Airflow odgrywa również centralną rolę w architekturze. Ask Astro to prawdziwa referencja, która pokazuje, jak połączyć wszystkie różne elementy.

Ask Astro to coś więcej niż tylko kolejny czatbot. Zespół Astronomer zdecydował się rozwijać aplikację w sposób otwarty i regularnie publikować informacje na temat wyzwań, pomysłów i rozwiązań, aby rozwijać wiedzę instytucjonalną na rzecz społeczności. Jakie były największe wyzwania, z którymi spotkał się zespół?

Największym wyzwaniem była brak wyraźnych najlepszych praktyk w społeczności. Ponieważ „stan sztuki” był redefine każdego tygodnia, było trudno zrozumieć, jak podejść do pewnych problemów (przyjmowanie dokumentów, wybór modelu, pomiar dokładności wyjścia itp.). Było to kluczowym czynnikiem, który skłonił nas do zbudowania Ask Astro w sposób otwarty. Chcieliśmy ustanowić zestaw praktyk dla orkiestracji LLM, które działają dobrze dla różnych przypadków użycia, aby nasi klienci i społeczność mogli czuć się dobrze przygotowani do adopcji technologii LLM i sztucznej inteligencji.

Okazało się to świetnym wyborem – narzędzie samo w sobie jest bardzo używane, wygłosiliśmy już kilka publicznych prelekcji na temat budowy aplikacji LLM, i nawet zaczęliśmy pracę z wybraną grupą klientów, aby wdrożyć wewnętrzne wersje Ask Astro!

Jaka jest twoja osobista wizja przyszłości Airflow i Astronomer?

Jestem bardzo podekscytowany przyszłością zarówno Airflow, jak i Astronomer. Społeczność Airflow nadal rośnie, a my w Astronomer jesteśmy zaangażowani w rozwój, wsparcie i połączenie zespołów i osób.

Ze wzrostem zapotrzebowania na dane i napływem nowych źródeł danych, inżynierowie danych mają trudną pracę. Chcemy ulżyć tym osobom i zespołom, umożliwiając im integrację i zarządzanie złożonymi danymi w skali. Dziś oznacza to również wspieranie adopcji sztucznej inteligencji. W 2023 roku, podobnie jak wiele innych firm, skupiliśmy się na tym, jak możemy przyspieszyć użycie sztucznej inteligencji dla naszych klientów. Nasza platforma, Astro, przyspiesza wdrożenie sztucznej inteligencji, upraszcza rozwój maszynowego uczenia i zapewnia niezawodną moc obliczeniową potrzebną do aplikacji następnej generacji. Sztuczna inteligencja będzie nadal priorytetem dla nas w tym roku i będziemy wspierać naszych klientów, gdy pojawiają się nowe technologie i ramy.

Co więcej, Astronomer to wspaniałe miejsce do pracy i rozwoju kariery. Im dalej rozwija się krajobraz danych, tym bardziej ekscytujące jest tutaj pracować. Budujemy tu wspaniały zespół i mamy wiele technicznych wyzwań do rozwiązania. Przenieśliśmy również naszą siedzibę do Nowego Jorku, gdzie możemy stać się częścią społeczności technologicznej, która tam istnieje i będziemy lepiej przygotowani do przyciągania najlepszych, najbardziej wykwalifikowanych talentów w branży. Jeśli chcesz dołączyć do zespołu, aby pomóc nam dostarczyć dane świata na czas, skontaktuj się z nami!

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Astronomer.