Julian LaNeve, CTO ve firmě Astronomer – Interview Series

Julian LaNeve je Chief Technical Officer (CTO) ve firmě Astronomer, která je hnací silou za Apache Airflow a moderní orchestrací dat pro napájení všeho od umělé inteligence po obecnou analýzu.

Julian se ve firmě Astronomer zabývá produktem a inženýrstvím, kde se zaměřuje na zkušenost vývojářů, pozorovatelnost dat a umělou inteligenci. Je také autorem Cosmos, poskytovatele Airflow pro spouštění projektů dbt Core jako DAG Airflow.

Má vášeň pro všechna data a open source, protože ve svém volném čase dělá hackathony, prototypuje nové projekty a zkoumá nejnovější trendy v datech.

Můžete sdílet svou osobní příběh o tom, jak jste se zapojil do softwarového inženýrství a jak jste se dostal na pozici CTO ve firmě Astronomer?

Programuji od střední školy. Pro mě je inženýrství vždycky skvělé tvořivé východisko: mohu vymyslet nápad a použít jakoukoli technologii, aby jsem ho mohl postavit podle své vize. Po strávení nějakého času v inženýrství jsem však chtěl dělat více. Chtěl jsem pochopit, jak se vedou podniky, jak se prodávají produkty a jak se budují týmy – a chtěl jsem se to naučit rychle.

Strávil jsem několik let prací v managementu poradenské firmy BCG, kde jsem pracoval na široké škále projektů v různých odvětvích. Naučil jsem se mnoho věcí, ale nakonec mi chybělo budování produktů a práce na dlouhodobější vizi. Rozhodl jsem se připojit k týmu produktového managementu ve firmě Astronomer, kde jsem mohl stále pracovat se zákazníky a budovat strategie (věci, které jsem si užíval z poradenství), ale mohl jsem také být velmi zapojen do budování skutečného produktu a práce s technologií.

Na nějakou dobu jsem působil jako hybridní PM/inženýr – pracoval jsem se zákazníky, abych pochopil výzvy, kterým čelí, a navrhl produkty a funkce jako PM. Pak jsem vzal požadavky na produkt a pracoval s týmem inženýrů, abych skutečný produkt nebo funkci postavil. S časem jsem to dělal s větším množstvím produktů ve firmě Astronomer, což nakonec vedlo k mé současné pozici CTO.

Pro uživatele, kteří nejsou seznámeni s Airflow, můžete vysvětlit, co z něj dělá ideální platformu pro programové autorství, naplánování a monitorování pracovních postupů?

Apache Airflow je open-source platforma pro vývoj, naplánování a monitorování dávkově orientovaných pracovních postupů. Airflow poskytuje funkce pro správu pracovních postupů, které jsou integrální součástí moderních cloudových platforem pro data. Automatizuje spouštění úloh, koordinuje závislosti mezi úkoly a poskytuje organizacím centrální bod pro monitorování a správu pracovních postupů.

Architekti datových platforem využívají Airflow k automatizaci pohybu a zpracování dat napříč různými systémy, správě složitých toků dat a poskytují flexibilní naplánování, monitorování a upozorňování. Všechny tyto funkce jsou extrémně užitečné pro moderní týmy dat, ale to, co z Airflow dělá ideální platformu, je to, že je to open-source projekt – což znamená, že existuje komunita uživatelů a přispěvatelů Airflow, kteří neustále pracují na dalším rozvoji platformy, řešení problémů a sdílení nejlepších postupů.

Airflow také má mnoho integrací s populárními databázemi, aplikacemi a nástroji, stejně jako desítky cloudových služeb — a každý měsíc se přidávají další.

Jak Astronomer využívá Airflow pro vnitřní procesy?

Používáme Airflow hodně! Přirozeně máme svůj vlastní tým dat, který používá Airflow k dodání dat podniku a našim zákazníkům. Mají některé bastante sofistikované nástroje, které postavili kolem Airflow, a které jsme použili jako inspiraci pro vývoj funkcí na širší platformě.

Také používáme Airflow pro některé bastante netradiční použití, ale funguje to velmi dobře. Například náš tým CRE používá Airflow k monitorování stovek clusterů Kubernetes a tisíců nasazení Airflow, které běžíme pro naše zákazníky. Jejich potrubí běží neustále, aby kontrolovaly problémy, a pokud si všimneme nějakých, otevřeme proaktivní podporu pro naše zákazníky.

Já sám jsem dokonce použil Airflow pro osobní použití. Můj oblíbený případ (dosud) byl, když jsem se přestěhoval do New Yorku. Pokud jste někdy žili tady, budete vědět, že nájemní trh je šílený. Byty se pronajímají během několika hodin od jejich zveřejnění. Mými spolubydlícími a mnou jsme měli seznam kritérií, na kterých jsme se všichni shodli (poloha, počet ložnic, koupelen atd.), a postavil jsem Airflow DAG, který běžel každých několik minut, stáhl nové inzeráty z různých webů s inzercí bytů a poslal mi SMS (díky Twilio!) pokaždé, když něco nového odpovídalo našim kritériím. Byt, ve kterém teď bydlím, byl nalezen díky Airflow!

Astronomer navrhl Astro, moderní platformu pro orchestraci dat, poháněnou Airflow. Můžete sdílet s námi, jak tento nástroj umožňuje společnostem snadno umístit Airflow do jádra svých operací s daty?

Astro umožňuje organizacím a konkrétně inženýrům dat, vědcům dat a analytikům dat budovat, spouštět a rozšiřovat své kritické potrubí dat na jediné platformě pro všechny své toky dat. Je to jediný spravovaný služba Airflow, která poskytuje vysoké úrovně zabezpečení a ochrany dat a pomáhá společnostem škálovat svá nasazení a uvolnit zdroje, aby se mohly soustředit na své hlavní obchodní cíle.

Jeden z našich zákazníků, Anastasia, špičková technologická společnost, zvolila Astro pro správu Airflow, protože neměla dostatek času ani zdrojů, aby si sama spravovala Airflow. Astro funguje na pozadí, aby týmy mohly soustředit na hlavní obchodní činnosti, místo aby trávily čas nespecifickými aktivitami, jako je správa Airflow.

Jedna z hlavních součástí Astro je elastická škálovatelnost, můžete definovat, co to je a proč je důležité pro cloudové výpočetní prostředí?

Pro nás to znamená naše schopnost splnit výpočetní požadavky našich zákazníků bez běhu velkého množství infrastruktury neustále. Naši zákazníci používají naši platformu pro širokou škálu použití, z nichž většina má vysoké požadavky na výpočet (školící modely strojového učení, zpracování velkých dat atd.). Jedna z hlavních hodnot, které Astronomer nabízí, je, že jako zákazník nemusíte přemýšlet o strojích, které běží vaše potrubí. Nasadíte své potrubí do Astro a můžete očekávat, že fungují. Postavili jsme sadu funkcí a systémů, které nám pomáhají škálovat naši infrastrukturu, aby splňovala měnící se požadavky našich zákazníků, a je to něco, na čem jsme nadšení, že budeme moci dále stavět v budoucnu.

Byl jste zodpovědný za to, že tým Astronomer postavil Ask-Astro, chatbota s podporou LLM pro Apache Airflow. Můžete sdílet s námi detaily o tom, co je Ask-Astro a které LLM jej pohání?

Náš tým ve firmě Astronomer má některé z nejzkušenějších členů komunity Airflow a chtěli jsme usnadnit sdílení jejich znalostí. K tomu jsme vytvořili referenční implementaci Emerging Architectures for LLM Applications od Andreessen Horowitz, která ukazuje nejběžnější systémy, nástroje a návrhové vzory, které viděli u startupů AI a sofistikovaných technologií. Začali jsme s některými informovanými názory na tuto referenční implementaci a Apache Airflow také hraje centrální roli v architektuře. Ask Astro je reálný referenční příklad, který ukazuje, jak slepit všechny různé kusy dohromady.

Ask Astro je více než jen další chatbot. Tým Astronomer se rozhodl vyvinout aplikaci otevřeně a pravidelně zveřejňovat příspěvky o výzvách, nápadech a řešeních, aby se vyvinula institucionální znalost pro komunitu. Jaké byly některé z největších výzev, kterým tým čelil?

Největší výzvou byla absence jasných nejlepších postupů v komunitě. Protože “stav umění” byl重新definován každých několik týdnů, bylo těžké pochopit, jak přistupovat k určitým problémům (ingestování dokumentů, výběr modelu, měření přesnosti výstupu atd.). To byl klíčový driver pro nás, abychom postavili Ask Astro otevřeně. Chtěli jsme stanovit soubor postupů pro orchestraci LLM, které fungují dobře pro různé použití, aby naši zákazníci a komunita mohli cítit, že jsou dobře připraveni na přijetí LLM a generativních technologií AI.

Osvedčilo se to jako skvělá volba – nástroj sám má大量 použití, jsme poskytli několik veřejných přednášek o tom, jak budovat aplikace LLM, a dokonce jsme začali pracovat s vybranou skupinou zákazníků, aby nasadili interní verze Ask Astro!

Co je vaše osobní vize pro budoucnost Airflow a Astronomer?

Jsem opravdu nadšený z budoucnosti obou Airflow a Astronomer. Komunita Airflow pokračuje v růstu a ve firmě Astronomer se zavazujeme k podpoře jejího rozvoje, podpory a propojení napříč týmy a jednotlivci.

S rostoucí poptávkou po datově orientovaných informacích a přílivem zdrojů dat mají inženýři dat náročnou práci. Chceme ulehčit jim práci a umožnit jim integrovat a spravovat komplexní data ve velkém měřítku. Dnes to znamená také podporu přijetí AI a implementace. V roce 2023, stejně jako mnoho dalších společností, jsme se soustředili na to, jak můžeme urychlit použití AI pro naše zákazníky. Naše platforma, Astro, urychluje nasazení AI, zjednodušuje vývoj ML a poskytuje robustní výpočetní výkon potřebný pro příští generaci aplikací. AI bude pokračovat v tom, aby byla pro nás prioritou v tomto roce, a budeme podporovat naše zákazníky, jakmile se objeví nové technologie a rámce.

Kromě toho je Astronomer skvělé místo pro práci a kariérní růst. Jak se datový krajina dále vyvíjí, práce zde je stále více vzrušující. Budujeme skvělý tým a máme spoustu technických výzev, které je třeba vyřešit. Také jsme nedávno přestěhovali naše sídlo do New Yorku, kde můžeme být ještě větší součástí tech komunity, která existuje tam, a budeme lépe vybaveni k přilákání nejlepších, nejzručnějších talentů v oboru. Pokud máte zájem připojit se k našemu týmu, abyste nám pomohli dodat data světa včas, kontaktujte nás!

Děkuji za skvělé rozhovory, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Astronomer.