Julian LaNeve, CTO på Astronomer – Intervjuserie

Julian LaNeve är Chief Technical Officer (CTO) på Astronomer, den drivande kraften bakom Apache Airflow och modern dataorkestrering för att driva allt från AI till allmän analys.

Julian arbetar med produkt och teknik på Astronomer, där han fokuserar på utvecklarupplevelse, dataövervakning och AI. Han är också författare till Cosmos, en Airflow-leverantör för att köra dbt Core-projekt som Airflow DAG:er.

Han är passionerad om allt som rör data och öppen källkod, eftersom han tillbringar sin fritid med hackathons, prototyperar nya projekt och utforskar den senaste utvecklingen inom data.

Kan du dela din personliga historia om hur du blev involverad i programvaruteknik och arbetade dig upp till att bli CTO på Astronomer?

Jag har kodat sedan jag var i mellanstadiet. För mig har teknik alltid varit en stor kreativ utväg: jag kan komma på en idé och använda den teknik som behövs för att bygga mot en vision. Efter att ha tillbringat några år i teknik ville jag dock göra mer. Jag ville förstå hur företag drivs, hur produkter säljs och hur team byggs – och jag ville lära mig snabbt.

Jag tillbringade några år med att arbeta med managementkonsulting på BCG, där jag arbetade med en mängd olika projekt inom olika branscher. Jag lärde mig mycket, men saknade till slut att bygga produkter och arbeta mot en långsiktig vision. Jag bestämde mig för att gå med i Astronomers produktledningsteam, där jag kunde arbeta med kunder och bygga strategier (saker jag njöt av från konsulting), men också få vara mycket hands-on med att bygga ut den faktiska produkten och arbeta med teknik.

Under en period fungerade jag som en hybrid PM/tekniker – jag arbetade med kunder för att förstå de utmaningar de stod inför och designa produkter och funktioner som en PM. Sedan tog jag produktkraven och arbetade med teknikteamet för att bygga ut produkten eller funktionen. Med tiden gjorde jag detta med en större uppsättning produkter på Astronomer, vilket till slut ledde till den roll som CTO jag har i dag.

För användare som inte är bekanta med Airflow, kan du förklara vad som gör det till den idealiska plattformen för att programmässigt skapa, schemalägga och övervaka arbetsflöden?

Apache Airflow är en öppen källkodsplattform för utveckling, schemaläggning och övervakning av batch-orienterade arbetsflöden. Airflow tillhandahåller de arbetsflödeshanteringsfunktioner som är integrerade i moderna molnbaserade dataplattformar. Det automatiserar körningen av jobb, samordnar beroenden mellan uppgifter och ger organisationer en central punkt för övervakning och hantering av arbetsflöden.

Dataplattformsarkitekter använder Airflow för att automatisera flytten och bearbetningen av data genom och över olika system, hantera komplexa dataflöden och tillhandahålla flexibel schemaläggning, övervakning och varning. Alla dessa funktioner är extremt användbara för moderna datateam, men det som gör Airflow till den idealiska plattformen är att det är ett öppen källkodsprojekt – vilket innebär att det finns en community av Airflow-användare och bidragsgivare som ständigt arbetar med att vidareutveckla plattformen, lösa problem och dela bästa praxis.

Airflow har också många dataintegrationer med populära databaser, applikationer och verktyg, samt dussintals molntjänster – och fler läggs till varje månad.

Hur använder Astronomer Airflow för interna processer?

Vi använder Airflow mycket! Naturligtvis har vi vårt eget datateam som använder Airflow för att leverera data till företaget och våra kunder. De har byggt en del ganska avancerad verktyg runt Airflow som vi har använt som inspiration för funktionutveckling på den bredare plattformen.

Vi använder också Airflow för en del ganska otraditionella användningsfall, men det fungerar mycket bra. Till exempel använder vårt CRE-team Airflow för att övervaka de hundratals Kubernetes-kluster och tusentals Airflow-distributioner vi kör för våra kunders räkning. Deras pipelines körs konstant för att kontrollera om det finns problem, och om vi märker något, kommer vi att öppna proaktiva supportärenden på uppdrag av våra kunder.

Jag har till och med använt Airflow för personliga användningsfall. Min favorit (hittills) var när jag flyttade till New York City. Om du någonsin har bott här, vet du att bostadsmarknaden är galen. Lägenheter hyrs ut inom några timmar efter att de har lagts ut. Min rumskamrater och jag hade en lista med kriterier som vi alla var överens om (plats, antal sovrum, badrum etc.), och jag byggde en Airflow-DAG som kördes varje fåtal minuter, hämtade nya listor från olika lägenhetslistningssidor och skickade mig ett meddelande (tack Twilio!) varje gång det fanns något nytt som matchade våra kriterier. Lägenheten jag bor i nu hittades tack vare Airflow!

Astronomer designade Astro, en modern dataorkestreringsplattform, driven av Airflow. Kan du dela med oss hur det här verktyget möjliggör för företag att enkelt placera Airflow i centrum för sina dataoperationer?

Astro möjliggör för organisationer och mer specifikt, dataingenjörer, datavetare och dataanalytiker, att bygga, köra och växa sina viktigaste datapipeliner på en enda plattform för alla sina dataflöden. Det är den enda hanterade Airflow-tjänsten som tillhandahåller höga nivåer av datasäkerhet och skydd och hjälper företag att skala sina distributioner och frigöra resurser för att fokusera på sina övergripande affärsmål.

En av våra kunder, Anastasia, ett banbrytande teknikföretag, valde Astro för att hantera Airflow eftersom de inte hade tillräckligt med tid eller resurser för att underhålla Airflow på egen hand. Astro fungerar på bakänden så att team kan fokusera på kärnverksamheten, snarare än att tillbringa tid på icke differentierade aktiviteter som att hantera Airflow.

En av de centrala komponenterna i Astro är elastisk skalbarhet, kan du definiera vad detta är och varför det är viktigt för molnmiljöer?

För oss betyder detta bara vår förmåga att möta de beräkningskrav som våra kunder har utan att köra en massa infrastruktur hela tiden. Våra kunder använder vår plattform för en mängd olika användningsfall, de flesta av vilka har höga beräkningskrav (träning av maskinlärningsmodeller, bearbetning av stora mängder data etc.). En av de centrala värdepropositionerna för Astronomer är att, som kund, behöver du inte tänka på maskinerna som kör dina pipeliner. Du distribuerar dina pipeliner till Astro, och kan förvänta dig att de fungerar. Vi har byggt en uppsättning funktioner och system som hjälper oss att skala vår infrastruktur för att möta de föränderliga kraven från våra kunder, och det är något vi är glada att fortsätta bygga på i framtiden.

Du var ansvarig för att Astronomer-teamet byggde Ask-Astro, den LLM-drivna chatboten för Apache Airflow. Kan du dela med oss detaljer om vad Ask-Astro är och de LLM:er som driver den?

Vårt team på Astronomer har några av de mest kunniga Airflow-samhällsmedlemmarna och vi ville göra det lättare att dela deras kunskap. För att göra det skapade vi en referensimplementering av Andreessen Horowitz Emerging Architectures for LLM Applications, som visar de vanligaste systemen, verktygen och designmönstren som de har sett användas av AI-startups och sofistikerade teknikföretag. Vi började med några informerade åsikter om den här referensimplementeringen och Apache Airflow spelar också en central roll i arkitekturen. Ask Astro är en verklig referens för att visa hur man kan koppla ihop alla olika delarna.

Ask Astro är mer än bara en annan chatbot. Astronomer-teamet valde att utveckla applikationen öppet och publicerar regelbundet om utmaningar, idéer och lösningar för att utveckla institutionell kunskap för samhällets räkning. Vilka var några av de största utmaningarna som teamet stod inför?

Den största utmaningen var bristen på tydliga bästa praxis i samhället. Eftersom “state of the art” omdefinierades varje vecka var det svårt att förstå hur man skulle närma sig vissa problem (dokumentinmatning, modellval, utdatamätning etc.). Detta var en nyckeldriver för oss att bygga Ask Astro öppet. Vi ville etablera en uppsättning praxis för LLM-orkesering som fungerar bra för olika användningsfall så att våra kunder och samhälle kunde känna sig väl förberedda på att anta LLM och generativ AI-teknik.

Det har visat sig vara ett bra val – verktyget får mycket användning, vi har gett flera offentliga föreläsningar om hur man bygger LLM-applikationer och vi har till och med börjat arbeta med en utvald grupp kunder för att rulla ut interna versioner av Ask Astro!

Vad är din personliga vision för framtiden för Airflow och Astronomer?

Jag är väldigt entusiastisk över framtiden för både Airflow och Astronomer. Airflow-samhället fortsätter att växa och på Astronomer är vi engagerade i att främja dess utveckling, support och anslutning över team och individer.

Med den ökande efterfrågan på data-drivna insikter och en tillströmning av datakällor har dataingenjörer ett tufft jobb. Vi vill lätta på bördan för dessa individer och team genom att ge dem möjlighet att integrera och hantera komplexa data i stor skala. Idag innebär det också att stödja AI-antagande och implementering. Under 2023, liksom många andra företag, fokuserade vi på hur vi kan accelerera AI-användning för våra kunder. Vår plattform, Astro, accelererar AI-distribution, strömlinjeformar ML-utveckling och tillhandahåller den robusta beräkningskraft som behövs för nästa generations applikationer. AI kommer att fortsätta att vara ett fokus för oss i år och vi kommer att stödja våra kunder när nya tekniker och ramverk dyker upp.

I tillägg är Astronomer en bra plats att arbeta och växa en karriär. När datalandskapet fortsätter att utvecklas blir det mer och mer spännande att arbeta här. Vi bygger ett bra team här och har många tekniska utmaningar att lösa. Vi har också nyligen flyttat vårt huvudkontor till New York City, där vi kan bli en ännu större del av teknologi samhället som finns där och vi kommer att vara bättre rustade att attrahera de bästa, mest kvalificerade talangerna i branschen. Om du är intresserad av att gå med i teamet för att hjälpa oss leverera världens data i tid, kontakta oss!

Tack för det underbara samtalet, läsare som vill lära sig mer kan besöka Astronomer.