Julian LaNeve, CTO i Astronomer – Intervju-serie

Julian LaNeve er Chief Technical Officer (CTO) i Astronomer, drivkraften bak Apache Airflow og moderne data-orkesering for å drive alt fra AI til generell analyse.

Julian arbeider med produkt og ingeniørarbeid i Astronomer, der han fokuserer på utvikleropplevelse, data-observasjon og AI. Han er også forfatteren av Cosmos, en Airflow-leverandør for å kjøre dbt Core-prosjekter som Airflow DAG-er.

Han er lidenskapelig opptatt av alt som har med data å gjøre og åpen kildekode, siden han tilbringer fritiden sin med hackathons, prototyper nye prosjekter og utforsker de nyeste trender innen data.

Kunne du dele din personlige historie om hvordan du ble involvert i programvareutvikling, og hvordan du arbeidet deg opp til å bli CTO i Astronomer?

Jeg har kodet siden jeg var på ungdomsskolen. For meg har ingeniørarbeid alltid vært en stor kreativ utgang: Jeg kan komme opp med en idé og bruke hvilken som helst teknologi som er nødvendig for å bygge mot en visjon. Etter å ha tilbragt noen år i ingeniørarbeid, ønsket jeg å gjøre mer. Jeg ønsket å forstå hvordan bedrifter drives, hvordan produkter selges og hvordan team bygges – og jeg ønsket å lære raskt.

Jeg tilbrakte noen år i management-konsulentvirksomhet i BCG, der jeg arbeidet med en rekke prosjekter i ulike bransjer. Jeg lærte mye, men savnet å bygge produkter og arbeide mot en lengre varig visjon. Jeg bestemte meg for å slutte meg til Astronomers produktledelse, der jeg kunne arbeide med kunder og bygge strategier (tingene jeg likte fra konsulentarbeid), men også kunne bli meget hånd- på-hånd med å bygge ut produktet og arbeide med teknologi.

I en periode fungerte jeg som en hybrid PM/ingeniør – jeg arbeidet med kunder for å forstå utfordringene de sto overfor og designe produkter og funksjoner som en PM. Deretter tok jeg produktkravene og arbeidet med ingeniørteamet for å bygge ut produktet eller funksjonen. Over tid gjorde jeg dette med en større samling av produkter i Astronomer, som til slutt ledet til CTO-rollen jeg har i dag.

For brukere som ikke er kjent med Airflow, kan du forklare hva som gjør det til den ideelle plattformen for å programmatically skrive, planlegge og overvåke arbeidsflyter?

Apache Airflow er en åpen kildekode-plattform for utvikling, planlegging og overvåking av batch-orienterte arbeidsflyter. Airflow tilbyr arbeidsflyt-ledelsesfunksjoner som er integrale for moderne sky-baserte data-plattformer. Det automatiserer kjøringen av jobber, koordinerer avhengigheter mellom oppgaver og gir organisasjonene et sentralt punkt for overvåking og ledelse av arbeidsflyter.

Data-plattform-arkitekter utnytter Airflow til å automatisere flytting og behandling av data gjennom og mellom ulike systemer, ledelse av komplekse datastrømmer og tilbyr fleksible planleggings-, overvåkings- og varslingfunksjoner. Alle disse funksjonene er ekstremt nyttige for moderne data-team, men det som gjør Airflow til den ideelle plattformen er at det er et åpen kildekode-prosjekt – det vil si at det er en samfunn av Airflow-brukere og bidragsytere som konstant arbeider for å videreutvikle plattformen, løse problemer og dele beste praksis.

Airflow har også mange data-integrasjoner med populære databaser, applikasjoner og verktøy, samt dusinvis av skytjenester — og flere blir lagt til hver måned.

Hvordan bruker Astronomer Airflow for interne prosesser?

Vi bruker Airflow mye! Naturligvis har vi vårt eget data-team som bruker Airflow for å levere data til bedriften og våre kunder. De har noen ganske sofistikerte verktøy de har bygget rundt Airflow som vi har brukt som inspirasjon for funksjonsutvikling på den bredere plattformen.

Vi bruker også Airflow for noen ganske uvanlige brukstilfeller, men det fungerer svært bra. For eksempel bruker vårt CRE-team Airflow for å overvåke de hundrevis av Kubernetes-kluster og tusenvis av Airflow-utsteder vi kjører på vegne av våre kunder. Deres pipelines kjører konstant for å sjekke for problemer, og hvis vi merker noen, åpner vi proaktive support-billetter på vegne av våre kunder.

Jeg har sogar brukt Airflow for personlige brukstilfeller. Min favoritt (hittil) var da jeg flyttet til New York City. Hvis du noensinne har bodd her, vil du vite at leiemarkedet er galt. Leilighetene blir leid ut innen få timer etter at de blir lagt ut. Mine romkamerater og jeg hadde en liste over kriterier vi alle var enige om (beliggenhet, antall soverom, bad, osv.), og jeg bygget en Airflow DAG som kjørte hver få minutter, hentet nye annonser fra ulike leie-annonse-sider og sendte meg (takket være Twilio!) hver gang det var noe nytt som motsvarer våre kriterier. Leiligheten jeg nå bor i ble funnet takket være Airflow!

Astronomer designet Astro, en moderne data-orkeseringsplattform, drevet av Airflow. Kan du dele med oss hvordan dette verktøyet muliggjør at bedrifter enkelt kan plassere Airflow i kjernen av deres data-operasjoner?

Astro muliggjør at organisasjoner og mer spesifikt, data-ingeniører, data-vitenskapsmenn og data-analytikere, kan bygge, kjøre og vokse sine kritiske data-pipelines på en enkelt plattform for alle deres data-strømmer. Det er den eneste managed Airflow-tjenesten som tilbyr høye nivåer av datasikkerhet og beskyttelse og hjelper bedrifter å skalerer deres utsteder og frigjøre ressurser for å fokusere på deres overordnede forretningsmål.

En av våre kunder, Anastasia, et banebrytende teknologiselskap, valgte Astro for å håndtere Airflow fordi de ikke hadde nok tid eller ressurser til å vedlikeholde Airflow på egen hånd. Astro fungerer på bakenden så team kan fokusere på kjerneforretningsaktiviteter, i stedet for å bruke tid på ikke-differensierte aktiviteter som å håndtere Airflow.

En av de viktigste komponentene i Astro er elastisk skalerbarhet, kan du definere hva dette er og hvorfor det er viktig for sky-baserte datamiljøer?

For oss betyr dette bare evnen til å møte beregningskravene til våre kunder uten å kjøre en masse infrastruktur hele tiden. Våre kunder bruker vår plattform for en rekke brukstilfeller, hvorav de fleste har høye beregningskrav (trening av maskinlæringsmodeller, behandling av store datamengder, osv.). En av de viktigste verdiene til Astronomer er at, som kunde, trenger du ikke å tenke på maskinene som kjører dine pipelines. Du deployer dine pipelines til Astro, og kan forvente at de fungerer. Vi har bygget en rekke funksjoner og systemer som hjelper oss å skalerer vår infrastruktur for å møte de endrede kravene til våre kunder, og det er noe vi er spente på å fortsette å bygge på i fremtiden.

Du var ansvarlig for at Astronomer-teamet bygget Ask-Astro, den LLM-drevne chatboten for Apache Airflow. Kan du dele med oss detaljer om hva Ask-Astro er og de LLM-ene som driver den?

Vårt team i Astronomer har noen av de mest kunnskapsrike Airflow-samfunnsmedlemmene, og vi ønsket å gjøre det enklere å dele deres kunnskap. For å gjøre det, skapte vi en referanseimplementering av Andreessen Horowitz’ Emerging Architectures for LLM Applications, som viser de vanligste systemene, verktøyene og designmønstrene de har sett brukt av AI-startups og sofistikerte teknologiselskaper. Vi startet med noen informerte meninger om denne referanseimplementeringen, og Apache Airflow spiller en sentral rol i arkitekturen. Ask Astro er en virkelig referanse for å vise hvordan man kan lime alle de ulike delene sammen.

Ask Astro er mer enn bare en annen chatbot. Astronomer-teamet valgte å utvikle applikasjonen åpen og postere regelmessig om utfordringer, ideer og løsninger for å utvikle institusjonell kunnskap på vegne av samfunnet. Hva var noen av de største utfordringene teamet møtte?

Den største utfordringen var mangelen på klare beste praksis i samfunnet. Fordi “state of the art” ble redefinert hver uke, var det vanskelig å forstå hvordan man skulle nærme seg bestemte problemer (dokumentinnsamling, modellvalg, måling av utgangsnøyaktighet, osv.). Dette var en viktig driver for oss til å bygge Ask Astro åpen. Vi ønsket å etablere en rekke praksis for LLM-orkesering som fungerer bra for ulike brukstilfeller, så våre kunder og samfunnet kunne føle seg godt forberedt på å adoptere LLM-er og generativ AI-teknologi.

Dette har vist seg å være et godt valg – verktøyet i seg selv får mye bruk, vi har holdt flere offentlige foredrag om hvordan man bygger LLM-applikasjoner, og vi har sogar startet å arbeide med en utvalgt gruppe kunder for å rulle ut interne versjoner av Ask Astro!

Hva er din personlige visjon for fremtiden til Airflow og Astronomer?

Jeg er veldig spente på fremtiden til både Airflow og Astronomer. Airflow-samfunnet fortsetter å vokse, og hos Astronomer er vi dedikert til å fremme utviklingen, støtten og tilkoblingen av team og enkeltindivider.

Med økende etterspørsel etter data-drevne innsikter og en strøm av data-kilder, har data-ingeniører en utfordrende jobb. Vi ønsker å lette arbeidsbyrden for disse individene og teamene ved å gi dem mulighet til å integrere og håndtere komplekse data på en skalerbar måte. I dag betyr dette også å støtte AI-adoptsjon og implementering. I 2023, som mange andre selskaper, fokuserte vi på hvordan vi kan akselerere AI-bruk for våre kunder. Vår plattform, Astro, akselerer AI-utvikling, strømlinjer ML-utvikling og tilbyr den robuste beregningskraften som trengs for neste-generasjons-applikasjoner. AI vil fortsette å være et fokusområde for oss i år, og vi vil støtte våre kunder når nye teknologier og rammer oppstår.

I tillegg er Astronomer et fantastisk sted å jobbe og bygge en karriere. Ettersom data-landskapet fortsetter å utvikle seg, blir det mer og mer spennende å jobbe her. Vi bygger et fantastisk team her og har mange tekniske utfordringer å løse. Vi har også nylig flyttet vårt hovedkontor til New York City, der vi kan bli en enda større del av teknologisamfunnet som finnes der og vi vil bli bedre utrustet til å tiltrekke oss de beste, mest kompetente talentene i industrien. Hvis du er interessert i å slutte deg til teamet for å hjelpe oss å levere verdens data på tid, ta kontakt!

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Astronomer.