Julian LaNeve, CTO hos Astronomer – Intervieuserie

Julian LaNeve er Chief Technical Officer (CTO) hos Astronomer, drivkraften bag Apache Airflow og moderne data-orchestration til at aktivere alt fra AI til generel analyse.

Julian arbejder med produkt og ingeniørarbejde hos Astronomer, hvor han fokuserer på udvikleroplevelse, data-overvågning og AI. Han er også forfatteren til Cosmos, en Airflow-udbyder til at køre dbt Core-projekter som Airflow DAGs.

Han er passioneret om alt, der har med data og open source at gøre, da han i sin fritid deltager i hackathons, prototyper nye projekter og udforsker det seneste inden for data.

Kan du dele din personlige historie om, hvordan du blev involveret i software-ingeniørarbejde, og arbejdede dig op til at blive CTO hos Astronomer?

Jeg har kodet, siden jeg var i mellemskolen. For mig har ingeniørarbejde altid været en stor kreativ udtryksform: Jeg kan komme op med en idé og bruge den teknologi, der er nødvendig for at bygge mod en vision. Efter at have tilbragt noget tid med ingeniørarbejde ønskede jeg dog at gøre mere. Jeg ønskede at forstå, hvordan virksomheder drives, hvordan produkter sælges og hvordan hold bliver bygget – og jeg ønskede at lære hurtigt.

Jeg tilbragte et par år med at arbejde i management-consulting hos BCG, hvor jeg arbejdede på en bred vifte af projekter i forskellige brancher. Jeg lærte en masse, men savnede til sidst at bygge produkter og arbejde mod en længerevarende vision. Jeg besluttede at tilslutte mig Astronomers produktledelse, hvor jeg kunne arbejde med kunder og bygge strategier (de ting, jeg nød fra consulting), men også kunne få meget at gøre med at bygge det faktiske produkt og arbejde med teknologi.

I en periode fungerede jeg som en hybrid PM/ingeniør – jeg arbejdede med kunder for at forstå de udfordringer, de stod over for, og designede produkter og funktioner som en PM. Derefter tog jeg produktkravene og arbejdede med ingeniørholdet for at bygge det faktiske produkt eller funktion. Over tid gjorde jeg dette med en større samling af produkter hos Astronomer, hvilket til sidst førte til CTO-rollen, jeg er i i dag.

For brugere, der ikke er bekendt med Airflow, kan du forklare, hvad der gør det til den ideelle platform til at programmatically author, schedule og monitor workflows?

Apache Airflow er en open-source-platform til udvikling, planlægning og overvågning af batch-orienterede workflows. Airflow giver workflow-management-kapaciteter, der er integrerede i moderne cloud-native data-platforms. Det automatiserer kørslen af job, koordinerer afhængigheder mellem opgaver og giver organisationer et centralt punkt for kontrol over overvågning og management af workflows.

Data-platform-arkitekter udnytter Airflow til at automatisere flytningen og behandlingen af data gennem og på tværs af forskellige systemer, management af komplekse dataflader og giver fleksible planlægnings-, overvågnings- og advarselssystemer. Alle disse funktioner er ekstremt nyttige for moderne datahold, men det, der gør Airflow til den ideelle platform, er, at det er et open-source-projekt – hvilket betyder, at der er en fællesskab af Airflow-brugere og bidragsydere, der konstant arbejder på at udvikle platformen yderligere, løse problemer og dele bedste praksis.

Airflow har også mange data-integrationer med populære databaser, applikationer og værktøjer samt dusinvis af cloud-tjenester — og der tilføjes flere hver måned.

Hvordan bruger Astronomer Airflow til interne processer?

Vi bruger Airflow en masse! Naturligvis har vi vores egen datahold, der bruger Airflow til at levere data til virksomheden og vores kunder. De har nogle ret avancerede værktøjer, de har bygget omkring Airflow, som vi har brugt som inspiration til funktionudvikling på den bredere platform.

Vi bruger også Airflow til nogle ret usædvanlige brugsområder, men det fungerer rigtig godt. For eksempel bruger vores CRE-hold Airflow til at overvåge de hundredvis af Kubernetes-kluster og tusindvis af Airflow-installationer, vi kører på vegne af vores kunder. Deres pipelines køres konstant for at tjekke for problemer, og hvis vi bemærker nogen, åbner vi proaktive support-billetter på vegne af vores kunder.

Jeg har endda brugt Airflow til personlige formål. Min yndlingsbrug (indtil videre) var, da jeg flyttede til New York City. Hvis du nogensinde har boet her, ved du, at leje-markedet er vanvittigt. Lejligheder bliver lejet ud inden for få timer efter, at de er blevet annonceret. Mine medbeboere og jeg havde en liste over kriterier, vi alle var enige om (beliggenhed, antal værelser, badeværelser osv.), og jeg byggede en Airflow-DAG, der køres hvert par minutter, hentede nye annoncer fra forskellige leje-sites og sms’ede mig (tak, Twilio!) hver gang, der var noget nyt, der matchede vores kriterier. Lejligheden, jeg nu bor i, blev fundet takket være Airflow!

Astronomer designede Astro, en moderne data-orchestration-platform, drevet af Airflow. Kan du dele med os, hvordan dette værktøj gør det muligt for virksomheder at let placere Airflow i centrum af deres data-operationer?

Astro giver organisationer og mere specifikt data-ingeniører, data-videnskabsmænd og data-analytikere mulighed for at bygge, køre og udvikle deres kritiske data-pipelines på en enkelt platform for alle deres data-flader. Det er den eneste managed Airflow-service, der giver høje niveauer af data-sikkerhed og -beskyttelse og hjælper virksomheder med at skala deres installationer og frigøre ressourcer til at fokusere på deres overordnede forretningsmål.

En af vores kunder, Anastasia, et teknologisk avanceret selskab, valgte Astro til at administrere Airflow, fordi de ikke havde nok tid eller ressourcer til at vedligeholde Airflow på egen hånd. Astro fungerer på baggrund, så hold kan fokusere på kerneforretningsaktiviteter i stedet for at bruge tid på uforskellende aktiviteter som administration af Airflow.

En af de centrale komponenter i Astro er elastisk skalerbarhed, kan du definere, hvad dette er, og hvorfor det er vigtigt for cloud-computing-miljøer?

For os betyder det bare, at vi kan opfylde de beregningskrav, vores kunder har, uden at skulle køre en masse infrastruktur hele tiden. Vores kunder bruger vores platform til en bred vifte af brugsområder, hvoraf de fleste har høje beregningskrav (træning af maskinelæringsmodeller, behandling af big data osv.). En af de centrale værdipositioner hos Astronomer er, at kunderne ikke behøver at tænke på maskinerne, der kører deres pipelines. De deployer deres pipelines til Astro, og kan forvente, at de fungerer. Vi har bygget en række funktioner og systemer, der hjælper os med at skala vores infrastruktur til at opfylde de skiftende krav fra vores kunder, og det er noget, vi er begejstrede for at fortsætte med at bygge på i fremtiden.

Du var ansvarlig for, at Astronomer-holdet byggede Ask-Astro, den LLM-drevne chatbot til Apache Airflow. Kan du dele med os detaljer om, hvad Ask-Astro er, og de LLM’er, der driver den?

Vores hold hos Astronomer har nogle af de mest kundskabsrige Airflow-fællesskabsmedlemmer, og vi ønskede at gøre det lettere for dem at dele deres viden. For at gøre det skabte vi en reference-implementering af Andreessen Horowitz’ Emerging Architectures for LLM Applications, som viser de mest almindelige systemer, værktøjer og designmønstre, de har set brugt af AI-startups og avancerede teknologivirksomheder. Vi startede med nogle informerede meninger om denne reference-implementering, og Apache Airflow spiller også en central rol i arkitekturen. Ask Astro er en reel reference for at vise, hvordan man kan samle de forskellige dele sammen.

Ask Astro er mere end bare endnu en chatbot. Astronomer-holdet valgte at udvikle applikationen åbent og offentliggøre regelmæssigt om udfordringer, idéer og løsninger for at udvikle institutionel viden på vegne af fællesskabet. Hvad var nogle af de største udfordringer, holdet stod over for?

Den største udfordring var manglen på klare bedste praksis i fællesskabet. Fordi “state of the art” blev gendefineret hver uge, var det svært at forstå, hvordan man skulle tilgå visse problemer (dokument-indtagelse, model-valg, udgangs-nøjagtigheds-måling osv.). Dette var en nøgle-driver for os til at bygge Ask Astro åbent. Vi ønskede at etablere en samling af praksis for LLM-orchestration, der fungerer godt for forskellige brugsområder, så vores kunder og fællesskab kunne føle sig godt forberedt på at adoptere LLM’er og generativ AI-teknologi.

Det har vist sig at være en god beslutning – værktøjet får en masse brug, vi har givet flere offentlige foredrag om, hvordan man bygger LLM-applikationer, og vi har endda begyndt at arbejde med en udvalgt gruppe af kunder for at rulle interne versioner af Ask Astro ud!

 Hvad er din personlige vision for fremtiden for Airflow og Astronomer?

Jeg er rigtig begejstret for fremtiden for både Airflow og Astronomer. Airflow-fællesskabet fortsætter med at vokse, og hos Astronomer er vi dedikeret til at fremme dets udvikling, support og forbindelse på tværs af hold og enkelt-personer.

Med den stigende efterspørgsel efter data-drevne indsigt og en tilstrømning af data-kilder har data-ingeniører en udfordrende opgave. Vi ønsker at lette byrden for disse personer og hold ved at give dem mulighed for at integrere og administrere komplekse data i stor skala. I dag betyder det også at støtte AI-adopterings- og implementeringsprocessen. I 2023 fokuserede vi, ligesom mange andre virksomheder, på, hvordan vi kan accelerere AI-brug for vores kunder. Vores platform, Astro, accelererer AI-udvikling, strømliner ML-udvikling og giver den robuste beregningskraft, der er nødvendig for næste-generations-applikationer. AI vil fortsætte med at være et fokusområde for os i år, og vi vil støtte vores kunder, når nye teknologier og rammer dukker op.

Derudover er Astronomer et fantastisk sted at arbejde og udvikle en karriere. Da data-landskabet fortsætter med at udvikle sig, bliver det mere og mere spændende at arbejde her. Vi bygger et fantastisk hold her og har masser af tekniske udfordringer at løse. Vi har også lige flyttet vores hovedkvarter til New York City, hvor vi kan blive en endnu større del af part of the tech community that exists there and we’ll be better equipped to attract the best, most skilled talent in the industry. If you’re interested in joining the team to help us deliver the world’s data on time, reach out!

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Astronomer.