Julian LaNeve, CTO bij Astronomer – Interviewreeks

Julian LaNeve is de Chief Technical Officer (CTO) bij Astronomer, de driving force achter Apache Airflow en moderne data-orchestratie om alles van AI tot algemene analytics te laten werken.

Julian doet product en engineering bij Astronomer waar hij zich richt op developer-ervaring, data-observatie en AI. Hij is ook de auteur van Cosmos, een Airflow-provider voor het uitvoeren van dbt Core-projecten als Airflow DAG’s.

Hij is gepassioneerd over alles wat met data en open source te maken heeft, aangezien hij in zijn vrije tijd deelneemt aan hackathons, nieuwe projecten prototypeert en de laatste ontwikkelingen op het gebied van data verkent.

Kunt u uw persoonlijke verhaal delen over hoe u betrokken raakte bij software-engineering en hoe u uw weg vond naar de positie van CTO bij Astronomer?

Ik programmeer al sinds de middelbare school. Voor mij is engineering altijd een geweldige creatieve uitlaatklep geweest: ik kan een idee bedenken en gebruikmaken van elke technologie die nodig is om een visie te bouwen. Na een tijdje in de engineering te hebben doorgebracht, wilde ik meer doen. Ik wilde begrijpen hoe bedrijven worden gerund, hoe producten worden verkocht en hoe teams worden opgebouwd – en ik wilde dat snel leren.

Ik heb een paar jaar gewerkt in management consulting bij BCG, waar ik aan een breed scala aan projecten in verschillende industrieën werkte. Ik leerde veel, maar miste uiteindelijk het bouwen van producten en werken aan een langetermijnvisie. Ik besloot om me aan te sluiten bij het productmanagementteam van Astronomer, waar ik nog steeds met klanten kon werken en strategieën kon ontwikkelen (de dingen die ik leuk vond aan consulting), maar ook hands-on kon zijn met het bouwen van het product en werken met technologie.

Ik fungeerde een tijdje als hybride PM/engineer – ik werkte met klanten om de uitdagingen te begrijpen waar zij mee te maken hadden en ontwierp producten en functies als PM. Vervolgens nam ik de producteisen en werkte ik met het engineersteam om het product of de functie daadwerkelijk te bouwen. Na verloop van tijd deed ik dit met een grotere set producten bij Astronomer, wat uiteindelijk leidde tot de CTO-functie die ik nu bekleed.

Voor gebruikers die niet bekend zijn met Airflow, kunt u uitleggen wat Airflow de ideale platform maakt voor het programmatisch auteurschap, plannen en bewaken van workflows?

Apache Airflow is een open-source platform voor het ontwikkelen, plannen en bewaken van batch-georiënteerde workflows. Airflow biedt de workflowbeheercapaciteiten die essentieel zijn voor moderne cloud-native data-platforms. Het automatiseert de uitvoering van taken, coördineert afhankelijkheden tussen taken en geeft organisaties een centraal punt van controle voor het bewaken en beheren van workflows.

Data-platformarchitecten gebruiken Airflow om de beweging en verwerking van data door en tussen diverse systemen te automatiseren, complexe datastromen te beheren en flexibele planning, bewaking en alarmering te bieden. Al deze functies zijn extreem handig voor moderne data-teams, maar wat Airflow het ideale platform maakt, is dat het een open-sourceproject is – wat betekent dat er een gemeenschap van Airflow-gebruikers en -bijdragers is die constant werken aan de verdere ontwikkeling van het platform, problemen oplossen en beste praktijken delen.

Airflow heeft ook veel data-integraties met populaire databases, applicaties en tools, evenals tientallen cloudservices — en er worden elke maand meer toegevoegd.

Hoe gebruikt Astronomer Airflow voor interne processen?

We gebruiken Airflow veel! Natuurlijk hebben we onze eigen data-team dat Airflow gebruikt om data te leveren aan het bedrijf en onze klanten. Zij hebben enkele vrij geavanceerde tools gebouwd rond Airflow die we als inspiratie hebben gebruikt voor functieontwikkeling op het bredere platform.

We gebruiken Airflow ook voor enkele vrij ongebruikelijke use-cases, maar het werkt heel goed. Onze CRE-team gebruikt bijvoorbeeld Airflow om de honderden Kubernetes-clusters en duizenden Airflow-implementaties te bewaken die we namens onze klanten uitvoeren. Hun pipelines draaien constant om problemen te controleren, en als we er een opmerken, zullen we proactief ondersteuningsTickets openen namens onze klanten.

Ik heb zelfs Airflow gebruikt voor persoonlijke use-cases. Mijn favoriet (tot nu toe) was toen ik naar New York City verhuisde. Als je hier ooit hebt gewoond, weet je dat de huurmarkt gek is. Appartementen worden binnen enkele uren verhuurd nadat ze zijn gepubliceerd. Mijn huisgenoten en ik hadden een lijst met criteria waar we het allemaal over eens waren (locatie, aantal slaapkamers, badkamers, enz.), en ik bouwde een Airflow DAG die elke paar minuten draaide, nieuwe lijsten haalde van verschillende appartementenlijstsites en me tekstte (dankzij Twilio!) elke keer dat er iets nieuws was dat aan onze criteria voldeed. Het appartement waar ik nu woon, is gevonden dankzij Airflow!

Astronomer ontwierp Astro, een modern data-orchestratieplatform, aangedreven door Airflow. Kunt u met ons delen hoe dit tool bedrijven in staat stelt om gemakkelijk Airflow aan het hart van hun data-operaties te plaatsen?

Astro stelt organisaties en meer specifiek data-engineers, data-wetenschappers en data-analisten in staat om hun missie-kritieke data-pijpleidingen op één platform te bouwen, uit te voeren en te laten groeien voor alle hun data-stromen. Het is de enige beheerde Airflow-service die hoge niveaus van data-beveiliging en -bescherming biedt en bedrijven helpt om hun implementaties te schalen en middelen vrij te maken om zich te concentreren op hun overkoepelende bedrijfsdoelen.

Een van onze klanten, Anastasia, een cutting-edge technologiebedrijf, koos Astro om Airflow te beheren omdat ze niet genoeg tijd of middelen hadden om Airflow zelf te onderhouden. Astro werkt op de achtergrond, zodat teams zich kunnen concentreren op hun kernactiviteiten, in plaats van tijd te besteden aan niet-gedifferentieerde activiteiten zoals het beheren van Airflow.

Een van de kerncomponenten van Astro is elastische schaalbaarheid, kunt u definiëren wat dit is en waarom het belangrijk is voor cloud-computingomgevingen?

Voor ons betekent dit simpelweg onze capaciteit om de compute-eisen van onze klanten te vervullen zonder constant veel infrastructuur te draaien. Onze klanten gebruiken ons platform voor een breed scala aan use-cases, waarvan de meeste hoge compute-eisen hebben (het trainen van machine learning-modellen, het verwerken van big data, enz.). Een van de kernwaarden van Astronomer is dat, als klant, je niet hoeft na te denken over de machines die je pijpleidingen uitvoeren. Je implementeert je pijpleidingen op Astro, en kunt verwachten dat ze werken. We hebben een set functies en systemen gebouwd die helpen om onze infrastructuur te schalen om te voldoen aan de veranderende eisen van onze klanten, en dat is iets waar we ons in de toekomst op willen blijven richten.

U was verantwoordelijk voor het Astronomer-team dat Ask-Astro bouwde, de LLM-gepowered chatbot voor Apache Airflow. Kunt u met ons delen wat Ask-Astro is en de LLM’s die het aandrijven?

Ons team bij Astronomer heeft enkele van de meest kundige Airflow-gemeenschapsleden en we wilden het gemakkelijker maken om hun kennis te delen. Daarom creëerden we een referentie-implementatie van Andreessen Horowitz’ Emerging Architectures for LLM Applications, die de meest voorkomende systemen, tools en ontwerppatronen laat zien die ze hebben gezien bij AI-startups en geavanceerde technologiebedrijven. We begonnen met enkele geïnformeerde meningen over deze referentie-implementatie en Apache Airflow speelt ook een centrale rol in de architectuur. Ask Astro is een echte referentie om te laten zien hoe je alle verschillende onderdelen samen kunt voegen.

Ask Astro is meer dan alleen een andere chatbot. Het Astronomer-team koos ervoor om de applicatie openbaar te ontwikkelen en regelmatig te publiceren over uitdagingen, ideeën en oplossingen om institutionele kennis te ontwikkelen namens de gemeenschap. Wat waren enkele van de grootste uitdagingen waarmee het team te maken kreeg?

De grootste uitdaging was het gebrek aan duidelijke best practices in de gemeenschap. Omdat “state of the art” elke week opnieuw werd gedefinieerd, was het moeilijk om te begrijpen hoe je bepaalde problemen moest aanpakken (document-inname, modelselectie, outputnauwkeurigheidsmeting, enz.). Dit was een belangrijke driver voor ons om Ask Astro openbaar te bouwen. We wilden een set van praktijken voor LLM-orchestratie vaststellen die goed werken voor verschillende use-cases, zodat onze klanten en de gemeenschap zich goed voorbereid kunnen voelen om LLM’s en generatieve AI-technologieën te adopteren.

Het is gebleken een geweldige keuze te zijn – het tool zelf krijgt veel gebruik, we hebben verschillende openbare toespraken gegeven over hoe je LLM-toepassingen kunt bouwen, en we zijn zelfs begonnen met het werken met een selecte groep klanten om interne versies van Ask Astro uit te rollen!

Wat is uw persoonlijke visie voor de toekomst van Airflow en Astronomer?

Ik ben echt enthousiast over de toekomst van zowel Airflow als Astronomer. De Airflow-gemeenschap blijft groeien en bij Astronomer zijn we toegewijd aan het ondersteunen van de ontwikkeling, ondersteuning en verbinding tussen teams en individuen.

Met de toenemende vraag naar data-gedreven inzichten en een toevloed van data-bronnen, hebben data-engineers een moeilijke taak. We willen de last voor deze individuen en teams verlichten door hen in staat te stellen complexe data op grote schaal te integreren en te beheren. Vandaag de dag betekent dit ook het ondersteunen van AI-adoptie en -implementatie. In 2023, net als veel andere bedrijven, richtten we ons op hoe we AI-gebruik voor onze klanten kunnen versnellen. Ons platform, Astro, versnelt AI-implementatie, stroomlijnt ML-ontwikkeling en biedt de robuuste compute-kracht die nodig is voor next-gen-toepassingen. AI zal voor ons een blijvend focuspunt zijn en we zullen onze klanten ondersteunen bij het opkomen van nieuwe technologieën en -kaders.

Daarnaast is Astronomer een geweldige plek om te werken en een carrière op te bouwen. Naarmate het data-landschap blijft evolueren, wordt het hier werken steeds spannender. We bouwen een geweldig team hier en hebben veel technische uitdagingen om op te lossen. We zijn onlangs ook verhuisd naar New York City, waar we een nog groter deel kunnen worden van de tech-gemeenschap die daar bestaat en we beter in staat zullen zijn om de beste, meest vaardige talenten in de industrie aan te trekken. Als je geïnteresseerd bent om je aan te sluiten bij het team om ons te helpen de wereld zijn data op tijd te leveren, neem dan contact op!

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Astronomer bezoeken.