Julian LaNeve, CTO di Astronomer – Serie di interviste

Julian LaNeve è il Chief Technical Officer (CTO) di Astronomer, la forza trainante dietro Apache Airflow e l’orchestrazione dei dati moderni per alimentare tutto, dalle AI alle analisi generali.

Julian si occupa di prodotti e ingegneria presso Astronomer, dove si concentra sull’esperienza degli sviluppatori, sull’osservabilità dei dati e sull’AI. È anche l’autore di Cosmos, un provider Airflow per eseguire progetti dbt Core come DAG Airflow.

È appassionato di tutto ciò che riguarda i dati e il software open source, poiché trascorre il suo tempo libero partecipando a hackathon, prototipando nuovi progetti ed esplorando le ultime novità nel settore dei dati.

Potresti condividere la tua storia personale di come sei entrato nel mondo dell’ingegneria del software e come sei arrivato a diventare CTO di Astronomer?

Ho iniziato a programmare quando ero alle scuole medie. Per me, l’ingegneria è sempre stata un’ottima via di espressione creativa: posso pensare a un’idea e utilizzare la tecnologia necessaria per costruirla verso una visione. Dopo aver trascorso un po’ di tempo nell’ingegneria, però, volevo fare di più. Volevo capire come funzionano le aziende, come vengono venduti i prodotti e come vengono costruite le squadre – e volevo imparare velocemente.

Ho trascorso alcuni anni lavorando nel consulting di gestione presso BCG, dove ho lavorato su una vasta gamma di progetti in diversi settori. Ho imparato molto, ma alla fine mi sono mancati la costruzione di prodotti e il lavoro verso una visione a lungo termine. Ho deciso di unirmi al team di product management di Astronomer, dove potevo lavorare con i clienti e costruire strategie (le cose che mi piacevano del consulting), ma potevo anche lavorare a stretto contatto con la tecnologia.

Per un po’ di tempo, ho agito come un ibrido tra PM e ingegnere – lavoravo con i clienti per capire le sfide che stavano affrontando e progettavo prodotti e funzionalità come un PM. Poi, prendevo i requisiti del prodotto e lavoravo con il team di ingegneria per costruire effettivamente il prodotto o la funzionalità. Nel tempo, ho fatto questo con un insieme più ampio di prodotti presso Astronomer, il che alla fine mi ha portato al ruolo di CTO che ricopro attualmente.

Per gli utenti che non conoscono Airflow, potresti spiegare cosa lo rende la piattaforma ideale per scrivere, pianificare e monitorare flussi di lavoro in modo programmabile?

Apache Airflow è una piattaforma open-source per lo sviluppo, la pianificazione e il monitoraggio di flussi di lavoro orientati al batch. Airflow fornisce le capacità di gestione dei flussi di lavoro che sono fondamentali per le piattaforme di dati cloud-native moderne. Automatizza l’esecuzione dei lavori, coordina le dipendenze tra le attività e fornisce alle organizzazioni un punto centrale di controllo per il monitoraggio e la gestione dei flussi di lavoro.

Gli architetti di piattaforme di dati utilizzano Airflow per automatizzare il movimento e l’elaborazione dei dati attraverso e all’interno di sistemi diversi, gestendo flussi di dati complessi e fornendo una pianificazione flessibile, il monitoraggio e l’avviso. Tutte queste funzionalità sono estremamente utili per i team di dati moderni, ma ciò che rende Airflow la piattaforma ideale è che è un progetto open-source – il che significa che c’è una comunità di utenti e contributori di Airflow che lavorano costantemente per sviluppare ulteriormente la piattaforma, risolvere problemi e condividere le migliori pratiche.

Airflow ha anche molte integrazioni con database, applicazioni e strumenti popolari, nonché decine di servizi cloud – e se ne aggiungono ogni mese.

Come utilizza Astronomer Airflow per i processi interni?

Noi utilizziamo Airflow molto! Naturalmente, abbiamo il nostro team di dati che utilizza Airflow per consegnare dati all’azienda e ai nostri clienti. Hanno alcuni strumenti molto sofisticati che hanno costruito intorno ad Airflow che abbiamo utilizzato come ispirazione per lo sviluppo di funzionalità sulla piattaforma più ampia.

Utilizziamo anche Airflow per alcuni casi d’uso piuttosto insoliti, ma funziona molto bene. Ad esempio, il nostro team CRE utilizza Airflow per monitorare le centinaia di cluster Kubernetes e le migliaia di distribuzioni Airflow che eseguiamo per conto dei nostri clienti. Le loro pipeline vengono eseguite costantemente per verificare la presenza di problemi e, se ne notiamo alcuni, apriremo ticket di supporto proattivi per conto dei nostri clienti.

Ho anche utilizzato Airflow per casi d’uso personali. Il mio preferito (finora) è stato quando mi sono trasferito a New York City. Se hai mai vissuto qui, saprai che il mercato degli affitti è pazzo. Gli appartamenti vengono affittati entro poche ore dalla loro pubblicazione. I miei coinquilini e io avevamo una lista di criteri che tutti concordavamo (posizione, numero di camere da letto, bagni, ecc.) e ho costruito un DAG Airflow che veniva eseguito ogni pochi minuti, recuperava nuove inserzioni da vari siti di annunci immobiliari e mi inviava un messaggio di testo (grazie Twilio!) ogni volta che c’era qualcosa di nuovo che corrispondeva ai nostri criteri. L’appartamento in cui vivo adesso è stato trovato grazie ad Airflow!

Astronomer ha progettato Astro, una piattaforma di orchestrazione dei dati moderna, alimentata da Airflow. Potresti condividere con noi come questo strumento consente alle aziende di inserire facilmente Airflow al centro delle loro operazioni di dati?

Astro consente alle organizzazioni e, più specificamente, agli ingegneri di dati, agli scienziati di dati e agli analisti di dati, di costruire, eseguire e far crescere le loro pipeline di dati critiche per la missione su una singola piattaforma per tutti i loro flussi di dati. È il solo servizio gestito Airflow che fornisce alti livelli di sicurezza e protezione dei dati e aiuta le aziende a scalare i loro deploy e a liberare risorse per concentrarsi sui loro obiettivi aziendali generali.

Uno dei nostri clienti, Anastasia, un’azienda tecnologica all’avanguardia, ha scelto Astro per gestire Airflow perché non aveva abbastanza tempo o risorse per mantenerlo da sola. Astro funziona sul retro in modo che i team possano concentrarsi sulle attività aziendali principali, piuttosto che spendere tempo in attività non differenziate come la gestione di Airflow.

Una delle componenti chiave di Astro è la scalabilità elastica, potresti definire cosa significa e perché è importante per gli ambienti di cloud computing?

Per noi, questo significa semplicemente la nostra capacità di soddisfare le richieste di calcolo dei nostri clienti senza eseguire una grande quantità di infrastrutture tutto il tempo. I nostri clienti utilizzano la nostra piattaforma per una vasta gamma di casi d’uso, la maggior parte dei quali ha elevate richieste di calcolo (addestramento di modelli di apprendimento automatico, elaborazione di big data, ecc.). Una delle principali proposte di valore di Astronomer è che, come cliente, non devi pensare alle macchine che eseguono le tue pipeline. Deploy le tue pipeline su Astro e puoi aspettarti che funzionino. Abbiamo costruito un set di funzionalità e sistemi che aiutano a scalare la nostra infrastruttura per soddisfare le richieste dei nostri clienti e siamo entusiasti di continuare a costruire su di esso in futuro.

Sei stato responsabile del team di Astronomer che ha costruito Ask-Astro, il chatbot alimentato da LLM per Apache Airflow. Potresti condividere con noi i dettagli su cosa è Ask-Astro e quali LLM lo alimentano?

Il nostro team di Astronomer ha alcuni dei membri della comunità Airflow più esperti e volevamo rendere più facile condividere le loro conoscenze. Per farlo, abbiamo creato un’implementazione di riferimento delle Architetture emergenti di Andreessen Horowitz per le applicazioni LLM, che mostra i sistemi, gli strumenti e i modelli di progettazione più comuni che hanno visto utilizzare dalle startup di AI e dalle aziende tecnologiche sofisticate. Siamo partiti da alcune opinioni informate su questa implementazione di riferimento e Apache Airflow gioca anche un ruolo centrale nell’architettura. Ask Astro è un riferimento reale per mostrare come incollare tutti i vari pezzi insieme.

Ask Astro è più di un semplice chatbot. Il team di Astronomer ha scelto di sviluppare l’applicazione in modo aperto e pubblica regolarmente sui challenge, le idee e le soluzioni per sviluppare la conoscenza istituzionale a nome della comunità. Quali sono stati alcuni dei più grandi sfide che il team ha affrontato?

La sfida più grande è stata la mancanza di pratiche migliori chiare nella comunità. Poiché “lo stato dell’arte” veniva ridefinito ogni settimana, era difficile capire come affrontare determinati problemi (ingestione dei documenti, selezione del modello, misurazione dell’accuratezza dell’output, ecc.). Questo è stato un driver chiave per noi per costruire Ask Astro in modo aperto. Volevamo stabilire un set di pratiche per l’orchestrazione LLM che funzionino bene per vari casi d’uso in modo che i nostri clienti e la comunità possano sentirsi ben preparati ad adottare LLM e tecnologie di AI generative.

Si è rivelata una scelta fantastica – lo strumento stesso riceve un sacco di utilizzo, abbiamo tenuto diverse conferenze pubbliche su come costruire applicazioni LLM e abbiamo anche iniziato a lavorare con un gruppo selezionato di clienti per distribuire versioni interne di Ask Astro!

Qual è la tua visione personale per il futuro di Airflow e Astronomer?

Sono davvero entusiasta per il futuro di entrambi Airflow e Astronomer. La comunità Airflow continua a crescere e Astronomer è impegnata a favorirne lo sviluppo, il supporto e la connessione tra team e individui.

Con la crescente domanda di insight basati sui dati e un afflusso di fonti di dati, gli ingegneri di dati hanno un lavoro impegnativo. Vogliamo alleggerire il carico per questi individui e team abilitandoli a integrare e gestire dati complessi in scala. Oggi, questo significa anche supportare l’adozione e l’implementazione dell’AI. Nel 2023, come molte altre aziende, ci siamo concentrati su come possiamo accelerare l’uso dell’AI per i nostri clienti. La nostra piattaforma, Astro, accelera il deploy dell’AI, semplifica lo sviluppo del machine learning e fornisce la potenza di calcolo robusta necessaria per le applicazioni di prossima generazione. L’AI continuerà a essere un focus per noi quest’anno e supporteremo i nostri clienti alla comparsa di nuove tecnologie e framework.

Inoltre, Astronomer è un ottimo posto in cui lavorare e crescere nella propria carriera. Man mano che il panorama dei dati continua a evolversi, lavorare qui diventa sempre più emozionante. Stiamo costruendo un ottimo team e abbiamo molti sfide tecniche da risolvere. Abbiamo anche da poco trasferito la nostra sede a New York City, dove possiamo diventare una parte ancora più grande della comunità tecnologica che esiste lì e saremo meglio equipaggiati per attirare i migliori, più esperti talenti nel settore. Se sei interessato a unirti al team per aiutarci a consegnare i dati del mondo in tempo, contattaci!

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Astronomer.