Julian LaNeve, CTO di Astronomer – Serie di interviste

giuliano La Neve è il Chief Technical Officer (CTO) presso Astronomo, la forza trainante di Apache Airflow e della moderna orchestrazione dei dati per alimentare qualsiasi cosa, dall'intelligenza artificiale all'analisi generale.

Julian si occupa di prodotto e ingegneria presso Astronomer, dove si concentra sull'esperienza degli sviluppatori, sull'osservabilità dei dati e sull'intelligenza artificiale. È anche autore di cosmo, un fornitore Airflow per l'esecuzione di progetti dbt Core come DAG Airflow.

È appassionato di tutto ciò che riguarda i dati e l'open source e trascorre il suo tempo libero partecipando a hackathon, creando prototipi di nuovi progetti ed esplorando le ultime novità in fatto di dati.

Potresti condividere la tua storia personale su come sei stato coinvolto nell'ingegneria del software e sei riuscito a diventare CTO di Astronomer?

Programmavo da quando ero alle medie. Per me, l'ingegneria è sempre stata un grande sbocco creativo: posso avere un'idea e utilizzare tutta la tecnologia necessaria per realizzare una visione. Dopo aver trascorso un po' di tempo in ingegneria, però, volevo fare di più. Volevo capire come vengono gestite le aziende, come vengono venduti i prodotti e come vengono costruiti i team –– e volevo imparare rapidamente.

Ho trascorso alcuni anni lavorando nella consulenza gestionale presso BCG, dove ho lavorato su un'ampia varietà di progetti in diversi settori. Ho imparato moltissimo, ma alla fine mi è mancato costruire prodotti e lavorare per una visione a lungo termine. Ho deciso di unirmi al team di gestione del prodotto di Astronomer, dove potevo ancora lavorare con i clienti e costruire strategie (le cose che mi piacevano dalla consulenza), ma potevo anche mettere le mani sulla costruzione del prodotto reale e lavorare con la tecnologia.

Per un po' ho agito come PM/ingegnere ibrido: lavoravo con i clienti per comprendere le sfide che stavano affrontando e progettavo prodotti e funzionalità come PM. Quindi, prenderei i requisiti del prodotto e lavorerei con il team di ingegneri per sviluppare effettivamente il prodotto o la funzionalità. Nel corso del tempo, l'ho fatto con una serie più ampia di prodotti presso Astronomer, che alla fine mi ha portato al ruolo di CTO che ricopro ora.

Per gli utenti che non hanno familiarità con Airflow, puoi spiegare cosa lo rende la piattaforma ideale per creare, pianificare e monitorare i flussi di lavoro in modo programmatico?

Flusso d'aria Apache è una piattaforma open source per lo sviluppo, la pianificazione e il monitoraggio di flussi di lavoro orientati ai batch. Airflow fornisce le funzionalità di gestione del flusso di lavoro che sono parte integrante delle moderne piattaforme dati native del cloud. Automatizza l'esecuzione dei lavori, coordina le dipendenze tra le attività e offre alle organizzazioni un punto di controllo centrale per il monitoraggio e la gestione dei flussi di lavoro.

Gli architetti della piattaforma dati sfruttano Airflow per automatizzare lo spostamento e l'elaborazione dei dati attraverso diversi sistemi, gestendo flussi di dati complessi e fornendo pianificazione, monitoraggio e avvisi flessibili. Tutte queste funzionalità sono estremamente utili per i moderni team di dati, ma ciò che rende Airflow la piattaforma ideale è che si tratta di un progetto open source, il che significa che esiste una comunità di utenti e contributori di Airflow che lavora costantemente per sviluppare ulteriormente la piattaforma, risolvere problemi e condividere le migliori pratiche.

Airflow dispone inoltre di numerose integrazioni di dati con database, applicazioni e strumenti più diffusi, nonché decine di servizi cloud e altri ne vengono aggiunti ogni mese.

In che modo Astronomer utilizza Airflow per i processi interni?

Usiamo Airflow moltissimo! Naturalmente, disponiamo del nostro team dati che utilizza Airflow per fornire dati all'azienda e ai nostri clienti. Hanno alcuni strumenti piuttosto sofisticati che hanno costruito attorno ad Airflow che abbiamo utilizzato come ispirazione per lo sviluppo di funzionalità sulla piattaforma più ampia.

Utilizziamo Airflow anche per alcuni casi d'uso piuttosto non tradizionali, ma funziona molto bene. Ad esempio, il nostro team CRE utilizza Airflow per monitorare le centinaia di cluster Kubernetes e le migliaia di distribuzioni Airflow che eseguiamo per conto dei nostri clienti. Le loro pipeline sono costantemente attive per verificare la presenza di problemi e, se ne notiamo qualcuno, apriremo ticket di supporto proattivi per conto dei nostri clienti.

Ho persino utilizzato Airflow per casi di uso personale. Il mio preferito (ad oggi) è stato quando mi stavo trasferendo a New York City. Se hai mai vissuto qui, saprai che il mercato degli affitti è pazzesco. Gli appartamenti vengono affittati entro poche ore dalla loro inserimento nell'elenco. I miei coinquilini e io avevamo un elenco di criteri su cui eravamo tutti d'accordo (ubicazione, numero di camere da letto, bagni, ecc.) grazie Twilio!) ogni volta che c'era qualcosa di nuovo che corrispondeva ai nostri criteri. L'appartamento in cui vivo ora è stato trovato grazie ad Airflow!

Progettato dall'astronomo Astro, una moderna piattaforma di orchestrazione dei dati, basata su Airflow. Puoi condividere con noi in che modo questo strumento consente alle aziende di collocare facilmente Airflow al centro delle loro operazioni sui dati?

Astro consente alle organizzazioni e, più specificamente, a data engineer, data scientist e analisti di dati, di creare, eseguire e far crescere le proprie pipeline di dati mission-critical su un'unica piattaforma per tutti i flussi di dati. È l'unico servizio Airflow gestito che fornisce elevati livelli di sicurezza e protezione dei dati e aiuta le aziende a scalare le proprie implementazioni e a liberare risorse per concentrarsi sui propri obiettivi aziendali generali.

Uno dei nostri clienti, "Anastasia, un'azienda tecnologica all'avanguardia, ha scelto Astro per gestire Airflow perché non aveva abbastanza tempo o risorse per gestirlo da sola. Astro lavora sul back-end in modo che i team possano concentrarsi sulle attività aziendali principali, anziché dedicare tempo ad attività indifferenziate come la gestione del flusso d'aria.

Uno dei componenti principali di Astro è la scalabilità elastica. Potresti definire di cosa si tratta e perché è importante per gli ambienti di cloud computing?

Per noi, questo significa semplicemente la nostra capacità di soddisfare le richieste di elaborazione dei nostri clienti senza gestire continuamente un sacco di infrastrutture. I nostri clienti utilizzano la nostra piattaforma per un'ampia varietà di casi d'uso, la maggior parte dei quali presenta elevati requisiti di elaborazione (addestramento di modelli di machine learning, elaborazione di big data, ecc.). Una delle proposte di valore fondamentali di Astronomer è che, come cliente, non devi pensare alle macchine che gestiscono le tue condutture. Distribuisci le tue pipeline su Astro e puoi aspettarti che funzionino. Abbiamo creato una serie di funzionalità e sistemi che aiutano a scalare la nostra infrastruttura per soddisfare le mutevoli richieste dei nostri clienti ed è qualcosa su cui siamo entusiasti di continuare a sviluppare in futuro.

Sei stato responsabile del team building di Astronomer Ask-Astro, il chatbot basato su LLM per Apache Airflow. Puoi condividere con noi i dettagli su cos'è Ask-Astro e gli LLM che lo alimentano?

Il nostro team di Astronomer comprende alcuni dei membri della comunità Airflow più esperti e volevamo rendere più semplice la condivisione delle loro conoscenze. Per fare ciò, abbiamo creato un'implementazione di riferimento di Emerging Architectures for LLM Applications di Andreessen Horowitz, che mostra i sistemi, gli strumenti e i modelli di progettazione più comuni utilizzati dalle startup di intelligenza artificiale e dalle sofisticate aziende tecnologiche. Abbiamo iniziato con alcune opinioni informate su questa implementazione di riferimento e anche Apache Airflow gioca un ruolo centrale nell'architettura. Chiedi ad Astro è un riferimento alla vita reale per mostrare come incollare insieme tutti i vari pezzi.

Ask Astro è molto più di un semplice chatbot. Il team di Astronomer ha scelto di sviluppare l'applicazione apertamente e di pubblicare regolarmente sfide, idee e soluzioni al fine di sviluppare conoscenza istituzionale per conto della comunità. Quali sono state le sfide più grandi che il team ha dovuto affrontare?

La sfida più grande è stata la mancanza di buone pratiche chiare nella comunità. Poiché lo "stato dell'arte" veniva ridefinito ogni settimana, era difficile capire come affrontare determinati problemi (acquisizione di documenti, selezione del modello, misurazione dell'accuratezza dell'output, ecc.). Questo è stato un fattore chiave per noi da costruire Chiedi ad Astro all'aperto. Volevamo stabilire una serie di pratiche per l'orchestrazione LLM che funzionassero bene per vari casi d'uso in modo che i nostri clienti e la nostra comunità potessero sentirsi ben preparati ad adottare LLM e tecnologie di intelligenza artificiale generativa.

Si è rivelata un'ottima scelta: lo strumento stesso viene utilizzato moltissimo, abbiamo tenuto numerosi discorsi pubblici su come creare applicazioni LLM e abbiamo persino iniziato a lavorare con un gruppo selezionato di clienti per implementare versioni interne di Chiedi ad Astro!

 Qual è la tua visione personale per il futuro di Airflow e Astronomer?

Sono davvero entusiasta del futuro di Airflow e Astronomer. La community di Airflow continua a crescere e noi di Astronomer ci impegniamo a promuoverne lo sviluppo, il supporto e la connessione tra team e individui.

Con la crescente domanda di approfondimenti basati sui dati e un afflusso di fonti di dati, i data engineer hanno un lavoro impegnativo. Vogliamo alleggerire il carico di questi individui e team consentendo loro di integrare e gestire dati complessi su larga scala. Oggi ciò significa anche sostenere l’adozione e l’implementazione dell’IA. Nel 2023, come molte altre aziende, ci siamo concentrati su come accelerare l’uso dell’intelligenza artificiale per i nostri clienti. La nostra piattaforma, Astro, accelera l'implementazione dell'intelligenza artificiale, semplifica lo sviluppo di machine learning e fornisce la solida potenza di elaborazione necessaria per le applicazioni di nuova generazione. L'intelligenza artificiale continuerà a essere un punto focale per noi quest'anno e supporteremo i nostri clienti man mano che emergono nuove tecnologie e framework.

Inoltre, Astronomer è un ottimo posto in cui lavorare e far crescere la propria carriera. Poiché il panorama dei dati continua ad evolversi, lavorare qui diventa sempre più entusiasmante. Stiamo costruendo una grande squadra qui e abbiamo molte sfide tecniche da risolvere. Recentemente abbiamo anche trasferito la nostra sede a New York City, dove potremo diventare una parte ancora maggiore della comunità tecnologica che esiste lì e saremo meglio attrezzati per attrarre i talenti migliori e più qualificati del settore. Se sei interessato a unirti al team per aiutarci a fornire i dati di tutto il mondo in tempo, contattaci!

Grazie per l'ottima intervista, i lettori che desiderano saperne di più dovrebbero visitare Astronomo.