Julian LaNeve, CTO la Astronomer – Seria de interviuri

Julian LaNeve este Directorul Tehnic (CTO) la Astronomer, forța motrice din spatele Apache Airflow și a orchestrei moderne de date pentru a alimenta totul, de la AI la analize generale.

Julian se ocupă de produse și inginerie la Astronomer, unde se concentrează pe experiența dezvoltatorilor, observabilitatea datelor și AI. El este, de asemenea, autorul Cosmos, un furnizor Airflow pentru rularea proiectelor dbt Core ca fluxuri de lucru Airflow.

El este pasionat de toate lucrurile legate de date și de codul deschis, deoarece își petrece timpul liber făcând hackathoane, prototipând proiecte noi și explorând ultimele noutăți în domeniul datelor.

Puteți împărtăși povestea dvs. personală despre cum ați devenit implicat în ingineria software și cum ați ajuns să deveniți CTO la Astronomer?

Am început să codific de când eram la școala generală. Pentru mine, ingineria a fost întotdeauna o modalitate excelentă de a-mi exprima creativitatea: pot veni cu o idee și pot folosi orice tehnologie este necesară pentru a o pune în practică. După ce am petrecut ceva timp în inginerie, însă, am vrut să fac mai mult. Am vrut să înțeleg cum sunt conduse afacerile, cum sunt vândute produsele și cum sunt construite echipele – și am vrut să învăț repede.

Am petrecut câțiva ani lucrând în consultanță de management la BCG, unde am lucrat la o varietate de proiecte în diferite industrii. Am învățat multe, dar în cele din urmă am simțit lipsa construirii de produse și a lucrului spre o viziune pe termen lung. Am decis să mă alătur echipei de management al produselor de la Astronomer, unde puteam să lucrez cu clienții și să construiesc strategii (lucrurile pe care le-am îndrăgit din consultanță), dar puteam să fiu și foarte implicat în construirea efectivă a produsului și a tehnologiei.

Într-o perioadă, am acționat ca un hibrid PM/inginer – lucram cu clienții pentru a înțelege provocările cu care se confruntau și proiectam produse și caracteristici ca un PM. Apoi, luam cerințele produsului și lucram cu echipa de ingineri pentru a construi efectiv produsul sau caracteristica. În timp, am făcut acest lucru cu o gamă mai largă de produse la Astronomer, ceea ce a dus în cele din urmă la rolul de CTO pe care îl am acum.

Pentru utilizatorii care nu sunt familiarizați cu Airflow, puteți explica ce face ca acesta să fie platforma ideală pentru a autoriza, programa și monitoriza fluxurile de lucru în mod programatic?

Apache Airflow este o platformă open-source pentru dezvoltarea, programarea și monitorizarea fluxurilor de lucru orientate spre loturi. Airflow oferă capacitățile de gestionare a fluxurilor de lucru care sunt esențiale pentru platformele de date cloud-native moderne. Automatizează executarea sarcinilor, coordonează dependențele dintre sarcini și oferă organizațiilor un punct central de control pentru monitorizarea și gestionarea fluxurilor de lucru.

Arhitecții de platforme de date folosesc Airflow pentru a automatiza mișcarea și prelucrarea datelor prin și între sisteme diverse, gestionând fluxuri de date complexe și oferind programare flexibilă, monitorizare și alerte. Toate aceste caracteristici sunt extrem de utile pentru echipele moderne de date, dar ceea ce face ca Airflow să fie platforma ideală este faptul că este un proiect open-source – ceea ce înseamnă că există o comunitate de utilizatori și contribuitori Airflow care lucrează constant pentru a dezvolta platforma, a rezolva probleme și a împărtăși cele mai bune practici.

Airflow are, de asemenea, numeroase integrări de date cu baze de date populare, aplicații și unelte, precum și zeci de servicii cloud — și multe altele sunt adăugate în fiecare lună.

Cum folosește Astronomer Airflow pentru procesele interne?

Noi folosim Airflow foarte mult! În mod natural, avem o echipă de date care folosește Airflow pentru a furniza date către business și clienții noștri. Ei au unelte foarte sofisticate pe care le-au construit în jurul Airflow, pe care le-am folosit ca inspirație pentru dezvoltarea de caracteristici pe platforma noastră mai largă.

De asemenea, folosim Airflow pentru unele cazuri de utilizare neconvenționale, dar funcționează foarte bine. De exemplu, echipa noastră CRE folosește Airflow pentru a monitoriza sutele de clusteri Kubernetes și mii de implementări Airflow pe care le rulăm în numele clienților noștri. Pipelines lor rulează constant pentru a verifica problemele, și dacă observăm vreo problemă, vom deschide bilete de suport proactiv pentru clienții noștri.

Am folosit chiar și Airflow pentru uz personal. Cazul meu preferat (până în prezent) a fost atunci când m-am mutat la New York. Dacă ați trăit vreodată aici, știți că piața de închiriere a apartamentelor este nebună. Apartamentele sunt închiriate în câteva ore de la listarea lor. Colegii mei de cameră și eu aveam o listă de criterii pe care am convenit asupra lor (locatie, număr de dormitoare, băi, etc), și am construit un flux de lucru Airflow care rulează la fiecare câteva minute, extrăgea liste noi de la diverse site-uri de listare a apartamentelor și îmi trimitea un mesaj de text (mulțumesc Twilio!) de fiecare dată când găsea ceva nou care se potrivea cu criteriile noastre. Apartamentul în care locuiesc acum a fost găsit datorită Airflow!

Astronomer a proiectat Astro, o platformă modernă de orchestrare a datelor, alimentată de Airflow. Puteți împărtăși cu noi cum acest instrument permite companiilor să plaseze Airflow în centrul operațiunilor lor de date?

Astro permite organizațiilor și, în special, inginerilor de date, oamenilor de știință și analiștilor de date, să construiască, să ruleze și să dezvolte fluxurile de date critice pentru misiune pe o singură platformă pentru toate fluxurile de date. Este singurul serviciu Airflow gestionat care oferă niveluri ridicate de securitate și protecție a datelor și ajută companiile să-și scaleze implementările și să elibereze resurse pentru a se concentra pe obiectivele de afaceri mai largi.

Unul dintre clienții noștri, Anastasia, o companie de tehnologie de ultimă oră, a ales Astro pentru a gestiona Airflow, deoarece nu aveau suficient timp sau resurse pentru a-l menține singuri. Astro funcționează în fundal, astfel încât echipele să se poată concentra pe activitățile de bază, în loc să-și petreacă timpul gestionând Airflow.

Una dintre componentele principale ale Astro este scalabilitatea elastică, puteți defini ce este aceasta și de ce este importantă pentru medii de calcul cloud?

Pentru noi, acest lucru înseamnă pur și simplu capacitatea noastră de a satisface cererile de calcul ale clienților noștri fără a rula o cantitate mare de infrastructură tot timpul. Clienții noștri folosesc platforma noastră pentru o varietate de cazuri de utilizare, majoritatea având cerințe de calcul ridicate (antrenarea modelelor de învățare automată, prelucrarea datelor mari, etc.). Una dintre valorile principale ale Astronomer este că, ca client, nu trebuie să vă gândiți la mașinile care rulează fluxurile dvs. de lucru. Implementați fluxurile dvs. de lucru în Astro și puteți aștepta ca ele să funcționeze. Am construit un set de caracteristici și sisteme care ne ajută să scalăm infrastructura noastră pentru a satisface cererile în schimbare ale clienților noștri, și este ceva la care suntem entuziasmați să continuăm să lucrăm în viitor.

Ați fost responsabil pentru echipa Astronomer care a construit Ask-Astro, chatbotul LLM-powderat pentru Apache Airflow. Puteți împărtăși cu noi detalii despre ce este Ask-Astro și LLM-urile care îl alimentează?

Echipa noastră de la Astronomer are unii dintre cei mai cunoscători membri ai comunității Airflow și am vrut să facem mai ușor să împărtășim cunoștințele lor. Pentru a face acest lucru, am creat o implementare de referință a arhitecturilor emergente pentru aplicații LLM de la Andreessen Horowitz, care prezintă cele mai comune sisteme, unelte și modele de proiectare pe care le-am văzut utilizate de startup-urile AI și de companiile tehnice sofisticate. Am început cu unele opinii informate despre această implementare de referință și Airflow joacă, de asemenea, un rol central în arhitectură. Ask Astro este o referință reală care arată cum să lipiți toate piesele diferite împreună.

Ask Astro este mai mult decât doar un alt chatbot. Echipa Astronomer a ales să dezvolte aplicația în mod deschis și să posteze regulat despre provocări, idei și soluții pentru a dezvolta cunoașterea instituțională în numele comunității. Care au fost unele dintre cele mai mari provocări cu care s-a confruntat echipa?

Cea mai mare provocare a fost lipsa unor practici clare în comunitate. Deoarece “starea actuală a tehnologiei” a fost redefinită în fiecare săptămână, a fost greu de înțeles cum să abordați anumite probleme (ingestia documentelor, selectarea modelului, măsurarea acurateței ieșirii, etc.). Acesta a fost un factor cheie pentru noi pentru a construi Ask Astro în mod deschis. Am vrut să stabilim un set de practici pentru orchestrarea LLM care să funcționeze bine pentru diversele cazuri de utilizare, astfel încât clienții și comunitatea noastră să se poată simți bine pregătiți pentru a adopta tehnologiile LLM și AI generative.

Acesta s-a dovedit a fi o alegere excelentă – uneltele în sine primesc o cantitate mare de utilizare, am ținut mai multe prezentări publice despre cum să construiți aplicații LLM și am început chiar să lucrăm cu un grup select de clienți pentru a lansa versiuni interne ale Ask Astro!

 Care este viziunea dvs. personală pentru viitorul Airflow și Astronomer?

Sunt foarte entuziasmat de viitorul atât al Airflow, cât și al Astronomer. Comunitatea Airflow continuă să crească și la Astronomer suntem dedicați să sprijinim dezvoltarea, suportul și conectarea echipei și a indivizilor.

Având în vedere cererea în creștere pentru insight-uri bazate pe date și afluxul de surse de date, inginerilor de date li se cere o muncă dificilă. Vrem să ușurăm sarcina acestor indivizi și echipe prin împuternicirea lor să integreze și să gestioneze date complexe la scară. Astăzi, acest lucru înseamnă, de asemenea, sprijinirea adoptării AI. În 2023, ca și multe alte companii, ne-am concentrat pe modul în care putem accelera utilizarea AI pentru clienții noștri. Platforma noastră, Astro, accelerează implementarea AI, simplifică dezvoltarea ML și oferă puterea de calcul robustă necesară pentru aplicațiile de ultimă generație. AI va continua să fie un focus pentru noi în acest an și vom sprijini clienții noștri pe măsură ce apar tehnologii și cadre noi.

În plus, Astronomer este un loc grozav de muncă și de dezvoltare a carierei. Pe măsură ce peisajul datelor continuă să evolueze, a lucra aici devine și mai interesant. Suntem în proces de construire a unei echipe excelente aici și avem multe provocări tehnice de rezolvat. De asemenea, am mutat recent sediul nostru central la New York, unde putem deveni o parte și mai mare a comunității tehnice care există acolo și vom fi mai bine echipați pentru a atrage cei mai buni și mai pricepuți talente din industrie. Dacă sunteți interesați să vă alăturați echipei noastre pentru a ne ajuta să livrăm datele lumii la timp, contactați-ne!

Mulțumim pentru acest interviu minunat, cititorilor care doresc să afle mai multe despre Astronomer.