Julian LaNeve, Astronomer:n CTO – Haastattelusarja

Julian LaNeve on Astronomer:n päätekninen johtaja (CTO), joka on Apache Airflow:n ja modernin data-orkestraation voiman takana, joka mahdollistaa kaiken aina tekoälystä yleisiin analyyttisiin sovelluksiin.

Julian vastaa Astronomer:ssa tuotteen ja insinöörien työstä, jossa hän keskittyy kehittäjien kokemukseen, data-havainnollistamiseen ja tekoälyyn. Hän on myös Cosmos:n kirjailija, joka on Airflow-palvelin, joka suorittaa dbt Core -projekteja Airflow DAG:ina.

Hän on intohimoinen kaikenlaisen datan ja avoimen lähdekoodin asioiden suhteen, ja hän viettää vapaa-aikansa hakutöissä, uusien projektien prototyypin luomisessa ja viimeisimpien datatrendien tutkimisessa.

Voitko kertoa henkilökohtaisen tarinasi siitä, miten tulit mukaan ohjelmistosuunnittelun pariin ja etenyt Astronomer:n CTO:ksi?

Olen koodannut jo keskiasteelta lähtien. Minulle insinööritö on aina ollut loistava luovan ilmaisun väylä: voin keksiä idean ja käyttää tarvittavaa teknologiaa sen toteuttamiseen. Insinööritössä työskennellessäni halusin kuitenkin tehdä enemmän. Halusin ymmärtää, miten yritykset toimivat, miten tuotteita myydään ja miten tiimit rakennetaan – ja halusin oppia nopeasti.

Viimeisinä vuosina työskentelin BCG:ssä, jossa työskentelin monilla eri alojen projekteissa. Opin paljon, mutta lopulta kaipasin tuotteiden rakentamista ja pidemmän aikavälin visioon työskentelyä. Päätin liittyä Astronomer:n tuotejohtoryhmään, jossa voisin edelleen työskennellä asiakkaiden kanssa ja luoda strategioita (niitä asioita, joita olin nauttinut konsultoinnista), mutta myös osallistua itse tuotteen kehittämiseen ja teknologian kanssa työskentelyyn.

Jossain vaiheessa toimin hybridinä PM/insinöörinä – työskentelin asiakkaiden kanssa ymmärtääkseen heidän haasteensa ja suunnittellessani tuotteita ja ominaisuuksia PM:nä. Sitten otin tuotteen vaatimukset ja työskentelin insinööritiimin kanssa tuotteen tai ominaisuuden toteuttamiseksi. Ajan myötä tein tämän useammassa Astronomer:n tuotteessa, mikä lopulta johti minun nykyiseen CTO-rooliini.

Voitko selittää, mitä tekee Airflow:n ihanteelliseksi alustaksi, jolla voidaan ohjelmallisesti luoda, ajoittaa ja seurata työvirtoja?

Apache Airflow on avoimen lähdekoodin alusta, jolla voidaan kehittää, ajoittaa ja seurata eräkohtaisia työvirtoja. Airflow tarjoaa työvirran hallintakapasiteetit, jotka ovat olennaisia modernille pilvipohjaisille data-alustoille. Se automatisoi tehtävien suorittamisen, koordinoi riippuvuuksia tehtävien välillä ja antaa organisaatioille keskuskohtaisen valvonnan ja hallinnan työvirroille.

Data-alustojen arkkitehdit hyödyntävät Airflow:a automatisoidakseen datan siirtämisen ja prosessoinnin eri järjestelmissä, hallitakseen monimutkaisia data-virtoja ja tarjoatakseen joustavan ajoituksen, seurannan ja hälytyksen. Nämä ominaisuudet ovat erittäin hyödyllisiä modernille data-tiimeille, mutta se, mikä tekee Airflow:n ihanteelliseksi alustaksi, on se, että se on avoimen lähdekoodin projekti – eli Airflow:n käyttäjillä ja kehittäjillä on yhteisö, joka kehittää jatkuvasti alustaa, ratkaisee ongelmia ja jakaa parhaita käytäntöjä.

Airflow:lla on myös monia data-integrointeja suosittujen tietokantojen, sovellusten ja työkalujen kanssa, sekä kymmeniä pilvipalveluita – ja niitä lisätään joka kuukausi.

Miten Astronomer käyttää Airflow:a sisäisissä prosesseissaan?

Käytämme Airflow:a paljon! Luonnollisesti meillä on oma data-tiimimme, joka käyttää Airflow:a toimittamaan dataa liiketoiminnalle ja asiakkaillemme. Heillä on joitakin hyvin kehittyneitä työkaluja, jotka he ovat rakentaneet Airflow:n ympärille, ja ne ovat inspiroineet meitä kehittämään laajempaa alustaa.

Käytämme Airflow:a myös joissakin epäperinteisissä käyttötarkoituksissa, mutta se toimii erittäin hyvin. Esimerkiksi CRE-tiimimme käyttää Airflow:a seuraamaan satoja Kubernetes-klustereita ja tuhansia Airflow-käyttöönottoja, joita pyöritämme asiakkaidemme puolesta. Heidän putkistot suoritetaan jatkuvasti tarkistaakseen ongelmia, ja jos huomaamme jotain, avamme proaktiivisia tukitikettejä asiakkaidemme puolesta.

Olen itse käyttänyt Airflow:a henkilökohtaisiin tarkoituksiin. Lempi-esimerkkini on, kun muutin New Yorkiin. Jos olet koskaan asunut täällä, tiedät, että vuokra-asuntomarkkinat ovat hullut. Asunnot vuokrataan usein muutamassa tunnissa siitä, kun ne ovat listattu. Huonekavereillani ja minulla oli lista kriteereistä, joille kaikki sopimme, ja rakensin Airflow DAG:n, joka suoritettiin joka muutama minuutti, etsi uusia listauksia eri asuntoilmoitus-sivustoilta ja lähetti minulle tekstiviestin (kiitos Twilio!) aina, kun löytyi uusi lista, joka vastasi kriteerejämme. Asunto, jossa nyt asun, löytyi kiitos Airflow:n.

Astronomer on suunnitellut Astro:n, modernin data-orkestraatioalustan, joka perustuu Airflow:hon. Voitko kertoa, miten tämä työkalu mahdollistaa yritysten asettaa Airflow:n helposti heidän data-toimintojensa ytimeen?

Astro mahdollistaa organisaatioille ja erityisesti data-insinööreille, data-tutkijoille ja data-analyytikoille rakentaa, suorittaa ja kehittää heidän kriittisiä data-pputkistojansa yhdellä alustalla kaikille heidän data-virroilleen. Se on ainoa hallittu Airflow-palvelu, joka tarjoaa korkeat tietoturva- ja suojaus tasot ja auttaa yrityksiä skaalata heidän käyttöönottojaan ja vapauttaa resursseja keskittyäkseen heidän ylempiin liiketoimintatavoitteisiinsa.

Yksi asiakkaidemme, Anastasia, valitsi Astron, jotta he voivat hallita Airflow:a, koska heillä ei ollut riittävästi aikaa tai resursseja ylläpitääkseen Airflow:a itse. Astro toimii taustalla, jotta tiimit voivat keskittyä keskeisiin liiketoimintatoimiin eikä tarvitse kuluttaa aikaa epäerottuvilla toimilla, kuten Airflow:n hallinnalla.

Yksi Astro:n ydinominaisuuksista on joustava skaalautuvuus. Voitko määritellä, mitä tämä tarkoittaa ja miksi se on tärkeää pilviympäristöissä?

Meillä tämä tarkoittaa kykyämme täyttää asiakkaidemme laskentavaatimukset ilman, että meidän on ajettava paljon infrastruktuuria jatkuvasti. Asiakkaamme käyttävät alustaa moniin eri käyttötarkoituksiin, joista suurin osa vaatii suuria laskentaresursseja (koneoppimisen mallien koulutus, suurten datamäärien prosessointi jne.). Yksi Astronomer:n keskeisistä arvoista on, että asiakkaan ei tarvitse murehtia koneista, jotka suorittavat heidän putkistojaan. Asiakkaat käyttävät alustaa, ja he voivat odottaa, että se toimii. Olemme kehittäneet joukon ominaisuuksia ja järjestelmiä, jotka auttavat meitä skaalautumaan infrastruktuuriamme asiakkaidemme muuttuvien vaatimusten mukaan, ja se on asia, jota olemme innoissamme kehittää tulevaisuudessa.

Olit vastuussa Astronomer-tiimin Ask-Astro:n rakentamisesta, joka on LLM-pohjainen chatbot Apache Airflow:lle. Voitko kertoa meille yksityiskohtia Ask-Astro:sta ja LLM:istä, jotka sitä voimassa?

Tiimillämme Astronomer:ssa on joitakin Airflow-yhteisön tietävimmistä jäsenistä, ja halusimme tehdä heidän tietämyksensä helpommin jaettavaksi. Tehdäksemme tämän, loimme viiteen toteutuksen Andreessen Horowitzin Emerging Architectures for LLM Applications -arkkitehtuuriin, joka näyttää yleisimpiä järjestelmiä, työkaluja ja suunnittelumalleja, joita he ovat nähneet käytettävän AI-startup-yrityksissä ja edistyneissä teknologiayrityksissä. Aloimme joistakin perustelluista mielipiteistä tästä viiteen toteutuksesta, ja Apache Airflow myös näyttelee keskeistä roolia arkkitehtuurissa. Ask Astro on todellinen viite, joka näyttää, miten liittää kaikki eri palat yhteen.

Ask Astro on enemmän kuin vain yksi chatbot. Astronomer-tiimi päätti kehittää sovelluksen avoimesti ja julkaista säännöllisesti haasteista, ideoista ja ratkaisuista, jotta voidaan kehittää instituutionaalista tietämystä yhteisön puolesta. Mitkä olivat suurimmat haasteet, joita tiimi kohtasi?

Suurin haaste oli selkeiden parhaiden käytäntöjen puute yhteisössä. Koska “viimeisin kehitys” määriteltiin uudelleen joka viikko, oli vaikea ymmärtää, miten lähestyä tiettyjä ongelmia (dokumenttien imento, mallin valinta, tulostusvirheen mittaaminen jne.). Tämä oli avainasiana meidän päätöksessämme rakentaa Ask Astro avoimesti. Halusimme perustaa joukon käytäntöjä LLM-ohjaukseen, jotka toimivat hyvin eri käyttötarkoituksissa, jotta asiakkaamme ja yhteisömme voivat tuntea itsensä valmistuneiksi ottaakseen käyttöön LLM- ja generatiivisen AI-teknologian.

On osoittautunut loistavaksi valinnaksi – työkalu saa paljon käyttöä, olemme pitäneet useita julkisia esitelmiä siitä, miten rakentaa LLM-sovelluksia, ja olemme jopa alkaneet työskennellä valitun asiakkaiden kanssa ottaakseen käyttöön sisäisiä versioita Ask Astro:sta!

Mikä on sinun henkilökohtainen visiosi Airflow:n ja Astronomer:n tulevaisuudesta?

Olen erittäin innoissani Airflow:n ja Astronomer:n tulevaisuudesta. Airflow-yhteisö jatkaa kasvamistaan, ja Astronomer:ssa olemme sitoutuneita edistämään sen kehitystä, tukea ja yhteyttä tiimien ja yksilöiden välillä.

Kasvavan datan määrän ja datalähtöisten näkemysten vaatimusten kasvaessa data-insinööreillä on haasteellinen työ. Haluamme helpottaa heidän työtään ja antaa heille mahdollisuuden integroida ja hallita monimutkaisia data-määriä skaalautuvasti. Tänä vuonna, kuten monissa muissakin yrityksissä, keskityimme siihen, miten voimme kiihdyttää AI:n käyttöönottoa asiakkaidemme puolesta. Alustamme, Astro, kiihdyttää AI:n käyttöönottoa, suoristaa koneoppimisen kehitystä ja tarjoaa vahvan laskentavoiman seuraaville sovelluksille. AI on edelleen fokusalueemme tänä vuonna, ja tukemme asiakkaitamme, kun uudet teknologiat ja kehykset tulevat markkinoille.

Lisäksi Astronomer on loistava paikka työskennellä ja kehittää uraa. Kun data-maailma jatkaa evoluutiotaan, täällä työskenteleminen tulee yhä mielenkiintoisemmaksi. Rakennamme täällä loistavan tiimin, ja meillä on paljon teknisiä haasteita ratkaistavaksi. Olemme myös vastikään muuttaneet pääkonttorimme New Yorkiin, jossa voimme tulla entistä enemmän osaksi siellä olevaa teknologiayhteisöä, ja olemme paremmin varusteltu houkuttelemaan parhaimmasta, taitavimmasta osaamisesta alalla. Jos olet kiinnostunut liittymään tiimiimme auttamaan meitä toimittamaan maailman datan ajoissa, ota yhteyttä!

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla Astronomer:ssa.