Јулиан ЛаНеве, ЦТО у Астрономер – Интервиев Сериес

Јулијански ЛаНеве је главни технички директор (ЦТО) у Астроном, покретачка снага Апацхе Аирфлов-а и модерне оркестрације података за покретање свега, од вештачке интелигенције до опште аналитике.

Џулијан се бави производима и инжењерингом у Астрономер-у где се фокусира на искуство програмера, видљивост података и вештачку интелигенцију. Он је такође аутор Космос, провајдер Аирфлов за покретање дбт Цоре пројеката као Аирфлов ДАГ-ова.

Он је страствен за све ствари података и отвореног кода док своје слободно време проводи радећи хакатоне, правећи прототипе нових пројеката и истражујући најновије податке.

Можете ли да поделите своју личну причу о томе како сте се укључили у софтверски инжењеринг и напредовали до ЦТО-а у Астроному?

Кодирањем се бавим од средње школе. За мене је инжењеринг одувек био сјајан креативни излаз: могу да смислим идеју и да користим било коју технологију која је неопходна за изградњу визије. Међутим, након што сам провео неко време у инжењерингу, желео сам да радим више. Желео сам да разумем како се воде предузећа, како се продају производи и како се граде тимови – и желео сам да брзо учим.

Провео сам неколико година радећи у менаџмент консалтингу у БЦГ, где сам радио на великом броју пројеката у различитим индустријама. Научио сам тону, али сам на крају пропустио изградњу производа и рад ка дугорочнијој визији. Одлучио сам да се придружим тиму за управљање производима Астрономер-а, где сам још увек могао да радим са купцима и правим стратегије (ствари у којима сам уживао у консултацијама), али сам такође могао да се дочепам израде стварног производа и рада са технологијом.

Неко време сам деловао као хибридни ПМ/инжењер –– радио бих са клијентима да разумем изазове са којима се суочавају и дизајнирао производе и функције као ПМ. Затим бих узео захтеве за производ и радио са инжењерским тимом да заправо направим производ или функцију. Временом сам то урадио са већим скупом производа у Астрономеру, што је на крају довело до улоге техничког директора у којој сам сада.

За кориснике који нису упознати са Аирфлов-ом, можете ли да објасните шта га чини идеалном платформом за програмско креирање, заказивање и праћење токова посла?

Апацхе Аирфлов је платформа отвореног кода за развој, заказивање и надгледање групно оријентисаних токова посла. Аирфлов пружа могућности управљања токовима посла које су саставни део модерних платформи података заснованих на облаку. Аутоматизује извршавање послова, координира зависности између задатака и даје организацијама централну тачку контроле за праћење и управљање токовима посла.

Архитекте платформе података користе Аирфлов да аутоматизују кретање и обраду података кроз различите системе и између њих, управљајући сложеним токовима података и обезбеђујући флексибилно заказивање, праћење и упозорење. Све ове функције су изузетно корисне за савремене тимове за податке, али оно што Аирфлов чини идеалном платформом је то што је то пројекат отвореног кода – што значи да постоји заједница Аирфлов корисника и сарадника који стално раде на даљем развоју платформе, решавајте проблеме и делите најбоље праксе.

Аирфлов такође има многе интеграције података са популарним базама података, апликацијама и алатима, као и десетине услуга у облаку — и више се додаје сваког месеца.

Како Астроном користи Аирфлов за унутрашње процесе?

Ми користимо тону ваздуха! Наравно, имамо сопствени тим за податке који користи Аирфлов за испоруку података предузећу и нашим клијентима. Имају прилично софистициране алате које су изградили око Аирфлов-а које смо користили као инспирацију за развој функција на широј платформи.

Такође користимо Аирфлов за неке прилично нетрадиционалне случајеве употребе, али ради веома добро. На пример, наш ЦРЕ тим користи Аирфлов да надгледа стотине Кубернетес кластера и хиљаде имплементација Аирфлов-а које покрећемо у име наших клијената. Њихови канали стално раде да би проверили да ли постоје проблеми, а ако их приметимо, отворићемо проактивне тикете за подршку у име наших клијената.

Чак сам користио Аирфлов за случајеве личне употребе. Мој омиљени (до данас) био је када сам се преселио у Њујорк. Ако сте икада живели овде, знаћете да је тржиште изнајмљивања лудо. Станови се издају у року од неколико сати након што су наведени. Моји цимери и ја смо имали листу критеријума око којих смо се сви сложили (локација, број спаваћих соба, купатила, итд.), а ја сам направио Аирфлов ДАГ који је радио сваких неколико минута, извукао нове листе са разних сајтова за продају станова и послао ми поруку ( хвала Твилио!) сваки пут када је било нешто ново што је одговарало нашим критеријумима. Стан у којем сада живим је пронађен захваљујући Аирфлов-у!

Астроном дизајниран астро, модерна платформа за оркестрацију података, коју покреће Аирфлов. Можете ли да поделите са нама како овај алат омогућава компанијама да лако поставе Аирфлов у срж својих операција са подацима?

Астро омогућава организацијама, а тачније, инжењерима података, научницима података и аналитичарима података, да изграде, покрећу и развијају своје критичне цевоводе података на једној платформи за све своје токове података. То је једина управљана услуга Аирфлов која обезбеђује висок ниво безбедности и заштите података и помаже компанијама да скалирају своје примене и ослободе ресурсе да се фокусирају на своје свеобухватне пословне циљеве.

Један од наших купаца, Анастасија, компанија са најсавременијом технологијом, изабрала је Астро да управља Аирфлов-ом јер нису имали довољно времена или ресурса да сами одржавају Аирфлов. Астро ради на позадини тако да тимови могу да се фокусирају на основне пословне активности, уместо да троше време на недиференциране активности као што је управљање протоком ваздуха.

Једна од кључних компоненти Астро-а је еластична скалабилност, можете ли да дефинишете шта је то и зашто је важно за окружења рачунарства у облаку?

За нас ово само значи нашу способност да задовољимо рачунарске захтеве наших купаца без сталног покретања тона инфраструктуре. Наши клијенти користе нашу платформу за широк спектар случајева употребе, од којих већина има високе рачунарске захтеве (обука Машина учење модели, обрада великих података итд.). Једна од кључних вредности Астрономера је да, као купац, не морате да размишљате о машинама које покрећу ваше цевоводе. Своје цевоводе постављате у Астро и можете очекивати да ће функционисати. Направили смо скуп функција и система који нам помажу да проширимо нашу инфраструктуру како бисмо задовољили променљиве захтеве наших купаца, и то је нешто на чему смо узбуђени што ћемо наставити да градимо у будућности.

Били сте одговорни за Астрономер теам буилдинг Аск-Астро, чет-бот који покреће ЛЛМ за Апацхе Аирфлов. Можете ли да поделите са нама детаље о томе шта је Аск-Астро и ЛЛМ који га покрећу?

Наш тим у Астрономеру има неке од најупућенијих чланова заједнице Аирфлов и желели смо да олакшамо преношење њиховог знања. Да бисмо то урадили, креирали смо референтну имплементацију Андреессен Хоровитз-ове Емергинг Арцхитецтурес фор ЛЛМ апликације, која приказује најчешће системе, алате и обрасце дизајна које су видели да користе АИ стартупи и софистициране технолошке компаније. Почели смо са неким информисаним мишљењима о овој референтној имплементацији, а Апацхе Аирфлов такође игра централну улогу у архитектури. Аск Астро је референца из стварног живота која показује како да залепите све различите делове заједно.

Аск Астро је више од још једног цхатбот-а. Тим Астронома је одлучио да развија апликацију на отвореном и редовно објављује о изазовима, идејама и решењима како би развио институционално знање у име заједнице. Који су били неки од највећих изазова са којима се тим суочио?

Највећи изазов је био недостатак јасних најбољих пракси у заједници. Пошто се „најсавременије стање“ редефинисало сваке недеље, било је тешко разумети како приступити одређеним проблемима (уношење докумената, избор модела, мерење тачности излаза, итд.). Ово је био кључни покретач за нашу изградњу Питајте Астро на отвореном. Желели смо да успоставимо скуп пракси за ЛЛМ оркестрацију које добро функционишу за различите случајеве коришћења како би се наши клијенти и заједница могли осећати добро припремљенима да усвоје ЛЛМ и генеративне АИ технологије.

Показало се да је то одличан избор – сама алатка добија много употребе, одржали смо неколико јавних разговора о томе како да направимо ЛЛМ апликације, а чак смо почели да радимо са одабраном групом клијената на увођењу интерних верзија од Аск Астро!

 Која је ваша лична визија за будућност Аирфлов-а и Астронома?

Заиста сам узбуђен због будућности и Аирфлов-а и Астрономера. Заједница Аирфлов наставља да расте и у Астрономеру смо посвећени неговању његовог развоја, подршке и повезивања међу тимовима и појединцима.

Са све већом потражњом за увидима заснованим на подацима и приливом извора података, инжењери података имају изазован посао. Желимо да олакшамо оптерећење за ове појединце и тимове тако што ћемо им омогућити да интегришу и управљају сложеним подацима у великом обиму. Данас то такође значи подршку усвајању и имплементацији АИ. У 2023., као и многе друге компаније, фокусирали смо се на то како можемо да убрзамо употребу вештачке интелигенције за наше клијенте. Наша платформа, Астро, убрзава примену вештачке интелигенције, поједностављује развој МЛ-а и обезбеђује робусну рачунарску снагу потребну за апликације следеће генерације. АИ ће наставити да буде фокус за нас ове године и ми ћемо подржати наше клијенте како се буду појављивале нове технологије и оквири.

Поред тога, Астроном је одлично место за рад и развој каријере. Како пејзаж података наставља да се развија, рад овде постаје све узбудљивији. Овде градимо одличан тим и имамо много техничких изазова за решавање. Такође смо недавно преместили наше седиште у Њујорк, где можемо да постанемо још већи део технолошке заједнице која тамо постоји и бићемо боље опремљени да привучемо најбоље, најквалификованије таленте у индустрији. Ако сте заинтересовани да се придружите тиму како бисте нам помогли да испоручимо светске податке на време, јавите се!

Хвала вам на одличном интервјуу, читаоци који желе да сазнају више треба да посете Астроном.