Джулиан ЛаНев, технический директор Astronomer – Серия интервью

Джулиан ЛаНев является техническим директором (CTO) в Astronomer, компании, стоящей за Apache Airflow и современной оркестрацией данных для питания всего, от ИИ до общей аналитики.

Джулиан занимается продуктом и инженерией в Astronomer, где он фокусируется на опыте разработчика, наблюдаемости данных и ИИ. Он также является автором Cosmos, провайдера Airflow для запуска проектов dbt Core в качестве DAG Airflow.

Он увлечен всем, что связано с данными и открытым исходным кодом, поскольку в свободное время он участвует в хакатонах, создает новые проекты и исследует последние достижения в области данных.

Расскажите нам о своей личной истории, как вы стали вовлечены в программную инженерию и доросли до должности технического директора Astronomer?

Я программировал с тех пор, как был в средней школе. Для меня инженерия всегда была отличным творческим выходом: я могу придумать идею и использовать любую необходимую технологию, чтобы построить что-то, соответствующее моему видению. После того, как я провел некоторое время в инженерии, я хотел сделать больше. Я хотел понять, как работают бизнесы, как продаются продукты и как строятся команды – и я хотел учиться быстро.

Я провел несколько лет, работая в компании менеджмента BCG, где я работал над широким спектром проектов в разных отраслях. Я многое узнал, но в конечном итоге скучал по созданию продуктов и работе над долгосрочной перспективой. Я решил присоединиться к команде управления продуктом Astronomer, где я мог работать с клиентами и строить стратегии (то, что мне нравилось в консалтинге), но также мог заниматься созданием самого продукта и работать с технологиями.

Некоторое время я был гибридным PM/инженером – я работал с клиентами, чтобы понять проблемы, с которыми они сталкивались, и проектировал продукты и функции в качестве PM. Затем я брал требования к продукту и работал с командой инженеров, чтобы фактически построить продукт или функцию. Со временем я сделал это с большим набором продуктов в Astronomer, что в конечном итоге привело меня к должности технического директора, которую я сейчас занимаю.

Для пользователей, которые не знакомы с Airflow, можете ли вы объяснить, что делает его идеальной платформой для программного создания, планирования и мониторинга рабочих процессов?

Apache Airflow является открытым исходным кодом для разработки, планирования и мониторинга пакетно-ориентированных рабочих процессов. Airflow предоставляет возможности управления рабочими процессами, которые являются неотъемлемой частью современных облачных платформ данных. Он автоматизирует выполнение задач, координирует зависимости между задачами и дает организациям центральную точку контроля для мониторинга и управления рабочими процессами.

Архитекторы платформ данных используют Airflow, чтобы автоматизировать перемещение и обработку данных через и между различными системами, управляя сложными потоками данных и предоставляя гибкое планирование, мониторинг и оповещение. Все эти функции очень полезны для современных команд данных, но то, что делает Airflow идеальной платформой, заключается в том, что это проект с открытым исходным кодом – что означает, что существует сообщество пользователей и вкладчиков Airflow, которые постоянно работают над дальнейшим развитием платформы, решением проблем и обменом лучшими практиками.

Airflow также имеет множество интеграций с популярными базами данных, приложениями и инструментами, а также десятки облачных сервисов — и их количество увеличивается каждый месяц.

Как Astronomer использует Airflow для внутренних процессов?

Мы используем Airflow очень много! Естественно, у нас есть своя команда данных, которая использует Airflow, чтобы доставить данные бизнесу и нашим клиентам. У них есть довольно сложные инструменты, которые они построили вокруг Airflow, и которые мы использовали как вдохновение для разработки функций на более широкой платформе.

Мы также используем Airflow для некоторых нестандартных случаев, но он работает очень хорошо. Например, наша команда CRE использует Airflow, чтобы мониторить сотни кластеров Kubernetes и тысячи развертываний Airflow, которые мы запускаем от имени наших клиентов. Их конвейеры запускаются постоянно, чтобы проверить наличие проблем, и если мы заметим какие-либо, мы открываем проактивные тикеты поддержки от имени наших клиентов.

Я даже использовал Airflow для личных случаев. Мой любимый (на данный момент) был, когда я переезжал в Нью-Йорк. Если вы когда-либо жили здесь, вы знаете, что рынок аренды просто сумасшедший. Квартиры сдаются в аренду в течение нескольких часов после того, как они выставляются на продажу. Мои соседи и я имели список критериев, на которые мы все согласились (местоположение, количество спален, ванных комнат и т. д.), и я построил DAG Airflow, который запускался каждые несколько минут, вытягивал новые списки из различных сайтов аренды квартир и отправлял мне сообщение (спасибо Twilio!) каждый раз, когда появлялось что-то новое, соответствующее нашим критериям. Квартира, в которой я сейчас живу, была найдена благодаря Airflow!

Astronomer разработал Astro, современную платформу оркестрации данных, работающую на Airflow. Можете ли вы рассказать нам, как этот инструмент позволяет компаниям легко разместить Airflow в ядре своих операций с данными?

Astro позволяет организациям и, более конкретно, инженерам данных, ученым данных и аналитикам данных строить, запускать и развивать свои критически важные конвейеры данных на единой платформе для всех потоков данных. Это единственная управляемая служба Airflow, которая обеспечивает высокие уровни безопасности и защиты данных и помогает компаниям масштабировать свои развертывания и освободить ресурсы, чтобы сосредоточиться на своих общих бизнес-целях.

Один из наших клиентов, Anastasia, передовая технологическая компания, выбрала Astro для управления Airflow, потому что у них не было достаточно времени или ресурсов, чтобы поддерживать Airflow самостоятельно. Astro работает на заднем плане, чтобы команды могли сосредоточиться на основных бизнес-активностях, а не тратить время на неразличимые деятельности, такие как управление Airflow.

Одним из основных компонентов Astro является эластичное масштабирование, можете ли вы определить, что это такое и почему оно важно для облачных вычислительных сред?

Для нас это просто означает нашу способность удовлетворять требования к вычислениям наших клиентов без запуска большого количества инфраструктуры все время. Наши клиенты используют нашу платформу для широкого спектра случаев, большинство из которых имеют высокие требования к вычислениям (обучение моделей машинного обучения, обработка больших данных и т. д.). Одна из основных ценностей Astronomer заключается в том, что, как клиент, вам не нужно думать о машинах, которые запускают ваши конвейеры. Вы развертываете свои конвейеры в Astro, и можете ожидать, что они будут работать. Мы построили набор функций и систем, которые помогают масштабировать нашу инфраструктуру, чтобы удовлетворять меняющимся требованиям наших клиентов, и это то, над чем мы будем продолжать работать в будущем.

Вы были ответственны за то, что команда Astronomer построила Ask-Astro, чат-бот на основе LLM для Apache Airflow. Можете ли вы рассказать нам о том, что такое Ask-Astro и какие LLM используются для его работы?

Наша команда в Astronomer имеет некоторых из наиболее знающих членов сообщества Airflow, и мы хотели сделать более простым для них делиться своими знаниями. Для этого мы создали референс-реализацию Эмерджентных Архитектур для Приложений LLM от Andreessen Horowitz, которая показывает наиболее распространенные системы, инструменты и шаблоны проектирования, которые они видели, используемые стартапами ИИ и продвинутыми технологическими компаниями. Мы начали с некоторых обоснованных мнений об этой референс-реализации, и Apache Airflow также играет центральную роль в архитектуре. Ask Astro — это реальная референс-реализация, которая показывает, как склеить все различные части вместе.

Ask Astro — это больше, чем просто еще один чат-бот. Команда Astronomer выбрала разработать приложение в открытом доступе и регулярно публиковать об этом, чтобы развивать институциональные знания от имени сообщества. Какие были самые большие проблемы, с которыми столкнулась команда?

Самой большой проблемой было отсутствие четких лучших практик в сообществе. Поскольку “состояние искусства” переопределялось каждую неделю, было трудно понять, как подойти к определенным проблемам (поглощение документов, выбор модели, измерение точности вывода и т. д.). Это было ключевым фактором для нас, чтобы построить Ask Astro в открытом доступе. Мы хотели установить набор практик для оркестрации LLM, которые работают хорошо для различных случаев, чтобы наши клиенты и сообщество могли чувствовать себя хорошо подготовленными к принятию технологий LLM и ИИ.

Это оказалось отличным выбором — инструмент получает много использования, мы прочитали несколько публичных лекций о том, как строить приложения LLM, и мы даже начали работать с выбранной группой клиентов, чтобы развернуть внутренние версии Ask Astro!

Каково ваше личное видение будущего Airflow и Astronomer?

Я действительно взволнован будущим как Airflow, так и Astronomer. Сообщество Airflow продолжает расти, и в Astronomer мы привержены содействию его развитию, поддержке и связи между командами и отдельными лицами.

С увеличением спроса на данные и наплывом источников данных инженерам данных предстоит сложная задача. Мы хотим облегчить нагрузку на этих людей и команды, наделив их возможностью интегрировать и управлять сложными данными в масштабе. Сегодня это также означает поддержку принятия ИИ и его реализации. В 2023 году, как и многие другие компании, мы сосредоточились на том, как мы можем ускорить использование ИИ для наших клиентов. Наша платформа, Astro, ускоряет развертывание ИИ, упрощает разработку машинного обучения и предоставляет необходимую вычислительную мощность для следующих приложений. ИИ будет продолжать быть для нас приоритетом в этом году, и мы будем поддерживать наших клиентов, когда появятся новые технологии и框架.

Кроме того, Astronomer — отличное место для работы и карьерного роста. По мере того, как ландшафт данных продолжает эволюционировать, работа здесь становится все более и более интересной. Мы строим отличную команду и имеем много технических проблем, которые необходимо решить. Мы также недавно перенесли нашу штаб-квартиру в Нью-Йорк, где мы сможем стать еще более частью технологического сообщества, существующего там, и мы будем лучше оснащены для привлечения лучших, наиболее квалифицированных талантов в отрасли. Если вы заинтересованы в присоединении к команде, чтобы помочь нам доставить данные мира вовремя, свяжитесь с нами!

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Astronomer.