Юліан ЛаНев, CTO в Astronomer – Серія інтерв’ю

Юліан ЛаНев є головним технічним директором (CTO) в Astronomer, компанії, яка стоїть за Apache Airflow та сучасною оркестрацією даних для забезпечення роботи всього, від штучного інтелекту до загальних аналітичних даних.

Юліан займається продуктом та інженерними питаннями в Astronomer, де він зосереджується на досвіді користувача, спостереженні за даними та штучному інтелекті. Він також є автором Cosmos, постачальника Airflow для виконання проектів dbt Core як графів Airflow.

Він захоплюється всіма речами, пов’язаними з даними та відкритим кодом, оскільки проводить свій вільний час, беручи участь у хакатонах, створюючи нові проекти та вивчаючи останні досягнення в галузі даних.

Чи можете ви поділитися своєю особистою історією про те, як ви стали займатися програмуванням та як ви стали технічним директором Astronomer?

Я програмую з часів середньої школи. Для мене інженерія завжди була чудовим творчим виходом: я міг придумати ідею та використовувати будь-яку технологію для реалізації цієї ідеї. Однак після деякого часу роботи в інженерії я хотів зробити більше. Я хотів зрозуміти, як працюють бізнеси, як продаються продукти та як будуються команди – і я хотів вивчити все це швидко.

Я провів кілька років, працюючи у сфері управління консалтингу в BCG, де я працював над різними проектами в різних галузях. Я вивчив багато чого, але врешті-решт мені не вистачало створення продуктів та роботи над довгостроковими цілями. Я вирішив приєднатися до команди продукт-менеджменту Astronomer, де я міг працювати з клієнтами та будувати стратегії (ті речі, які мені подобалися в консалтингу), але також міг займатися створенням продукту та технологіями.

Деякий час я виконував роль гібридного продукт-менеджера/інженера – я працював з клієнтами, щоб зрозуміти їхні проблеми, та проектував продукти та функції як продукт-менеджер. Потім я брав вимоги до продукту та працював з інженерною командою над створенням продукту або функції. З часом я робив це з більшим набором продуктів в Astronomer, що врешті-решт привело мене до посади технічного директора, яку я зараз займаю.

Для користувачів, які незнайомі з Airflow, можете ви пояснити, що робить його ідеальною платформою для програмного авторингу, планування та моніторингу робочих процесів?

Apache Airflow є відкритою платформою для розробки, планування та моніторингу пакетно-орієнтованих робочих процесів. Airflow забезпечує можливості управління робочими процесами, які є невід’ємною частиною сучасних хмарно-орієнтованих платформ даних. Він автоматизує виконання завдань, координує залежності між завданнями та надає організаціям центральну точку контролю для моніторингу та управління робочими процесами.

Архітектори платформ даних використовують Airflow для автоматизації переміщення та обробки даних через різні системи, управління складними потоками даних та забезпечення гнучкого планування, моніторингу та оповіщення. Всі ці функції дуже корисні для сучасних команд даних, але те, що робить Airflow ідеальною платформою, полягає в тому, що це відкритий проєкт – тобто існує спільнота користувачів та розробників Airflow, які постійно працюють над вдосконаленням платформи, вирішенням проблем та обміні найкращими практиками.

Airflow також має багато інтеграцій з популярними базами даних, додатками та інструментами, а також десятки хмарних сервісів — і щомісяця додаються нові.

Як Astronomer використовує Airflow для внутрішніх процесів?

Ми використовуємо Airflow дуже багато! Очевидно, що в нас є власна команда даних, яка використовує Airflow для доставки даних бізнесу та нашим клієнтам. У них є досить складне інструментарій, який вони побудували навколо Airflow, і ми використали це як джерело натхнення для розвитку функцій на платформі.

Ми також використовуємо Airflow для деяких досить нетрадиційних випадків використання, але він працює дуже добре. Наприклад, наша команда CRE використовує Airflow для моніторингу сотень кластерів Kubernetes та тисяч розгортань Airflow, які ми запускаємо від імені наших клієнтів. Їхні конвеєри постійно працюють, щоб перевірити наявність проблем, і якщо ми помітимо якісь, ми відкриємо проактивні підтримкові тикети від імені наших клієнтів.

Я навіть використовував Airflow для особистих випадків використання. Мій улюблений випадок (на сьогодні) був тоді, коли я переїжджав до Нью-Йорка. Якщо ви коли-небудь жили тут, ви знаєте, що ринок оренди квартир просто божевільний. Квартири орендуються протягом декількох годин після їхнього розміщення. Мої співмешканці та я мали список критеріїв, яких ми всі погодилися (місцезнаходження, кількість спалень, ванних кімнат тощо), і я побудував граф Airflow, який запускався кожні кілька хвилин, витягував нові списки з різних сайтів оренди квартир та надсилав мені повідомлення (дякую, Twilio!), щоразу, коли з’являлося щось нове, що відповідало нашим критеріям. Квартира, в якій я зараз живу, була знайдена завдяки Airflow!

Astronomer розробила Astro, сучасну платформу оркестрації даних, яка працює на основі Airflow. Чи можете ви поділитися з нами, як цей інструмент дозволяє компаніям легко розмістити Airflow в центрі своїх операцій з даними?

Astro дозволяє організаціям та, зокрема, інженерам даних, вченим-дата-аналітикам та аналітикам даних будувати, запускати та розширювати свої критично важливі потоки даних на єдиній платформі для всіх потоків даних. Це єдина керована служба Airflow, яка забезпечує високий рівень безпеки та захисту даних та допомагає компаніям розширювати свої розгортання та звільняти ресурси для концентрації на своїх основних бізнес-цілях.

Одна з наших клієнтів, Anastasia, передова технологічна компанія, вибрала Astro для керування Airflow, оскільки в них не вистачало часу чи ресурсів для підтримки Airflow самостійно. Astro працює на задньому плані, щоб команди могли зосередитися на основних бізнес-діяльностях, а не витрачати час на несвідому діяльність, таку як керування Airflow.

Одна з основних складових Astro – еластична масштабованість, можете ви визначити, що це таке та чому воно важливо для хмарних обчислень?

Для нас це просто означає нашу здатність задовольняти вимоги наших клієнтів щодо обчислювальних ресурсів без постійного запуску великої кількості інфраструктури. Наші клієнти використовують нашу платформу для різноманітних випадків використання, більшість з яких мають високі вимоги до обчислень (навчання моделей машинного навчання, обробка великих даних тощо). Одним з основних цінностей Astronomer є те, що клієнтам не потрібно думати про машини, які запускають їхні конвеєри. Клієнти розгортають свої конвеєри в Astro, і можуть очікувати, що вони працюватимуть. Ми побудували набір функцій та систем, які допомагають масштабувати нашу інфраструктуру для задоволення змінних вимог наших клієнтів, і це те, над чим ми хочемо продовжувати працювати в майбутньому.

Ви були відповідальними за те, що команда Astronomer побудувала Ask-Astro, чат-бот на основі LLM для Apache Airflow. Чи можете ви поділитися з нами подробицями про те, що таке Ask-Astro та які LLM використовуються для його роботи?

Наша команда в Astronomer має деяких з найбільш освічених членів спільноти Airflow, і ми хотіли зробити їхні знання більш доступними. Для цього ми створили референс-імплементацію архітектури Andreessen Horowitz для застосунків LLM, яка показує найбільш поширені системи, інструменти та шаблони проектування, які вони бачили у стартапах з штучним інтелектом та розвинених технологічних компаніях. Ми почали з деякими обґрунтованими думками про цю референс-імплементацію, а Apache Airflow також грає центральну роль в архітектурі. Ask Astro – це реальний приклад того, як склеїти всі різні частини разом.

Ask Astro – це не просто ще один чат-бот. Команда Astronomer вибрала розробити додаток відкрито та регулярно публікувати про виклики, ідеї та рішення, щоб розвинути інституціональні знання від імені спільноти. Які були деякі з найбільших викликів, з якими команда зіткнулася?

Найбільшим викликом була відсутність чітких рекомендацій у спільноті. Через те, що “стан мистецтва” переозначався кожну хвилину, було складно зрозуміти, як підходити до певних проблем (інгестія документів, вибір моделі, вимірювання точності виводу тощо). Це був ключовий фактор для нас, щоб побудувати Ask Astro відкрито. Ми хотіли створити набір практик для оркестрації LLM, які працюють добре для різних випадків використання, щоб наші клієнти та спільнота могли відчувати себе добре підготовленими до прийняття технологій LLM та генерації штучного інтелекту.

Це виявилося чудовим вибором – інструмент sám отримує багато використання, ми виголосили кілька публічних доповідей про те, як будувати застосунки LLM, і ми навіть почали працювати з вибраною групою клієнтів над розгортанням внутрішніх версій Ask Astro!

Яке ваше особисте бачення майбутнього Airflow та Astronomer?

Я дуже захоплений майбутнім як Airflow, так і Astronomer. Спільнота Airflow продовжує розвиватися, а в Astronomer ми зобов’язані підтримувати її розвиток, забезпечення підтримки та зв’язку між командами та індивідуумами.

З підвищенням попиту на дані, що базуються на даних, та зростанням кількості джерел даних, інженерам даних доводиться виконувати складну роботу. Ми хочемо полегшити їм роботу та дати їм змогу інтегрувати та керувати складними даними у великому масштабі. Сьогодні це також означає підтримку впровадження штучного інтелекту. У 2023 році, як і багато інших компаній, ми зосередилися на тому, як ми можемо прискорити використання штучного інтелекту для наших клієнтів. Наша платформа, Astro, прискорює розгортання штучного інтелекту, спрощує розвиток машинного навчання та забезпечує потужні обчислювальні можливості, необхідні для наступних поколінь застосунків. Штучний інтелект продовжуватиме бути нашим фокусом цього року, і ми підтримуватимемо наших клієнтів, коли з’являться нові технології та框ові.

Крім того, Astronomer – це чудове місце для роботи та кар’єрного росту. Коли ландшафт даних продовжує еволюціонувати, робота тут стає все більш цікавою. Ми будуємо чудову команду та маємо багато технічних викликів для вирішення. Ми також недавно перенесли наш головний офіс до Нью-Йорка, де ми можемо стати ще більш частиною технологічної спільноти, яка існує там, і ми будемо краще підготовлені до приваблення найкращих, найбільш кваліфікованих талантів у галузі. Якщо ви зацікавлені приєднатися до команди, щоб допомогти нам доставити дані світу вчасно, зверніться до нас!

Дякуємо за чудовий інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Astronomer.