Джуліан ЛаНів, технічний директор компанії Astronomer – серія інтерв’ю

Джуліан LaNeve є головним технічним директором (CTO) в Астроном, рушійна сила Apache Airflow і сучасної оркестровки даних для роботи в усіх сферах, від ШІ до загальної аналітики.

Джуліан займається розробкою продуктів і розробкою в Astronomer, де він зосереджується на досвіді розробників, можливості спостереження за даними та ШІ. Він також є автором Космос, постачальник Airflow для запуску проектів dbt Core як Airflow DAG.

Його захоплює все, що пов’язано з даними та відкритим вихідним кодом, оскільки він проводить свій вільний час, проводячи хакатони, прототипуючи нові проекти та досліджуючи останні дані.

Чи могли б ви поділитися своєю особистою історією про те, як ви зайнялися розробкою програмного забезпечення та пройшли свій шлях до посади технічного директора компанії Astronom?

Я кодую ще в середній школі. Для мене інженерія завжди була чудовою віддушиною для творчості: я можу придумати ідею та використати будь-яку технологію, необхідну для створення бачення. Проте, провівши деякий час у інженерії, я захотів зробити більше. Я хотів зрозуміти, як ведеться бізнес, як продаються продукти та як створюються команди – і я хотів швидко вчитися.

Я провів кілька років, працюючи в управлінському консалтингу в BCG, де працював над різноманітними проектами в різних галузях. Я багато чого навчився, але зрештою пропустив створення продуктів і роботу над довгостроковим баченням. Я вирішив приєднатися до команди управління продуктами Astronomer, де я все ще міг працювати з клієнтами та розробляти стратегії (те, що мені подобалося під час консультацій), але також міг отримати практичні навички створення фактичного продукту та роботи з технологіями.

Деякий час я виконував функції гібрида PM/інженера – я працював із клієнтами, щоб зрозуміти проблеми, з якими вони стикаються, і розробляти продукти та функції як PM. Потім я взяв би вимоги до продукту та працював би з командою інженерів, щоб створити продукт або функцію. Згодом я зробив це з більшим набором продуктів у Astronomer, що зрештою призвело до посади технічного директора, яку я зараз займаю.

Для користувачів, які не знайомі з Airflow, чи можете ви пояснити, що робить його ідеальною платформою для програмного створення, планування та моніторингу робочих процесів?

Потік повітря Apache це платформа з відкритим кодом для розробки, планування та моніторингу пакетно-орієнтованих робочих процесів. Airflow надає можливості керування робочим процесом, які є невід’ємною частиною сучасних хмарних платформ даних. Він автоматизує виконання завдань, координує залежності між завданнями та надає організаціям центральну точку контролю для моніторингу та керування робочими процесами.

Архітектори платформи даних використовують Airflow для автоматизації переміщення та обробки даних через різноманітні системи, керування складними потоками даних і забезпечення гнучкого планування, моніторингу та оповіщення. Усі ці функції надзвичайно корисні для сучасних груп обробки даних, але ідеальною платформою Airflow є те, що це проект із відкритим кодом – це означає, що існує спільнота користувачів Airflow і учасників, які постійно працюють над подальшим розвитком платформи, вирішувати проблеми та ділитися передовим досвідом.

Airflow також має багато інтеграцій даних із популярними базами даних, програмами та інструментами, а також десятки хмарних служб — і щомісяця додається більше.

Як Astronomer використовує Airflow для внутрішніх процесів?

Ми масово використовуємо Airflow! Природно, у нас є власна команда обробки даних, яка використовує Airflow для доставки даних компанії та нашим клієнтам. У них є досить складні інструменти, створені навколо Airflow, які ми надихнули на розробку функцій на ширшій платформі.

Ми також використовуємо Airflow для деяких досить нетрадиційних випадків використання, але він працює дуже добре. Наприклад, наша команда CRE використовує Airflow для моніторингу сотень кластерів Kubernetes і тисяч розгортань Airflow, які ми запускаємо від імені наших клієнтів. Їхні конвеєри постійно працюють, щоб перевірити наявність проблем, і якщо ми помітимо такі, ми відкриємо проактивну заявку на підтримку від імені наших клієнтів.

Я навіть використовував Airflow для особистих справ. Мій улюблений (на сьогоднішній день) був, коли я переїжджав до Нью-Йорка. Якщо ви коли-небудь жили тут, ви знаєте, що ринок оренди божевільний. Квартири здають в оренду протягом кількох годин після того, як їх опублікували. У мене та моїх сусідів по кімнаті був список критеріїв, про які ми всі погодилися (розташування, кількість спалень, ванних кімнат тощо), і я створив Airflow DAG, який запускався кожні кілька хвилин, отримував нові списки з різних сайтів зі списком квартир і надсилав мені повідомлення ( дякую Twilio!) кожного разу було щось нове, що відповідало нашим критеріям. Квартиру, в якій я зараз живу, знайшли завдяки Airflow!

Розроблено астрономом Астрономічний, сучасна платформа оркестровки даних на базі Airflow. Чи можете ви поділитися з нами, як цей інструмент дозволяє компаніям легко розмістити Airflow у центрі своїх операцій з даними?

Astro дозволяє організаціям, а точніше інженерам з обробки даних, науковцям із обробки даних і аналітикам даних, створювати, запускати та розвивати свої критично важливі конвеєри даних на єдиній платформі для всіх їхніх потоків даних. Це єдина керована служба Airflow, яка забезпечує високий рівень безпеки та захисту даних і допомагає компаніям масштабувати розгортання та звільняти ресурси, щоб зосередитися на своїх головних бізнес-цілях.

Один із наших клієнтів, Анастасія, передова технологічна компанія, вибрала Astro для керування Airflow, оскільки у них не було достатньо часу чи ресурсів, щоб підтримувати Airflow самостійно. Astro працює на серверній частині, щоб команди могли зосередитися на основній бізнес-діяльності, а не витрачати час на недиференційовану діяльність, як-от керування Airflow.

Одним із основних компонентів Astro є еластична масштабованість. Чи можете ви визначити, що це таке та чому це важливо для середовищ хмарних обчислень?

Для нас це просто означає нашу здатність задовольняти обчислювальні вимоги наших клієнтів, не запускаючи весь час масу інфраструктури. Наші клієнти використовують нашу платформу для різноманітних випадків використання, більшість із яких мають високі вимоги до обчислень (навчання навчання за допомогою машини моделі, обробка великих даних тощо). Однією з основних ціннісних пропозицій Astronomer є те, що вам, як клієнту, не потрібно думати про машини, які керують вашими конвеєрами. Ви розгортаєте свої конвеєри в Astro і можете очікувати, що вони працюватимуть. Ми створили набір функцій і систем, які допомагають масштабувати нашу інфраструктуру, щоб задовольнити мінливі вимоги наших клієнтів, і це те, що ми раді продовжувати розвивати в майбутньому.

Ви були відповідальними за створення команди астрономів Ask-Astro, чат-бота для Apache Airflow на основі LLM. Чи можете ви поділитися з нами подробицями про те, що таке Ask-Astro та магістерські програми, які його забезпечують?

У нашій команді в Astronomer є одні з найбільш обізнаних членів спільноти Airflow, і ми хотіли полегшити обмін їхніми знаннями. Для цього ми створили еталонну реалізацію «Нові архітектури для програм LLM» Андрессена Горовіца, яка показує найпоширеніші системи, інструменти та шаблони проектування, які вони бачили, що використовуються стартапами зі штучним інтелектом і складними технологічними компаніями. Ми почали з деяких обґрунтованих думок щодо цієї еталонної реалізації, і Apache Airflow також відіграє центральну роль в архітектурі. Ask Astro — це довідник із реального життя, який показує, як склеїти всі різні частини разом.

Ask Astro — це більше, ніж просто черговий чат-бот. Команда Astronomer вирішила розробити програму відкрито та регулярно публікувати повідомлення про проблеми, ідеї та рішення з метою розвитку інституційних знань від імені спільноти. З якими найбільшими проблемами зіткнулася команда?

Найбільшою проблемою була відсутність чітких передових практик у громаді. Оскільки «сучасний рівень» перевизначався щотижня, було важко зрозуміти, як підійти до певних проблем (завантаження документів, вибір моделі, вимірювання точності виведення тощо). Це було ключовим фактором для нас у створенні Запитайте Астро на відкритому повітрі. Ми хотіли створити набір практик оркестровки LLM, які добре працюють у різних випадках використання, щоб наші клієнти та спільнота могли відчувати себе добре підготовленими до впровадження LLM та генеративних технологій ШІ.

Доведено, що це чудовий вибір –– сам інструмент дуже часто використовується, ми провели кілька публічних доповідей про те, як створювати програми LLM, і ми навіть почали працювати з обраною групою клієнтів, щоб розгорнути внутрішні версії з Ask Astro!

 Яке ваше особисте бачення майбутнього Airflow і Astronomer?

Мене дуже хвилює майбутнє як Airflow, так і Astronomer. Спільнота Airflow продовжує зростати, і в Astronomer ми прагнемо сприяти її розвитку, підтримці та зв’язку між командами та окремими особами.

Із зростаючим попитом на аналітичну інформацію, що керується даними, і припливом джерел даних, перед інженерами обробки даних постає складна робота. Ми хочемо полегшити навантаження на цих людей і команди, надавши їм можливість інтегрувати та керувати складними даними в масштабі. Сьогодні це також означає підтримку прийняття та впровадження ШІ. У 2023 році, як і багато інших компаній, ми зосередилися на тому, як ми можемо прискорити використання ШІ для наших клієнтів. Наша платформа, Astro, прискорює розгортання штучного інтелекту, оптимізує розробку машинного навчання та забезпечує надійну обчислювальну потужність, необхідну для програм нового покоління. ШІ й надалі залишатиметься для нас у центрі уваги цього року, і ми підтримуватимемо наших клієнтів із появою нових технологій і фреймворків.

Крім того, Astronomer’s чудове місце для роботи та кар’єрного зростання. Оскільки ландшафт даних продовжує розвиватися, робота тут стає все більш захоплюючою. Ми створюємо тут чудову команду, і нам потрібно вирішити багато технічних проблем. Ми також нещодавно перенесли нашу штаб-квартиру до Нью-Йорка, де ми можемо стати ще більшою частиною технічної спільноти, яка існує там, і ми будемо краще підготовлені для залучення найкращих, найкваліфікованіших талантів у галузі. Якщо ви зацікавлені приєднатися до команди, щоб допомогти нам вчасно надавати дані по всьому світу, зв’яжіться!

Дякую за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати Астроном.