Julian LaNeve, CTO de Astronomer - Serie de entrevistas

Juliano laneve es el director técnico (CTO) de Astrónomo, la fuerza impulsora detrás de Apache Airflow y la orquestación de datos moderna para impulsar todo, desde la inteligencia artificial hasta el análisis general.

Julian se dedica a productos e ingeniería en Astronomer, donde se centra en la experiencia de los desarrolladores, la observabilidad de datos y la inteligencia artificial. También es el autor de cosmos, un proveedor de Airflow para ejecutar proyectos dbt Core como Airflow DAG.

Le apasiona todo lo relacionado con los datos y el código abierto y dedica su tiempo libre a realizar hackatones, crear prototipos de nuevos proyectos y explorar lo último en datos.

¿Podrías compartir tu historia personal sobre cómo te involucraste en la ingeniería de software y cómo llegaste a ser CTO de Astronomer?

He estado codificando desde que estaba en la escuela secundaria. Para mí, la ingeniería siempre ha sido una gran salida creativa: puedo tener una idea y utilizar cualquier tecnología necesaria para construir una visión. Sin embargo, después de pasar algún tiempo en ingeniería, quería hacer más. Quería entender cómo se gestionan las empresas, cómo se venden los productos y cómo se forman los equipos, y quería aprender rápidamente.

Pasé algunos años trabajando en consultoría de gestión en BCG, donde trabajé en una amplia variedad de proyectos en diferentes industrias. Aprendí muchísimo, pero al final me perdí la creación de productos y el trabajo hacia una visión a más largo plazo. Decidí unirme al equipo de gestión de productos de Astronomer, donde aún podía trabajar con clientes y crear estrategias (las cosas que disfrutaba de la consultoría), pero también podía desarrollar el producto real y trabajar con tecnología.

Durante un tiempo, actué como PM/ingeniero híbrido: trabajaba con los clientes para comprender los desafíos que enfrentaban y diseñar productos y características como PM. Luego, tomaría los requisitos del producto y trabajaría con el equipo de ingeniería para desarrollar el producto o característica. Con el tiempo, hice esto con un conjunto más amplio de productos en Astronomer, lo que finalmente me llevó al puesto de CTO en el que ocupo ahora.

Para los usuarios que no están familiarizados con Airflow, ¿puede explicar qué la convierte en la plataforma ideal para crear, programar y monitorear flujos de trabajo mediante programación?

Flujo de aire Apache es una plataforma de código abierto para desarrollar, programar y monitorear flujos de trabajo orientados por lotes. Airflow proporciona capacidades de gestión del flujo de trabajo que son parte integral de las plataformas de datos modernas nativas de la nube. Automatiza la ejecución de trabajos, coordina las dependencias entre tareas y brinda a las organizaciones un punto central de control para monitorear y administrar los flujos de trabajo.

Los arquitectos de plataformas de datos aprovechan Airflow para automatizar el movimiento y el procesamiento de datos a través de diversos sistemas, gestionando flujos de datos complejos y proporcionando programación, monitoreo y alertas flexibles. Todas estas características son extremadamente útiles para los equipos de datos modernos, pero lo que hace que Airflow sea la plataforma ideal es que es un proyecto de código abierto, lo que significa que hay una comunidad de usuarios y contribuyentes de Airflow que trabajan constantemente para seguir desarrollando la plataforma. resolver problemas y compartir mejores prácticas.

Airflow también tiene muchas integraciones de datos con bases de datos, aplicaciones y herramientas populares, así como docenas de servicios en la nube, y cada mes se agregan más.

¿Cómo utiliza Astronomer Airflow para los procesos internos?

¡Usamos Airflow muchísimo! Naturalmente, tenemos nuestro propio equipo de datos que utiliza Airflow para entregar datos a la empresa y a nuestros clientes. Tienen herramientas bastante sofisticadas que han creado en torno a Airflow y que hemos utilizado como inspiración para el desarrollo de funciones en la plataforma más amplia.

También utilizamos Airflow para algunos casos de uso poco tradicionales, pero funciona muy bien. Por ejemplo, nuestro equipo de CRE utiliza Airflow para monitorear los cientos de clústeres de Kubernetes y miles de implementaciones de Airflow que ejecutamos en nombre de nuestros clientes. Sus canales se ejecutan constantemente para verificar si hay problemas y, si detectamos alguno, abriremos tickets de soporte proactivo en nombre de nuestros clientes.

Incluso he usado Airflow para casos de uso personal. Mi favorito (hasta la fecha) fue cuando me mudé a la ciudad de Nueva York. Si alguna vez ha vivido aquí, sabrá que el mercado de alquiler es una locura. Los apartamentos se alquilan a las pocas horas de aparecer en la lista. Mis compañeros de cuarto y yo teníamos una lista de criterios que todos acordamos (ubicación, número de dormitorios, baños, etc.), y construí un DAG Airflow que se ejecutaba cada pocos minutos, extraía nuevos listados de varios sitios de listados de apartamentos y me enviaba mensajes de texto ( ¡gracias Twilio!) cada vez que había algo nuevo que coincidía con nuestros criterios. ¡El apartamento en el que vivo ahora lo encontré gracias a Airflow!

Astrónomo diseñado Astro, una moderna plataforma de orquestación de datos, impulsada por Airflow. ¿Puede compartir con nosotros cómo esta herramienta permite a las empresas colocar fácilmente Airflow en el centro de sus operaciones de datos?

Astro permite a las organizaciones y, más específicamente, a los ingenieros, científicos y analistas de datos, crear, ejecutar y hacer crecer sus canales de datos de misión crítica en una única plataforma para todos sus flujos de datos. Es el único servicio administrado de Airflow que proporciona altos niveles de seguridad y protección de datos y ayuda a las empresas a escalar sus implementaciones y liberar recursos para centrarse en sus objetivos comerciales generales.

Uno de nuestros clientes, Anastasia, una empresa de tecnología de vanguardia, eligió Astro para administrar Airflow porque no tenían suficiente tiempo ni recursos para mantener Airflow por su cuenta. Astro trabaja en el back-end para que los equipos puedan centrarse en las actividades comerciales principales, en lugar de dedicar tiempo a actividades no diferenciadas como la gestión de Airflow.

Uno de los componentes centrales de Astro es la escalabilidad elástica. ¿Podría definir qué es y por qué es importante para los entornos de computación en la nube?

Para nosotros, esto simplemente significa nuestra capacidad para satisfacer las demandas informáticas de nuestros clientes sin tener que ejecutar una gran cantidad de infraestructura todo el tiempo. Nuestros clientes utilizan nuestra plataforma para una amplia variedad de casos de uso, la mayoría de los cuales tienen altos requisitos informáticos (entrenamiento de modelos de aprendizaje automático, procesamiento de big data, etc.). Una de las principales propuestas de valor de Astronomer es que, como cliente, no tiene que pensar en las máquinas que ejecutan sus tuberías. Implementa sus canalizaciones en Astro y puede esperar que funcionen. Hemos creado un conjunto de características y sistemas que ayudan a escalar nuestra infraestructura para satisfacer las demandas cambiantes de nuestros clientes, y es algo que nos entusiasma seguir desarrollando en el futuro.

Usted fue responsable del equipo de Astronomer que creó Ask-Astro, el chatbot con tecnología LLM para Apache Airflow. ¿Puede compartir con nosotros detalles sobre qué es Ask-Astro y los LLM que lo impulsan?

Nuestro equipo en Astronomer cuenta con algunos de los miembros de la comunidad Airflow con más conocimientos y queríamos que fuera más fácil compartir sus conocimientos. Para hacerlo, creamos una implementación de referencia de Arquitecturas emergentes para aplicaciones LLM de Andreessen Horowitz, que muestra los sistemas, herramientas y patrones de diseño más comunes que han visto utilizados por nuevas empresas de IA y empresas de tecnología sofisticadas. Comenzamos con algunas opiniones informadas sobre esta implementación de referencia y Apache Airflow también juega un papel central en la arquitectura. Ask Astro es una referencia de la vida real que muestra cómo pegar todas las piezas.

Ask Astro es más que un chatbot más. El equipo de Astronomer optó por desarrollar la aplicación de forma abierta y publicar periódicamente sobre desafíos, ideas y soluciones para desarrollar conocimiento institucional en nombre de la comunidad. ¿Cuáles fueron algunos de los mayores desafíos que enfrentó el equipo?

El mayor desafío fue la falta de mejores prácticas claras en la comunidad. Debido a que el “estado del arte” se redefinía cada semana, era difícil entender cómo abordar ciertos problemas (ingesta de documentos, selección de modelos, medición de la precisión de la salida, etc.). Este fue un factor clave para que construyéramos Pregúntale a Astro En la abertura. Queríamos establecer un conjunto de prácticas para la orquestación de LLM que funcionen bien para diversos casos de uso para que nuestros clientes y la comunidad puedan sentirse bien preparados para adoptar LLM y tecnologías de IA generativa.

Ha demostrado ser una excelente opción: la herramienta en sí se usa muchísimo, hemos dado varias charlas públicas sobre cómo crear aplicaciones LLM e incluso hemos comenzado a trabajar con un grupo selecto de clientes para implementar versiones internas. de ¡Pregúntale a Astro!

 ¿Cuál es su visión personal para el futuro de Airflow y Astronomer?

Estoy muy entusiasmado con el futuro de Airflow y Astronomer. La comunidad Airflow continúa creciendo y en Astronomer estamos comprometidos a fomentar su desarrollo, apoyo y conexión entre equipos e individuos.

Con una demanda cada vez mayor de conocimientos basados ​​en datos y una afluencia de fuentes de datos, los ingenieros de datos se enfrentan a un trabajo desafiante. Queremos aligerar la carga de estas personas y equipos capacitándolos para integrar y gestionar datos complejos a escala. Hoy en día, esto también significa apoyar la adopción e implementación de la IA. En 2023, como muchas otras empresas, nos centramos en cómo acelerar el uso de la IA para nuestros clientes. Nuestra plataforma, Astro, acelera la implementación de la IA, agiliza el desarrollo del aprendizaje automático y proporciona la sólida potencia informática necesaria para las aplicaciones de próxima generación. La IA seguirá siendo un foco para nosotros este año y apoyaremos a nuestros clientes a medida que surjan nuevas tecnologías y marcos.

Además, Astronomer es un excelente lugar para trabajar y desarrollar una carrera. A medida que el panorama de los datos continúa evolucionando, trabajar aquí se vuelve cada vez más emocionante. Estamos formando un gran equipo aquí y tenemos muchos desafíos técnicos que resolver. También trasladamos recientemente nuestra sede a la ciudad de Nueva York, donde podemos convertirnos en una parte aún mayor de la comunidad tecnológica que existe allí y estaremos mejor equipados para atraer a los mejores y más capacitados talentos de la industria. Si está interesado en unirse al equipo para ayudarnos a entregar los datos del mundo a tiempo, ¡comuníquese con nosotros!

Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar Astrónomo.