Julian LaNeve, CTO en Astronomer – Serie de entrevistas

Julian LaNeve es el Director Técnico (CTO) en Astronomer, la fuerza impulsora detrás de Apache Airflow y la orquestación de datos moderna para alimentar desde la inteligencia artificial hasta el análisis general.

Julian se encarga del producto y la ingeniería en Astronomer, donde se enfoca en la experiencia del desarrollador, la observabilidad de los datos y la inteligencia artificial. También es el autor de Cosmos, un proveedor de Airflow para ejecutar proyectos de dbt Core como DAGs de Airflow.

Está apasionado por todo lo relacionado con los datos y el código abierto, ya que dedica su tiempo libre a hacer hackatones, prototipar nuevos proyectos y explorar lo último en datos.

¿Podrías compartir tu historia personal de cómo te involucraste con la ingeniería de software y llegaste a ser CTO de Astronomer?

He estado programando desde que estaba en la escuela secundaria. Para mí, la ingeniería siempre ha sido una gran salida creativa: puedo pensar en una idea y utilizar cualquier tecnología necesaria para construir hacia una visión. Después de pasar algún tiempo en ingeniería, sin embargo, quería hacer más. Quería entender cómo se dirigen los negocios, cómo se venden los productos y cómo se construyen los equipos –– y quería aprender rápidamente.

Pasé unos años trabajando en consultoría de gestión en BCG, donde trabajé en una amplia variedad de proyectos en diferentes industrias. Aprendí mucho, pero al final me faltaba construir productos y trabajar hacia una visión a largo plazo. Decidí unirme al equipo de gestión de productos de Astronomer, donde podía trabajar con clientes y construir estrategias (las cosas que disfrutaba de la consultoría), pero también podía involucrarme en la construcción del producto y trabajar con la tecnología.

Durante un tiempo, actué como un híbrido de PM/ingeniero –– trabajaba con clientes para entender los desafíos que enfrentaban y diseñaba productos y características como PM. Luego, tomaba los requisitos del producto y trabajaba con el equipo de ingeniería para construir el producto o la característica. Con el tiempo, hice esto con un conjunto más grande de productos en Astronomer, lo que finalmente me llevó al rol de CTO que tengo ahora.

Para los usuarios que no están familiarizados con Airflow, ¿podrías explicar qué lo hace la plataforma ideal para autorizar, programar y monitorear flujos de trabajo de manera programática?

Apache Airflow es una plataforma de código abierto para desarrollar, programar y monitorear flujos de trabajo orientados a batch. Airflow proporciona las capacidades de gestión de flujos de trabajo que son integrales para las plataformas de datos nativas de la nube modernas. Automatiza la ejecución de trabajos, coordina las dependencias entre tareas y da a las organizaciones un punto central de control para monitorear y gestionar flujos de trabajo.

Los arquitectos de plataformas de datos aprovechan Airflow para automatizar el movimiento y el procesamiento de datos a través de y entre sistemas diversos, gestionando flujos de datos complejos y proporcionando programación flexible, monitoreo y alertas. Todas estas características son extremadamente útiles para los equipos de datos modernos, pero lo que hace que Airflow sea la plataforma ideal es que es un proyecto de código abierto –– lo que significa que hay una comunidad de usuarios y contribuyentes de Airflow que están trabajando constantemente para desarrollar aún más la plataforma, resolver problemas y compartir las mejores prácticas.

Airflow también tiene muchas integraciones de datos con bases de datos populares, aplicaciones y herramientas, así como decenas de servicios en la nube — y se agregan más cada mes.

¿Cómo utiliza Astronomer Airflow para procesos internos?

¡Lo usamos mucho! Naturalmente, tenemos nuestro propio equipo de datos que utiliza Airflow para entregar datos al negocio y a nuestros clientes. Tienen algunas herramientas muy sofisticadas que han construido alrededor de Airflow que hemos utilizado como inspiración para el desarrollo de características en la plataforma en general.

También usamos Airflow para algunos casos de uso poco tradicionales, pero funciona muy bien. Por ejemplo, nuestro equipo de CRE utiliza Airflow para monitorear los cientos de clústeres de Kubernetes y los miles de implementaciones de Airflow que ejecutamos en nombre de nuestros clientes. Sus pipelines se ejecutan constantemente para buscar problemas, y si notamos alguno, abriremos tickets de soporte proactivos en nombre de nuestros clientes.

Incluso he utilizado Airflow para casos de uso personales. Mi favorito (hasta la fecha) fue cuando me mudé a la ciudad de Nueva York. Si alguna vez has vivido aquí, sabrás que el mercado de alquiler es una locura. Los apartamentos se alquilan en cuestión de horas después de que se publiquen. Mis compañeros de habitación y yo teníamos una lista de criterios que todos acordamos (ubicación, número de dormitorios, baños, etc.), y construí un DAG de Airflow que se ejecutaba cada pocos minutos, extraía nuevos listados de varios sitios web de listados de apartamentos y me enviaba un mensaje de texto (gracias, Twilio) cada vez que había algo nuevo que coincidía con nuestros criterios. El apartamento en el que ahora vivo fue encontrado gracias a Airflow.

Astronomer diseñó Astro, una plataforma de orquestación de datos moderna, impulsada por Airflow. ¿Podrías compartir con nosotros cómo esta herramienta permite a las empresas colocar Airflow en el núcleo de sus operaciones de datos de manera sencilla?

Astro permite a las organizaciones y, más específicamente, a los ingenieros de datos, científicos de datos y analistas de datos, construir, ejecutar y crecer sus flujos de datos críticos en una sola plataforma para todos sus flujos de datos. Es el único servicio administrado de Airflow que proporciona altos niveles de seguridad y protección de datos y ayuda a las empresas a escalar sus implementaciones y liberar recursos para centrarse en sus objetivos comerciales generales.

Uno de nuestros clientes, Anastasia, una empresa de tecnología de vanguardia, eligió Astro para administrar Airflow porque no tenían suficiente tiempo ni recursos para mantener Airflow por su cuenta. Astro funciona en el backend para que los equipos puedan centrarse en las actividades comerciales principales, en lugar de pasar tiempo en actividades no diferenciadas como la administración de Airflow.

Uno de los componentes principales de Astro es la escalabilidad elástica, ¿podrías definir qué es y por qué es importante para los entornos de computación en la nube?

Para nosotros, esto simplemente significa nuestra capacidad para satisfacer las demandas de cómputo de nuestros clientes sin ejecutar mucha infraestructura todo el tiempo. Nuestros clientes utilizan nuestra plataforma para una amplia variedad de casos de uso, la mayoría de los cuales tienen requisitos de cómputo altos (entrenamiento de modelos de aprendizaje automático, procesamiento de grandes datos, etc.). Una de las propuestas de valor principales de Astronomer es que, como cliente, no tienes que pensar en las máquinas que ejecutan tus flujos de trabajo. Despliegas tus flujos de trabajo en Astro y puedes esperar que funcionen. Hemos construido un conjunto de características y sistemas que ayudan a escalar nuestra infraestructura para satisfacer las demandas cambiantes de nuestros clientes, y es algo en lo que estamos emocionados de seguir trabajando en el futuro.

Erás responsable de que el equipo de Astronomer construyera Ask-Astro, el chatbot con tecnología LLM para Apache Airflow. ¿Podrías compartir con nosotros detalles sobre qué es Ask-Astro y las LLM que lo impulsan?

Nuestro equipo en Astronomer tiene algunos de los miembros de la comunidad de Airflow más conocedores y queríamos hacer que sea más fácil compartir su conocimiento. Para hacerlo, creamos una implementación de referencia de las Arquitecturas Emergentes de Andreessen Horowitz para Aplicaciones de LLM, que muestra los sistemas, herramientas y patrones de diseño más comunes que han visto utilizados por startups de inteligencia artificial y empresas de tecnología sofisticadas. Comenzamos con algunas opiniones informadas sobre esta implementación de referencia y Apache Airflow también juega un papel central en la arquitectura. Ask Astro es una referencia real para mostrar cómo unir todos los diferentes componentes.

Ask Astro es más que solo otro chatbot. El equipo de Astronomer eligió desarrollar la aplicación de manera abierta y publicar regularmente sobre desafíos, ideas y soluciones para desarrollar el conocimiento institucional en nombre de la comunidad. ¿Cuáles fueron algunos de los desafíos más grandes que enfrentó el equipo?

El desafío más grande fue la falta de prácticas recomendadas claras en la comunidad. Debido a que “el estado del arte” se redefine cada semana, era difícil entender cómo abordar ciertos problemas (ingestión de documentos, selección de modelos, medición de precisión de salida, etc.). Esto fue un factor clave para que construyéramos Ask Astro de manera abierta. Queríamos establecer un conjunto de prácticas para la orquestación de LLM que funcionen bien para varios casos de uso para que nuestros clientes y la comunidad puedan sentirse bien preparados para adoptar tecnologías de inteligencia artificial generativa y LLM.

Ha demostrado ser una excelente elección –– la herramienta en sí recibe mucha utilización, hemos dado varias charlas públicas sobre cómo construir aplicaciones de LLM y hemos comenzado a trabajar con un grupo selecto de clientes para implementar versiones internas de Ask Astro.

¿Cuál es tu visión personal para el futuro de Airflow y Astronomer?

Estoy muy emocionado sobre el futuro de Airflow y Astronomer. La comunidad de Airflow sigue creciendo y en Astronomer estamos comprometidos con fomentar su desarrollo, soporte y conexión entre equipos e individuos.

Con la creciente demanda de información basada en datos y la afluencia de fuentes de datos, los ingenieros de datos tienen un trabajo desafiante. Queremos aliviar la carga para estos individuos y equipos al capacitarlos para integrar y gestionar datos complejos a gran escala. Hoy en día, esto también significa apoyar la adopción de la inteligencia artificial. En 2023, como muchas otras empresas, nos centramos en cómo podemos acelerar el uso de la inteligencia artificial para nuestros clientes. Nuestra plataforma, Astro, acelera la implementación de la inteligencia artificial, simplifica el desarrollo de aprendizaje automático y proporciona la potencia de cómputo robusta necesaria para aplicaciones de próxima generación. La inteligencia artificial seguirá siendo un enfoque para nosotros este año y apoyaremos a nuestros clientes a medida que surgen nuevas tecnologías y marcos.

Además, Astronomer es un excelente lugar para trabajar y crecer en tu carrera. A medida que el paisaje de los datos sigue evolucionando, trabajar aquí se vuelve más y más emocionante. Estamos construyendo un gran equipo aquí y tenemos muchos desafíos técnicos que resolver. También nos mudamos recientemente a la ciudad de Nueva York, donde podemos convertirnos en una parte aún mayor de la comunidad tecnológica que existe allí y estaremos mejor equipados para atraer a los mejores y más habilidosos talentos de la industria. Si estás interesado en unirte al equipo para ayudarnos a entregar los datos del mundo a tiempo, ¡no dudes en hacernos saber!

Gracias por la excelente entrevista, los lectores que deseen aprender más pueden visitar Astronomer.