Julian LaNeve, CTO da Astronomer – Série de entrevistas

juliano LaNeveGenericName é o Diretor Técnico (CTO) da Astrônomo, a força motriz por trás do Apache Airflow e da orquestração de dados moderna para potencializar tudo, desde IA até análises gerais.

Julian trabalha como produto e engenharia na Astronomer, onde se concentra na experiência do desenvolvedor, observabilidade de dados e IA. Ele também é autor de Cosmos, um provedor do Airflow para executar projetos dbt Core como DAGs do Airflow.

Ele é apaixonado por dados e código aberto e passa seu tempo livre fazendo hackathons, criando protótipos de novos projetos e explorando o que há de mais recente em dados.

Você poderia compartilhar sua história pessoal de como se envolveu com engenharia de software e se tornou CTO da Astronomer?

Eu tenho programado desde o ensino médio. Para mim, a engenharia sempre foi uma grande saída criativa: posso ter uma ideia e usar qualquer tecnologia necessária para construir uma visão. Depois de passar algum tempo na engenharia, porém, eu queria fazer mais. Eu queria entender como os negócios são administrados, como os produtos são vendidos e como as equipes são formadas – e queria aprender rapidamente.

Passei alguns anos trabalhando em consultoria de gestão no BCG, onde trabalhei em diversos projetos em diferentes setores. Aprendi muito, mas acabei sentindo falta de construir produtos e trabalhar em direção a uma visão de longo prazo. Decidi ingressar na equipe de gerenciamento de produtos da Astronomer, onde ainda poderia trabalhar com clientes e construir estratégias (coisas que gostei da consultoria), mas também poderia colocar a mão na massa na construção do produto real e no trabalho com tecnologia.

Por um tempo, atuei como PM/engenheiro híbrido – trabalhava com os clientes para entender os desafios que eles enfrentavam e projetar produtos e recursos como PM. Então, eu pegaria os requisitos do produto e trabalharia com a equipe de engenharia para realmente desenvolver o produto ou recurso. Com o tempo, fiz isso com um conjunto maior de produtos na Astronomer, o que acabou me levando à função de CTO em que estou agora.

Para usuários que não estão familiarizados com o Airflow, você pode explicar o que o torna a plataforma ideal para criar, agendar e monitorar fluxos de trabalho de maneira programática?

Fluxo de ar Apache é uma plataforma de código aberto para desenvolver, agendar e monitorar fluxos de trabalho orientados a lote. O Airflow fornece recursos de gerenciamento de fluxo de trabalho que são essenciais para plataformas de dados modernas nativas da nuvem. Ele automatiza a execução de trabalhos, coordena dependências entre tarefas e oferece às organizações um ponto central de controle para monitorar e gerenciar fluxos de trabalho.

Os arquitetos de plataformas de dados aproveitam o Airflow para automatizar a movimentação e o processamento de dados por meio de diversos sistemas, gerenciando fluxos de dados complexos e fornecendo agendamento, monitoramento e alertas flexíveis. Todos esses recursos são extremamente úteis para equipes de dados modernas, mas o que torna o Airflow a plataforma ideal é que ele é um projeto de código aberto –– o que significa que há uma comunidade de usuários e colaboradores do Airflow que estão constantemente trabalhando para desenvolver ainda mais a plataforma, resolver problemas e compartilhar melhores práticas.

O Airflow também tem muitas integrações de dados com bancos de dados, aplicativos e ferramentas populares, bem como dezenas de serviços em nuvem – e mais são adicionados todos os meses.

Como o Astronomer usa o Airflow para processos internos?

Usamos muito o Airflow! Naturalmente, temos nossa própria equipe de dados que usa o Airflow para fornecer dados à empresa e aos nossos clientes. Eles têm algumas ferramentas bastante sofisticadas que construíram em torno do Airflow e que usamos como inspiração para o desenvolvimento de recursos na plataforma mais ampla.

Também usamos o Airflow para alguns casos de uso pouco tradicionais, mas ele funciona muito bem. Por exemplo, nossa equipe CRE usa o Airflow para monitorar centenas de clusters Kubernetes e milhares de implantações do Airflow que executamos em nome de nossos clientes. Seus pipelines são executados constantemente para verificar problemas e, se detectarmos algum, abriremos tickets de suporte proativos em nome de nossos clientes.

Eu até usei o Airflow para casos de uso pessoal. Meu favorito (até agora) foi quando me mudei para Nova York. Se você já morou aqui, sabe que o mercado de aluguel é uma loucura. Os apartamentos são alugados poucas horas depois de serem listados. Meus colegas de quarto e eu tínhamos uma lista de critérios com os quais todos concordamos (localização, número de quartos, banheiros, etc.), e eu construí um Airflow DAG que funcionava a cada poucos minutos, extraí novas listagens de vários sites de listagem de apartamentos e me mandou uma mensagem ( obrigado Twilio!) sempre que havia algo novo que atendia aos nossos critérios. O apartamento em que moro agora foi encontrado graças ao Airflow!

Astrônomo projetado Astro, uma plataforma moderna de orquestração de dados, desenvolvida pelo Airflow. Você pode compartilhar conosco como essa ferramenta permite que as empresas coloquem facilmente o Airflow no centro de suas operações de dados?

O Astro permite que organizações e, mais especificamente, engenheiros de dados, cientistas de dados e analistas de dados, construam, executem e aumentem seus pipelines de dados de missão crítica em uma única plataforma para todos os seus fluxos de dados. É o único serviço gerenciado do Airflow que oferece altos níveis de segurança e proteção de dados e ajuda as empresas a dimensionar suas implantações e liberar recursos para se concentrarem em seus objetivos de negócios abrangentes.

Um de nossos clientes, Anastasia, uma empresa de tecnologia de ponta, escolheu a Astro para gerenciar o Airflow porque não tinha tempo ou recursos suficientes para manter o Airflow por conta própria. O Astro trabalha no back-end para que as equipes possam se concentrar nas atividades principais do negócio, em vez de gastar tempo em atividades indiferenciadas, como o gerenciamento do Airflow.

Um dos principais componentes do Astro é a escalabilidade elástica. Você poderia definir o que é e por que é importante para ambientes de computação em nuvem?

Para nós, isso significa apenas nossa capacidade de atender às demandas de computação de nossos clientes sem ter que executar uma grande quantidade de infraestrutura o tempo todo. Nossos clientes usam nossa plataforma para uma ampla variedade de casos de uso, a maioria dos quais com altos requisitos de computação (treinamento de modelos de aprendizado de máquina, processamento de big data, etc.). Uma das principais propostas de valor do Astronomer é que, como cliente, você não precisa pensar nas máquinas que executam seus pipelines. Você implanta seus pipelines no Astro e pode esperar que funcionem. Construímos um conjunto de recursos e sistemas que ajudam a dimensionar nossa infraestrutura para atender às demandas em constante mudança de nossos clientes, e é algo que estamos entusiasmados em continuar desenvolvendo no futuro.

Você foi responsável pela equipe do Astronomer na construção do Ask-Astro, o chatbot com tecnologia LLM para Apache Airflow. Você pode compartilhar conosco detalhes sobre o que é o Ask-Astro e os LLMs que o alimentam?

Nossa equipe no Astronomer conta com alguns dos membros mais experientes da comunidade Airflow e queríamos facilitar o compartilhamento de seus conhecimentos. Para fazer isso, criamos uma implementação de referência de Emerging Architectures for LLM Applications de Andreessen Horowitz, que mostra os sistemas, ferramentas e padrões de design mais comuns usados ​​por startups de IA e empresas de tecnologia sofisticadas. Começamos com algumas opiniões informadas sobre esta implementação de referência e o Apache Airflow também desempenha um papel central na arquitetura. Ask Astro é uma referência da vida real que mostra como colar todas as peças.

Ask Astro é mais do que apenas mais um chatbot. A equipe do Astrônomo optou por desenvolver o aplicativo de forma aberta e postar regularmente sobre desafios, ideias e soluções, a fim de desenvolver o conhecimento institucional em nome da comunidade. Quais foram alguns dos maiores desafios que a equipe enfrentou?

O maior desafio foi a falta de melhores práticas claras na comunidade. Como o “estado da arte” era redefinido a cada semana, era difícil entender como abordar determinados problemas (ingestão de documentos, seleção de modelos, medição de precisão de saída, etc.). Este foi um fator-chave para construirmos Pergunte ao Astro na abertura. Queríamos estabelecer um conjunto de práticas para orquestração de LLM que funcionassem bem para vários casos de uso, para que nossos clientes e comunidade pudessem se sentir bem preparados para adotar LLMs e tecnologias generativas de IA.

Provou ser uma ótima escolha –– a ferramenta em si é muito utilizada, demos várias palestras públicas sobre como construir aplicativos LLM e até começamos a trabalhar com um grupo seleto de clientes para lançar versões internas de Pergunte ao Astro!

 Qual é a sua visão pessoal para o futuro do Airflow e do Astronomer?

Estou muito animado com o futuro do Airflow e do Astronomer. A comunidade Airflow continua a crescer e na Astronomer estamos comprometidos em promover seu desenvolvimento, suporte e conexão entre equipes e indivíduos.

Com a crescente demanda por insights baseados em dados e um fluxo de fontes de dados, os engenheiros de dados têm um trabalho desafiador. Queremos aliviar a carga desses indivíduos e equipes, capacitando-os para integrar e gerenciar dados complexos em escala. Hoje, isto também significa apoiar a adoção e implementação da IA. Em 2023, tal como muitas outras empresas, concentrámo-nos em como podemos acelerar a utilização da IA ​​pelos nossos clientes. Nossa plataforma, Astro, acelera a implantação de IA, agiliza o desenvolvimento de ML e fornece o poder de computação robusto necessário para aplicativos de próxima geração. A IA continuará a ser um foco para nós este ano e apoiaremos nossos clientes à medida que novas tecnologias e estruturas surgirem.

Além disso, o Astronomer é um ótimo lugar para trabalhar e desenvolver uma carreira. À medida que o cenário de dados continua evoluindo, trabalhar aqui fica cada vez mais emocionante. Estamos construindo uma grande equipe aqui e temos muitos desafios técnicos para resolver. Também mudamos recentemente a nossa sede para a cidade de Nova Iorque, onde poderemos tornar-nos uma parte ainda maior da comunidade tecnológica que lá existe e estaremos mais bem equipados para atrair os melhores e mais qualificados talentos do setor. Se você estiver interessado em se juntar à equipe para nos ajudar a entregar os dados do mundo dentro do prazo, entre em contato!

Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar Astrônomo.