Julian LaNeve, CTO da Astronomer – Série de Entrevistas

Julian LaNeve é o Diretor Técnico (CTO) da Astronomer, a força motriz por trás do Apache Airflow e da orquestração de dados moderna para alimentar tudo, desde IA até análise de dados em geral.

Julian trabalha com produtos e engenharia na Astronomer, onde se concentra em experiência do desenvolvedor, observabilidade de dados e IA. Ele também é autor do Cosmos, um provedor de Airflow para executar projetos dbt Core como DAGs do Airflow.

Ele é apaixonado por tudo relacionado a dados e código aberto, pois passa seu tempo livre participando de hackathons, prototipando novos projetos e explorando as últimas novidades em dados.

Poderia compartilhar sua história pessoal de como se envolveu com engenharia de software e trabalhou seu caminho até se tornar CTO da Astronomer?

Eu comecei a programar desde o ensino fundamental. Para mim, a engenharia sempre foi uma ótima saída criativa: eu posso criar uma ideia e usar qualquer tecnologia necessária para construir em direção a uma visão. Depois de passar algum tempo em engenharia, no entanto, eu queria fazer mais. Eu queria entender como as empresas são administradas, como os produtos são vendidos e como as equipes são construídas – e eu queria aprender rapidamente.

Passei alguns anos trabalhando em consultoria de gestão na BCG, onde trabalhei em uma ampla variedade de projetos em diferentes indústrias. Aprendi muito, mas, no final, senti falta de construir produtos e trabalhar em direção a uma visão de longo prazo. Decidi me juntar à equipe de gerenciamento de produtos da Astronomer, onde eu poderia trabalhar com clientes e construir estratégias (as coisas que eu gostava da consultoria), mas também poderia me envolver na construção real do produto e trabalhar com tecnologia.

Por um tempo, atuei como um híbrido de PM/engenheiro – eu trabalhava com clientes para entender os desafios que eles enfrentavam e projetava produtos e recursos como um PM. Em seguida, eu pegava os requisitos do produto e trabalhava com a equipe de engenharia para realmente construir o produto ou recurso. Com o tempo, fiz isso com um conjunto maior de produtos na Astronomer, o que eventualmente me levou ao papel de CTO que estou agora.

Para os usuários que não estão familiarizados com o Airflow, poderia explicar o que torna essa plataforma ideal para autorar, agendar e monitorar fluxos de trabalho de forma programática?

O Apache Airflow é uma plataforma de código aberto para desenvolver, agendar e monitorar fluxos de trabalho orientados a lotes. O Airflow fornece as capacidades de gerenciamento de fluxos de trabalho que são essenciais para plataformas de dados nativas em nuvem modernas. Ele automatiza a execução de trabalhos, coordena dependências entre tarefas e fornece às organizações um ponto central de controle para monitorar e gerenciar fluxos de trabalho.

Os arquitetos de plataformas de dados utilizam o Airflow para automatizar o movimento e o processamento de dados por meio de sistemas diversificados, gerenciando fluxos de dados complexos e fornecendo agendamento flexível, monitoramento e alertas. Todas essas características são extremamente úteis para equipes de dados modernas, mas o que torna o Airflow a plataforma ideal é que ele é um projeto de código aberto – o que significa que há uma comunidade de usuários e contribuintes do Airflow que estão constantemente trabalhando para desenvolver ainda mais a plataforma, resolver problemas e compartilhar as melhores práticas.

O Airflow também tem muitas integrações de dados com bancos de dados populares, aplicações e ferramentas, bem como dezenas de serviços de nuvem — e mais são adicionados todos os meses.

Como a Astronomer usa o Airflow para processos internos?

Nós usamos o Airflow muito! Naturalmente, temos nossa própria equipe de dados que usa o Airflow para entregar dados para a empresa e para nossos clientes. Eles têm algumas ferramentas muito sofisticadas que construíram em torno do Airflow, que usamos como inspiração para o desenvolvimento de recursos na plataforma mais ampla.

Também usamos o Airflow para alguns casos de uso não tão tradicionais, mas ele se sai muito bem. Por exemplo, nossa equipe de CRE usa o Airflow para monitorar os centenas de clusters do Kubernetes e os milhares de implantações do Airflow que executamos em nome de nossos clientes. Seus pipelines são executados constantemente para verificar problemas, e se notarmos algum, abriremos proativamente tickets de suporte em nome de nossos clientes.

Eu até usei o Airflow para casos de uso pessoais. Meu favorito (até o momento) foi quando eu estava me mudando para Nova York. Se você já morou aqui, saberá que o mercado de aluguel é louco. Apartamentos são alugados dentro de horas após serem listados. Meus colegas de quarto e eu tínhamos uma lista de critérios que todos concordávamos (localização, número de quartos, banheiros, etc.), e eu construí um DAG do Airflow que era executado a cada poucos minutos, puxava novos anúncios de vários sites de listagem de apartamentos e me enviava uma mensagem de texto (obrigado, Twilio!) sempre que havia algo novo que atendia aos nossos critérios. O apartamento em que estou agora foi encontrado graças ao Airflow!

A Astronomer projetou o Astro, uma plataforma de orquestração de dados moderna, alimentada pelo Airflow. Poderia compartilhar conosco como essa ferramenta permite que as empresas coloquem facilmente o Airflow no centro de suas operações de dados?

O Astro permite que organizações e, mais especificamente, engenheiros de dados, cientistas de dados e analistas de dados, construam, executem e aumentem seus pipelines de dados críticos em uma única plataforma para todos os fluxos de dados. É o único serviço gerenciado do Airflow que fornece altos níveis de segurança e proteção de dados e ajuda as empresas a dimensionar suas implantações e liberar recursos para se concentrar em seus objetivos comerciais mais amplos.

Um de nossos clientes, Anastasia, uma empresa de tecnologia de ponta, escolheu o Astro para gerenciar o Airflow porque não tinham tempo ou recursos suficientes para manter o Airflow por conta própria. O Astro funciona nos bastidores para que as equipes possam se concentrar em atividades comerciais principais, em vez de gastar tempo em atividades não diferenciadas, como gerenciar o Airflow.

Um dos componentes principais do Astro é a escalabilidade elástica, poderia definir o que isso é e por que é importante para ambientes de computação em nuvem?

Para nós, isso significa apenas nossa capacidade de atender às demandas de computação de nossos clientes sem executar uma grande quantidade de infraestrutura o tempo todo. Nossos clientes usam nossa plataforma para uma ampla variedade de casos de uso, a maioria dos quais tem requisitos de computação altos (treinamento de modelos de aprendizado de máquina, processamento de grandes dados, etc.). Uma das principais propostas de valor da Astronomer é que, como cliente, você não precisa pensar nas máquinas que executam seus pipelines. Você implanta seus pipelines no Astro e pode esperar que eles funcionem. Construímos um conjunto de recursos e sistemas que ajudam a dimensionar nossa infraestrutura para atender às demandas cambiantes de nossos clientes, e é algo que estamos ansiosos para continuar a construir no futuro.

Você foi responsável pela equipe da Astronomer que construiu o Ask-Astro, o chatbot alimentado por LLM para o Apache Airflow. Poderia compartilhar conosco detalhes sobre o que é o Ask-Astro e os LLMs que o alimentam?

Nossa equipe na Astronomer tem alguns dos membros mais conhecidos da comunidade do Airflow e queríamos tornar mais fácil compartilhar seu conhecimento. Para fazer isso, criamos uma implementação de referência das Arquiteturas Emergentes para Aplicações de LLM da Andreessen Horowitz, que mostra os sistemas, ferramentas e padrões de design mais comuns que eles viram sendo usados por startups de IA e empresas de tecnologia sofisticadas. Começamos com algumas opiniões informadas sobre essa implementação de referência e o Apache Airflow também desempenha um papel central na arquitetura. O Ask Astro é uma referência real para mostrar como colar todas as peças juntas.

O Ask Astro é mais do que apenas outro chatbot. A equipe da Astronomer escolheu desenvolver o aplicativo de forma aberta e postar regularmente sobre desafios, ideias e soluções para desenvolver conhecimento institucional em nome da comunidade. Quais foram alguns dos principais desafios que a equipe enfrentou?

O maior desafio foi a falta de práticas recomendadas claras na comunidade. Como o “estado da arte” era redefinido a cada semana, era difícil entender como abordar certos problemas (ingestão de documentos, seleção de modelos, medição de precisão de saída, etc.). Isso foi um driver importante para nós construir o Ask Astro de forma aberta. Queríamos estabelecer um conjunto de práticas para a orquestração de LLM que funcionem bem para vários casos de uso, para que nossos clientes e a comunidade possam se sentir bem preparados para adotar LLMs e tecnologias de IA gerativa.

Isso se provou ser uma ótima escolha – a própria ferramenta recebe muita utilização, demos várias palestras públicas sobre como construir aplicações de LLM e até começamos a trabalhar com um grupo selecionado de clientes para implantar versões internas do Ask Astro!

Qual é sua visão pessoal para o futuro do Airflow e da Astronomer?

Estou muito animado com o futuro do Airflow e da Astronomer. A comunidade do Airflow continua a crescer e, na Astronomer, estamos comprometidos em fomentar seu desenvolvimento, suporte e conexão entre equipes e indivíduos.

Com a crescente demanda por insights baseados em dados e o influxo de fontes de dados, os engenheiros de dados têm um trabalho desafiador. Queremos aliviar a carga para esses indivíduos e equipes, capacitando-os a integrar e gerenciar dados complexos em escala. Hoje, isso também significa apoiar a adoção e implementação de IA. Em 2023, como muitas outras empresas, nos concentramos em como podemos acelerar o uso de IA para nossos clientes. Nossa plataforma, o Astro, acelera a implantação de IA, simplifica o desenvolvimento de ML e fornece a robusta capacidade de computação necessária para aplicações de próxima geração. A IA continuará a ser um foco para nós este ano e apoiaremos nossos clientes à medida que novas tecnologias e frameworks surgem.

Além disso, a Astronomer é um ótimo lugar para trabalhar e crescer uma carreira. À medida que o cenário de dados continua a evoluir, trabalhar aqui se torna cada vez mais emocionante. Estamos construindo uma ótima equipe aqui e temos muitos desafios técnicos para resolver. Recentemente, também mudamos nossa sede para Nova York, onde podemos nos tornar uma parte ainda maior da comunidade de tecnologia que existe lá e estaremos melhor equipados para atrair os melhores, mais talentosos profissionais da indústria. Se você estiver interessado em se juntar à nossa equipe para nos ajudar a entregar os dados do mundo no prazo, entre em contato!

Obrigado pela ótima entrevista, leitores que desejam aprender mais devem visitar Astronomer.