Steven Hillion, SVP de Dados e IA da Astronomer – Série de Entrevistas

Steven Hillion é o Vice-Presidente Sênior de Dados e IA da Astronomer, onde ele aproveita sua extensa formação acadêmica em matemática pura e mais de 15 anos de experiência no desenvolvimento de plataformas de aprendizado de máquina no Vale do Silício. Na Astronomer, ele lidera a criação de recursos do Apache Airflow especificamente projetados para equipes de ML e IA e supervisiona a equipe interna de ciência de dados. Sob sua liderança, a Astronomer avançou sua plataforma de orquestração de dados moderna, melhorando significativamente suas capacidades de pipeline de dados para suportar uma ampla gama de fontes de dados e tarefas por meio do aprendizado de máquina.

Você pode compartilhar alguma informação sobre sua jornada em ciência de dados e IA, e como isso moldou sua abordagem para liderar equipes de engenharia e análise?

Tive uma formação em matemática pura em Berkeley antes de me mudar para o Vale do Silício e trabalhar como engenheiro em uma série de startups de sucesso. Fiquei feliz em deixar para trás a política e a burocracia da academia, mas encontrei dentro de alguns anos que sentia falta da matemática. Então, mudei para o desenvolvimento de plataformas para aprendizado de máquina e análise, e é basicamente o que tenho feito desde então.

Meu treinamento em matemática pura resultou em uma preferência pelo que os cientistas de dados chamam de “parsimônia” — a ferramenta certa para o trabalho, e nada mais. Porque os matemáticos tendem a favorecer soluções elegantes em vez de máquinas complexas, sempre tentei enfatizar a simplicidade ao aplicar aprendizado de máquina a problemas de negócios. O aprendizado profundo é ótimo para algumas aplicações — modelos de linguagem grandes são brilhantes para resumir documentos, por exemplo —, mas às vezes um modelo de regressão simples é mais apropriado e fácil de explicar.

Foi fascinante ver o papel cambiante do cientista de dados e do engenheiro de software nos últimos vinte anos desde que o aprendizado de máquina se tornou comum. Tendo usado ambos os chapéus, sou muito consciente da importância do ciclo de vida de desenvolvimento de software (especialmente automação e teste) aplicado a projetos de aprendizado de máquina.

Quais são os principais desafios em mover, processar e analisar dados não estruturados para IA e modelos de linguagem grande (LLM)?

No mundo da IA Gerativa, seus dados são seu ativo mais valioso. Os modelos estão cada vez mais comoditizados, então sua diferenciação é todo o conhecimento institucional difícil de conquistar capturado em seus conjuntos de dados proprietários e curados.

Entregar os dados certos no momento certo coloca altas demandas nos pipelines de dados — e isso se aplica a dados não estruturados tanto quanto a dados estruturados, ou talvez mais. Muitas vezes você está ingerindo dados de muitas fontes diferentes, em muitos formatos diferentes. Você precisa ter acesso a uma variedade de métodos para desempacotar os dados e prepará-los para uso em inferência de modelo ou treinamento de modelo. Você também precisa entender a proveniência dos dados e onde eles acabam para “mostrar seu trabalho”.

Se você está fazendo isso apenas ocasionalmente para treinar um modelo, está bem. Você não precisa necessariamente operacionalizá-lo. Se você está usando o modelo diariamente, para entender a opinião do cliente a partir de fóruns online, ou para resumir e encaminhar faturas, então começa a parecer com qualquer outro pipeline de dados operacional, o que significa que você precisa pensar em confiabilidade e reprodutibilidade. Ou se você está aprimorando o modelo regularmente, então você precisa se preocupar com a monitoração de precisão e custo.

O bom é que os engenheiros de dados desenvolveram uma ótima plataforma, o Airflow, para gerenciar pipelines de dados, que já foi aplicada com sucesso ao gerenciamento de implantação e monitoramento de modelos por algumas das equipes de ML mais sofisticadas do mundo. Então, os modelos podem ser novos, mas a orquestração não é.

Você pode elaborar sobre o uso de dados sintéticos para aprimorar a precisão de modelos menores?

É uma técnica poderosa. Você pode pensar nos melhores modelos de linguagem grande como encapsulando o que eles aprenderam sobre o mundo, e eles podem passar isso para modelos menores gerando dados sintéticos. Os LLMs encapsulam vastas quantidades de conhecimento aprendido por meio de treinamento extensivo em conjuntos de dados diversificados. Esses modelos podem gerar dados sintéticos que capturam os padrões, estruturas e informações que aprenderam. Esses dados sintéticos podem então ser usados para treinar modelos menores, efetivamente transferindo algum do conhecimento dos modelos maiores para os menores. Esse processo é frequentemente referido como “destilação de conhecimento” e ajuda a criar modelos eficientes e menores que ainda performam bem em tarefas específicas. E com dados sintéticos, você também pode evitar problemas de privacidade e preencher lacunas em conjuntos de dados de treinamento pequenos ou incompletos.

Isso pode ser útil para treinar um modelo de IA gerativa mais específico do domínio, e pode ser até mais eficaz do que treinar um modelo “maior”, com um maior controle.

Os cientistas de dados vêm gerando dados sintéticos por um tempo, e a imputação existe há tanto tempo quanto os conjuntos de dados bagunçados. Mas você sempre teve que ser muito cuidadoso para não introduzir vieses ou fazer suposições incorretas sobre a distribuição dos dados. Agora que sintetizar dados é tão fácil e poderoso, você precisa ser ainda mais cuidadoso. Erros podem ser magnificados.

Uma falta de diversidade nos dados gerados pode levar a “colapso do modelo”. O modelo acha que está indo bem, mas é porque não viu a imagem completa. E, de forma mais geral, uma falta de diversidade nos dados de treinamento é algo que as equipes de dados sempre devem procurar.

Em um nível básico, seja qual for o uso de dados sintéticos ou orgânicos, a linhagem e a qualidade são fundamentais para treinar ou aprimorar qualquer modelo. Como sabemos, os modelos são apenas tão bons quanto os dados em que são treinados. Embora os dados sintéticos possam ser uma ótima ferramenta para ajudar a representar um conjunto de dados sensível sem expô-lo ou preencher lacunas que podem ser deixadas de fora de um conjunto de dados representativo, você deve ter um registro mostrando de onde vieram os dados e ser capaz de provar seu nível de qualidade.

Quais são algumas técnicas inovadoras que sua equipe na Astronomer está implementando para melhorar a eficiência e confiabilidade dos pipelines de dados?

Muitas! A infraestrutura totalmente gerenciada do Airflow da Astro e o Hypervisor da Astro suportam escalabilidade dinâmica e monitoramento proativo por meio de métricas de saúde avançadas. Isso garante que os recursos sejam usados de forma eficiente e que os sistemas sejam confiáveis em qualquer escala. A Astro fornece alertas robustos baseados em dados com notificações personalizáveis que podem ser enviadas por vários canais, como Slack e PagerDuty. Isso garante a intervenção oportuna antes que os problemas se tornem graves.

Testes de validação de dados, testes unitários e verificações de qualidade de dados desempenham papéis vitais para garantir a confiabilidade, precisão e eficiência dos pipelines de dados e, em última análise, dos dados que alimentam seu negócio. Essas verificações garantem que, enquanto você constrói rapidamente pipelines de dados para atender aos prazos, elas estão ativamente capturando erros, melhorando os tempos de desenvolvimento e reduzindo erros imprevistos em segundo plano. Na Astronomer, construímos ferramentas como a CLI da Astro para ajudar a verificar a funcionalidade do código ou identificar problemas de integração dentro do pipeline de dados.

Como você vê a evolução da governança da IA gerativa, e quais medidas devem ser tomadas para apoiar a criação de mais ferramentas?

A governança é imperativa se as aplicações da IA gerativa forem bem-sucedidas. É tudo sobre transparência e reprodutibilidade. Você sabe como obteve esse resultado, de onde e por quem? O Airflow por si só já fornece uma maneira de ver o que os pipelines de dados individuais estão fazendo. Sua interface do usuário foi uma das razões para sua adoção rápida no início, e na Astronomer, aumentamos isso com visibilidade em equipes e implantações. Também fornecemos a nossos clientes Painéis de Relatórios que oferecem insights abrangentes sobre o uso da plataforma, desempenho e atribuição de custos para tomada de decisões informadas. Além disso, a API da Astro permite que as equipes implantem, automatizem e gerenciem seus pipelines do Airflow de forma programática, mitigando riscos associados a processos manuais e garantindo operações sem interrupções em escala ao gerenciar vários ambientes do Airflow. As capacidades de linhagem estão integradas à plataforma.

Essas são todas etapas para ajudar a gerenciar a governança de dados, e acredito que as empresas de todos os tamanhos estão reconhecendo a importância da governança de dados para garantir a confiança nas aplicações de IA. Esse reconhecimento e conscientização impulsionarão principalmente a demanda por ferramentas de governança de dados, e antecipo que a criação dessas ferramentas acelerará à medida que a IA gerativa se prolifera. Mas elas precisam fazer parte da pilha de orquestração maior, é por isso que consideramos fundamental à forma como construímos nossa plataforma.

Você pode fornecer exemplos de como as soluções da Astronomer melhoraram a eficiência operacional e a produtividade para os clientes?

Os processos de IA gerativa envolvem tarefas complexas e intensivas em recursos que precisam ser otimizados e executadas repetidamente. A Astro, a plataforma gerenciada do Apache Airflow da Astronomer, fornece um quadro no centro da pilha de aplicativos de IA emergente para ajudar a simplificar essas tarefas e melhorar a capacidade de inovar rapidamente.

Ao orquestrar tarefas de IA gerativa, as empresas podem garantir que os recursos computacionais sejam usados de forma eficiente e que os fluxos de trabalho sejam otimizados e ajustados em tempo real. Isso é particularmente importante em ambientes onde os modelos gerativos precisam ser atualizados ou retreinados com frequência com base em novos dados.

Ao aproveitar a gestão de fluxos de trabalho do Airflow e as capacidades de implantação e escalabilidade da Astronomer, as equipes podem gastar menos tempo gerenciando infraestrutura e focar sua atenção no desenvolvimento de dados e modelos, o que acelera a implantação de aplicações de IA gerativa e melhora o desempenho.

Desta forma, a plataforma Astro da Astronomer ajudou os clientes a melhorar a eficiência operacional da IA gerativa em uma ampla gama de casos de uso. Para citar alguns, os casos de uso incluem descoberta de produtos de comércio eletrônico, análise de risco de churn de clientes, automação de suporte, classificação e resumo de documentos legais, obtenção de insights de produtos a partir de avaliações de clientes e provisionamento dinâmico de cluster para geração de imagens de produtos.

Qual é o papel da Astronomer na melhoria do desempenho e escalabilidade das aplicações de IA e ML?

A escalabilidade é um grande desafio para as empresas que aproveitam a IA gerativa em 2024. Ao mudar do protótipo para a produção, os usuários esperam que seus aplicativos de IA gerativa sejam confiáveis e performáticos, e que as saídas que produzem sejam confiáveis. Isso precisa ser feito de forma eficiente em termos de custo, e as empresas de todos os tamanhos precisam ser capazes de aproveitar seu potencial. Com isso em mente, ao usar a Astronomer, as tarefas podem ser escaladas horizontalmente para processar grandes quantidades de fontes de dados. A Astro pode escalar implantações e os clusters em que são hospedados de forma elástica, e a execução de tarefas baseada em fila com tipos de máquina dedicados fornece maior confiabilidade e uso eficiente de recursos de computação. Para ajudar com a parte de eficiência de custos do quebra-cabeça, a Astro oferece recursos de escalabilidade zero e hibernação, que ajudam a controlar custos em espiral e reduzir gastos em nuvem. Também fornecemos transparência completa sobre o custo da plataforma. Minha própria equipe de dados gera relatórios sobre consumo que tornamos disponíveis diariamente para nossos clientes.

Quais são algumas tendências futuras em IA e ciência de dados que você está animado, e como a Astronomer está se preparando para elas?

A IA explicável é uma área de desenvolvimento extremamente importante e fascinante. É quase assustador poder olhar para o funcionamento interno de modelos muito grandes. E também estou interessado em ver como a comunidade lida com o impacto ambiental do treinamento e ajuste de modelos. Na Astronomer, continuamos a atualizar nosso Registro com as últimas integrações, para que as equipes de dados e ML possam se conectar aos melhores serviços de modelo e às plataformas de computação mais eficientes sem esforço algum.

Como você vê a integração de ferramentas de IA avançadas, como LLMs, com sistemas de gerenciamento de dados tradicionais evoluindo nos próximos anos?

Vimos recentemente anúncios da Databricks e da Snowflake sobre como incorporam o uso e o desenvolvimento de LLMs dentro de suas plataformas. Outros DBMS e plataformas de ML farão o mesmo. É ótimo ver os engenheiros de dados tendo acesso tão fácil a métodos tão poderosos, diretamente da linha de comando ou do prompt SQL.

Estou particularmente interessado em como os bancos de dados relacionais incorporam aprendizado de máquina. Estou sempre esperando que os métodos de ML sejam incorporados ao padrão SQL, mas por alguma razão as duas disciplinas nunca realmente se deram bem. Talvez desta vez seja diferente.

Estou muito animado com o futuro dos grandes modelos de linguagem para ajudar o trabalho do engenheiro de dados. Para começar, os LLMs já foram particularmente bem-sucedidos com a geração de código, embora os primeiros esforços para fornecer sugestões de IA para os cientistas de dados tenham sido mistos: o Hex é ótimo, por exemplo, enquanto a Snowflake é insatisfatória até agora. Mas há um enorme potencial para mudar a natureza do trabalho para as equipes de dados, muito mais do que para os desenvolvedores. Por quê? Para os engenheiros de software, o prompt é um nome de função ou a documentação, mas para os engenheiros de dados, há também os dados. Há tanto contexto que os modelos podem trabalhar para fazer sugestões úteis e precisas.

Que conselho você daria a cientistas de dados e engenheiros de IA aspirantes que buscam fazer um impacto na indústria?

Aprenda fazendo. É incrivelmente fácil construir aplicações hoje em dia, e aumentá-las com inteligência artificial. Então, construa algo legal e envie para um amigo de um amigo que trabalha em uma empresa que você admira. Ou envie para mim, e prometo que darei uma olhada!

O truque é encontrar algo que você seja apaixonado e encontrar uma boa fonte de dados relacionados. Um amigo meu fez uma análise fascinante de temporadas de beisebol anômalas que remontam ao século XIX e descobriu histórias que merecem ter um filme feito sobre elas. E alguns engenheiros da Astronomer se reuniram um fim de semana para construir uma plataforma para pipelines de dados auto-curativos. Não consigo imaginar tentar fazer algo assim alguns anos atrás, mas com apenas alguns dias de esforço, ganhamos o hackathon da Cohere e construímos a base para um novo recurso importante em nossa plataforma.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Astronomer.