Christian Stano, Field CTO da Anyscale — Série de entrevistas

Christian Stano, Field CTO da Anyscale, construiu sua carreira na interseção de infraestrutura de IA em larga escala, plataformas de machine learning e computação distribuída. Antes de se juntar à Anyscale, ele liderou a divisão de plataformas de IA e aprendizado de máquina da Attentive, onde escalou a infraestrutura que suportava a personalização para mais de meio bilhão de assinantes e ajudou a impulsionar a adoção de sistemas de computação unificados baseados em Ray, que melhoraram a velocidade de desenvolvimento enquanto reduziam os custos operacionais. No início de sua carreira, ele trabalhou em cibersegurança, arquitetura de nuvem e iniciativas de IA do setor público em organizações como Coalfire e Deloitte, onde contribuiu para uma das primeiras plataformas de machine learning do Departamento de Defesa dos EUA. Sua experiência abrange engenharia de plataforma de IA, MLOps, infraestrutura nativa em nuvem, apoio aos desenvolvedores e expansão das organizações, o que lhe dá uma profunda experiência em ajudar empresas a colocar a IA em produção em larga escala.

Anyscale é a empresa por trás de Ray, o framework de computação distribuída de código aberto amplamente utilizado para escalonar cargas de trabalho de IA e Python em clusters de CPUs e GPUs. Fundada pelos criadores originais do Ray do RISELab da Universidade da Califórnia em Berkeley, a empresa se concentra em simplificar a implantação, a orquestração e o gerenciamento de infraestrutura de IA em larga escala para treinamento, inferência, processamento de dados e cargas de trabalho de IA agêntica. Sua plataforma permite que as organizações executem sistemas de IA distribuídos em ambientes de nuvem e locais, enquanto fornece observabilidade, governança e otimizações de desempenho projetadas para aplicações de IA modernas. O Ray se tornou uma camada fundamental na pilha de infraestrutura de IA emergente, ajudando os desenvolvedores a escalonar cargas de trabalho de uma única máquina para milhares de nós com alterações mínimas no código Python existente.

Você trabalhou com segurança cibernética, plataformas de aprendizado de máquina do setor público e sistemas de personalização em escala muito grande. Quais padrões você viu consistentemente quando as organizações tentam mudar de pilotos de IA para produção?

Em todas as indústrias, três padrões aparecem regularmente. Primeiro, as equipes não têm um caminho confiável e bem estabelecido do desenvolvimento para a produção. Elas podem construir um modelo em um notebook, mas não há uma maneira padronizada de colocá-lo em execução em produção. Cada implantação se torna um caso único, e cada falha é uma surpresa. Em segundo lugar, a infraestrutura não consegue escalar com as necessidades. O sistema que funcionou no piloto falha quando recebe volumes reais de dados ou tráfego real. Em terceiro lugar, as equipes estão voando às cegas. Elas não têm a observabilidade para saber como seus sistemas estão realmente se saindo, onde eles estão prestes a quebrar e quando intervir.

O que conecta todos os três é o mesmo desafio fundamental — as equipes não têm uma compreensão sólida de como expandir a capacidade distribuindo o trabalho por mais máquinas. Elas tentam resolver tudo de uma vez em vez de planejarem cuidadosamente a sequência. Eu penso nisso como três fases: fazer funcionar, aperfeiçoar, acelerar. Não são marcos percorridos uma única vez, mas fases que se repetem. Você está constantemente priorizando entre o que está quebrado agora e o que vai quebrar em seguida. As equipes que têm sucesso sabem em qual fase elas estão e evitam avançar antes de consolidar a base.

Na Anyscale, vemos equipes chegar em todos os estágios. Algumas ainda estão tentando fazer funcionar — elas precisam de um caminho confiável do desenvolvimento para a produção. Outras têm isso, mas estão afogadas em complexidade operacional e precisam aperfeiçoar o sistema. E muitas vêm até nós porque construíram algo que funciona, mas não conseguem impulsioná-lo para a escala que os negócios exigem. Uma camada de computação unificada ajuda em cada fase, mas o ponto de entrada depende de qual problema é mais urgente.

Na Attentive, você ajudou a escalar sistemas de IA que suportam centenas de milhões de usuários. Quais foram os principais gargalos arquiteturais ou organizacionais que você teve que superar para atingir esse nível de escala?

O maior gargalo foi a curva em S da complexidade da infraestrutura. À medida que impulsionávamos nossos modelos para incorporar mais dados e atender mais clientes, atingimos um ponto de inflexão de computação onde até os maiores nós ampliados verticalmente apresentavam erros de falta de memória, e a simples expansão horizontal também não bastava. Nossa capacidade de computação não conseguia acompanhar a escala de nossos dados.

A resposta natural foi adicionar mais ferramentas para contornar os limites. Essa era a forma de trabalhar que eu havia adotado com base em experiências anteriores. Cada ferramenta resolvia um problema específico, mas adicionava complexidade operacional. Nosso pipeline de aprendizado de máquina corria o risco de se tornar uma colcha de retalhos de integrações, e cada novo caso de uso significava mais trabalho de conexão, mais modos de falha, maiores custos e mais sobrecarga para a equipe de plataforma.

O que finalmente permitiu ampliar nossa escala foi unificar o processamento de dados, o treinamento, a inferência e a disponibilização de modelos no Ray e na Anyscale. O impacto foi imediato: custos de infraestrutura muito menores, ciclos de treinamento significativamente mais rápidos mesmo com volumes crescentes de dados e capacidade de ampliar os modelos para atender a grupos de clientes várias ordens de grandeza maiores.

O que motivou sua decisão de se juntar à Anyscale nessa etapa, e como você vê o papel de Field CTO moldando a adoção de IA empresarial?

Minha experiência em trazer a Anyscale para a Attentive fundamentalmente mudou minha abordagem para construir plataformas de ML. Antes disso, uma parte significativa dos custos de engenharia da plataforma vinha da conexão entre sistemas fragmentados. Com a Anyscale, fomos capazes de eliminar grande parte dessa sobrecarga e, em vez disso, nos concentrar na experiência do desenvolvedor, confiabilidade e desempenho. Essa mudança teve um impacto enorme tanto na produtividade da equipe quanto nos resultados do sistema. Se juntar à Anyscale foi uma oportunidade de trabalhar nesse problema em tempo integral e ajudar outras organizações a passar pela mesma transição. Como Field CTO, meu papel é basicamente pegar essas lições práticas e transformá-las em padrões repetíveis que nossos clientes possam aplicar à medida que escalonam a IA.

Muitas empresas ainda estão presas na “fase de piloto” da IA. Do seu ponto de vista, o que especificamente quebra quando as empresas tentam escalar esses experimentos iniciais em sistemas de produção?

Quando as empresas se movem de experimentos de IA para produção, o que quebra raramente é apenas o modelo — são o sistema e as operações ao redor dele. Em alguns casos, as equipes atingem limites de infraestrutura cedo e não conseguem treinar ou disponibilizar modelos na escala desejada. Por isso, precisam limitar o número de clientes ou casos de uso atendidos pelo modelo. Mais frequentemente, problemas surgem na produção por meio de situações excepcionais inesperadas ou mudanças nos dados. Um dos pontos de falha mais comuns é a memória: à medida que o tamanho dos dados, distribuição ou modalidade muda, os trabalhos ficam sem memória e falham. Esses problemas são difíceis de prever, e a recuperação automática depois deles é ainda mais difícil. A realidade é que a falha é inevitável na IA de produção. O objetivo não é evitar todas as falhas, mas detectá-las rapidamente, entendê-las e construir sistemas capazes de se recuperar automaticamente antes que os negócios sejam afetados.

Ray, o framework de computação distribuída criado pela equipe por trás da Anyscale, está ganhando tração como uma base para cargas de trabalho de IA. Por que a execução distribuída está se tornando uma camada tão crítica na infraestrutura de IA moderna?

A execução distribuída e o gerenciamento de cargas de trabalho se tornaram fundamentais para pipelines de IA. As cargas de trabalho modernas de IA são intrinsicamente paralelas e intensivas em recursos. Treinamento, inferência e processamento de dados todos exigem a coordenação de grandes números de tarefas em CPUs e GPUs, frequentemente de forma dinâmica. No cenário atual de computação, a complexidade de gerenciar essas cargas de trabalho em recursos escassos é uma enorme sobrecarga operacional. Os sistemas tradicionais não foram projetados para esse nível de complexidade ou escala. Frameworks como o Ray são essenciais porque permitem que as equipes escalonem cargas de trabalho de forma transparente de uma única máquina para milhares de nós, automatizando a coordenação subjacente. Essa mudança reflete uma mudança mais ampla em direção à computação nativa de IA, onde a infraestrutura é projetada especificamente para os padrões de cargas de trabalho de IA em vez de adaptada de paradigmas mais antigos.

À medida que mais empresas adotam o Ray por meio da plataforma da Anyscale, quais são as diferenças que você vê entre as organizações que adotam uma abordagem unificada como padrão versus aquelas que conectam ferramentas separadas?

A diferença entre plataformas unificadas e ferramentas fragmentadas em última análise se resume a foco e eficiência. Quando as equipes dependem de sistemas desconexos, elas gastam uma quantidade significativa de tempo conectando esses sistemas, gerenciando inconsistências e respondendo a falhas em diferentes ambientes. Isso cria sobrecarga operacional e desacelera a experimentação. Em contraste, uma abordagem unificada permite que as equipes concentrem seus esforços em melhorar um único sistema, o que leva a uma melhor confiabilidade, desempenho mais forte e uma experiência de desenvolvedor mais fluida. Isso também simplifica os plantões de resposta a incidentes e os processos de depuração porque os padrões são consistentes e mais fáceis de entender. O resultado não é apenas eficiência técnica, mas clareza organizacional.

Com base em sua experiência em construir plataformas de ML de ponta a ponta, quão importante é a experiência do desenvolvedor (DevEx) na aceleração da adoção de IA em equipes?

A experiência do desenvolvedor é uma das áreas de maior impacto para acelerar a adoção de IA. Quando as equipes de plataforma investem em tornar os sistemas mais fáceis de usar por meio de fluxos de trabalho padronizados, modelos prontos e redução das dificuldades da infraestrutura, elas amplificam a produtividade de cada engenheiro na organização. Isso é especialmente importante na IA, onde o ritmo de mudança é extremamente rápido e as equipes precisam iterar rapidamente para permanecer competitivas. Melhorias na experiência do desenvolvedor se traduzem diretamente em experimentação mais rápida, menor tempo até a produção e, em última análise, maior impacto nos negócios. As ferramentas de programação com IA amplificam esses fundamentos de DevEx. De muitas maneiras, é a forma mais escalável de aumentar a velocidade em toda a organização.

A eficiência de custo está se tornando uma grande preocupação à medida que as cargas de trabalho de IA crescem. Quais são algumas das maneiras mais negligenciadas pelas quais as empresas podem reduzir os custos de infraestrutura sem sacrificar o desempenho?

À medida que as cargas de trabalho de IA crescem, o gerenciamento de custos se torna tanto mais importante quanto mais complexo. Um dos desafios mais negligenciados é como os custos podem sair rapidamente do controle devido a ineficiências, especialmente com infraestrutura baseada em GPU. Grandes clusters podem iniciar milhares de nós, e se os recursos não forem gerenciados ou desligados corretamente, os custos se acumulam rapidamente. Isso cria uma forma de proliferação descontrolada de recursos específica da IA, onde o uso de computação cresce mais rápido do que as equipes podem rastrear ou controlar. Abordar isso requer uma combinação de governança sólida, visibilidade e automação, como escalonamento automático, encerramento automático e gerenciamento de recursos centralizado. Em larga escala, a eficiência de custo não é apenas uma preocupação operacional, é um aspecto fundamental do design do sistema.

Você trabalhou em tudo, desde repositórios de características dos modelos, os chamados feature stores, até sistemas de inferência em tempo real. Como você acha que o equilíbrio entre cargas de trabalho de IA em lote e em tempo real está evoluindo?

O equilíbrio entre cargas de trabalho de IA em lote e em tempo real não mudou fundamentalmente — permanece uma questão de requisitos de negócios. O processamento em lote é geralmente mais econômico e mais fácil de operar, tornando-o adequado para muitos casos de uso. Os sistemas em tempo real são essenciais quando a latência afeta diretamente a experiência do usuário ou o resultado dos negócios, como em aplicativos de chat ou detecção de fraude. Ambas as abordagens continuarão a coexistir, e a chave para as organizações é construir plataformas que possam suportar cada uma de forma eficaz. A decisão em última análise se resume a trade-offs entre custo, latência e confiabilidade.

Olhando para o futuro, como será uma plataforma madura de IA empresarial daqui a 2–3 anos — e como as ferramentas como o Ray e as plataformas como a Anyscale se encaixam nesse futuro?

Nos próximos anos, as plataformas de IA empresarial maduras serão definidas por algumas características-chave. Elas se apoiarão em infraestrutura unificada que suporte todo o ciclo de vida de IA, desde o processamento de dados até o treinamento e inferência, em vez de uma coleção de ferramentas desconexas. Elas terão uma operação contínua robusta após a implantação, com observabilidade automatizada por agentes, confiabilidade e depuração rápida. O gerenciamento de custos será previsível e controlado, permitindo que as organizações escalonem de forma sustentável. E talvez o mais importante, elas permitirão um ritmo elevado de desenvolvimento, tornando fácil para as equipes se moverem de ideia para produção rapidamente. Plataformas como o Ray e a Anyscale desempenham um papel central nesse futuro, fornecendo a base projetada para IA que torna esse nível de escala e eficiência possível.

Obrigado pela ótima entrevista. Leitores que desejam saber mais podem visitar Anyscale.