Kirill Solodskih, Co-Fundador e CEO da TheStage AI – Série de Entrevistas

Kirill Solodskih, PhD, é o Co-Fundador e CEO da TheStage AI, além de um experiente pesquisador e empreendedor de IA com mais de uma década de experiência em otimização de redes neurais para aplicações de negócios do mundo real. Em 2024, ele co-fundou a TheStage AI, que obteve $4,5 milhões em financiamento para automatizar completamente a aceleração de redes neurais em qualquer plataforma de hardware.

Anteriormente, como Líder de Equipe na Huawei, Kirill liderou a aceleração de aplicações de câmera de IA para NPUs da Qualcomm (QCOM ), contribuindo para o desempenho dos smartphones P50 e P60 e ganhando várias patentes por suas inovações. Sua pesquisa foi apresentada em conferências líderes, como CVPR e ECCV, onde recebeu prêmios e reconhecimento da indústria. Ele também apresenta um podcast sobre otimização e inferência de IA.

O que o inspirou a co-fundar a TheStage AI e como você fez a transição da academia e da pesquisa para lidar com a otimização de inferência como fundador de uma startup?

As bases do que eventualmente se tornou a TheStage AI começaram com meu trabalho na Huawei, onde eu estava profundamente envolvido na automação de implantações e otimização de redes neurais. Essas iniciativas se tornaram a base para algumas de nossas inovações revolucionárias, e é aí que eu vi o desafio real. Treinar um modelo é uma coisa, mas fazê-lo funcionar de forma eficiente no mundo real e torná-lo acessível aos usuários é outra. A implantação é o gargalo que impede muitas ideias incríveis de se tornarem realidade. Para fazer algo tão fácil de usar quanto o ChatGPT, há muitos desafios de back-end envolvidos. Do ponto de vista técnico, a otimização de redes neurais é sobre minimizar parâmetros enquanto mantém o desempenho alto. É um problema matemático difícil com muito espaço para inovação.

A otimização manual de inferência tem sido um gargalo por muito tempo. Você pode explicar como a TheStage AI automatiza esse processo e por que é um divisor de águas?

A TheStage AI lida com um grande gargalo na IA: a compressão e aceleração manuais de redes neurais. As redes neurais têm bilhões de parâmetros, e descobrir quais remover para melhorar o desempenho é quase impossível à mão. A ANNA (Automated Neural Networks Analyzer) automatiza esse processo, identificando quais camadas excluir da otimização, semelhante à forma como a compressão ZIP foi automatizada pela primeira vez.

Isso muda o jogo tornando a adoção de IA mais rápida e acessível. Em vez de depender de processos manuais caros, as startups podem otimizar modelos automaticamente. A tecnologia fornece às empresas uma visão clara do desempenho e do custo, garantindo eficiência e escalabilidade sem palpites.

A TheStage AI afirma reduzir os custos de inferência em até 5x — o que torna a tecnologia de otimização tão eficaz em comparação com métodos tradicionais?

A TheStage AI reduz os custos de saída em até 5x com uma abordagem de otimização que vai além dos métodos tradicionais. Em vez de aplicar o mesmo algoritmo a toda a rede neural, a ANNA divide-a em camadas menores e decide qual algoritmo aplicar a cada parte para entregar a compressão desejada, maximizando a qualidade do modelo. Ao combinar heurísticas matemáticas inteligentes com aproximações eficientes, nossa abordagem é altamente escalável e torna a adoção de IA mais fácil para empresas de todos os tamanhos. Também integramos configurações de compilador flexíveis para otimizar redes para hardware específico, como iPhones ou GPUs da NVIDIA. Isso nos dá mais controle para ajustar o desempenho, aumentando a velocidade sem perder qualidade.

Como a aceleração de inferência da TheStage AI se compara ao compilador nativo do PyTorch, e quais vantagens ela oferece aos desenvolvedores de IA?

A TheStage AI acelera a saída muito além do compilador nativo do PyTorch. O PyTorch usa um método de compilação “just-in-time”, que compila o modelo a cada vez que ele é executado. Isso leva a tempos de inicialização longos, às vezes levando minutos ou mais. Em ambientes escaláveis, isso pode criar ineficiências, especialmente quando novos GPUs precisam ser trazidos online para lidar com a carga de usuário aumentada, causando atrasos que afetam a experiência do usuário.

Em contraste, a TheStage AI permite que os modelos sejam pré-compilados, então, uma vez que um modelo esteja pronto, ele pode ser implantado instantaneamente. Isso leva a implantações mais rápidas, eficiência de serviço melhorada e economia de custos. Os desenvolvedores podem implantar e escalar modelos de IA mais rapidamente, sem os gargalos da compilação tradicional, tornando-a mais eficiente e responsiva para casos de uso de alta demanda.

Pode compartilhar mais sobre a ferramenta QLIP da TheStage AI e como ela melhora o desempenho do modelo enquanto mantém a qualidade?

A QLIP, a ferramenta da TheStage AI, é uma biblioteca Python que fornece um conjunto essencial de primitivos para construir rapidamente novos algoritmos de otimização personalizados para diferentes hardwares, como GPUs e NPUs. A ferramenta inclui componentes como quantização, poda, especificação, compilação e serviço, todos críticos para desenvolver sistemas de IA eficientes e escaláveis.

O que distingue a QLIP é sua flexibilidade. Ela permite que os engenheiros de IA prototipem e implementem novos algoritmos com apenas algumas linhas de código. Por exemplo, um artigo recente de conferência de IA sobre redes neurais de quantização pode ser convertido em um algoritmo funcional usando os primitivos da QLIP em minutos. Isso facilita para os desenvolvedores integrar as últimas pesquisas em seus modelos sem serem limitados por estruturas rígidas.

Ao contrário de estruturas de código aberto tradicionais que restringem você a um conjunto fixo de algoritmos, a QLIP permite que qualquer pessoa adicione novas técnicas de otimização. Essa adaptabilidade ajuda as equipes a se manterem à frente do rápido ritmo de evolução da paisagem de IA, melhorando o desempenho enquanto garantem flexibilidade para inovações futuras.

Você contribuiu para frameworks de quantização de IA usados nas câmeras do P50 e P60 da Huawei. Como essa experiência moldou sua abordagem para a otimização de IA?

Minha experiência trabalhando em frameworks de quantização de IA para as câmeras do P50 e P60 da Huawei me deu insights valiosos sobre como a otimização pode ser simplificada e escalada. Quando eu comecei com o PyTorch, trabalhar com o gráfico de execução completo de redes neurais era rígido, e os algoritmos de quantização tinham que ser implementados manualmente, camada por camada. Na Huawei, eu construí uma estrutura que automatizou o processo. Você simplesmente inseria o modelo, e ele geraria automaticamente o código para a quantização, eliminando o trabalho manual.

Isso me levou a perceber que a automação na otimização de IA é sobre permitir velocidade sem sacrificar a qualidade. Um dos algoritmos que eu desenvolvi e patentei se tornou essencial para a Huawei, especialmente quando eles tiveram que fazer a transição de processadores Kirin para Qualcomm devido a sanções. Ele permitiu que a equipe adaptasse rapidamente as redes neurais para a arquitetura da Qualcomm sem perder desempenho ou precisão.

Ao simplificar e automatizar o processo, cortamos o tempo de desenvolvimento de mais de um ano para apenas alguns meses. Isso teve um impacto enorme em um produto usado por milhões e moldou minha abordagem para a otimização, focando em velocidade, eficiência e perda mínima de qualidade. Essa é a mentalidade que eu trago para a ANNA hoje.

Sua pesquisa foi apresentada em CVPR e ECCV — quais são algumas das principais inovações em eficiência de IA que você está mais orgulhoso?

Quando me perguntam sobre meus feitos em eficiência de IA, eu sempre penso em nosso artigo que foi selecionado para uma apresentação oral no CVPR 2023. Ser escolhido para uma apresentação oral em uma conferência como essa é raro, pois apenas 12 artigos são selecionados. Isso adiciona ao fato de que a IA Gerativa geralmente domina o holofote, e nosso artigo abordou uma abordagem diferente, focando no lado matemático, especificamente na análise e compressão de redes neurais.

Desenvolvemos um método que nos ajudou a entender quantos parâmetros uma rede neural realmente precisa para operar de forma eficiente. Ao aplicar técnicas da análise funcional e mudar de uma formulação discreta para uma contínua, conseguimos alcançar bons resultados de compressão enquanto mantínhamos a capacidade de integrar essas mudanças de volta ao modelo. O artigo também introduziu vários algoritmos novos que não haviam sido usados pela comunidade e encontraram aplicações adicionais.

Esse foi um dos meus primeiros artigos no campo de IA, e importante, foi o resultado do esforço coletivo de nossa equipe, incluindo meus co-fundadores. Foi um marco significativo para todos nós.

Pode explicar como as Redes Neurais Integrais (INNs) funcionam e por que elas são uma inovação importante no aprendizado profundo?

As redes neurais tradicionais usam matrizes fixas, semelhantes a tabelas do Excel, onde o tamanho e os parâmetros são pré-determinados. As INNs, no entanto, descrevem redes como funções contínuas, oferecendo muito mais flexibilidade. Pense nisso como um cobertor com pinos em diferentes alturas, e isso representa a onda contínua.

O que torna as INNs emocionais é sua capacidade de se “comprimir” ou “expandir” dinamicamente com base nos recursos disponíveis, semelhante a como um sinal analógico é digitalizado em som. Você pode encolher a rede sem sacrificar a qualidade, e quando necessário, expandi-la de volta sem retreinar.

Testamos isso, e enquanto os métodos de compressão tradicionais levam a uma perda significativa de qualidade, as INNs mantêm a qualidade original mesmo sob compressão extrema. A matemática por trás disso é mais não convencional para a comunidade de IA, mas o valor real está em sua capacidade de entregar resultados sólidos e práticos com esforço mínimo.

A TheStage AI trabalhou em algoritmos de annealing quântico — como você vê a computação quântica desempenhando um papel na otimização de IA no futuro próximo?

Quando se trata de computação quântica e seu papel na otimização de IA, a ideia principal é que os sistemas quânticos oferecem uma abordagem completamente diferente para resolver problemas como a otimização. Embora não tenhamos inventado os algoritmos de annealing quântico do zero, empresas como a D-Wave fornecem bibliotecas Python para construir algoritmos quânticos específicos para tarefas de otimização discreta, que são ideais para computadores quânticos.

A ideia aqui é que não estamos carregando diretamente uma rede neural em um computador quântico. Isso não é possível com a arquitetura atual. Em vez disso, aproximamos como as redes neurais se comportam sob diferentes tipos de degradação, tornando-as adequadas para um sistema que um chip quântico possa processar.

No futuro, os sistemas quânticos poderiam escalar e otimizar redes com uma precisão que os sistemas tradicionais lutam para igualar. A vantagem dos sistemas quânticos reside em seu paralelismo embutido, algo que os sistemas clássicos só podem simular usando recursos adicionais. Isso significa que a computação quântica poderia acelerar significativamente o processo de otimização, especialmente à medida que descobrimos como modelar redes mais complexas e maiores de forma eficaz.

O verdadeiro potencial vem em usar a computação quântica para resolver tarefas de otimização massivas e intricadas e quebrar parâmetros em grupos menores e mais gerenciáveis. Com tecnologias como a quântica e a computação óptica, há vastas possibilidades para otimizar a IA que vão muito além do que a computação tradicional pode oferecer.

Qual é sua visão de longo prazo para a TheStage AI? Onde você vê a otimização de inferência indo nos próximos 5-10 anos?

Em longo prazo, a TheStage AI visa se tornar um Hub de Modelo global onde qualquer pessoa possa facilmente acessar uma rede neural otimizada com as características desejadas, seja para um smartphone ou qualquer outro dispositivo. O objetivo é oferecer uma experiência de arrastar e soltar, onde os usuários inserem seus parâmetros e o sistema gera automaticamente a rede. Se a rede não existir, ela será criada automaticamente usando a ANNA.

Nosso objetivo é fazer com que as redes neurais funcionem diretamente nos dispositivos dos usuários, reduzindo os custos em 20 a 30 vezes. No futuro, isso poderia quase eliminar os custos completamente, pois o dispositivo do usuário lidaria com a computação em vez de depender de servidores de nuvem. Isso, combinado com avanços na compressão de modelos e aceleração de hardware, poderia tornar a implantação de IA significativamente mais eficiente.

Também planejamos integrar nossa tecnologia com soluções de hardware, como sensores, chips e robótica, para aplicações em campos como condução autônoma e robótica. Por exemplo, visamos construir câmeras de IA capazes de funcionar em qualquer ambiente, seja no espaço ou sob condições extremas como escuridão ou poeira. Isso tornaria a IA útil em uma ampla gama de aplicações e permitiria que criássemos soluções personalizadas para hardware e casos de uso específicos.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar TheStage AI.