Neetu Pathak, Co-Fundadora e CEO da Skymel – Série de Entrevistas

Neetu Pathak, Co-Fundadora e CEO da Skymel, lidera a empresa na revolução da inferência de IA com sua tecnologia inovadora NeuroSplit ™. Ao lado do CTO Sushant Tripathy, ela impulsiona a missão da Skymel para melhorar o desempenho das aplicações de IA, reduzindo os custos computacionais.

NeuroSplit ™ é uma tecnologia de inferência adaptativa que distribui dinamicamente as cargas de trabalho de IA entre dispositivos de usuário e servidores de nuvem. Essa abordagem aproveita os recursos de computação ociosos nos dispositivos do usuário, reduzindo os custos de infraestrutura de nuvem em até 60%, acelerando as velocidades de inferência, garantindo a privacidade dos dados e permitindo uma escalabilidade sem interrupções.

Ao otimizar o poder de computação local, o NeuroSplit ™ permite que as aplicações de IA funcionem de forma eficiente, mesmo em GPUs mais antigas, reduzindo significativamente os custos e melhorando a experiência do usuário.

O que o inspirou a co-fundar a Skymel e quais são os principais desafios na infraestrutura de IA que você estava tentando resolver com o NeuroSplit?

A inspiração para a Skymel veio da convergência de nossas experiências complementares. Durante o tempo de meu co-fundador, Sushant Tripathy, no Google (GOOGL ), ele estava implantando modelos de IA baseados em voz em bilhões de dispositivos Android. Ele descobriu que havia uma enorme quantidade de poder de computação ocioso disponível nos dispositivos de usuário, mas a maioria das empresas não podia utilizá-lo de forma eficaz devido aos complexos desafios de engenharia de acessar esses recursos sem comprometer a experiência do usuário.

Enquanto isso, minha experiência trabalhando com empresas e startups na Redis me deu uma visão profunda de como a latência estava se tornando crítica para os negócios. À medida que as aplicações de IA se tornavam mais prevalentes, ficou claro que precisávamos mover o processamento para mais perto de onde os dados estavam sendo criados, em vez de constantemente transportar os dados de volta e forth para os centros de dados.

Foi então que Sushant e eu percebemos que o futuro não era sobre escolher entre processamento local ou em nuvem – era sobre criar uma tecnologia inteligente que pudesse adaptar-se perfeitamente entre processamento local, em nuvem ou híbrido com base em cada solicitação de inferência específica. Essa percepção nos levou a fundar a Skymel e desenvolver o NeuroSplit, indo além das limitações tradicionais de infraestrutura que estavam segurando a inovação de IA.

Pode explicar como o NeuroSplit otimiza dinamicamente os recursos de computação enquanto mantém a privacidade do usuário e o desempenho?

Um dos principais obstáculos na inferência de IA local tem sido os requisitos de computação estáticos – tradicionalmente, executar um modelo de IA exige os mesmos recursos computacionais, independentemente das condições do dispositivo ou do comportamento do usuário. Essa abordagem de um tamanho único ignora a realidade de que os dispositivos têm diferentes capacidades de hardware, desde vários chips (GPU, NPU, CPU, XPU) até largura de banda de rede variada, e os usuários têm diferentes comportamentos em termos de uso de aplicativos e padrões de carregamento.

O NeuroSplit monitora continuamente vários telemétricos do dispositivo – desde capacidades de hardware até utilização de recursos atuais, status da bateria e condições de rede. Também consideramos padrões de comportamento do usuário, como quantos outros aplicativos estão em execução e padrões típicos de uso do dispositivo. Esse monitoramento abrangente permite que o NeuroSplit determine dinamicamente quanto da inferência de computação pode ser executada com segurança no dispositivo do usuário, otimizando os principais indicadores de desempenho dos desenvolvedores.

Quando a privacidade dos dados é fundamental, o NeuroSplit garante que os dados brutos nunca deixem o dispositivo, processando informações sensíveis localmente enquanto mantém o desempenho ótimo. Nossa capacidade de dividir, cortar ou desacoplar modelos de IA nos permite caber 50-100 modelos de IA estub em o espaço de memória de apenas um modelo quantizado em um dispositivo de usuário. Em termos práticos, isso significa que os usuários podem executar significativamente mais aplicações alimentadas por IA simultaneamente, processando dados sensíveis localmente, em comparação com as abordagens de computação estáticas tradicionais.

Quais são os principais benefícios da inferência adaptativa do NeuroSplit para as empresas de IA, particularmente aquelas que trabalham com tecnologia de GPU mais antiga?

O NeuroSplit entrega três benefícios transformadores para as empresas de IA. Primeiro, reduz drasticamente os custos de infraestrutura por meio de dois mecanismos: as empresas podem utilizar GPUs mais baratas e mais antigas de forma eficaz, e nossa capacidade única de acomodar tanto modelos completos quanto estub em GPUs de nuvem permite taxas de utilização de GPU significativamente mais altas. Por exemplo, um aplicativo que normalmente exigiria vários NVIDIA (NVDA ) A100s a $2,74 por hora agora pode ser executado em um único A100 ou vários V100s a apenas $0,83 por hora.

Em segundo lugar, melhoramos substancialmente o desempenho processando os dados brutos iniciais diretamente nos dispositivos do usuário. Isso significa que os dados que eventualmente viajam para a nuvem são muito menores em tamanho, reduzindo significativamente a latência da rede enquanto mantém a precisão. Essa abordagem híbrida oferece às empresas o melhor de ambos os mundos – a velocidade do processamento local com o poder da computação em nuvem.

Terceiro, ao processar os dados iniciais sensíveis nos dispositivos do usuário, ajudamos as empresas a manter fortes proteções de privacidade do usuário sem sacrificar o desempenho. Isso é cada vez mais crucial à medida que as regulamentações de privacidade se tornam mais rigorosas e os usuários se tornam mais conscientes da privacidade.

Como a solução da Skymel reduz os custos para a inferência de IA sem comprometer a complexidade ou a precisão do modelo?

Primeiro, dividindo os modelos de IA individuais, distribuímos a computação entre os dispositivos do usuário e a nuvem. A primeira parte é executada no dispositivo do usuário, lidando com 5% a 100% da computação total, dependendo dos recursos do dispositivo disponíveis. Apenas a computação restante precisa ser processada em GPUs de nuvem.

Essa divisão significa que as GPUs de nuvem lidam com uma carga computacional reduzida – se um modelo originalmente exigisse uma GPU A100 completa, após a divisão, essa mesma carga de trabalho poderia precisar apenas de 30-40% da capacidade da GPU. Isso permite que as empresas usem instâncias de GPU mais acessíveis, como o V100.

Em segundo lugar, o NeuroSplit otimiza a utilização de GPU na nuvem. Ao organizar de forma eficiente tanto os modelos completos quanto os estub (as partes restantes dos modelos divididos) na mesma GPU de nuvem, alcançamos taxas de utilização significativamente mais altas em comparação com as abordagens tradicionais. Isso significa que mais modelos podem ser executados simultaneamente na mesma GPU de nuvem, reduzindo ainda mais os custos por inferência.

O que distingue a abordagem híbrida (local + nuvem) da Skymel de outras soluções de infraestrutura de IA no mercado?

O cenário de IA está em um ponto de inflexão fascinante. Enquanto a atenção atual está na escalabilidade de modelos de linguagem grandes em nuvem, os próximos cinco anos verão a IA se tornando profundamente personalizada e consciente do contexto. Isso não é apenas sobre fine-tuning – é sobre IA que se adapta a usuários específicos, dispositivos e situações em tempo real.

Essa mudança cria dois principais desafios de infraestrutura. Primeiro, a abordagem tradicional de executar tudo em centros de dados centralizados se torna insustentável, tanto tecnicamente quanto economicamente. Em segundo lugar, a crescente complexidade das aplicações de IA significa que precisamos de infraestrutura que possa otimizar dinamicamente várias modelos, dispositivos e locais de computação.

Na Skymel, estamos construindo infraestrutura que aborda especificamente esses desafios. Nossa tecnologia permite que a IA seja executada onde mais faz sentido – seja no dispositivo onde os dados estão sendo gerados, na nuvem onde mais computação está disponível ou inteligentemente dividida entre os dois. Mais importante ainda, essas decisões são adaptadas em tempo real com base em condições e requisitos em mudança.

À medida que olhamos para o futuro, as aplicações de IA bem-sucedidas não serão definidas pelo tamanho de seus modelos ou pela quantidade de computação que podem acessar. Elas serão definidas por sua capacidade de entregar experiências personalizadas e responsivas enquanto gerenciam recursos de forma eficiente. Nosso objetivo é tornar esse nível de otimização inteligente acessível a todas as aplicações de IA, independentemente da escala ou complexidade. Obrigado pela ótima entrevista, leitores que desejam aprender mais devem visitar Skymel.