ARIA seleciona servidores ópticos da Lumai para testar inferência de IA em escala de rack

Lumai está levando seu hardware óptico de IA para um novo ambiente de avaliação: o Laboratório de Inferência em Escala, financiado pela Agência de Pesquisa Avançada e Invenção do Reino Unido, ou ARIA. O laboratório planeja implantar servidores de inferência Lumai Iris como sua primeira plataforma de computação óptica, permitindo que pesquisadores testem a arquitetura em escala de rack, em um centro de dados comercial.

Administrado pela CommonAI CIC, o laboratório pretende preencher uma lacuna difícil para o hardware de IA emergente: demonstrar um processador inovador é uma coisa; fazê-lo funcionar como parte de um sistema integrado, com modelos reais e requisitos convencionais de energia, refrigeração e rack, é outra.

O anúncio dá continuidade ao lançamento da Iris Nova em abril. A nova etapa é uma avaliação com vários nós por meio de uma plataforma de testes financiada com recursos públicos, e não o lançamento de um benchmark independente e concluído que comprove as principais alegações de eficiência da Lumai.

Usar luz para realizar cálculos matriciais

A Lumai, uma empresa derivada da Universidade de Oxford, fundada em 2021, desenvolve uma arquitetura híbrida óptica e digital. Seu mecanismo óptico é voltado para as operações matemáticas densas usadas na inferência de IA, enquanto componentes eletrônicos continuam a executar as funções do restante do sistema.

Na descrição técnica da empresa, as informações são codificadas em feixes de luz e processadas por componentes ópticos em um espaço tridimensional. O objetivo é realizar muitas operações matemáticas em paralelo por meio da propagação da luz, em vez de executar cada cálculo com a comutação de transistores.

Isso não significa que o servidor inteiro seja passivo ou não consuma energia. O sistema completo ainda precisa de fontes de luz, conversão de dados, memória, processamento digital e controle. A questão de engenharia relevante é quanto da eficiência do mecanismo óptico se mantém após considerar esses custos adicionais durante a execução de um modelo útil.

A Lumai descreve uma interface de dados ampla, projetada para distribuir o custo da conversão por grandes cargas de trabalho; um projeto de memória em três níveis para o cache de chave-valor do modelo; e quantização adaptada ao hardware. Esses são aspectos práticos da arquitetura: movimentar dados, preservar uma precisão numérica útil e manter o acelerador ocupado influenciam o desempenho fora de uma demonstração em laboratório.

Por que a Lumai está focando no prefill

A inferência de modelos de linguagem grandes tem duas fases distintas. Durante o prefill, o sistema processa a entrada e constrói o estado interno necessário para gerar uma resposta. Durante a decodificação, produz tokens de saída passo a passo, acessando repetidamente os pesos do modelo e o contexto armazenado em cache.

O prefill costuma ser dominado por grandes operações matriciais, enquanto a decodificação pode ser limitada pela largura de banda da memória, sobretudo com tamanhos de lote menores. O equilíbrio varia conforme o tamanho do modelo, o comprimento do prompt, o processamento em lotes e a configuração de atendimento. A abordagem da Lumai é se especializar na etapa que exige mais capacidade computacional, em vez de otimizar todo o fluxo com um único tipo de processador.

A documentação dos produtos Iris posiciona o acelerador óptico em sistemas de computação heterogêneos, inclusive como processador de prefill junto a hardware otimizado para a decodificação. A Lumai afirma que a Iris Nova é compatível com modelos Llama de 8 bilhões e 70 bilhões de parâmetros e está disponível para avaliação em centros de dados. A linha de produtos foi projetada para infraestrutura de rack padrão e refrigeração a ar.

“É em um sistema com vários nós, operando em um centro de dados comercial, que novas arquiteturas de computação demonstram se estão prontas para uma implantação real”, afirmou Xianxin Guo, cofundador e CEO da Lumai. O trabalho da ARIA coloca essa questão de integração no centro da próxima fase.

Uma plataforma de testes para sistemas completos

ARIA é uma agência pública de financiamento de pesquisa e desenvolvimento do Reino Unido que apoia tecnologias ambiciosas com potencial para gerar benefícios sociais. Seu programa Scaling Compute explora alternativas às abordagens de computação estabelecidas, incluindo novos princípios fundamentais de computação, redes e projeto de sistemas.

O Laboratório de Inferência em Escala conta com 50 milhões de libras em financiamento da ARIA. A ARIA o descreve como uma série de projetos-piloto estruturados em nível de rack, cada um incorporando uma tecnologia ainda não comprovada a um sistema implantável no qual os usuários finais possam executar modelos. O objetivo é comparar o desempenho do sistema completo com o de alternativas comerciais e fazer iterações rapidamente, com um novo rack planejado a cada seis meses.

A CommonAI, organização sem fins lucrativos baseada em Cambridge e formada por membros, que administra o laboratório, reúne empresas, órgãos públicos e participantes acadêmicos para colaborar em engenharia. Seu esboço do programa descreve mais de cinco sistemas em nível de rack e enfatiza a validação independente para ajudar o hardware emergente a demonstrar seu desempenho operacional real.

Essa estrutura é importante porque um acelerador pode ter bom desempenho em uma operação isolada e, ainda assim, oferecer um benefício menor quando se incluem a movimentação de dados, o escalonamento, o suporte de software e o restante do fluxo de atendimento. Um ambiente de testes compartilhado pode ajudar a revelar tanto as vantagens quanto os gargalos.

O que as alegações de eficiência demonstram — e o que não demonstram

A Lumai afirma que essa arquitetura tem potencial para reduzir em até 90% o consumo de energia dos centros de dados e baixar o custo total de propriedade para cerca de um décimo do custo das arquiteturas convencionais de GPU. Seu site apresenta um roteiro para alcançar um desempenho 50 vezes superior. O comunicado também informa, separadamente, uma eficiência energética por inferência pelo menos 16 vezes maior quando o pré-preenchimento óptico é combinado com a decodificação baseada em silício.

Esses números se referem a comparações distintas e não devem ser tratados como medidas intercambiáveis nem como resultados já verificados de forma independente pela ARIA. O anúncio não apresenta uma configuração de benchmark comum, uma comparação da qualidade dos modelos nem um conjunto de resultados publicados no nível do rack que comprovem esses ganhos em cargas de trabalho comerciais.

A avaliação do laboratório é, portanto, o avanço mais relevante. Entre as medições úteis estariam o consumo de energia por solicitação concluída, o tempo até o primeiro token, a taxa de geração de saída sustentada, a precisão do modelo e o custo de operação do sistema completo. Para comparações significativas, é necessário usar o mesmo modelo, os mesmos comprimentos de contexto, as mesmas premissas de processamento em lote e os mesmos requisitos de serviço.

Para concretizar a ambição do Reino Unido de ampliar sua capacidade nacional de IA dentro de orçamentos de energia limitados, um sistema óptico bem-sucedido poderia oferecer mais uma opção de computação. A implantação da Lumai é um passo rumo à avaliação dessa possibilidade em condições comerciais. A capacidade de sua vantagem se traduzir em custos de inferência mais baixos em grande escala dependerá das evidências sobre o sistema completo que a avaliação produzir.