Phillip Burr, Diretor de Produto da Lumai – Série de Entrevistas

Phillip Burr é o Diretor de Produto da Lumai, com mais de 25 anos de experiência em gestão de produtos globais, marketing e liderança em empresas de semicondutores e tecnologia líderes, e um histórico comprovado de construir e escalar produtos e serviços.

Lumai é uma empresa de tecnologia de ponta com sede no Reino Unido, que desenvolve processadores de computação óptica 3D para acelerar as cargas de trabalho de inteligência artificial. Ao realizar multiplicações de matriz-vetor usando feixes de luz em três dimensões, sua tecnologia oferece até 50 vezes o desempenho e 90% menos consumo de energia em comparação com aceleradores baseados em silício tradicionais. Isso a torna particularmente adequada para tarefas de inferência de IA, incluindo modelos de linguagem grande, enquanto reduz significativamente os custos de energia e o impacto ambiental.

O que inspirou a fundação da Lumai, e como a ideia evoluiu da pesquisa da Universidade de Oxford para uma empresa comercial?

A faísca inicial foi acesa quando um dos fundadores da Lumai, Dr. Xianxin Guo, recebeu uma Bolsa de Pesquisa 1851 na Universidade de Oxford. Os entrevistadores entenderam o potencial da computação óptica e perguntaram se Xianxin consideraria patentes e criar uma empresa se sua pesquisa fosse bem-sucedida. Isso acendeu a mente criativa de Xianxin e, quando ele, ao lado de um dos outros co-fundadores da Lumai, Dr. James Spall, provou que usar luz para realizar cálculos no coração da IA poderia aumentar significativamente o desempenho da IA e reduzir a energia, o palco estava montado. Eles sabiam que o hardware de IA baseado em silício existente (e ainda existente) estava (e ainda está) lutando para aumentar o desempenho sem aumentar significativamente o poder e o custo, e, portanto, se eles pudessem resolver esse problema usando computação óptica, poderiam criar um produto que os clientes quisessem. Eles levaram essa ideia a alguns VC que os apoiaram para formar a Lumai. A Lumai recentemente fechou sua segunda rodada de financiamento, arrecadando mais de $10 milhões e trazendo investidores adicionais que também acreditam que a computação óptica pode continuar a escalar e atender à demanda crescente de desempenho de IA sem aumentar o poder.

Você teve uma carreira impressionante em Arm, indie Semiconductor (INDI ) e mais — o que o levou a se juntar à Lumai nesta fase?

A resposta curta é equipe e tecnologia. A Lumai tem uma equipe impressionante de especialistas em óptica, aprendizado de máquina e centros de dados, trazendo experiência de empresas como Meta, Intel (INTC ), Altera, Maxeler, Seagate e IBM (além da minha própria experiência em Arm, indie, Mentor Graphics e Motorola). Eu sabia que uma equipe de pessoas notáveis tão focadas em resolver o desafio de reduzir o custo da inferência de IA poderia fazer coisas incríveis.

Eu acredito firmemente que o futuro da IA exige novas inovações em computação. A promessa de poder oferecer 50 vezes o desempenho de computação de IA, bem como cortar o custo da inferência de IA para 1/10 em comparação com as soluções atuais, era uma oportunidade boa demais para perder.

Quais foram alguns dos principais desafios técnicos ou de negócios que sua equipe de fundadores enfrentou ao escalar de uma quebra de pesquisa para uma empresa pronta para produtos?

A quebra de pesquisa provou que a óptica poderia ser usada para multiplicações de matriz-vetor rápidas e muito eficientes. Apesar dos avanços técnicos, o maior desafio foi convencer as pessoas de que a Lumai poderia ter sucesso onde outras startups de computação óptica haviam falhado. Tivemos que gastar tempo explicando que a abordagem da Lumai era muito diferente e que, em vez de confiar em um único chip 2D, usávamos óptica 3D para atingir níveis de escala e eficiência. Existem, é claro, muitas etapas para ir da pesquisa de laboratório à tecnologia que pode ser implantada em escala em um centro de dados. Reconhecemos muito cedo que a chave para o sucesso era trazer engenheiros que têm experiência em desenvolver produtos em grande volume e em centros de dados. A outra área é o software — é essencial que os frameworks e modelos de IA padrão possam se beneficiar do processador da Lumai e que forneçamos as ferramentas e frameworks para tornar isso o mais transparente possível para os engenheiros de software de IA.

A tecnologia da Lumai é dita usar multiplicações de matriz-vetor ópticas 3D. Pode explicar isso em termos simples para um público geral?

Os sistemas de IA precisam realizar muitos cálculos matemáticos chamados multiplicações de matriz-vetor. Esses cálculos são o motor que impulsiona as respostas de IA. Na Lumai, fazemos isso usando luz em vez de eletricidade. Aqui está como funciona:

1. Codificamos informações em feixes de luz
2. Esses feixes de luz viajam pelo espaço 3D
3. A luz interage com lentes e materiais especiais
4. Essas interações completam a operação matemática

Ao usar as três dimensões do espaço, podemos processar mais informações com cada feixe de luz. Isso torna nossa abordagem muito eficiente — reduzindo a energia, o tempo e o custo necessários para executar sistemas de IA.

Quais são as principais vantagens da computação óptica sobre os GPUs e até mesmo as abordagens de fotônica integrada baseadas em silício tradicionais?

Como a taxa de avanço na tecnologia de silício diminuiu significativamente, cada etapa de melhoria no desempenho de um processador de IA baseado em silício (como um GPU) resulta em um aumento significativo no poder. As soluções baseadas em silício consomem uma quantidade incrível de poder e estão perseguindo retornos decrescentes, o que as torna incrivelmente complexas e caras. A vantagem de usar óptica é que, uma vez no domínio óptico, praticamente não há consumo de energia. A energia é usada para entrar no domínio óptico, mas, por exemplo, no processador da Lumai, podemos alcançar mais de 1.000 operações de computação por cada feixe de luz, todos os ciclos, tornando-o muito eficiente. Essa escalabilidade não pode ser alcançada usando fotônica integrada devido a restrições de tamanho físico e ruído de sinal, com o número de operações de computação de uma solução de silício-fotônica em apenas 1/8 do que a Lumai pode alcançar hoje.

Como o processador da Lumai alcança uma inferência quase sem latência, e por que isso é um fator crítico para as cargas de trabalho de IA modernas?

Embora não afirmeríamos que o processador da Lumai oferece latência zero, ele executa uma operação de matriz-vetor muito grande (1024 x 1024) em um único ciclo. As soluções baseadas em silício dividem uma matriz em matrizes menores, que são processadas passo a passo e, em seguida, os resultados precisam ser combinados. Isso leva tempo e resulta em mais memória e energia sendo usadas. Reduzir o tempo, a energia e o custo do processamento de IA é crítico para permitir que mais empresas se beneficiem da IA e para permitir IA avançada de forma sustentável.

Pode nos guiar sobre como o fator de forma compatível com PCIe se integra à infraestrutura de centro de dados existente?

O processador da Lumai usa cartões de fator de forma PCIe ao lado de um CPU padrão, todos dentro de uma prateleira padrão de 4U. Estamos trabalhando com uma variedade de fornecedores de equipamentos de rack de centro de dados para que o processador da Lumai se integre ao seu próprio equipamento. Usamos interfaces de rede padrão, software padrão, etc., para que, externamente, o processador da Lumai pareça apenas mais um processador de centro de dados.
O uso de energia de centro de dados é uma preocupação global crescente. Como a Lumai se posiciona como uma solução sustentável para o cálculo de IA?

O consumo de energia de centro de dados está aumentando a uma taxa alarmante. De acordo com um relatório do Laboratório Nacional de Berkeley, o uso de energia de centro de dados nos EUA deve triplicar até 2028, consumindo até 12% da energia do país. Alguns operadores de centro de dados estão considerando instalar energia nuclear para fornecer a energia necessária. A indústria precisa olhar para abordagens diferentes para a IA, e acreditamos que a óptica é a resposta para essa crise de energia.

Pode explicar como a arquitetura da Lumai evita os gargalos de escalabilidade das abordagens atuais de silício e fotônica?

O desempenho do primeiro processador da Lumai é apenas o início do que é alcançável. Esperamos que nossa solução continue a fornecer saltos enormes no desempenho: aumentando as velocidades de relógio óptico e as larguras de vetor, tudo sem um aumento correspondente no consumo de energia. Nenhuma outra solução pode alcançar isso. As abordagens de silício digitais baseadas em silício continuarão a consumir mais energia e custo para cada aumento no desempenho. A fotônica de silício não pode alcançar a largura de vetor necessária e, portanto, as empresas que estavam olhando para a fotônica integrada para o cálculo de centro de dados mudaram para abordar outras partes do centro de dados — por exemplo, interconexão óptica ou comutação óptica.

Qual papel você vê a computação óptica desempenhando no futuro da IA — e, mais amplamente, na computação como um todo?

A óptica como um todo desempenhará um papel enorme nos centros de dados à frente — desde interconexão óptica, rede óptica, comutação óptica e, claro, processamento de IA óptico. As demandas que a IA está colocando nos centros de dados são o principal motor dessa mudança para a óptica. A interconexão óptica permitirá conexões mais rápidas entre os processadores de IA, o que é essencial para grandes modelos de IA. A comutação óptica permitirá uma rede mais eficiente, e o processamento óptico permitirá um processamento de IA mais rápido, mais eficiente em termos de energia e mais barato. Coletivamente, eles ajudarão a permitir IA ainda mais avançada, superando os desafios da desaceleração da escala de silício no lado de computação e as limitações de velocidade do cobre na interconexão.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Lumai.