Avi Baum, CTO da Hailo – Série de Entrevistas

Avi Baum, CTO da Hailo, lidera a visão tecnológica e a inovação de produtos da empresa. Ele atuou anteriormente como CTO de Conectividade Sem Fio na Texas Instruments (TXN ), impulsionando estratégias para MCUs conectados nos mercados de IoT e IIoT, e ocupou cargos de arquitetura e liderança sênior nas Forças de Defesa de Israel.

Hailo é uma empresa israelense de AI-chip especializada em processadores de AI de borda de alto desempenho e baixo consumo de energia para aplicações como veículos autônomos, câmeras inteligentes e robótica, apoiada por uma suíte de software abrangente e um ecossistema de parceiros globais.

Pode compartilhar o que o atraiu originalmente para o campo da AI de borda e como suas experiências iniciais de engenharia moldaram seu pensamento sobre design de processador?

Minha carreira me levou a áreas de mercados emergentes. Durante meu período na TI (Texas Instruments), uma líder em semicondutores com um legado de longa data, tive a oportunidade de liderar o design de sistema e arquitetura, chefiando o departamento de definição de produto e, posteriormente, servindo como CTO desse departamento. Isso me levou a explorar continuamente as tecnologias que estão surgindo e que provavelmente moldarão o futuro próximo.

Quando fundamos a Hailo em 2017, estava claro que a AI, que havia começado a prosperar na nuvem, também tinha o potencial de se tornar uma tecnologia habilitadora para dispositivos de borda. Então, definimos o curso e começamos essa jornada.

À medida que a AI gerativa se expande na borda, por que o TOPS – teraoperações por segundo – não é mais um benchmark suficiente para avaliar o desempenho do processador?

O TOPS foi por muito tempo a métrica go-to para avaliar o hardware de AI, mas na era da AI gerativa na borda, não é mais suficiente. A natureza dos modelos clássicos é traduzir grandes quantidades de dados em insights significativos, então a quantidade de computação necessária para processar os dados de entrada está aumentando com a quantidade de dados que precisam ser processados. Modelos para essas tarefas são tipicamente menores em tamanho do que a quantidade de dados que processam, tornando a sobrecarga de largura de banda atribuída ao acesso aos parâmetros do modelo relativamente negligenciável.

Modelos gerativos, no entanto, são notavelmente maiores – no domínio de bilhões de parâmetros – e, nesses casos, a largura de banda de memória se torna um fator não negligenciável.

Em vez de se concentrar apenas no TOPS, é crítico avaliar como bem um processador equilibra computação e memória em condições do mundo real. Não é sobre perseguir o número mais alto; é sobre ajustar a arquitetura para as cargas de trabalho que precisa manipular.

Por que a largura de banda de memória está se tornando um gargalo mais crítico do que a computação em cargas de trabalho de AI de borda, especialmente para LLMs e VLMs?

Para cargas de trabalho de AI de borda, particularmente aquelas que envolvem LLMs ou VLMs, a largura de banda de memória está rapidamente se tornando o gargalo principal. Esses modelos normalmente variam de 0,5 a 8 bilhões de parâmetros, excedendo a capacidade de memória on-chip e exigindo acesso a memória off-chip como DRAM. Isso aumenta dramaticamente a demanda por largura de banda de memória. Por exemplo, um modelo de 1B de parâmetros pode entregar até ~40 tokens por segundo em condições ótimas com uma interface LPDDR4X padrão, mas manter essa taxa com um modelo de 4B requer mais de quatro vezes essa largura de banda. Sem isso, o desempenho sofre, não por causa de computação limitada, mas porque o processador não consegue alimentar os dados rapidamente o suficiente. Esse desequilíbrio entre computação e memória é um dos desafios mais prementes na implantação de AI gerativa na borda. Isso é ainda mais amplificado em arquiteturas que computam camada por camada, onde os resultados intermediários também aumentam o tráfego de memória e ainda mais estressam a largura de banda.

Como as equipes de produto devem repensar sua estratégia de benchmarking ao projetar para aplicações de borda do mundo real?

As equipes de produto devem se afastar de confiar em uma única métrica de desempenho como o TOPS e, em vez disso, adotar uma estratégia de benchmarking que reflete as realidades da implantação de borda. Isso começa entendendo o caso de uso específico, a carga de trabalho real que o processador precisa manipular e identificando o “ponto de trabalho”: a interseção das restrições de energia, custo e latência. A partir daí, é sobre avaliar como a computação e a memória interagem sob essas condições. Um processador com alto TOPS não entregará se a largura de banda de memória for limitada, e mais memória não ajudará se a capacidade de computação for insuficiente.

As equipes devem avaliar se o processador pode sustentar o desempenho em tarefas como percepção, melhoramento e cargas de trabalho gerativas, cada uma com demandas muito diferentes. O objetivo não é otimizar para especificações de pico, mas garantir um desempenho equilibrado em todo o espectro de casos de uso esperados em ambientes do mundo real.

Isso é uma mudança natural de medidas “estéreis” para abordagens mais intricadas que refletem como as plataformas são usadas e como elas são avaliadas – semelhante ao que aconteceu com outras arquiteturas que se tornaram mainstream (por exemplo, SPEC, Coremark, 3DMark, etc.).

Como as restrições de energia e custo influenciam as decisões de arquitetura por trás dos processadores Hailo, especialmente para dispositivos de borda voltados para o consumidor?

Energia e custo são duas das restrições mais definidoras ao projetar processadores de AI para dispositivos de borda, especialmente em produtos voltados para o consumidor. Em dispositivos compactos como sensores de IoT ou assistentes de casa inteligentes, os orçamentos de energia são apertados e, muitas vezes, não há refrigeração ativa, então a eficiência energética se torna crítica. Cada recurso adicional de computação ou memória adiciona consumo de energia e calor, o que impacta diretamente a usabilidade e a vida útil da bateria.

Custo é igualmente influente. Dispositivos de consumidor precisam permanecer dentro de pontos de preço competitivos, o que significa que o processador pode incluir apenas tanto TOPS e memória antes de se tornar economicamente inviável. Essas restrições forçam escolhas arquiteturais difíceis. Na Hailo, priorizamos projetos que entregam o equilíbrio certo de computação e memória para atender às necessidades de aplicações do mundo real dentro de um envelope apertado de energia e custo, garantindo que a AI de borda se torne viável, eficiente e escalável em uma ampla gama de produtos de consumidor.

Pode nos guiar sobre como define um “ponto de trabalho” para uma aplicação e por que isso é tão importante na implantação de AI de borda?

Definir o “ponto de trabalho” é uma das etapas mais importantes ao projetar um sistema. Isso se refere à interseção das restrições de energia, custo e latência que moldam o que é realisticamente alcançável em uma implantação específica. Ao contrário da nuvem, onde você pode jogar mais computação ou memória em um problema, os dispositivos de borda operam dentro de um envelope fixo. Isso significa que você precisa fazer escolhas deliberadas com base nas necessidades reais da aplicação. Por exemplo, um sensor de IoT pode priorizar a eficiência energética sobre o desempenho bruto, enquanto um sistema autônomo pode exigir uma latência ultra-baixa, independentemente do consumo de energia. Uma vez que o ponto de trabalho é estabelecido, você pode avaliar se o processador tem o equilíbrio certo de computação e memória para atender a essa necessidade. Não é sobre maximizar especificações em todas as direções; é sobre garantir um desempenho sustentado e confiável em condições do mundo real que a aplicação enfrentará.

Em geral, o ponto de trabalho é onde você quer que os principais indicadores de desempenho estejam em seu ótimo. Falhar em fazer isso pode resultar em uma operação subótima sob os cenários de uso mais típicos da plataforma.

Como um exemplo simples, alguém pode tornar um sistema de análise de AI extremamente eficiente quando a entrada está em uma resolução muito alta, mas se isso for implantado em sistemas que nunca atingem essa resolução, essa otimização é insignificante.

Ao lidar com vídeo, áudio e linguagem frequentemente misturados em dispositivos modernos, como você aborda a otimização em modelos multimodais?

Modelos multimodais exigem um equilíbrio cuidadoso de recursos de computação e memória. Cada modalidade estressa o sistema de maneira diferente: vídeo é intensivo em computação devido a altas resoluções e taxas de quadros, enquanto linguagem e áudio são mais compactos, mas colocam demandas mais pesadas na largura de banda de memória. Em aplicações como processamento de visão-linguagem, essa divisão se torna clara (embora isso não seja uma garantia, mas um cenário típico): processamento de vídeo impulsiona a computação, enquanto o modelo de linguagem pode atingir rapidamente gargalos de memória.

Aproximamos a otimização olhando para como essas cargas de trabalho interagem ao longo do pipeline e garantindo que o processador seja projetado para suportá-las simultaneamente, sem permitir que uma modalidade comprometa o desempenho de outra.

Como o aumento do tamanho do modelo na borda complica a latência e o consumo de energia, e qual é o papel da arquitetura de sistema na resolução desse problema?

À medida que o tamanho do modelo aumenta na borda, a latência e o consumo de energia se tornam mais difíceis de gerenciar. Modelos maiores dependem mais pesadamente da memória off-chip, o que aumenta tanto o uso de energia quanto o atraso, especialmente quando a largura de banda de memória se torna um gargalo. Por exemplo, escalar de um modelo de 1B para um modelo de 4B de parâmetros exigiria mais de quatro vezes a largura de banda para manter o mesmo desempenho – mas, na prática, o desempenho não escala linearmente devido a restrições de largura de banda e de sistema.

Não é apenas sobre ter alto TOPS ou grande memória; é sobre como esses componentes interagem. Um design equilibrado garante que computação, memória e largura de banda trabalhem juntos de forma eficiente, impedindo que um recurso limite todo o sistema.

Como a Hailo projeta para a prova de futuro – considerando como rapidamente os modelos de AI, as cargas de trabalho e os requisitos de implantação estão evoluindo?

Prova de futuro na AI de borda significa projetar processadores que possam lidar com uma ampla gama de cargas de trabalho em evolução. Na Hailo, nos concentramos em arquiteturas equilibradas que não são personalizadas para apenas uma tarefa, mas podem suportar tudo, desde funções perceptivas como detecção de objetos até modelos gerativos como VLMs. Cada tipo de carga de trabalho estressa a computação e a memória de maneira diferente, então projetamos para flexibilidade, evitando gargalos quando alternando entre elas. Também consideramos os limites do mundo real de energia, custo e latência em aplicações. Priorizando a diversidade de cargas de trabalho e o equilíbrio de recursos, visamos apoiar a próxima geração de implantações de AI de borda em casos de uso de consumidor e industrial.

No entanto, um tamanho não pode caber em todos, e o portfólio visa aplicações endereçáveis específicas e tenta se ajustar dentro do orçamento disponível, por exemplo, de energia, fator de forma e isso define um “ponto de trabalho”.

Qual é o papel do ecossistema de desenvolvedores na maximização do valor de um processador, e como vocês estão garantindo que as equipes possam aproveitar ao máximo as capacidades da Hailo?

Como um dispositivo programável, é essencial ter ferramentas fáceis para os desenvolvedores exercerem o potencial do processador, encurtar o caminho para a implantação e habilitar novos casos de uso. Ao fornecer um ambiente bem suportado em torno de nossos processadores, ajudamos as equipes a trazer aplicações de AI à vida em uma variedade de casos de uso.

Qual conselho você daria a engenheiros ou CTOs que escolhem seu primeiro acelerador de AI para um produto de próxima geração sendo construído hoje?

Com as condições maduras, acredito que há muito potencial de inovação, permitindo que traduzamos a imaginação em produtos reais. Em um ambiente em rápida mudança, escolher um acelerador que permita um ciclo de conceito-implantação rápido é crítico.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Hailo.