Avi Baum, CTO chez Hailo – Série d’entretiens

Avi Baum, CTO chez Hailo, dirige la vision technologique et l’innovation produit de l’entreprise. Il a précédemment occupé le poste de CTO pour la connectivité sans fil chez Texas Instruments (TXN ), en pilotant les stratégies pour les MCUs connectés sur les marchés de l’IoT et de l’IIoT, et a occupé des postes d’architecture et de direction senior dans les forces de défense israéliennes.

Hailo est une entreprise israélienne de puces AI spécialisée dans les processeurs AI de pointe à faible consommation pour des applications telles que les véhicules autonomes, les caméras intelligentes et la robotique, étayées par un logiciel complet et un écosystème de partenaires mondial.

Pouvez-vous partager ce qui vous a initialement attiré dans le domaine de l’AI de pointe et comment vos premières expériences d’ingénierie ont façonné votre réflexion sur la conception de processeurs ?

Mon parcours professionnel m’a mené à des marchés émergents. Pendant mon séjour chez TI (Texas Instruments), un leader du secteur des semi-conducteurs avec un héritage de longue date, j’ai eu l’occasion de diriger la conception et l’architecture au niveau du système, en dirigeant le département de définition de produits et en servant ensuite en tant que CTO de ce département. Cela m’a conduit à explorer continuellement les technologies émergentes qui sont susceptibles de façonner le « pas si lointain » avenir.

Quand nous avons fondé Hailo en 2017, il était clair que l’IA, qui avait commencé à prospérer dans le cloud, avait également le potentiel de devenir une technologie d’activation pour les appareils de pointe. Nous avons donc fixé notre cap et entamé ce voyage.

Alors que l’AI générative s’étend à la pointe, pourquoi les TOPS – les téraopérations par seconde – ne constituent-ils plus un indicateur de performance suffisant pour évaluer les processeurs ?

Les TOPS ont longtemps été la mesure de référence pour évaluer le matériel AI, mais à l’ère de l’AI générative à la pointe, cela ne suffit plus. La nature des modèles classiques est de traduire de grandes quantités de données en informations significatives, donc la quantité de calcul nécessaire pour traiter les données entrantes augmente avec la quantité de données à traiter. Les modèles pour ces tâches sont généralement plus petits que la quantité de données qu’ils traitent, ce qui rend la bande passante attribuée à l’accès aux paramètres du modèle relativement négligeable.

Les modèles génératifs, cependant, sont nettement plus importants – dans le domaine des milliards de paramètres, et dans ces cas, la bande passante mémoire devient un facteur non négligeable.

Plutôt que de se concentrer uniquement sur les TOPS, il est essentiel d’évaluer comment un processeur équilibre le calcul et la mémoire dans des conditions réelles. Il ne s’agit pas de poursuivre le plus grand nombre ; c’est de mettre à niveau l’architecture pour les charges de travail qu’elle doit gérer.

Pourquoi la bande passante mémoire devient-elle désormais un goulet d’étranglement plus critique que le calcul dans les charges de travail AI de pointe, en particulier pour les LLM et les VLM ?

Pour les charges de travail AI de pointe, en particulier celles qui impliquent les LLM ou les VLM, la bande passante mémoire devient rapidement le goulet d’étranglement principal. Ces modèles vont généralement de 0,5 à 8 milliards de paramètres, dépassant la capacité de la mémoire sur puce et nécessitant l’accès à la mémoire hors puce comme la DRAM. Cela augmente considérablement la demande de bande passante mémoire. Par exemple, un modèle à 1 milliard de paramètres peut livrer jusqu’à environ 40 jetons par seconde dans des conditions optimales avec une interface LPDDR4X standard, mais maintenir ce taux avec un modèle à 4 milliards de paramètres nécessite plus de quatre fois cette bande passante. Sans cela, les performances souffrent, non pas en raison d’un calcul limité, mais parce que le processeur ne peut pas alimenter les données suffisamment rapidement. Ce déséquilibre entre le calcul et la mémoire est l’un des défis les plus pressants dans le déploiement de l’AI générative à la pointe. Cela est encore amplifié dans les architectures qui calculent couche par couche, où les résultats intermédiaires augmentent également le trafic mémoire et sollicitent davantage la bande passante.

Comment les équipes de produits devraient-elles repenser leur stratégie de benchmarking lors de la conception pour des applications de pointe réelles ?

Les équipes de produits devraient s’éloigner de la dépendance à une seule métrique de performance comme les TOPS et adopter une stratégie de benchmarking qui reflète les réalités du déploiement de pointe. Cela commence par comprendre le cas d’utilisation spécifique, la charge de travail réelle que le processeur doit gérer, et identifier le « point de travail » : l’intersection des contraintes de puissance, de coût et de latence. À partir de là, il s’agit d’évaluer comment le calcul et la mémoire interagissent dans ces conditions. Un processeur avec des TOPS élevés ne livrera pas s’il la bande passante mémoire est limitée, et plus de mémoire n’aidera pas si la capacité de calcul est insuffisante.

Les équipes devraient évaluer si le processeur peut maintenir les performances sur des tâches comme la perception, l’amélioration et les charges de travail génératives, chacune avec des exigences très différentes. L’objectif n’est pas d’optimiser les spécifications de pointe, mais de garantir des performances équilibrées sur toute la gamme d’utilisation prévue dans des environnements réels.

Ceci est un changement naturel des mesures « stériles » vers des approches plus complexes qui reflètent la façon dont les plateformes sont utilisées et évaluées – similaire à ce qui s’est passé avec d’autres architectures qui sont devenues mainstream (par exemple, SPEC, Coremark, 3DMark, etc.).

Comment les contraintes de puissance et de coût influencent-elles les décisions d’architecture derrière les processeurs Hailo, en particulier pour les appareils de pointe destinés aux consommateurs ?

La puissance et le coût sont deux des contraintes les plus déterminantes lors de la conception de processeurs AI pour les appareils de pointe, en particulier dans les produits destinés aux consommateurs. Dans les appareils compacts comme les capteurs IoT ou les assistants intelligents pour la maison, les budgets de puissance sont serrés, et il n’y a souvent pas de refroidissement actif, donc l’efficacité énergétique devient critique. Chaque ressource de calcul ou de mémoire supplémentaire ajoute une consommation de puissance et de la chaleur, ce qui impacte directement l’utilisabilité et la durée de vie de la batterie.

Le coût est également très influent. Les appareils destinés aux consommateurs doivent rester dans des fourchettes de prix compétitives, ce qui signifie que le processeur ne peut inclure qu’une quantité limitée de TOPS et de mémoire avant de devenir économiquement inviable. Ces contraintes obligent à des compromis architecturaux difficiles. Chez Hailo, nous privilégions les conceptions qui offrent l’équilibre approprié entre le calcul et la mémoire pour répondre aux besoins d’applications réelles dans une enveloppe serrée de puissance et de coût, en garantissant que l’AI de pointe devienne viable, efficace et évolutif dans une large gamme de produits destinés aux consommateurs.

Pouvez-vous nous expliquer comment vous définissez un « point de travail » pour une application et pourquoi cela compte tant dans le déploiement de l’AI de pointe ?

La définition du « point de travail » est l’une des étapes les plus importantes lors de la conception d’un système. Il s’agit de l’intersection des contraintes de puissance, de coût et de latence qui déterminent ce qui est réalisable dans un déploiement spécifique. Contrairement au cloud, où vous pouvez jeter plus de calcul ou de mémoire sur un problème, les appareils de pointe opèrent dans une enveloppe fixe. Cela signifie que vous devez faire des compromis délibérés en fonction des exigences réelles de l’application. Par exemple, un capteur IoT peut donner la priorité à l’efficacité énergétique par rapport aux performances brutes, tandis qu’un système autonome peut exiger une latence ultra-basse indépendamment de la consommation de puissance. Une fois le point de travail établi, vous pouvez évaluer si le processeur a l’équilibre approprié de calcul et de mémoire pour répondre à ce besoin. Il ne s’agit pas de maximiser les spécifications dans toutes les directions ; il s’agit de garantir des performances soutenues et fiables dans les conditions réelles que l’application rencontrera.

En général, le point de travail est là où vous souhaitez que les indicateurs de performance clés soient à leur optimum. Ne pas le faire pourrait aboutir à un fonctionnement sous-optimal dans la plupart des scénarios d’utilisation typiques de la plateforme.

Par exemple simple, on pourrait rendre un système d’analyse AI extrêmement efficace lorsque la saisie est à une résolution très élevée, mais si cela est déployé dans des systèmes qui n’atteignent jamais cette résolution, cette optimisation est sans signification.

Avec la vidéo, l’audio et le langage souvent mélangés dans les appareils modernes, comment abordez-vous l’optimisation sur les modèles multimodaux ?

Les modèles multimodaux nécessitent un équilibre réfléchi des ressources de calcul et de mémoire. Chaque modalité sollicite le système différemment : la vidéo est intensive en calcul en raison de la haute résolution et des taux d’images, tandis que le langage et l’audio sont plus compacts mais imposent des exigences plus lourdes en termes de bande passante mémoire. Dans les applications comme le traitement vision-langage, cette division devient claire (même si ce n’est pas une garantie, mais un scénario typique) : le traitement vidéo pousse le calcul, tandis que le modèle de langage peut rapidement atteindre des goulets d’étranglement de mémoire.

Nous abordons l’optimisation en examinant comment ces charges de travail interagissent le long de la chaîne et en veillant à ce que le processeur soit conçu pour les supporter simultanément, sans laisser une modalité compromettre les performances d’une autre.

Comment l’augmentation de la taille du modèle à la pointe complique-t-elle la latence et la consommation de puissance, et quel rôle joue l’architecture au niveau du système pour résoudre ce problème ?

À mesure que la taille du modèle augmente à la pointe, la latence et la consommation de puissance deviennent plus difficiles à gérer. Les modèles plus importants s’appuient davantage sur la mémoire hors puce, ce qui augmente à la fois la consommation d’énergie et le retard, en particulier lorsque la bande passante mémoire devient un goulet d’étranglement. Par exemple, passer d’un modèle à 1 milliard de paramètres à un modèle à 4 milliards de paramètres nécessiterait plus de quatre fois la bande passante pour maintenir les mêmes performances – mais dans la pratique, les performances ne suivent pas une évolution linéaire en raison des contraintes de bande passante et de système.

Il ne s’agit pas seulement d’avoir des TOPS élevés ou une grande mémoire ; il s’agit de la façon dont ces composants interagissent. Une conception équilibrée garantit que le calcul, la mémoire et la bande passante travaillent ensemble de manière efficace, empêchant une ressource de limiter l’ensemble du système.

Comment Hailo conçoit-il pour une future preuve, étant donné la rapidité avec laquelle les modèles AI, les charges de travail et les exigences de déploiement évoluent ?

La future preuve dans l’AI de pointe signifie concevoir des processeurs capables de gérer une large gamme de charges de travail en évolution. Chez Hailo, nous nous concentrons sur des architectures équilibrées qui ne sont pas adaptées à une seule tâche mais peuvent supporter tout, des fonctions perceptives comme la détection d’objets aux modèles génératifs comme les VLM. Chaque type de charge de travail sollicite le calcul et la mémoire différemment, nous concevons donc pour la flexibilité, en évitant les goulets d’étranglement lors du passage entre eux. Nous prenons également en compte les limites réelles de la puissance, du coût et de la latence à travers les applications. En privilégiant la diversité des charges de travail et l’équilibre des ressources, nous visons à supporter la prochaine génération de déploiements AI de pointe à la fois dans les cas d’utilisation consommateurs et industriels.

Cependant, une taille ne peut pas convenir à tous, et le portefeuille cible certaines applications et tente de s’insérer dans le budget disponible, par exemple, de la puissance, de la forme et du facteur, et cela définit un « point de travail ».

Quel rôle joue l’écosystème des développeurs pour maximiser la valeur d’un processeur, et comment vous assurez-vous que les équipes peuvent tirer pleinement parti des capacités de Hailo ?

En tant que périphérique programmable, il est essentiel d’avoir des outils faciles pour les développeurs pour exercer le potentiel du processeur, raccourcir le chemin vers le déploiement et permettre de nouveaux cas d’utilisation. En fournissant un environnement bien pris en charge autour de nos processeurs, nous aidons les équipes à donner vie aux applications AI à travers une gamme d’utilisation.

Quels conseils donneriez-vous aux ingénieurs ou aux CTO qui choisissent leur premier accélérateur AI pour un produit de nouvelle génération en construction aujourd’hui ?

Avec des conditions propices, je crois qu’il y a un grand potentiel d’innovation, permettant de traduire l’imagination en produits réels. Dans un environnement en constante évolution, choisir un accélérateur qui permet un cycle de conception à déploiement rapide est crucial.

Je vous remercie pour cette grande entrevue, les lecteurs qui souhaitent en savoir plus peuvent visiter Hailo.