Pourquoi la course aux puces d’IA repose désormais sur le logiciel

Chaque nouvel accélérateur d’IA arrive avec une histoire de benchmarking : débit maximal, teraopérations par watt, chiffres impressionnants qui promettent que cette puce va tout changer. Ce que ces chiffres omettent, c’est de savoir si le client peut réellement utiliser la puce en production. La plupart du temps, ils ne le peuvent pas, et c’est l’histoire réelle de l’état actuel de l’industrie de l’IA matérielle. Elle est confrontée à un problème de maturité logicielle, et la plupart des entreprises ne sont pas encore prêtes à le dire publiquement.

Le fossé dont personne ne parle

Les cycles de développement du silicium durent deux à quatre ans, tandis que le paysage des modèles d’IA évolue sur un cycle mesuré en mois et tendant vers des semaines. Sous-jacent à cela se trouve un problème de chaîne de valeur : les cas d’utilisation finaux, des véhicules et des usines aux hôpitaux et aux appareils, mûrissent en fonctionnalité et commencent à générer un impact P&L mesurable. Cette maturité entraîne une demande d’adaptations logicielles, qui à leur tour nécessitent des modifications matérielles. Chacune de ces trois couches fonctionne à une vitesse fondamentalement différente, et ce décalage est la cause profonde de la friction qui se construit sur le marché. La pile logicielle requise pour exécuter l’inférence de grands modèles de langage diffère fondamentalement de ce qui a été construit pour les charges de travail d’apprentissage automatique précédentes. Les délais de développement du matériel n’ont pas été compressés pour correspondre à ce cycle. Les entreprises qui livrent de nouveaux silicium aujourd’hui le remettent aux clients avec un logiciel qui ne peut pas pleinement débloquer les capacités de la puce, produisant un modèle qui se répète sur le marché : silicium impressionnant, logiciel immature, adoption lente et revenus manqués. La puce fait ce pour quoi elle a été conçue. Le problème est que les clients ne peuvent pas facilement l’utiliser.

Considérez ce qui est arrivé à l’industrie automobile. Les voitures elles-mêmes étaient en grande partie un problème résolu au milieu du XXe siècle, mais lorsque le logiciel est devenu le facteur de différenciation, les entreprises ayant les plus profondes traditions de fabrication ont eu le plus de mal à s’adapter. Ford et GM savaient construire des moteurs, mais n’avaient pas de mémoire musculaire pour construire des systèmes d’exploitation. L’industrie du matériel d’IA vit actuellement la même transition, et le parallèle est désagréablement précis. NVIDIA (NVDA ) joue le rôle du disrupteur natif du logiciel, tandis que les entreprises de semi-conducteurs traditionnelles sont toujours en train de découvrir comment vendre des écosystèmes de développeurs aux côtés du silicium.

La dominance de NVIDIA a presque rien à voir avec le fait d’avoir les meilleures puces. CUDA (Compute Unified Device Architecture) a vingt ans, avec tout le dette technique accumulée que cela implique, mais ce que NVIDIA a réellement construit est le système d’exploitation de l’IA de calcul : un écosystème prévisible et mature que les développeurs et les OEM peuvent compter sur en production.

Les clients sélectionnent des plateformes en fonction de la maturité du logiciel et du risque d’intégration, donc lorsque nouvel accélérateur arrive sans pile logicielle de production, la conversation commerciale se termine avant même de commencer.

Le temps jusqu’au premier modèle, défini comme la rapidité avec laquelle un client obtient une charge de travail d’IA réelle en cours d’exécution sur un accélérateur donné, est une mesure commerciale beaucoup plus significative que le débit maximal. C’est la conversation que la plupart des entreprises de matériel sont les moins préparées à avoir.

Le marché réel est l’inférence

La langue native de l’entreprise est le P&L, et chaque entreprise qui déploie l’IA doit répondre à la même question : où est l’argent, et qu’est-ce qui m’empêche de le capter ? La formation est une étape nécessaire, mais l’IA commerciale vit dans l’inférence, et ce marché n’a pratiquement pas commencé.

La dissymétrie d’échelle ici est frappante. La formation couvre un cas d’utilisation ; l’inférence couvre un nombre infini. Chaque application de l’IA dans un véhicule, une usine, un hôpital, un téléphone ou un entrepôt nécessite l’inférence. Une puce qui exécute des systèmes de sécurité dans une voiture ne peut pas tirer de la puissance d’un centre de données, et un appareil qui exécute l’inférence en temps réel sur le sol d’une usine ne peut pas tolérer une latence élevée. Le marché de l’inférence de pointe nécessite du silicium conçu spécifiquement pour l’efficacité énergétique, les contraintes physiques et les exigences de sécurité et de fiabilité des industries qui le déploient.

La décision récente de Google de diviser son huitième génération de TPU en deux puces distinctes, l’une pour la formation et l’autre pour l’inférence, vaut la peine d’être considérée. Ce choix architectural reconnaît que les deux charges de travail ont divergé à ce point que l’optimisation pour les deux dans une conception unique signifie maintenant exceller dans aucun. Lorsqu’une entreprise qui exécute certaines des plus grandes infrastructures d’IA décide que la spécialisation compte plus que la consolidation, cela signale où le reste du marché est en train d’aller : vers du silicium d’inférence conçu à des fins spécifiques, déployé à la pointe, en volume, sous des contraintes réelles que les benchmarks de centre de données n’ont jamais été conçus pour mesurer.

Nous sommes dans une course à l’inférence, tandis que la plupart du marché reste organisé autour de la formation.

Les limites structurelles de l’héritage

Les entreprises les mieux placées pour fabriquer à grande échelle restent structurellement incapables de servir les marchés où l’inférence vivra. Les clients automobiles ont besoin que les fournisseurs garantissent la disponibilité des composants pendant une décennie. Les entreprises de semi-conducteurs généralistes comme Intel (INTC ) ne s’engageront simplement pas à cela. Cette contrainte structurelle laisse une industrie entière insatisfaite, et aucun montant de négociation ne peut la changer.

La plate-forme d’IA de pointe de NVIDIA est déjà confrontée à un défi de la part d’alternatives compatibles PIN qui offrent de meilleures performances par watt sans nécessiter de modifications du logiciel, permettant ainsi à un client d’échanger la puce et de conserver tout le reste, ce qui constitue une attaque commerciale directe contre la partie la plus défendable de la position de pointe de NVIDIA.

Les entreprises qui ont prouvé leur concept sur CUDA découvrent que le déploiement économique à grande échelle exige une réarchitecture sur du silicium à faible puissance, car lorsqu’une organisation déploie des dizaines de milliers d’appareils, le coût par unité et la consommation d’énergie deviennent des facteurs décisifs. La séquence qui se déroule sur le marché de l’inférence est simple : utiliser quelque chose qui fonctionne, le tester, puis trouver un moyen de le déployer de manière économique, car vous devez gagner de l’argent dessus. Étant donné le rythme de l’adoption de l’IA, la fenêtre pour établir un avantage logiciel et écosystémique est mesurée en trimestres.

L’investissement d’ingénierie que la plupart des entreprises sautent

Les entreprises de matériel d’IA continuent à livrer des puces puissantes avec un logiciel qui ne peut pas pleinement les exécuter. Un logiciel système de production de grade, couvrant les inférences, l’optimisation du compilateur et la prise en charge de la charge de travail, nécessite une ingénierie spécialisée et approfondie que la plupart des entreprises de matériel ne possèdent simplement pas en interne.

Construire cette capacité signifie embaucher les ingénieurs de compilateur et les architectes de runtime qui peuvent combler l’écart entre ce dont une puce est théoriquement capable et ce qu’un client peut déployer de manière pratique. Les entreprises doivent également investir dans les chaînes d’outils avant que le revenu ne le justifie, car une fois que le revenu arrive, la fenêtre est close. Les entreprises qui sautent cet investissement ne retombent pas seulement en arrière. Ils perdent des affaires.

Les puces qui atteignent une échelle sont les puces les plus déployables, et la déployabilité est une fonction de la qualité du logiciel. Les principaux acheteurs en aval, des OEM et des hyperscalers aux clients d’entreprise, ont été brûlés par le passé par du silicium qui se benchmark bien et s’intègre mal. Ils choisissent en fonction de la maturité de l’écosystème et du risque d’intégration. Les entreprises qui traitent le logiciel comme une priorité d’ingénierie de première classe convertissent plus de pilotes en contrats de production et atteignent plus rapidement le revenu. Ceux qui le traitent comme une après-pensée d’expédition regardent le silicium techniquement supérieur perdre des affaires à des puces inférieures soutenues par des piles plus matures.

La pendule tourne déjà

Les entreprises de matériel d’IA qui sont positionnées pour capter une part significative dans la prochaine phase construisent aujourd’hui des avantages écosystémiques qui seront difficiles pour les entrants ultérieurs à reproduire. La flexibilité logicielle, la capacité de s’adapter à de nouvelles architectures de modèles sans attendre le prochain tape-out, sépare le silicium qui reste commercialement pertinent du silicium qui cycle sans fin à travers des pilotes sans jamais générer le revenu nécessaire pour financer la prochaine génération.

Les décisions prises actuellement, dans les équipes d’ingénierie, les accords de partenariat et les pilotes commerciaux à travers le paysage du matériel d’IA, détermineront quelles entreprises seront encore pertinentes en 2028. Le départ de vingt ans de CUDA est un fossé construit sur la profondeur de l’écosystème, mais toute entreprise prête à traiter le logiciel comme une priorité d’ingénierie durable peut construire la même profondeur avec le temps.

La question que l’industrie doit répondre est de savoir quelles entreprises bougent suffisamment vite pour construire la profondeur de l’écosystème qui rend leurs puces le choix par défaut avant que celui de quelqu’un d’autre ne devienne trop ancré pour être déplacé.

company prête à traiter le logiciel comme une priorité d’ingénierie durable peut construire la même profondeur avec le temps. La question que l’industrie doit répondre est de savoir quelles entreprises bougent suffisamment vite pour construire la profondeur de l’écosystème qui rend leurs puces le choix par défaut avant que celui de quelqu’un d’autre ne devienne trop ancré pour être déplacé.