Pourquoi la prochaine phase de l’infrastructure d’IA nécessitera plus que des datacenters hyperscale

L’intelligence artificielle entre dans une période où la stratégie d’infrastructure devient inséparable de la capacité des modèles. Pendant des années, les datacenters hyperscale ont alimenté l’essor de la formation à grande échelle, permettant aux modèles de frontière de passer de millions à des milliards de paramètres. Mais à mesure que l’adoption de l’IA s’accélère dans les entreprises, les industries et les systèmes en temps réel, l’inférence remplace la formation comme charge de travail dominante, et l’inférence a des exigences fondamentalement différentes.

La prochaine ère de l’IA ne peut pas être soutenue par les seuls datacenters hyperscale. Au lieu de cela, un modèle hybride émerge, où les campus centralisés pour la formation sont complétés par des datacenters décentralisés, alignés sur le pouvoir, à l’échelle commerciale, pour l’inférence. Ce changement est motivé par les contraintes de latence, les besoins de souveraineté des données, les réalités énergétiques et les limites physiques de l’expansion hyperscale continue.

La divergence de la formation et de l’inférence

La formation reste une activité centralisée. Elle exige des grappes massives, des pipelines de données à haute vitesse et des travaux de longue durée qui bénéficient des économies d’échelle. Les campus hyperscale sont optimisés pour cela avec un calcul dense, des tissus de réseau spécialisés et une disponibilité mondiale. Mais l’inférence se comporte différemment. Elle est de courte durée, de grande ampleur, sensible à la latence et souvent liée à la géographie ou aux frontières de l’entreprise. Les analyses de le travail récent d’Akamai sur les systèmes agents montrent que la plupart des organisations visent désormais une latence de bout en bout inférieure à 500 millisecondes pour les cas d’utilisation critiques de l’IA, et les flux de travail multi-agents dépassent fréquemment ce seuil en raison simplement du transit réseau et de l’exécution côté CPU.

La latence n’est pas une métrique abstraite. Dans la robotique et les systèmes autonomes, les boucles de contrôle fonctionnent souvent à 100 à 1 000 hertz toutes les 1 à 10 millisecondes. Toute intelligence hors bord doit respecter ces contraintes de temps. Un aller-retour de 50 millisecondes vers un datacenter distant brise entièrement le régime de contrôle. Dans la négociation financière et la détection de la fraude, les millisecondes déterminent les résultats économiques. Dans l’automatisation industrielle, l’inférence retardée peut déstabiliser les processus ou compromettre la sécurité. Et dans les expériences interactives comme les jeux, la réalité augmentée et virtuelle et les copilotes en temps réel, la réactivité se dégrade fortement au-delà de 100 à 150 millisecondes.

Les systèmes d’IA modernes reposent de plus en plus sur des flux de travail multi-agents composés de chaînes de dizaines d’appels séquentiels. L’analyse d’Akamai montre que l’exécution côté CPU peut représenter la majorité de la latence totale, et chaque aller-retour réseau ajoute un retard supplémentaire. Un flux de travail avec 50 appels séquentiels peut subir des secondes de latence de transport lorsqu’il est acheminé vers une région hyperscale éloignée. Placez ce même flux de travail dans un datacenter hyperlocal situé sur le même campus ou dans la même zone métropolitaine et la physique change. L’inférence locale peut fournir une latence d’aller-retour de 1 à 5 millisecondes. Un flux de travail de 50 étapes qui prendrait des secondes dans une région éloignée peut être terminé en 50 à 250 millisecondes localement, en restant dans les budgets de latence de l’entreprise.

La souveraineté des données et les réalités de la grille qui conduisent aux déploiements locaux

La latence n’est qu’une partie de l’histoire. Pour les industries réglementées telles que les soins de santé, la finance et le secteur public, la souveraineté des données est souvent le principal moteur de l’inférence locale. L’exécution de charges de travail d’IA derrière un pare-feu d’entreprise préserve les périmètres de sécurité existants, réduit l’exposition multilocataire, simplifie la conformité et garde les données sensibles hors des infrastructures cloud partagées. Les fournisseurs hyperscale offrent une sécurité solide, mais la surface d’attaque et la chaîne de confiance sont inhérentement plus larges. Les entreprises préfèrent de plus en plus les architectures d’inférence qui s’alignent sur leur posture de sécurité existante.

En plus des préoccupations concernant la latence et la sécurité, la disponibilité de l’énergie devient une contrainte tout aussi importante. Les grands campus hyperscale sont souvent confrontés à des retards de plusieurs années en raison de contraintes de transmission et de files d’attente d’interconnexion. Les déploiements commerciaux plus petits, en particulier ceux situés près de charges existantes ou de génération distribuée, peuvent souvent être mis en service beaucoup plus rapidement. Cela compte car la demande d’IA entre en collision avec une étrange paradoxe.

Au même moment où les opérateurs luttent pour sécuriser de nouvelles connexions de réseau, d’énormes quantités d’énergie renouvelable sont gaspillées. À l’échelle mondiale, le gaspillage d’énergie renouvelable dépasse 200 térawatts-heures par an. Aux États-Unis, le gaspillage est estimé à environ 20 térawatts-heures par an. ERCOT seul a gaspillé plus de 9 térawatts-heures de génération éolienne et solaire au cours d’une année récente. Pendant ce temps, CAISO a éliminé 3,4 térawatts-heures de solaire et d’éolien en 2024, le solaire représentant 93 % de toute production éliminée. Les enquêtes sur les systèmes énergétiques montrent constamment que le solaire et l’éolien font face à des réductions importantes lorsque la génération dépasse la capacité du réseau. La réduction du solaire est particulièrement courante dans les régions à pics de mi-journée forts, tandis que la réduction de l’éolien se produit souvent pendant les heures creuses ou dans les corridors contraints. Les datacenters décentralisés situés près de la génération, en particulier les régions riches en solaire, peuvent convertir l’énergie étrangère en capacité d’inférence utile.

Les campus hyperscale resteront essentiels pour la formation, mais ils sont confrontés à des limites physiques et économiques croissantes. La connexion au réseau de transmission peut être un processus long, elle nécessite de nouvelles sous-stations, des mises à niveau de transmission, des autorisations multiantennes et des examens communautaires. Ce sont des processus qui prennent régulièrement des années. Les installations hyperscale nécessitent de grandes empreintes au sol, des allocations d’eau importantes et des approbations environnementales complexes. Les communautés sont de plus en plus résistantes au développement de nouveaux datacenters en raison du bruit, de l’utilisation de l’eau et de l’impact sur les terres. Et les campus centralisés concentrent les risques de telle sorte que les événements météorologiques, les coupures de courant du réseau ou les perturbations géopolitiques peuvent affecter de grandes parties de la capacité de calcul mondiale. Les architectures décentralisées offrent une redondance géographique et une résilience opérationnelle.

Le futur est une architecture d’IA à plusieurs niveaux

Lorsqu’il s’agit de garantir que l’inférence de calcul fonctionne sans heurts, l’efficacité peut devenir aussi importante que la capacité brute. L’inférence consomme de l’énergie en continu, et les analystes de l’industrie suggèrent que l’inférence peut finalement représenter la majorité de la consommation d’énergie liée à l’IA. Les gains d’efficacité provenant de l’intégration locale des énergies renouvelables, de la réduction des pertes de transmission, des déploiements de taille appropriée, des profils thermiques améliorés et des taux d’utilisation plus élevés deviendront essentiels pour répondre à la demande mondiale d’IA de manière durable. Les datacenters décentralisés à l’échelle commerciale sont bien positionnés pour fournir ces gains car ils peuvent être situés là où l’énergie est abondante, peu coûteuse ou sous-utilisée.

La prochaine phase de l’infrastructure d’IA sera un mélange hybride de campus hyperscale dominant la formation, de datacenters décentralisés à l’échelle commerciale pour l’inférence, et de périphériques pour les charges de travail ultra-locales. Cette architecture à plusieurs niveaux reflète les réalités physiques de l’énergie, de la latence, de la sécurité et de l’échelle. À mesure que l’IA est intégrée dans les systèmes en temps réel dans toutes les industries, l’infrastructure doit évoluer en conséquence pour rapprocher l’inférence du monde qu’elle sert.