Passage à l’inférence IA : l’intelligence en temps réel à la périphérie

L’industrie de l’IA – et le dialogue qui en résulte – détourne l’attention des efforts pour former des modèles d’IA. Cette histoire, qui s’est déroulée centralement dans le cloud ou les centres de données (ou les deux), est « une vieille nouvelle ». Maintenant, avec une myriade de cas d’utilisation dans la plupart des industries, ces modèles sont déployés et exécutés dans des environnements distribués et décentralisés. L’industrie passe de la phase de formation à la phase d’inférence, et cette histoire se déroule à la périphérie avec une intelligence en temps réel nécessaire pour tout, des caméras intelligentes aux appareils intégrés dans les machines industrielles. L’attention se déplace de la formation d’IA centralisée à l’IA de périphérie, ou à des déploiements hybrides.

À une époque où la vitesse, la précision et la confidentialité des données sont plus critiques que jamais, l’IA de périphérie redéfinit les processus opérationnels aux points de contact les plus critiques des entreprises. Contrairement aux modèles d’IA traditionnels qui reposent sur les infrastructures cloud, l’IA de périphérie rapproche la prise de décision du point de génération des données.

La valeur de l’IA de périphérie

La réduction de la distance entre la génération de données et la prise de décision minimise la latence en éliminant le retard dû à la transmission du réseau, ce qui entraîne une livraison plus rapide d’informations prédictives et de décisions automatisées. Ce traitement en temps réel offre des gains d’efficacité pour les organisations, améliorant tout, des expériences client aux produits de qualité, ou même en soutenant la sécurité des employés. Quel que soit le cas d’utilisation, la distance plus courte améliore également la sécurité et la fiabilité en réduisant le temps pendant lequel les données sensibles sont en mouvement et en diminuant la bande passante requise.

L’immédiateté et la pertinence sont primordiales, quelle que soit la secteur d’activité.

Par exemple, dans la fabrication, l’IA de périphérie peut alimenter des systèmes de contrôle de la qualité qui signalent les défauts de produits instantanément. Dans les soins de santé, elle peut soutenir les systèmes de surveillance des patients qui déclenchent des alertes au moment où des anomalies sont détectées. Les détaillants utiliseront l’IA de périphérie pour personnaliser les expériences client en magasin et gérer les stocks de manière dynamique. Dans tous ces scénarios, cependant, l’intelligence requise au niveau de la périphérie est un grand facteur de différenciation. L’IA de périphérie est critique lorsque les millisecondes comptent.

Le contexte compte, du centre de données à la périphérie

Alors que les GPU sont souvent considérés comme synonymes d’IA, l’IA de périphérie implique plus de nuances, car les besoins et la nature des charges de travail pour l’inférence sont fondamentalement différents de ceux de la formation de modèles. De nombreuses charges de travail d’inférence – en particulier les applications basées sur la vision – peuvent être traitées efficacement par les CPU, qui sont plus économes en énergie et en coûts. Même si un déploiement de périphérie nécessite des performances plus élevées, une nouvelle classe de GPU à faible consommation a émergé, offrant des solutions adaptées à la périphérie.

En fin de compte, choisir la bonne configuration est un exercice d’équilibre entre la charge de travail spécifique, le débit souhaité et les contraintes environnementales. Les déploiements d’IA de périphérie nécessitent un matériel qui équilibre les performances avec une opérabilité pratique sur le terrain.

Le succès à la périphérie nécessite une approche fondamentalement différente qui prend en compte les contraintes d’espace, de puissance et de refroidissement tout en maintenant les performances. Le matériel et le logiciel doivent être conçus spécifiquement pour répondre aux exigences de la périphérie, qui incluent souvent la capacité de fonctionner de manière fiable dans des environnements difficiles sans compromettre la capacité de calcul. L’alternative est la panne, qui peut avoir des effets en aval dévastateurs.

Le chemin du succès

Le chemin du succès de l’IA de périphérie commence par l’identification d’un seul cas d’utilisation à forte incidence et en se concentrant sur un déploiement initial. Ce type de concentration maintient la portée gérable pour une organisation tout en établissant une dynamique positive avec le déploiement, permettant à l’organisation de saisir le potentiel de cette technologie tout en affinant les processus opérationnels et les cadres de soutien.

Cependant, cela est plus facile à dire qu’à faire !

La plupart des organisations qui cherchent à tirer parti des déploiements d’IA ne sont pas profondément versées dans les technologies sous-jacentes. Ce fossé en matière de connaissances les amène à rechercher des conseils et des capacités améliorées auprès de partenaires externes. En particulier, à mesure que les déploiements se multiplient et que l’industrie passe de la formation au cœur à l’inférence à la périphérie, les exigences en matière de logiciels et de services qui accompagnent le matériel deviennent plus importantes. De plus, la complexité ne fera que croître à l’avenir. En particulier à la périphérie, où les temps d’arrêt peuvent avoir des conséquences en aval massives et coûteuses, le partenariat avec l’expertise et les services nécessaires pour assurer des performances constantes est incontournable.

Un piège courant que les organisations rencontrent est de se concentrer trop étroitement sur les projets de preuve de concept sans un chemin clair pour passer à l’échelle. Les organisations doivent également tenir compte de la complexité opérationnelle – de la gestion à distance et de la tolérance aux pannes à la prise en charge du cycle de vie. Une raison supplémentaire pour travailler avec un partenaire expérimenté est cruciale. Contrairement aux centres de données, où les systèmes sont étroitement surveillés et mis à jour fréquemment, les infrastructures de périphérie doivent être conçues pour durer, avec une cible typique de cinq à sept ans.

De plus, les organisations sont de plus en plus désireuses de consolider les ressources de calcul de périphérie pour réduire l’empreinte et les coûts. Cela combine les charges de travail traditionnelles avec les applications d’IA sur des plateformes unifiées et virtualisées, éliminant le besoin d’infrastructures distinctes, mais augmentant le besoin d’intelligence en temps réel.

IA de périphérie à l’avenir

L’IA de périphérie évolue rapidement, passant des systèmes basés sur des règles à une intelligence plus adaptative et sensible au contexte. Avec les progrès de l’IA générative et des modèles de base, les systèmes de périphérie commencent à prendre en charge des boucles d’apprentissage continues, s’adaptant de manière autonome en fonction des entrées de données sans s’appuyer sur le cloud.

Les déploiements basés sur Kubernetes et les modèles conteneurisés établissent la cohérence nécessaire pour maintenir l’efficacité des déploiements d’IA de périphérie. La conteneurisation facilite la mise à jour rapide des mises à jour du cloud à la périphérie, et Kubernetes orchestre les conteneurs à grande échelle, gérant les déploiements, les mises à jour et les vérifications de santé automatiquement. Cette efficacité et cette fiabilité accrues des mises à jour poussées sur les nœuds de périphérie améliorent également la précision des modèles et offrent une plus grande résilience et une meilleure disponibilité – essentielles pour conserver la valeur de tout déploiement d’IA de périphérie. Dans le même temps, les appareils de périphérie peuvent collecter de nouvelles données qui aideront à former de meilleurs modèles dans un système d’IA en boucle fermée.

L’IA de périphérie est bien plus qu’un simple buzzword. C’est l’évolution tangible de la façon dont les industries exploiteront l’intelligence au point d’interaction dans le futur – et cela arrive rapidement. Avec un plan d’IA de périphérie couplé à la bonne infrastructure et aux capacités de système, les organisations peuvent débloquer de nouvelles efficacités puissantes en matière d’IA – en gagnant en réactivité tout en évitant les temps d’arrêt coûteux.