Leaders d’opinion
L’avenir de l’IA générative est sur le Edge
Ajouter Unite.AI à vos sources préférées sur Google
L’avènement de ChatGPT et de l’IA générative en général est un moment charnière dans l’histoire de la technologie, comparable à l’aube de l’Internet et du smartphone. L’IA générative a montré un potentiel illimité dans sa capacité à tenir des conversations intelligentes, passer des examens, générer des programmes et du code complexes, et créer des images et des vidéos saisissantes. Alors que les GPU exécutent la plupart des modèles d’IA dans le cloud, tant pour la formation que pour l’inférence, cette approche n’est pas une solution à long terme scalable, en particulier pour l’inférence, en raison de facteurs tels que le coût, la puissance, la latence, la confidentialité et la sécurité. Cet article aborde chacun de ces facteurs, ainsi que des exemples pour motiver le déplacement des charges de travail d’IA générative vers le Edge.
La plupart des applications s’exécutent sur des processeurs haute performance, soit sur appareil (par exemple, smartphones, ordinateurs de bureau, ordinateurs portables), soit dans des centres de données. Alors que la part des applications qui utilisent l’IA augmente, ces processeurs équipés uniquement de CPU sont inadéquats. De plus, l’expansion rapide des charges de travail d’IA générative entraîne une demande exponentielle pour des serveurs dotés d’IA, avec des GPU coûteux et gourmands en énergie, ce qui à son tour augmente les coûts d’infrastructure. Ces serveurs dotés d’IA peuvent coûter jusqu’à 7 fois le prix d’un serveur classique, et les GPU représentent 80 % de ce surcoût.
En outre, un serveur basé sur le cloud consomme entre 500 W et 2000 W, tandis qu’un serveur doté d’IA consomme entre 2000 W et 8000 W, soit 4 fois plus ! Pour supporter ces serveurs, les centres de données ont besoin de modules de refroidissement supplémentaires et d’améliorations de l’infrastructure, ce qui peut être encore plus élevé que l’investissement dans le calcul. Les centres de données consomment déjà 300 TWh par an, soit près de 1 % de la consommation d’énergie mondiale totale. Si les tendances d’adoption de l’IA se poursuivent, les centres de données pourraient consommer jusqu’à 5 % de l’énergie mondiale d’ici 2030. De plus, il y a un investissement sans précédent dans les centres de données d’IA générative. On estime que les centres de données consommeront jusqu’à 500 milliards de dollars pour les dépenses en capital d’ici 2027, principalement alimentés par les exigences d’infrastructure d’IA.
La consommation d’électricité des centres de données, déjà de 300 TWh, augmentera considérablement avec l’adoption de l’IA générative.
Le coût du calcul d’IA ainsi que la consommation d’énergie entraveront l’adoption massive de l’IA générative. Les défis de mise à l’échelle peuvent être surmontés en déplaçant le calcul d’IA vers le Edge et en utilisant des solutions de traitement optimisées pour les charges de travail d’IA. Avec cette approche, d’autres avantages s’offrent également aux clients, notamment la latence, la confidentialité, la fiabilité et la capacité accrue.
Le calcul suit les données vers le Edge
Depuis une décennie, lorsque l’IA est sortie du monde universitaire, la formation et l’inférence des modèles d’IA se sont déroulées dans le cloud ou les centres de données. Puisque la plupart des données sont générées et consommées sur le Edge, en particulier les vidéos, il était logique de déplacer l’inférence des données vers le Edge, améliorant ainsi le coût total de possession (TCO) pour les entreprises en raison de la réduction des coûts de réseau et de calcul. Alors que les coûts d’inférence d’IA dans le cloud sont récurrents, le coût d’inférence sur le Edge est une dépense unique, en matériel. En essence, l’ajout d’un processeur d’IA Edge au système réduit les coûts d’exploitation globaux. Comme la migration des charges de travail d’IA classiques vers le Edge (par exemple, les appareils, les périphériques), les charges de travail d’IA générative suivront le même chemin. Cela apportera des économies importantes aux entreprises et aux consommateurs.
Le déplacement vers le Edge, couplé à un accélérateur d’IA efficace pour effectuer les fonctions d’inférence, offre d’autres avantages. Tout d’abord, la latence. Par exemple, dans les applications de jeu, les personnages non joueurs (PNJ) peuvent être contrôlés et améliorés à l’aide de l’IA générative. En utilisant des modèles LLM qui s’exécutent sur des accélérateurs d’IA Edge dans une console de jeu ou un PC, les joueurs peuvent donner à ces personnages des objectifs spécifiques, afin qu’ils puissent participer de manière significative à l’histoire. La faible latence de l’inférence locale sur le Edge permettra aux discours et aux mouvements des PNJ de répondre en temps réel aux commandes et aux actions des joueurs. Cela offrira une expérience de jeu immersive à un coût et une consommation d’énergie raisonnables.
Dans des applications telles que les soins de santé, la confidentialité et la fiabilité sont extrêmement importantes (par exemple, l’évaluation des patients, les recommandations de médicaments). Les données et les modèles d’IA générative associés doivent être sur site pour protéger les données des patients (confidentialité) et toute interruption du réseau qui bloquerait l’accès aux modèles d’IA dans le cloud pourrait être catastrophique. Un appareil d’IA Edge exécutant un modèle d’IA générative spécialement conçu pour chaque client entreprise – dans ce cas, un fournisseur de soins de santé – peut résoudre sans problème les problèmes de confidentialité et de fiabilité tout en offrant une latence et un coût plus faibles.
L’IA générative sur les appareils Edge assurera une faible latence dans les jeux et préservera les données des patients et améliorera la fiabilité pour les soins de santé.
De nombreux modèles d’IA générative qui s’exécutent sur le cloud peuvent avoir près d’un trillion de paramètres – ces modèles peuvent répondre efficacement à des requêtes à usage général. Cependant, les applications spécifiques aux entreprises nécessitent que les modèles fournissent des résultats pertinents pour l’utilisation prévue. Prenez l’exemple d’un assistant basé sur l’IA générative conçu pour prendre des commandes dans un restaurant rapide – pour que ce système ait une interaction client fluide, le modèle d’IA générative sous-jacent doit être formé sur les éléments du menu du restaurant, en connaissant également les allergènes et les ingrédients. La taille du modèle peut être optimisée en utilisant un modèle LLM de grande taille pour former un modèle LLM plus petit, de 10 à 30 milliards de paramètres, puis en utilisant un affinage supplémentaire avec les données spécifiques au client. Un tel modèle peut fournir des résultats avec une précision et une capacité accrues. Et compte tenu de la taille plus petite du modèle, il peut être déployé de manière efficace sur un accélérateur d’IA sur le Edge.
Gen AI vaincra sur le Edge
Il y aura toujours un besoin pour l’IA générative qui s’exécute dans le cloud, en particulier pour les applications à usage général comme ChatGPT et Claude. Mais lorsqu’il s’agit d’applications spécifiques aux entreprises, telles que le remplissage génératif d’Adobe Photoshop ou Github Copilot, l’IA générative sur le Edge n’est pas seulement l’avenir, c’est aussi le présent. Les accélérateurs d’IA spécialement conçus sont la clé pour rendre cela possible, surtout pour les applications spécifiques aux entreprises, telles que le remplissage génératif d’Adobe Photoshop ou Github Copilot, l’IA générative sur le Edge n’est pas seulement l’avenir, c’est aussi le présent. Les accélérateurs d’IA spécialement conçus sont la clé pour rendre cela possible.
