Pourquoi le modèle d’IA Orca-2 de Microsoft marque un progrès significatif vers l’IA durable ?

Malgré les progrès remarquables réalisés par l’intelligence artificielle au cours de la dernière décennie, qui incluent la défaite des champions humains dans des jeux stratégiques comme les échecs et le GO et la prédiction de la structure 3D des protéines, l’adoption généralisée de les grands modèles de langage (LLM) signifie un changement de paradigme. Ces modèles, qui sont sur le point de transformer les interactions homme-ordinateur, sont devenus indispensables dans divers secteurs, notamment l’éducation, les services à la clientèle, la récupération d’informations, le développement de logiciels, les médias et les soins de santé. Alors que ces progrès technologiques débloquent des avancées scientifiques et alimentent la croissance industrielle, un inconvénient notable pour la planète existe.

Le processus de formation et d’utilisation des LLM consomme une quantité immense d’énergie, entraînant un impact environnemental important marqué par une augmentation de l’empreinte carbone et des émissions de gaz à effet de serre. Une étude récente du Collège d’information et de sciences informatiques de l’Université du Massachusetts à Amherst a révélé que la formation des LLM peut émettre plus de 626 000 livres de dioxyde de carbone, soit environ l’équivalent des émissions de cinq voitures pendant leur durée de vie. Hugging Face, une startup d’IA, a constaté que la formation de BLOOM, un grand modèle de langage lancé plus tôt dans l’année, a entraîné 25 tonnes métriques d’émissions de dioxyde de carbone. De même, le modèle d’IA de Facebook , Meena, accumule une empreinte carbone équivalente à l’impact environnemental de la conduite d’une voiture pendant plus de 240 000 miles pendant son processus de formation.

Malgré la formation des LLM, la demande de calcul en nuage, essentielle pour les LLM, contribue désormais à davantage d’émissions que l’ensemble de l’industrie aérienne. Un seul centre de données peut consommer autant de puissance que 50 000 foyers. Une autre étude met en évidence que la formation d’un seul grand modèle de langage peut libérer autant de CO2 que cinq voitures en utilisant de l’énergie pendant toute leur durée de vie. Les prévisions suggèrent que les émissions d’IA augmenteront de 300 % d’ici 2025, soulignant l’urgence de concilier les progrès de l’IA avec la responsabilité environnementale et déclenchant des initiatives pour rendre l’IA plus respectueuse de l’environnement. Pour répondre à l’impact environnemental négatif des progrès de l’IA, l’IA durable émerge comme un domaine d’étude crucial.

IA durable

L’IA durable représente un changement de paradigme dans le développement et le déploiement de systèmes d’intelligence artificielle, en mettant l’accent sur la minimisation de l’impact environnemental, les considérations éthiques et les avantages sociétaux à long terme. L’approche vise à créer des systèmes intelligents qui sont économes en énergie, respectueux de l’environnement et alignés sur les valeurs humaines. L’IA durable se concentre sur l’utilisation d’énergie propre pour les ordinateurs, des algorithmes intelligents qui utilisent moins de puissance et le respect de lignes directrices éthiques pour garantir des décisions justes et transparentes. Il est important de noter qu’il existe une différence entre l’IA pour la durabilité et l’IA durable ; le premier peut impliquer l’utilisation de l’IA pour optimiser les processus existants sans nécessairement prendre en compte ses conséquences environnementales ou sociétales, tandis que le second intègre activement des principes de durabilité dans toutes les phases de développement de l’IA, de la conception au déploiement, pour créer un impact positif et durable sur la planète et la société.

Des LLM vers les petits modèles de langage (SLM)

Dans la poursuite de l’IA durable, Microsoft (MSFT ) travaille sur le développement de petits modèles de langage (SLM) pour s’aligner sur les capacités des grands modèles de langage (LLM). Dans cet effort, ils ont récemment introduit Orca-2, conçu pour raisonner comme GPT-4. Contrairement à son prédécesseur, Orca-1, qui compte 13 milliards de paramètres, Orca-2 contient 7 milliards de paramètres en utilisant deux techniques clés.

1. Ajustement des instructions: Orca-2 s’améliore en apprenant à partir d’exemples, améliorant sa qualité de contenu, ses capacités de tir à zero et ses compétences en raisonnement sur diverses tâches.
2. Ajustement des explications: Reconnaissant les limites de l’ajustement des instructions, Orca-2 introduit l’ajustement des explications. Cela implique la création d’explications détaillées pour les modèles enseignants, l’enrichissement des signaux de raisonnement et l’amélioration de la compréhension globale.

Orca-2 utilise ces techniques pour atteindre un raisonnement très efficace, comparable à ce que les LLM réalisent avec beaucoup plus de paramètres. L’idée principale est de permettre au modèle de déterminer la meilleure façon de résoudre un problème, qu’il s’agisse de fournir une réponse rapide ou de réfléchir étape par étape. Microsoft appelle cela « raisonnement prudent ».

Pour former Orca-2, Microsoft crée un nouveau jeu de données de formation en utilisant les annotations FLAN, Orca-1 et le jeu de données Orca-2. Ils commencent par des questions faciles, ajoutent des questions astucieuses, puis utilisent des données de modèles de conversation pour le rendre encore plus intelligent.

Orca-2 subit une évaluation approfondie, couvrant le raisonnement, la complétion de texte, la mise à la terre, la véracité et la sécurité. Les résultats montrent le potentiel d’améliorer le raisonnement des SLM grâce à une formation spécialisée sur des données synthétiques. Malgré certaines limites, les modèles Orca-2 montrent des promesses pour les améliorations futures en termes de raisonnement, de contrôle et de sécurité, prouvant l’efficacité de l’application de données synthétiques de manière stratégique pour affiner le modèle après la formation.

Signification d’Orca-2 pour l’IA durable

Orca-2 représente un saut important vers l’IA durable, remettant en question la croyance selon laquelle seuls les modèles plus grands, avec leur consommation d’énergie importante, peuvent vraiment faire progresser les capacités de l’IA. Ce petit modèle de langage présente une perspective alternative, suggérant que l’excellence dans les modèles de langage ne nécessite pas nécessairement d’énormes ensembles de données et une puissance de calcul étendue. Au lieu de cela, il souligne l’importance de la conception intelligente et de l’intégration efficace.

Ce progrès ouvre de nouvelles possibilités en préconisant un changement de focus – de l’agrandissement de l’IA à la concentration sur la façon dont nous la concevons. Cela marque une étape cruciale pour rendre l’IA avancée plus accessible à un public plus large, en garantissant que l’innovation est inclusive et touche un plus grand nombre de personnes et d’organisations.

Orca-2 a le potentiel d’avoir un impact significatif sur le développement des futurs modèles de langage. Que ce soit pour améliorer les tâches liées au traitement du langage naturel ou pour permettre des applications d’IA plus sophistiquées dans diverses industries, ces petits modèles sont sur le point d’apporter des changements positifs importants. De plus, ils agissent comme des pionniers dans la promotion de pratiques d’IA plus durables, en alignant les progrès technologiques sur un engagement en faveur de la responsabilité environnementale.

En résumé:

Le modèle d’IA Orca-2 de Microsoft représente une démarche innovante vers l’IA durable, remettant en question la croyance selon laquelle seuls les grands modèles peuvent faire progresser l’IA. En donnant la priorité à la conception intelligente plutôt qu’à la taille, Orca-2 ouvre de nouvelles possibilités, offrant une approche plus inclusive et plus respectueuse de l’environnement pour le développement de l’IA avancée. Ce changement marque une étape significative vers un nouveau paradigme dans la conception de systèmes intelligents.