Géants distillés : Pourquoi nous devons repenser le développement de l’IA petite

Ces dernières années, la course pour développer des modèles d’IA de plus en plus grands a captivé l’industrie technologique. Ces modèles, avec leurs milliards de paramètres, promettent des avancées révolutionnaires dans divers domaines, de la reconnaissance de la langue naturelle à la reconnaissance d’images. Cependant, cette poursuite implacable de la taille se traduit par des inconvénients importants, notamment des coûts élevés et un impact environnemental significatif. Alors que l’IA petite offre une alternative prometteuse, offrant de l’efficacité et une consommation d’énergie réduite, l’approche actuelle pour la construire nécessite encore des ressources substantielles. Alors que nous poursuivons l’IA petite et plus durable, explorer de nouvelles stratégies pour résoudre ces limitations de manière efficace est crucial.

IA petite : une solution durable aux coûts élevés et aux demandes d’énergie

Développer et maintenir des modèles d’IA grands est une entreprise coûteuse. Les estimations suggèrent que la formation de GPT-3 coûte plus de 4 millions de dollars, avec des modèles plus avancés pouvant atteindre des millions à un chiffre élevé. Ces coûts, y compris le matériel nécessaire, le stockage, la puissance de calcul et les ressources humaines, sont prohibitifs pour de nombreuses organisations, en particulier les petites entreprises et les institutions de recherche. Cette barrière financière crée un terrain de jeu inégal, limitant l’accès à la technologie d’IA de pointe et entravant l’innovation.

De plus, les demandes d’énergie associées à la formation de grands modèles d’IA sont considérables. Par exemple, la formation d’un grand modèle de langage comme GPT-3 est estimée à consommer près de 1 300 mégawattheures (MWh) d’électricité – équivalent à la consommation annuelle de 130 foyers américains. Malgré ce coût de formation important, chaque demande de ChatGPT entraîne un coût d’inférence de 2,9 watt-heures. L’AIE estime que la demande d’énergie collective de l’IA, des centres de données et de la cryptomonnaie représentait près de 2 % de la demande d’énergie mondiale. Cette demande devrait doubler d’ici 2026, approchant la consommation totale d’électricité du Japon. La consommation d’énergie élevée non seulement augmente les coûts d’exploitation mais contribue également à l’empreinte carbone, aggravant la crise environnementale. Pour mettre les choses en perspective, les chercheurs estiment que la formation d’un seul grand modèle d’IA peut émettre plus de 626 000 livres de CO2, équivalent aux émissions de cinq voitures pendant leur durée de vie.

Face à ces défis, l’IA petite offre une solution pratique. Elle est conçue pour être plus efficace et plus évolutivité, nécessitant beaucoup moins de données et de puissance de calcul. Cela réduit les coûts globaux et rend la technologie d’IA avancée plus accessible aux petites organisations et équipes de recherche. De plus, les modèles d’IA petite ont des demandes d’énergie plus faibles, ce qui aide à réduire les coûts d’exploitation et leur impact environnemental. En utilisant des algorithmes et des méthodes optimisés tels que l’apprentissage par transfert, l’IA petite peut atteindre de hautes performances avec moins de ressources. Cette approche non seulement rend l’IA plus abordable mais soutient également la durabilité en minimisant à la fois la consommation d’énergie et les émissions de carbone.

Comment les modèles d’IA petite sont construits aujourd’hui

Reconnaissant les avantages de l’IA petite, les grandes entreprises technologiques comme Google (GOOGL ), OpenAI et Meta se sont de plus en plus concentrées sur le développement de modèles compacts. Ce changement a conduit à l’évolution de modèles tels que Gemini Flash, GPT-4o Mini et Llama 7B. Ces modèles plus petits sont principalement développés à l’aide d’une technique appelée distillation des connaissances.

À son cœur, la distillation implique le transfert des connaissances d’un grand modèle complexe vers une version plus petite et plus efficace. Dans ce processus, un modèle « enseignant » – grand modèle d’IA – est formé sur des ensembles de données étendus pour apprendre des modèles et des nuances complexes. Ce modèle génère ensuite des prédictions ou des « étiquettes molles » qui encapsulent sa compréhension approfondie.

Le modèle « élève », qui est le modèle d’IA petite, est formé pour reproduire ces étiquettes molles. En imitant le comportement de l’enseignant, le modèle élève capture une grande partie de ses connaissances et de ses performances tout en fonctionnant avec beaucoup moins de paramètres.

Pourquoi nous devons aller au-delà de la distillation de l’IA grande

Alors que la distillation de l’IA grande en versions plus petites et plus gérables est devenue une approche populaire pour construire l’IA petite, il existe plusieurs raisons convaincantes pour lesquelles cette approche ne peut pas être une solution pour tous les défis du développement de l’IA grande.

• Dépendance continue à l’égard des grands modèles : Alors que la distillation crée des modèles d’IA plus petits et plus efficaces et améliore l’efficacité computationnelle et énergétique au moment de l’inférence, elle repose toujours lourdement sur la formation initiale de grands modèles d’IA. Cela signifie que la construction de modèles d’IA petite nécessite encore des ressources computationnelles et énergétiques importantes, conduisant à des coûts élevés et à un impact environnemental important, même avant la distillation. Le besoin de former régulièrement des grands modèles pour la distillation déplace la charge de ressources plutôt que de l’éliminer. Bien que la distillation vise à réduire la taille et les coûts des modèles d’IA, elle n’élimine pas les coûts initiaux importants associés à la formation des grands modèles « enseignants ». Ces coûts initiaux peuvent être particulièrement difficiles pour les petites organisations et les groupes de recherche. De plus, l’impact environnemental de la formation de ces grands modèles peut annuler certains des avantages de l’utilisation de modèles plus petits et plus efficaces, car l’empreinte carbone de la phase de formation initiale reste considérable.
• Portée d’innovation limitée : S’appuyer sur la distillation peut limiter l’innovation en se concentrant sur la reproduction de grands modèles existants plutôt que sur l’exploration de nouvelles approches. Cela peut ralentir le développement de nouvelles architectures ou de méthodes d’IA qui pourraient offrir de meilleures solutions pour des problèmes spécifiques. La dépendance à l’égard de l’IA grande restreint le développement de l’IA petite entre les mains de quelques entreprises riches en ressources. En conséquence, les avantages de l’IA petite ne sont pas répartis de manière égale, ce qui peut entraver les progrès technologiques plus larges et limiter les opportunités d’innovation.
• Défis de généralisation et d’adaptation : Les modèles d’IA petite créés par distillation ont souvent du mal avec de nouvelles données non vues. Cela se produit parce que le processus de distillation peut ne pas capturer pleinement la capacité du grand modèle à généraliser. En conséquence, même si ces modèles plus petits peuvent performer bien sur des tâches familières, ils rencontrent souvent des difficultés lorsqu’ils sont confrontés à de nouvelles situations. De plus, adapter des modèles distillés à de nouvelles modalités ou ensembles de données implique souvent de reformer ou de réajuster le grand modèle d’abord. Ce processus itératif peut être complexe et gourmand en ressources, ce qui rend difficile l’adaptation rapide des modèles d’IA petite aux besoins technologiques ou aux applications en évolution rapide.

En résumé

Alors que la distillation de modèles d’IA grands en versions plus petites peut sembler une solution pratique, elle continue de reposer sur les coûts élevés de la formation de grands modèles. Pour vraiment progresser dans l’IA petite, nous devons explorer des pratiques plus innovantes et durables. Cela signifie créer des modèles conçus pour des applications spécifiques, améliorer les méthodes de formation pour qu’elles soient plus rentables et respectueuses de l’environnement, et se concentrer sur la durabilité environnementale. En poursuivant ces stratégies, nous pouvons faire progresser le développement de l’IA d’une manière qui est à la fois responsable et bénéfique pour l’industrie et la planète.