Les coûts de formation de l’IA continuent de chuter

Les coûts élevés de formation de l’IA ont été un obstacle important à l’adoption de l’IA, empêchant de nombreuses entreprises de mettre en œuvre la technologie de l’IA. Selon un rapport de Forrester Consulting de 2017, 48 % des entreprises ont souligné les coûts élevés de la technologie comme l’une des principales raisons pour lesquelles elles n’ont pas mis en œuvre de solutions basées sur l’IA.

Cependant, les développements récents ont montré que les coûts de formation de l’IA chutent rapidement, et cette tendance devrait se poursuivre à l’avenir. Selon le rapport ARK Invest Big Ideas 2023, les coûts de formation d’un grand modèle de langage similaire aux performances de GPT-3 sont passés de 4,6 millions de dollars en 2020 à 450 000 dollars en 2022, soit une baisse de 70 % par an.

Explorons cette tendance de baisse des coûts de formation de l’IA plus en détail et discutons des facteurs qui contribuent à cette baisse.

Comment les coûts de formation de l’IA ont-ils changé au fil du temps ?

Selon la recherche ARK Invest 2020, le coût de formation de modèles d’apprentissage profond s’améliore 50 fois plus vite que la loi de Moore. En fait, les frais associés à l’exécution d’un système d’inférence de l’IA ont considérablement diminué à des niveaux presque négligeables pour de nombreux cas d’utilisation.

De plus, les coûts de formation ont diminué de dix fois par an au cours des dernières années. Par exemple, en 2017, la formation d’un classificateur d’images comme ResNet-50 sur un cloud public coûtait environ 1 000 dollars, mais en 2019, le coût avait considérablement diminué à environ 10 dollars.

Ces constatations sont conformes à un rapport de 2020 d’OpenAI, qui a constaté que la quantité de puissance de calcul nécessaire pour former un modèle d’IA à effectuer la même tâche a diminué d’un facteur deux tous les 16 mois depuis 2012.

De plus, le rapport ARK met en évidence la baisse des coûts de formation de l’IA. Le rapport prévoit que d’ici 2030, le coût de formation d’un modèle de niveau GPT-3 sera réduit à 30 dollars, contre 450 000 dollars en 2022.

Coût de formation d’un modèle de niveau GPT-3 – ARK Invest Big Ideas 2023

Facteurs qui contribuent à la baisse des coûts de formation de l’IA

La formation de modèles d’IA devient moins chère et plus facile à mesure que les technologies d’IA continuent de s’améliorer, les rendant plus accessibles à un plus grand nombre d’entreprises. Plusieurs facteurs, notamment les coûts du matériel et des logiciels, ainsi que l’IA basée sur le cloud, ont contribué à la baisse des coûts de formation de l’IA.

Explorons ces facteurs ci-dessous.

1. Matériel

L’IA nécessite un matériel spécialisé de haute qualité coûteux pour traiter de grandes quantités de données et de calculs. Des organisations comme NVIDIA, IBM et Google fournissent des GPU et des TPU pour exécuter des charges de travail de calcul haute performance (HPC). Les coûts élevés du matériel rendent difficile la démocratisation de l’IA à grande échelle.

Cependant, à mesure que la technologie progresse, les coûts du matériel diminuent. Selon le rapport ARK Invest 2023, la loi de Wright prévoit que les coûts de production d’unités de calcul relatives à l’IA (RCU), c’est-à-dire les coûts de matériel de formation de l’IA, devraient diminuer de 57 % par an, ce qui entraînera une réduction de 70 % des coûts de formation de l’IA d’ici 2030, comme le montre le graphique ci-dessous.

Coût du matériel de formation de l’IA – ARK Invest Big Ideas 2023

2. Logiciel

Les coûts de formation de logiciels d’IA peuvent être réduits de 47 % par an grâce à une efficacité et une scalabilité accrues. Des frameworks logiciels tels que TensorFlow et PyTorch permettent aux développeurs de former des modèles d’apprentissage profond complexes sur des systèmes distribués avec de hautes performances, ce qui économise du temps et des ressources.

De plus, de grands modèles pré-formés comme Inceptionv3 ou ResNet et des techniques d’apprentissage de transfert aident également à réduire les coûts en permettant aux développeurs de mettre à jour des modèles existants plutôt que de les former à partir de zéro.

Coût de formation de logiciels d’IA – ARK Invest Big Ideas 2023

3. Intelligence artificielle basée sur le cloud

La formation de l’IA basée sur le cloud réduit les coûts en fournissant des ressources de calcul évolutives à la demande. Avec le modèle de paiement à l’utilisation, les entreprises ne paient que pour les ressources de calcul dont elles ont besoin. De plus, les fournisseurs de cloud offrent des services d’IA pré-construits qui accélèrent la formation de l’IA.

Par exemple, Azure Machine Learning est un service basé sur le cloud pour l’analyse prédictive qui permet un développement et une mise en œuvre rapides de modèles. Il offre des ressources de calcul et de mémoire flexibles. Les utilisateurs peuvent mettre à l’échelle jusqu’à des milliers de GPU rapidement pour augmenter leurs performances de calcul. Il permet aux utilisateurs de travailler à partir de leur navigateur sur des environnements d’IA pré-configurés, ce qui élimine les surcoûts de configuration et d’installation.

L’impact de la baisse des coûts de formation de l’IA

La diminution des coûts de formation de l’IA a des implications importantes pour diverses industries et domaines, ce qui entraîne une amélioration de l’innovation et de la compétitivité.

Discutons-en quelques-uns ci-dessous.

1. Adoption massive de chatbots d’IA sophistiqués

Les chatbots d’IA sont en plein essor en raison de la baisse des coûts de l’IA. En particulier, après le développement d’OpenAI de ChatGPT et de GPT-4 (Transformateur pré-formé génératif), il y a eu un regain notable dans le nombre d’entreprises cherchant à développer des chatbots d’IA avec des capacités similaires ou meilleures.

Par exemple, cinq jours après sa sortie en novembre 2022, ChatGPT a attiré 1 million d’utilisateurs. Bien que le coût de l’exécution du modèle à grande échelle soit d’environ 0,01 dollar par requête, la loi de Wright prévoit que d’ici 2030, des applications de chatbot similaires à ChatGPT pourront être déployées à grande échelle à un coût beaucoup plus faible (estimé à 650 dollars pour exécuter un milliard de requêtes), avec un potentiel pour traiter 8,5 milliards de recherches par jour, équivalent à Google Search.

Coût d’exécution d’inférences d’IA par milliard de requêtes – ARK Invest Big Ideas 2023

2. Utilisation accrue de l’IA générative

La baisse des coûts de formation de l’IA a entraîné une augmentation du développement et de la mise en œuvre de technologies d’IA générative. En 2022, il y a eu une augmentation significative de l’utilisation de l’IA générative, motivée par l’introduction d’outils d’IA générative innovants, tels que DALL-E 2, Meta Make-A-Video et Stable Diffusion. En 2023, nous avons déjà été témoins d’un modèle révolutionnaire sous la forme de GPT-4.

Outre la génération d’images et de texte, l’IA générative aide les développeurs à écrire du code. Des programmes comme GitHub Copilot peuvent aider à compléter une tâche de codage en moitié moins de temps.

Temps pour compléter des tâches de codage – ARK Invest Big Ideas 2023

3. Meilleure utilisation des données de formation

La réduction des coûts de formation de l’IA devrait permettre une meilleure utilisation des données de formation de l’apprentissage automatique. Par exemple, le rapport ARK Invest 2023 suggère qu’à horizon 2030, le coût de formation d’un modèle avec 57 fois plus de paramètres et 720 fois plus de jetons que GPT-3 (175 milliards de paramètres) devrait diminuer de 17 milliards de dollars à 600 000 dollars.

La disponibilité et la qualité des données seront le facteur limitant principal pour le développement de modèles d’apprentissage automatique avancés dans ce monde de calcul à faible coût. Cependant, la formation de modèles développera la capacité de traiter un estimated 162 billions de mots ou 216 billions de jetons.

L’avenir de l’IA est très prometteur. Pour en savoir plus sur les dernières tendances et recherches dans le domaine de l’intelligence artificielle, visitez Unite.ai.