Les coûts de formation de l’IA continuent de chuter

Les coûts élevés de formation de l’IA ont été un obstacle important à l’adoption de l’IA, empêchant de nombreuses entreprises de mettre en œuvre la technologie de l’IA. Selon un rapport de Forrester Consulting de 2017, 48 % des entreprises ont souligné les coûts élevés de la technologie comme l’une des principales raisons pour lesquelles elles n’ont pas mis en œuvre des solutions pilotées par l’IA.

Cependant, les développements récents ont montré que les coûts de formation de l’IA sont en déclin rapide, et cette tendance devrait se poursuivre à l’avenir. Selon le rapport ARK Invest Big Ideas 2023, les coûts de formation d’un grand modèle de langage similaire aux performances de GPT-3 sont passés de 4,6 millions de dollars en 2020 à 450 000 dollars en 2022, soit une baisse de 70 % par an.

Explorons cette tendance de déclin des coûts de formation de l’IA et discutons des facteurs qui contribuent à ce déclin.

Comment les coûts de formation de l’IA ont-ils évolué au fil du temps ?

Selon la recherche récente d’ARK Invest 2020, le coût de formation de modèles d’apprentissage automatique est en amélioration 50 fois plus rapide que la loi de Moore. En fait, les coûts associés à l’exécution d’un système d’inférence de l’IA ont considérablement diminué à des niveaux négligeables pour de nombreux cas d’utilisation.

De plus, les coûts de formation ont diminué de dix fois par an au cours des quelques dernières années. Par exemple, en 2017, la formation d’un classificateur d’images comme ResNet-50 sur un cloud public coûtait environ 1 000 dollars, mais en 2019, le coût avait diminué de manière significative à environ 10 dollars.

Ces résultats sont conformes à un rapport de 2020 d’OpenAI, qui a constaté que la quantité de puissance de calcul nécessaire pour former un modèle de l’IA pour effectuer la même tâche a diminué d’un facteur deux tous les 16 mois depuis 2012.

En outre, le rapport ARK met en évidence les coûts de formation de l’IA en déclin. Le rapport prévoit qu’à horizon 2030, le coût de formation d’un modèle de niveau GPT-3 sera réduit à 30 dollars, contre 450 000 dollars en 2022.

Coût de formation d’un modèle de niveau GPT-3 – ARK Invest Big Ideas 2023

Facteurs qui contribuent à la baisse des coûts de formation de l’IA

La formation de modèles de l’IA devient moins chère et plus facile à mesure que les technologies de l’IA continuent de s’améliorer, les rendant plus accessibles à un plus grand nombre d’entreprises. Plusieurs facteurs, notamment les coûts du matériel et des logiciels, ainsi que l’IA basée sur le cloud, ont contribué à la baisse des coûts de formation de l’IA.

Explorons ces facteurs ci-dessous.

1. Matériel

L’IA nécessite un matériel spécialisé de haute qualité coûteux pour traiter de grandes quantités de données et de calculs. Des organisations comme NVIDIA (NVDA ), IBM et Google (GOOGL ) fournissent des GPU et des TPU pour exécuter des charges de travail de calcul haute performance (HPC). Les coûts élevés du matériel rendent difficile la démocratisation de l’IA à grande échelle.

Cependant, à mesure que la technologie progresse, les coûts du matériel diminuent. Selon le rapport ARK Invest 2023, la loi de Wright prévoit que les coûts de production d’unités de calcul relatives à l’IA (RCU), c’est-à-dire les coûts du matériel de formation de l’IA, devraient diminuer de 57 % par an, ce qui entraînera une réduction de 70 % des coûts de formation de l’IA d’ici 2030, comme le montre le graphique ci-dessous.

Coût du matériel de formation de l’IA – ARK Invest Big Ideas 2023

2. Logiciel

Les coûts de formation de logiciel de l’IA peuvent être réduits de 47 % par an grâce à une efficacité et une scalabilité accrues. Les frameworks de logiciel tels que TensorFlow et PyTorch permettent aux développeurs de former des modèles d’apprentissage automatique complexes sur des systèmes distribués avec une haute performance, ce qui économise du temps et des ressources.

En outre, les grands modèles pré-formés comme Inceptionv3 ou ResNet et les techniques d’apprentissage par transfert aident également à réduire les coûts en permettant aux développeurs d’affiner des modèles existants plutôt que de les former à partir de zéro.

Coût de formation de logiciel de l’IA – ARK Invest Big Ideas 2023

3. Intelligence artificielle basée sur le cloud

La formation de l’IA basée sur le cloud réduit les coûts en fournissant des ressources de calcul évolutives à la demande. Avec le modèle de paiement à l’utilisation, les entreprises ne paient que pour les ressources de calcul dont elles ont besoin. De plus, les fournisseurs de cloud offrent des services d’IA pré-construits qui accélèrent la formation de l’IA.

Par exemple, Azure Machine Learning est un service d’analyse prédictive basé sur le cloud qui permet un développement et une mise en œuvre rapides de modèles. Il offre des ressources de calcul flexibles et une mémoire. Les utilisateurs peuvent mettre à l’échelle jusqu’à des milliers de GPU rapidement pour augmenter leurs performances de calcul. Il permet aux utilisateurs de travailler à partir de leur navigateur sur des environnements d’IA pré-configurés, ce qui élimine les surcoûts de configuration et d’installation.

L’impact de la baisse des coûts de formation de l’IA

La diminution des coûts de formation de l’IA a des implications importantes pour diverses industries et domaines, ce qui entraîne une amélioration de l’innovation et de la concurrence.

Explorons quelques-unes de ces implications ci-dessous.

1. Adoption massive de chatbots de l’IA sophistiqués

Les chatbots de l’IA sont en plein essor en raison de la baisse des coûts de l’IA. En particulier, après le développement de ChatGPT et de GPT-4 (Generative Pre-trained Transformer) d’OpenAI, il y a eu une augmentation notable du nombre d’entreprises cherchant à développer des chatbots de l’IA avec des capacités similaires ou supérieures.

Par exemple, cinq jours après sa sortie en novembre 2022, ChatGPT a attiré 1 million d’utilisateurs. Aujourd’hui, le coût de l’exécution du modèle à grande échelle est d’environ 0,01 dollar par requête, mais la loi de Wright prévoit que d’ici 2030, des applications de chatbot similaires à ChatGPT pourront être déployées à grande échelle à un coût beaucoup plus faible (estimé à 650 dollars pour exécuter un milliard de requêtes), avec un potentiel de traitement de 8,5 milliards de recherches par jour, équivalent à Google Search.

Coût d’exécution des inférences de l’IA par milliard de requêtes – ARK Invest Big Ideas 2023

2. Utilisation accrue de l’IA générative

La baisse des coûts de formation de l’IA a entraîné une augmentation de la mise en œuvre et du développement de technologies d’IA générative. En 2022, il y a eu une augmentation significative de l’utilisation de l’IA générative, motivée par l’introduction d’outils d’IA générative innovants tels que DALL-E 2, Meta Make-A-Video et Stable Diffusion. En 2023, nous avons déjà été témoins d’un modèle révolutionnaire sous la forme de GPT-4.

En plus de la génération d’images et de texte, l’IA générative aide les développeurs à écrire du code. Des programmes comme GitHub Copilot peuvent aider à compléter une tâche de codage en moitié moins de temps.

Temps nécessaire pour compléter des tâches de codage – ARK Invest Big Ideas 2023

3. Meilleure utilisation des données de formation

La réduction des coûts de formation de l’IA devrait permettre une meilleure utilisation des données de formation de l’apprentissage automatique. Par exemple, le rapport ARK Invest 2023 suggère qu’à horizon 2030, le coût de formation d’un modèle avec 57 fois plus de paramètres et 720 fois plus de jetons que GPT-3 (175 milliards de paramètres) devrait diminuer de 17 milliards de dollars à 600 000 dollars.

La disponibilité et la qualité des données seront les principaux facteurs limitants pour le développement de modèles d’apprentissage automatique avancés dans ce monde de calcul à faible coût. Cependant, les modèles de formation devraient développer la capacité de traiter environ 162 billions de mots ou 216 billions de jetons.

L’avenir de l’IA est très prometteur. Pour en savoir plus sur les dernières tendances et recherches dans le domaine de l’intelligence artificielle, visitez Unite.ai.