Les coûts de formation en IA continuent de chuter

Les coûts élevés de formation à l'IA ont été un obstacle important à l'adoption de l'IA, empêchant de nombreuses entreprises de mettre en œuvre la technologie de l'IA. Selon un Rapport Forrester Consulting 2017, 48 % des entreprises ont cité les coûts technologiques élevés comme l'une des principales raisons de ne pas mettre en œuvre des solutions basées sur l'IA.

Cependant, des développements récents ont montré que les coûts de formation en IA diminuent rapidement, et cette tendance devrait se poursuivre à l'avenir. Selon le Rapport ARK Invest Big Ideas 2023, les coûts de formation d'un grand modèle linguistique similaire aux performances de niveau GPT-3 ont chuté de 4.6 millions de dollars en 2020 à 450,000 2022 dollars en 70, soit une baisse de XNUMX % par an.

Explorons plus en détail cette tendance à la baisse des coûts de formation en IA et discutons des facteurs qui contribuent à cette baisse.

Comment les coûts de formation en IA ont-ils changé au fil du temps ?

Selon le récent Recherche ARK Invest 2020, le coût de formation des modèles d'apprentissage en profondeur s'améliore 50 fois plus vite que la loi de Moore. En fait, les dépenses associées à l'exécution d'un système d'inférence d'IA ont été considérablement réduites à des niveaux presque négligeables pour de nombreux cas d'utilisation.

De plus, les coûts de formation ont diminué dix fois par an au cours des dernières années. Par exemple, en 2017, la formation d'un classificateur d'images comme ResNet-50 sur un cloud public coûtait environ 1,000 2019 $, mais en 10, le coût avait considérablement diminué pour atteindre environ XNUMX $.

Ces constatations s'alignent sur une Rapport 2020 d'OpenAI, qui a constaté que la quantité de puissance de calcul nécessaire pour former un modèle d'IA pour effectuer la même tâche a diminué d'un facteur de deux tous les 16 mois depuis 2012.

De plus, le Rapport ARK met en évidence la baisse des coûts de formation en IA. Le rapport prévoit que d'ici 2030, le coût de formation d'un modèle de niveau GPT-3 sera ramené à 30 USD, contre 450,000 2022 USD en XNUMX.

Coût pour former les performances de niveau GPT-3 - ARK Investir de grandes idées 2023

Facteurs qui contribuent à la baisse des coûts de formation en IA

La formation des modèles d'IA devient moins chère et plus facile à mesure que les technologies d'IA continuent de s'améliorer, les rendant plus accessibles à un plus large éventail d'entreprises. Plusieurs facteurs, notamment les coûts du matériel et des logiciels et l'IA basée sur le cloud, ont contribué à la baisse des coûts de formation à l'IA.

Explorons ces facteurs ci-dessous.

1. Matériel

L'IA nécessite un matériel coûteux spécialisé haut de gamme pour traiter de gros volumes de données et de calculs. Des organisations telles que NVIDIA, IBM et Google fournissent GPU ou TPU pour exécuter des charges de travail de calcul haute performance (HPC). Les coûts élevés du matériel rendent difficile la démocratisation de l'IA à grande échelle.

Cependant, à mesure que la technologie progresse, les coûts du matériel diminuent. Selon le Rapport ARK Invest 2023, la loi de Wright prédit que les coûts de production des unités de calcul relatives à l'IA (RCU), c'est-à-dire les coûts du matériel de formation à l'IA, devraient diminuer de 57 % par an, entraînant une réduction de 70 % des coûts de formation à l'IA d'ici 2030, comme le montre le graphique ci-dessous.

Coût du matériel de formation à l'IA - ARK Investir de grandes idées 2023

2. Logiciels

Les coûts de formation aux logiciels d'IA peuvent être réduits en 47% annuellement grâce à une efficacité et une évolutivité accrues. Des frameworks logiciels comme TensorFlow ou PyTorch permettent aux développeurs de former des modèles complexes d'apprentissage en profondeur sur des systèmes distribués avec des performances élevées, en économisant du temps et des ressources.

De plus, de grands modèles pré-entraînés comme Créationv3 or ResNet et les techniques d'apprentissage par transfert contribuent également à réduire les coûts en permettant aux développeurs d'affiner les modèles existants plutôt que de les former à partir de zéro.

Coût de la formation au logiciel d'IA - ARK Investir de grandes idées 2023

3. Intelligence artificielle basée sur le cloud

La formation à l'IA basée sur le cloud réduit les coûts en fournissant des ressources informatiques évolutives à la demande. Avec le modèle de paiement à l'utilisation, les entreprises ne paient que pour leurs ressources informatiques. En outre, les fournisseurs de cloud proposent des services d'IA prédéfinis qui accélèrent la formation à l'IA.

Par exemple, Azure Machine Learning est un service cloud d’analyse prédictive qui permet le développement et la mise en œuvre rapides de modèles. Il offre des ressources informatiques et une mémoire flexibles. Les utilisateurs peuvent rapidement évoluer jusqu’à des milliers de GPU pour augmenter leurs performances de calcul. Il permet aux utilisateurs de travailler via leurs navigateurs Web sur des environnements d’IA préconfigurés, éliminant ainsi les frais de configuration et d’installation.

L'impact de la baisse des coûts de formation en IA

La baisse des coûts de la formation en IA a des implications importantes pour divers secteurs et domaines, ce qui se traduit par une amélioration de l'innovation et de la compétitivité.

Discutons-en quelques-uns ci-dessous.

1. Adoption massive de chatbots IA sophistiqués

Les chatbots IA sont en hausse en raison de la baisse des coûts de l'IA. Surtout après le développement d'OpenAI ChatGPT ou GPT-4 (Generative Pre-trained Transformer), il y a eu une augmentation notable du nombre d'entreprises cherchant à développer des chatbots IA avec des capacités similaires ou meilleures.

Par exemple, cinq jours après sa sortie en novembre 2022, ChatGPT a rassemblé 1 million d'utilisateurs. Bien qu'aujourd'hui, le coût d'exécution du modèle à grande échelle soit d'environ 01 $ par requête, la loi de Wright prédit que d'ici 2030, les applications de chatbot similaires à ChatGPT seront déployables à grande échelle beaucoup moins cher (estimé à 650 $ pour exécuter un milliard de requêtes), avec le potentiel de traiter 8.5 milliards de recherches par jour, l'équivalent de Google Search.

Coût d'exécution des inférences d'IA par milliard de requêtes - ARK Investir de grandes idées 2023

2. Utilisation accrue de l'IA générative

La baisse des coûts de la formation en IA a entraîné une augmentation du développement et de la mise en œuvre de technologies d'IA génératives. En 2022, l'utilisation de l'IA générative a considérablement augmenté, grâce à l'introduction d'outils innovants d'IA générative, tels que DALL-E 2, Meta Make-A-Video et Stable Diffusion. En 2023, nous avons déjà assisté à un modèle révolutionnaire sous la forme de GPT-4.

Outre la génération d'images et de texte, l'IA générative aide les développeurs à écrire du code. Des programmes comme GitHub Copilot peuvent aider à terminer une tâche de codage en deux fois moins de temps.

Temps pour terminer les tâches de codage – ARK Investir de grandes idées 2023

3. Meilleure utilisation des données de formation

La réduction des coûts de formation en IA devrait permettre une meilleure utilisation des données de formation en apprentissage automatique. Par exemple, Rapport ARK Invest 2023 suggère que d'ici 2030, le coût de formation d'un modèle avec 57 fois plus de paramètres et 720 fois plus de jetons que GPT-3 (175 milliards de paramètres) devrait passer de 17 milliards de dollars à 600,000 XNUMX dollars.

La disponibilité et la qualité des données seront le principal facteur limitant pour le développement de modèles avancés d'apprentissage automatique dans ce monde informatique à faible coût. Cependant, les modèles de formation développeraient la capacité de traiter environ 162 216 milliards de mots ou XNUMX XNUMX milliards de jetons.

L'avenir de l'IA s'annonce très prometteur. Pour en savoir plus sur les dernières tendances et recherches dans le domaine de l'intelligence artificielle, visitez Unite.ai.