Faire face à la domination de Nvidia : des stratégies de développement ML agiles pour les non-grands acteurs technologiques (face aux défis d’approvisionnement et de coûts)

Construire une entreprise dans le jeu parmi les véritables grands acteurs n’a jamais été une tâche facile. En 2023, la concurrence dans le secteur de l’IA a atteint des sommets sans précédent, alimentée par de véritables avancées déconcertantes. La sortie de GPT-4 d’OpenAI, l’intégration de ChatGPT avec Bing, le lancement de Bard par Google et la sortie controversée de Llama 2 par Meta, qualifiée de “open-source”. Il s’agit d’une longue liste de grands noms, n’est-ce pas ? Aussi excitant que cela puisse paraître, la majorité de l’innovation se trouve là où l’argent s’écoule, et la concurrence que les plus petits acteurs technologiques doivent traverser devient de plus en plus intense au fil des jours.

Dans le paysage en constante évolution de l’industrie technologique, Nvidia (NVDA ) continue de consolider sa position en tant qu’acteur clé de l’infrastructure IA. Lors d’une conférence téléphonique de rapport financier d’août, Jensen Huang, président de NVIDIA, a souligné la demande croissante pour les processeurs Nvidia. Cette affirmation est étayée par la confirmation des données de revenus de la présentation des investisseurs de Nvidia pour le troisième trimestre, qui révèle un impressionnant bilan de performance d’une année sur l’autre, visible dès novembre. Pendant ce temps, les prévisions de Gartner indiquent une augmentation significative des dépenses en puces au cours des quatre prochaines années. Actuellement, la pile logicielle et les processeurs de Nvidia sont sans égal, laissant l’industrie incertaine quant à quando un concurrent crédible pourrait émerger.

Des rapports récents de Bloomberg et du Financial Times mettent en lumière les négociations de Sam Altman, PDG d’OpenAI, avec des investisseurs du Moyen-Orient pour lancer la production de puces, dans le but de réduire la dépendance du secteur de l’IA aux puces Nvidia. Défiarer Nvidia, avec sa capitalisation boursière de près de 1 500 milliards de dollars, coûtera probablement à Altman entre 5 000 milliards et 7 000 milliards de dollars et prendra plusieurs années.

Cependant, aborder la rentabilité des modèles ML pour les entreprises est quelque chose que les entreprises doivent faire maintenant. Pour les entreprises au-delà du monde de la grande technologie, développer des modèles ML rentables est plus qu’un processus commercial — c’est une stratégie de survie vitale. Cet article explore quatre stratégies pragmatiques qui permettent aux entreprises de toutes tailles de développer leurs modèles sans investissements de R&D importants et de rester flexibles pour éviter le verrouillage des fournisseurs.

Pourquoi Nvidia domine le marché de l’IA

En résumé, Nvidia a créé le flux de travail idéal pour la formation de modèles en atteignant une synergie entre les GPU haute performance et sa pile logicielle de formation de modèles propriétaire, le kit d’outils CUDA largement acclamé.

CUDA (introduit en 2007) est un kit d’outils de calcul parallèle complet et une API pour utiliser de manière optimale les processeurs GPU Nvidia. La principale raison pour laquelle il est si populaire est sa capacité inégalée à accélérer les calculs mathématiques complexes, essentiels pour l’apprentissage profond. De plus, il offre un riche écosystème comme cuDNN pour les réseaux de neurones profonds, améliorant les performances et la facilité d’utilisation. Il est essentiel pour les développeurs en raison de son intégration transparente avec les principaux cadres d’apprentissage profond, permettant un développement et une itération rapides de modèles.

La combinaison d’une telle pile logicielle robuste avec un matériel très efficace s’est avérée être la clé pour capturer le marché. Alors que certains soutiennent que la domination de Nvidia pourrait être un phénomène temporaire, il est difficile de faire de telles prédictions dans le paysage actuel.

Le lourd tribut de la domination de Nvidia

Nvidia ayant la main haute dans le domaine du développement de l’IA a soulevé de nombreuses préoccupations, non seulement dans le domaine éthique mais aussi en ce qui concerne l’élargissement des disparités budgétaires de recherche et de développement, qui sont l’une des raisons pour lesquelles il est devenu exponentiellement plus difficile pour les plus petits acteurs de pénétrer le marché, sans parler des startups. Ajoutez-y la baisse de l’intérêt des investisseurs en raison des risques plus élevés, et la tâche d’obtenir des investissements importants en R&D (comme ceux de Nvidia) devient tout simplement impossible, créant un terrain de jeu très inégal.

Cependant, cette forte dépendance à l’égard du matériel de Nvidia exerce encore plus de pression sur la cohérence de la chaîne d’approvisionnement et ouvre le risque de perturbations et de verrouillage des fournisseurs, réduisant la flexibilité du marché et augmentant les barrières à l’entrée sur le marché.

“Certaines entreprises regroupent leurs fonds pour s’assurer qu’elles ne laisseront pas les utilisateurs dans l’embarras. Partout, des termes techniques comme ‘optimisation’ et ‘taille de modèle plus petite’ sont à la mode, car les entreprises tentent de réduire leurs besoins en GPU, et les investisseurs ont misé des centaines de millions de dollars dans des startups dont les logiciels aident les entreprises à se débrouiller avec les GPU dont elles disposent.”

Les pénuries de puces Nvidia laissent les startups d’IA à la recherche désespérée de puissance de calcul Par Paresh Dave

Maintenant est le moment d’adopter des approches stratégiques, car cela pourrait être la chose qui donnera à votre entreprise la chance de prospérer au milieu de l’influence étendue de Nvidia dans le développement de l’IA.

Stratégies que les non-grands acteurs technologiques peuvent adopter à la domination de Nvidia :

1. Commencer à explorer RocM d’AMD

AMD a activement réduit l’écart de développement de l’IA avec NVIDIA, une prouesse accomplie grâce à son soutien constant à Rocm dans les bibliothèques principales de PyTorch au cours de la dernière année. Cet effort en cours a abouti à une meilleure compatibilité et à des performances améliorées, mises en évidence de manière éclatante par le chipset MI300, la dernière sortie d’AMD. Le MI300 a démontré des performances robustes dans les tâches d’inférence de modèle de langage à grande échelle, en particulier en excelant avec des modèles comme LLama-70b. Ce succès souligne les progrès importants réalisés par AMD en termes de puissance et d’efficacité de traitement.

2. Trouver d’autres alternatives matérielles

En plus des progrès d’AMD, Google a introduit les unités de traitement de tenseurs (TPU), un matériel spécialisé conçu explicitement pour accélérer les charges de travail de l’IA, offrant une alternative robuste pour la formation de grands modèles d’IA.

Au-delà de ces géants de l’industrie, des acteurs plus petits mais influents comme Graphcore et Cerebras (CBRS ) font des contributions notables à l’espace matériel de l’IA. L’unité de traitement d’intelligence (IPU) de Graphcore, conçue pour l’efficacité dans les calculs d’IA, a attiré l’attention pour son potentiel dans les tâches à haute performance, comme le montre l’expérimentation de Twitter. Cerebras, quant à lui, pousse les limites avec ses puces avancées, mettant l’accent sur la scalabilité et la puissance de calcul brute pour les applications d’IA.

Les efforts collectifs de ces entreprises signalent un déplacement vers un écosystème matériel de l’IA plus diversifié. Cette diversification présente des stratégies viables pour réduire la dépendance à l’égard de Nvidia, offrant aux développeurs et aux chercheurs une gamme plus large de plateformes pour le développement de l’IA.

3. Commencer à investir dans l’optimisation des performances

En plus d’explorer les alternatives matérielles, l’optimisation logicielle s’avère être un facteur crucial pour atténuer l’impact de la domination de Nvidia. En utilisant des algorithmes efficaces, en réduisant les calculs inutiles et en mettant en œuvre des techniques de traitement parallèle, les non-grands acteurs technologiques peuvent maximiser les performances de leurs modèles d’IA sur le matériel existant, offrant une approche pragmatique pour combler l’écart sans dépendre uniquement des mises à niveau matérielles coûteuses.

Un exemple de cette approche est la technologie AutoNAC de Deci Ai. Cette innovation a démontré la capacité d’accélérer l’inférence de modèle de 3 à 10 fois, comme le montre le benchmark MLPerf largement reconnu. En mettant en évidence de tels progrès, il devient évident que l’optimisation logicielle peut considérablement améliorer l’efficacité du développement de l’IA, présentant une alternative viable pour atténuer l’influence de la domination de Nvidia dans le domaine.

4. Commencer à collaborer avec d’autres organisations pour créer des grappes décentralisées

Cette approche collaborative peut impliquer le partage de résultats de recherche, l’investissement conjoint dans des options matérielles alternatives et la promotion du développement de nouvelles technologies d’IA via des projets open source. En décentralisant l’inférence et en utilisant des ressources de calcul distribuées, les non-grands acteurs technologiques peuvent égaliser le terrain de jeu et créer un paysage plus concurrentiel dans l’industrie du développement de l’IA.

Aujourd’hui, la stratégie de partage des ressources de calcul gagne en momentum à travers l’industrie technologique. Le Google Kubernetes Engine (GKE) en est un exemple en soutenant la multi-locataire de grappe, permettant une utilisation efficace des ressources et une intégration avec des services tiers. Cette tendance est encore évidente dans les initiatives communautaires comme Petals, qui propose un réseau distribué pour exécuter des modèles d’IA, rendant l’accès à un calcul haute puissance accessible sans investissement important. De plus, des plateformes comme Together.ai offrent un accès serveurless à une large gamme de modèles open source, simplifiant le développement et favorisant la collaboration. En considérant de telles plateformes, vous pouvez accéder à des ressources de calcul et à des opportunités de développement collaboratif, aidant à optimiser votre processus de développement et à réduire les coûts, quelle que soit la taille de l’organisation.

Conclusion

À l’échelle mondiale, la nécessité de ces stratégies devient évidente. Lorsqu’une entité domine le marché, elle étouffe le développement et entrave l’établissement de prix raisonnables.

Les non-grands acteurs technologiques peuvent contrer la domination de Nvidia en explorant des alternatives comme RocM d’AMD, en investissant dans l’optimisation des performances via des algorithmes efficaces et le traitement parallèle, et en favorisant la collaboration avec d’autres organisations pour créer des grappes décentralisées. Cela promeut un paysage plus diversifié et concurrentiel dans l’industrie du matériel et du développement de l’IA, permettant aux plus petits acteurs d’avoir leur mot à dire dans l’avenir du développement de l’IA.

Ces stratégies visent à réduire la dépendance à l’égard des prix et des approvisionnements de Nvidia, améliorant ainsi l’attrait pour les investissements, minimisant le risque de ralentissement du développement commercial au milieu de la concurrence matérielle, et favorisant la croissance organique dans l’ensemble de l’industrie, permettant aux plus petits acteurs d’avoir leur mot à dire dans l’avenir du développement de l’IA.