DeepSeek : des gains d’efficacité, pas un changement de paradigme dans l’innovation de l’IA

L’excitation récente autour de DeepSeek, un modèle de langage avancé (LLM), est compréhensible étant donné les améliorations significatives d’efficacité qu’il apporte dans ce domaine. Cependant, certaines réactions à sa sortie semblent interpréter de manière excessive l’ampleur de son impact. DeepSeek représente un bond en avant dans la trajectoire attendue du développement des LLM, mais il ne signale pas un changement révolutionnaire vers l’intelligence artificielle générale (AGI), ni ne marque une transformation soudaine du centre de gravité de l’innovation de l’IA.

Plutôt, la réalisation de DeepSeek est une progression naturelle le long d’un chemin bien tracé – celui d’une croissance exponentielle de la technologie de l’IA. Il ne s’agit pas d’un changement de paradigme disruptif, mais d’un rappel puissant de l’accélération du rythme du changement technologique.

Les gains d’efficacité de DeepSeek : un bond le long de la trajectoire attendue

Le cœur de l’excitation autour de DeepSeek réside dans ses impressionnantes améliorations d’efficacité. Ses innovations sont largement axées sur le rendement des LLM, ce qui a des implications significatives pour l’économie et l’accessibilité des modèles d’IA. Cependant, malgré le buzz, ces avancées ne sont pas fondamentalement nouvelles, mais plutôt des affinements d’approches existantes.

Dans les années 90, la création de graphiques haute définition nécessitait des supercalculateurs. Aujourd’hui, les smartphones sont capables de la même tâche. De même, la reconnaissance faciale – autrefois une technologie de niche à coût élevé – est maintenant une fonctionnalité omniprésente et bon marché dans les smartphones. DeepSeek s’inscrit dans ce schéma de technologie : une optimisation des capacités existantes qui apporte de l’efficacité, mais pas une nouvelle approche révolutionnaire.

Pour ceux qui sont familiers avec les principes de la croissance technologique, ce progrès rapide n’est pas inattendu. La théorie de la singularité technologique, qui postule une accélération de la progression dans des domaines clés comme l’IA, prédit que les avancées deviendront plus fréquentes à mesure que l’on approche du point de singularité. DeepSeek est juste un moment de cette tendance en cours, et son rôle est de rendre les technologies d’IA existantes plus accessibles et efficaces, plutôt que de représenter un saut soudain vers de nouvelles capacités.

Les innovations de DeepSeek : des ajustements architecturaux, pas un saut vers l’AGI

La principale contribution de DeepSeek est l’optimisation de l’efficacité des modèles de langage, en particulier grâce à son architecture Mixture of Experts (MoE). MoE est une technique d’apprentissage d’ensemble bien établie qui a été utilisée dans la recherche en IA pendant des années. Ce que DeepSeek a fait particulièrement bien, c’est affiner cette technique, en incorporant d’autres mesures d’efficacité pour minimiser les coûts de calcul et rendre les LLM plus abordables.

• Efficacité des paramètres : La conception MoE de DeepSeek active seulement 37 milliards de ses 671 milliards de paramètres à tout moment, réduisant les exigences de calcul à seulement 1/18ème de celles des LLM traditionnels.
• Apprentissage par renforcement pour le raisonnement : Le modèle R1 de DeepSeek utilise l’apprentissage par renforcement pour améliorer le raisonnement en chaîne, un aspect essentiel des modèles de langage.
• Formation multi-jeton : La capacité de DeepSeek-V3 à prédire plusieurs morceaux de texte simultanément augmente l’efficacité de la formation.

Ces améliorations font que les modèles DeepSeek sont nettement moins chers à former et à exécuter par rapport à des concurrents comme OpenAI ou Anthropic. Même si cela constitue un progrès significatif pour l’accessibilité des LLM, il s’agit d’un affinement d’ingénierie plutôt que d’une avancée conceptuelle vers l’AGI.

L’impact de l’IA open-source

L’une des décisions les plus notables de DeepSeek a été de rendre ses modèles open-source – une démarcation claire des approches propriétaires et des jardins clos des entreprises comme OpenAI, Anthropic et Google. Cette approche open-source, défendue par des chercheurs en IA comme Yann LeCun de Meta, favorise un écosystème d’IA plus décentralisé où l’innovation peut prospérer grâce au développement collectif.

La raison économique derrière la décision open-source de DeepSeek est également claire. L’IA open-source n’est pas seulement une prise de position philosophique, mais une stratégie commerciale. En rendant sa technologie accessible à un large éventail de chercheurs et de développeurs, DeepSeek se positionne pour bénéficier de services, d’intégrations d’entreprise et d’hébergement évolutif, plutôt que de compter uniquement sur la vente de modèles propriétaires. Cette approche donne à la communauté mondiale de l’IA l’accès à des outils compétitifs et réduit la mainmise des grandes entreprises technologiques occidentales sur ce domaine.

Le rôle croissant de la Chine dans la course à l’IA

Pour beaucoup, le fait que la percée de DeepSeek vienne de Chine pourrait être surprenant. Cependant, ce développement ne devrait pas être considéré avec surprise ou comme partie d’un concours géopolitique. Ayant observé le paysage de l’IA en Chine pendant des années, il est clair que le pays a investi massivement dans la recherche en IA, aboutissant à un bassin croissant de talents et d’expertise.

Plutôt que de présenter ce développement comme un défi à la domination occidentale, il devrait être vu comme un signe de la nature de plus en plus mondiale de la recherche en IA. La collaboration ouverte, et non la concurrence nationaliste, est la voie la plus prometteuse vers le développement responsable et éthique de l’AGI. Un effort décentralisé, réparti à l’échelle mondiale, est beaucoup plus susceptible de produire une AGI qui profite à l’humanité tout entière, plutôt que de servir les intérêts d’une seule nation ou entreprise.

Les implications plus larges de DeepSeek : Regarder au-delà des LLM

Alors que beaucoup de l’excitation autour de DeepSeek tourne autour de son efficacité dans l’espace des LLM, il est crucial de prendre du recul et de considérer les implications plus larges de ce développement.

Malgré leurs capacités impressionnantes, les modèles basés sur les transformateurs comme les LLM sont encore loin d’atteindre l’AGI. Ils manquent de qualités essentielles telles que l’abstraction compositionnelle ancrée et le raisonnement auto-dirigé, qui sont nécessaires pour l’intelligence générale. Même si les LLM peuvent automatiser une large gamme de tâches économiques et s’intégrer dans diverses industries, ils ne représentent pas le cœur du développement de l’AGI.

Si l’AGI doit émerger dans la prochaine décennie, il est peu probable qu’elle soit basée uniquement sur l’architecture des transformateurs. Des modèles alternatifs, tels que OpenCog Hyperon ou l’informatique neuromorphique, pourraient être plus fondamentaux pour atteindre une véritable intelligence générale.

La commoditisation des LLM va déplacer les investissements en IA

Les gains d’efficacité de DeepSeek accélèrent la tendance vers la commoditisation des LLM. À mesure que les coûts de ces modèles continuent de baisser, les investisseurs pourraient commencer à regarder au-delà des architectures LLM traditionnelles pour la prochaine grande avancée en IA. Nous pourrions voir un déplacement des financements vers des architectures d’AGI qui vont au-delà des transformateurs, ainsi que des investissements dans des matérielles d’IA alternatives, telles que les puces neuromorphiques ou les unités de traitement associatif.

La décentralisation va façonner l’avenir de l’IA

Alors que les améliorations d’efficacité de DeepSeek rendent plus facile le déploiement de modèles d’IA, elles contribuent également à la tendance plus large de décentralisation de l’architecture de l’IA. Avec un focus sur la confidentialité, l’interopérabilité et le contrôle de l’utilisateur, l’IA décentralisée réduira notre dépendance à l’égard des grandes entreprises technologiques centralisées. Cette tendance est cruciale pour garantir que l’IA serve les besoins d’une population mondiale, plutôt que d’être contrôlée par un petit nombre de joueurs puissants.

La place de DeepSeek dans l’explosion cambrienne de l’IA

En conclusion, même si DeepSeek est un jalon majeur dans l’efficacité des LLM, il ne constitue pas un changement révolutionnaire dans le paysage de l’IA. Plutôt, il accélère la progression le long d’une trajectoire bien établie. L’impact plus large de DeepSeek se fait sentir dans plusieurs domaines :

• Pression sur les entreprises établies : DeepSeek défie des entreprises comme OpenAI et Anthropic à repenser leurs modèles d’entreprise et à trouver de nouvelles façons de concurrencer.
• Accessibilité de l’IA : En rendant des modèles de haute qualité plus abordables, DeepSeek démocratise l’accès à la technologie de pointe.
• Concurrence mondiale : Le rôle croissant de la Chine dans le développement de l’IA signale la nature mondiale de l’innovation, qui n’est pas limitée à l’Occident.
• Progrès exponentiel : DeepSeek est un exemple clair de la façon dont le progrès rapide en IA devient la norme.

Le plus important, cependant, est que DeepSeek nous rappelle que même si l’IA progresse rapidement, une véritable AGI est susceptible d’émerger à travers de nouvelles approches fondamentales plutôt que par l’optimisation des modèles actuels. Alors que nous nous précipitons vers la singularité, il est crucial de garantir que le développement de l’IA reste décentralisé, ouvert et collaboratif.

DeepSeek n’est pas l’AGI, mais il représente une étape significative vers l’avant dans le voyage en cours vers l’IA transformative.