L’intuition nouvelle de l’IA : pourquoi penser plus intelligemment compte plus que penser plus longtemps

Les progrès de l’intelligence artificielle (IA) ont longtemps été guidés par la croyance que l’augmentation des données et de la puissance de calcul peut améliorer les performances. Cette approche de “force brute” a conduit à des systèmes IA impressionnants, tels que GPT-3, qui ont performé de manière remarquable au fil des ans. Cependant, ce paradigme atteint ses limites. À mesure que les problèmes d’IA deviennent plus complexes, il devient clair que l’ajout simple de puissance de traitement ne sera pas une solution durable ou efficace pour les progrès à long terme. Cette prise de conscience a incité les chercheurs à revoir leur approche de développement de l’IA. Dans ce contexte, le modèle Cogito v2 de Deep Cogito introduit une nouvelle approche qui pourrait changer l’avenir du développement de l’IA. Plutôt que de dépendre d’une puissance de traitement plus importante ou d’une raisonnement prolongé, Cogito v2 développe des “intuitions internes” qui guident le modèle pour identifier les bons chemins avant même de commencer la recherche. Il s’agit d’un changement de paradigme dans la façon dont l’IA est développée en se concentrant sur une meilleure pensée, et non sur une pensée plus longue.

Un changement dans le développement de l’IA

Pendant de nombreuses années, la force motrice derrière les progrès de l’IA était l’idée que “plus c’est mieux“. Cette approche a conduit à des modèles d’IA qui génèrent des chaînes de raisonnement extensives pour résoudre des problèmes complexes. Les modèles d’OpenAI, tels que GPT-3, sont un exemple de cette approche, où des chaînes de raisonnement plus longues ont conduit à des résultats impressionnants sur des tâches difficiles. Même si cette méthode a produit des résultats impressionnants, elle comporte des inconvénients importants. Des chaînes de raisonnement plus longues nécessitent plus de ressources de calcul, ce qui se traduit par des temps d’inférence plus lents et des coûts d’exploitation plus élevés. De plus, la recherche a montré que ces processus prolongés conduisent souvent à des rendements décroissants, où un raisonnement plus long conduit à une plus grande biais et à une moins grande efficacité. Le problème fondamental est que la dépendance à l’égard de chaînes de raisonnement longues et à l’augmentation de la puissance de calcul n’est plus une solution efficace pour résoudre les problèmes d’IA complexes. Ces approches sont limitées par leur temps de traitement et leurs exigences de mémoire massives.

Pourquoi l'”intuition” compte pour l’IA

Contrairement aux systèmes d’IA actuels qui dépendent d’un raisonnement prolongé, les humains s’appuient souvent sur ce que l’on appelle “l’intuition” (une forme de jugement rapide et intuitif) pour résoudre des problèmes. Même si l’intuition peut sembler un concept abstrait, elle est souvent le résultat d’années d’expérience, d’apprentissage et de traitement du contexte qui permet aux humains de prendre des décisions rapides sans analyser tous les détails. C’est ce type d’intuition qui sépare le calcul brut de la pensée humaine. Les humains construisent cette “intuition” à travers la reconnaissance de modèles et l’expérience accumulée, et cela leur permet de prendre des décisions sans explorer exhaustivement toutes les options possibles. La nouvelle “intuition” de l’IA vise à reproduire ce processus.

Cette idée, également appelée “intelligence a priori”, pourrait être la clé pour doter les systèmes d’IA d’une pensée humaine et les rendre plus efficaces. Les modèles d’IA avec une forte intelligence a priori peuvent anticiper quelles solutions sont susceptibles de réussir sans avoir à passer par des calculs extensifs. Au lieu de s’appuyer sur des méthodes de recherche exhaustives, l’intuition permet aux systèmes d’IA de tirer parti des connaissances antérieures, en se concentrant sur les chemins les plus efficaces pour parvenir à une solution.

Comment Cogito v2 a intégré l'”intuition”

Cogito a intégré l’idée d'”intuition” (plus techniquement, intelligence a priori) dans son modèle récemment publié Cogito v2. Ils ont intégré cette idée à l’aide d’un mécanisme appelé Iterated Distillation and Amplification (IDA). Ce mécanisme permet au modèle d’apprendre de son propre processus de raisonnement et d’affiner ses compétences de résolution de problèmes au fil du temps. Au lieu de s’appuyer sur des invites statiques ou des enseignants fixes, IDA permet à l’IA de distiller les chemins de raisonnement réussis dans ses paramètres de modèle de base. Ce processus d’auto-amélioration affine la capacité de raisonnement du modèle au fil du temps, en optimisant non seulement pour des réponses précises, mais également pour les méthodes de pensée les plus efficaces.

• Iterated Distillation and Amplification (IDA)

Pour comprendre comment IDA fonctionne, nous pouvons regarder la théorie du double processus, qui divise la pensée humaine en deux systèmes : le système 1 et le système 2. Le système 1 fait référence à la prise de décision rapide et intuitive, tandis que le système 2 est plus lent, avec une réflexion plus délibérée. La théorie suggère que les humains s’appuient sur le système 1 pour la plupart des tâches, mais passent au système 2 lorsqu’ils sont confrontés à des décisions plus complexes.

IDA est un cycle à deux étapes : l’amplification et la distillation. Dans la phase d’amplification, le modèle utilise des méthodes de calcul intensif pour générer des solutions ou des traces de raisonnement de haute qualité. C’est comme la pensée du système 2, où l’IA prend le temps d’évaluer soigneusement les solutions potentielles. Dans la phase de distillation, le modèle internalise ensuite les connaissances issues de la phase d’amplification, transformant le processus de raisonnement du système 2 en système 1. Tout comme un conducteur humain devient plus intuitif après avoir acquis de l’expérience, un modèle d’IA avec IDA peut prendre des décisions plus rapides et plus efficaces au fil du temps.

L’idée clé derrière IDA est d’utiliser des raisonnements computationnels intensifs dans la phase d’amplification, puis de distiller le raisonnement amélioré dans les paramètres du modèle. Ce processus permet au modèle d’internaliser des stratégies de raisonnement efficaces qui améliorent sa capacité à penser de manière intuitive lors de la résolution de problèmes. En répétant ce cycle, le système d’IA améliore continuellement sa capacité à prendre des décisions avec moins de ressources de calcul.

Avantages de l’intégration de l'”intuition” dans l’IA

L’un des principaux avantages de l'”intuition” de l’IA est son efficacité. Des modèles comme Cogito v2 démontrent des chaînes de raisonnement qui sont jusqu’à 60 % plus courtes que celles des modèles concurrents. Cela signifie qu’ils peuvent arriver à des réponses avec moins d’étapes internes, réduisant le temps et les ressources nécessaires pour l’inférence. Par exemple, un problème qui pourrait nécessiter plus de 200 jetons pour être résolu par DeepSeek R1 peut être résolu par Cogito v2 en moins de 100 jetons.

De plus, le coût de formation de Cogito v2 est nettement inférieur à celui des modèles d’IA traditionnels. Le processus de formation complet de Cogito v2, couvrant un large éventail de paramètres, a coûté moins de 3,5 millions de dollars, ce qui est nettement inférieur aux dépenses habituellement associées aux modèles à grande échelle comme GPT-4.

Cogito v2 a également démontré des capacités émergentes dans des domaines pour lesquels il n’a pas été explicitement formé. Par exemple, bien qu’il ait été formé principalement sur du texte, Cogito v2 peut raisonner sur des images, tirant des conclusions sur la composition et les habitats d’images. Cette capacité de raisonnement transmodal est un pas important vers l’intelligence généralisée, un jalon important sur le chemin de l’intelligence artificielle générale (AGI).

Repenser le développement de l’IA

Le succès de l’intelligence a priori suggère que les stratégies de développement de l’IA doivent subir un changement fondamental. Plutôt que de simplement augmenter la taille du modèle ou les ressources de calcul, le développement de l’IA devrait se concentrer sur la construction de systèmes capables de développer et d’affiner leurs propres stratégies cognitives. Ce changement reflète le développement cognitif humain, où l’intelligence n’est pas le résultat d’un cerveau plus grand ou d’un temps de réflexion plus long, mais plutôt de meilleurs modèles mentaux et de stratégies de raisonnement. Ce changement d’approche pourrait avoir des implications à long terme. En mettant l’accent sur une pensée plus intelligente plutôt que sur la puissance de calcul brute, l’IA peut devenir plus polyvalente, adaptable et capable de gérer de nouveaux défis. Ce changement pourrait accélérer l’application de l’IA dans des secteurs tels que la santé, la cybersécurité et le transport autonome, rendant les systèmes d’IA plus efficaces, rentables et efficaces.

En résumé

Le succès de Cogito v2 démontre que l’avenir de l’IA ne réside pas dans l’augmentation de la taille des modèles ou de la puissance de calcul, mais dans l’affinement des architectures de raisonnement et l’optimisation pour une résolution de problèmes plus intelligente. Ce changement promet un avenir plus durable et plus accessible pour l’IA, où les systèmes peuvent continuellement s’améliorer et s’adapter avec moins de dépendance à l’égard de ressources de calcul massives. En se concentrant sur une pensée intelligente plutôt que sur le calcul brut, l’IA peut devenir plus capable de résoudre des problèmes complexes et réels.