Le nouvel instinct de l’IA : pourquoi penser plus intelligemment compte plus que penser plus longtemps

Les progrès de l’intelligence artificielle (IA) ont longtemps été guidés par la croyance que l’augmentation des données et de la puissance de calcul peut améliorer les performances. Cette approche de “force brute” a conduit à des systèmes d’IA impressionnants, tels que GPT-3, qui ont obtenu des résultats remarquables au fil des ans. Cependant, ce paradigme atteint ses limites. À mesure que les problèmes d’IA deviennent plus complexes, il devient clair que l’ajout de plus de puissance de calcul ne sera pas une solution durable ou efficace pour le progrès à long terme. Cette prise de conscience a incité les chercheurs à revoir leur approche du développement de l’IA. Dans ce contexte, le modèle Cogito v2 de Deep Cogito introduit une nouvelle approche qui pourrait changer l’avenir du développement de l’IA. Au lieu de dépendre de plus de puissance de calcul ou de raisonnement prolongé, Cogito v2 développe des “instincts de base” internes qui guident le modèle pour identifier les bons chemins avant même de commencer la recherche. Il s’agit d’un changement de paradigme dans la façon dont l’IA est développée, en se concentrant sur une meilleure pensée, et non sur une pensée plus longue.

Un changement dans le développement de l’IA

Pendant de nombreuses années, la force motrice derrière les progrès de l’IA était l’idée que “plus, c’est mieux”. Cette approche a conduit à des modèles d’IA qui génèrent des chaînes de raisonnement extensives pour résoudre des problèmes complexes. Les modèles d’OpenAI, tels que GPT-3, sont un exemple de cette approche, où des chaînes de raisonnement plus longues ont conduit à des résultats impressionnants sur des tâches difficiles. Bien que cette méthode ait produit des résultats impressionnants, elle comporte des inconvénients importants. Des chaînes de raisonnement plus longues nécessitent plus de ressources de calcul, ce qui entraîne des temps d’inférence plus lents et des coûts d’exploitation plus élevés. De plus, la recherche a montré que ces processus prolongés conduisent souvent à des rendements décroissants, où un raisonnement plus long conduit à une plus grande biais et à une moins grande efficacité. Le problème fondamental est que s’appuyer sur des chaînes de raisonnement longues et augmenter la puissance de calcul n’est plus une solution efficace pour résoudre les problèmes d’IA complexes. Ces approches sont limitées par leur temps de traitement et leurs exigences en matière de mémoire massives.

Pourquoi l'”instinct de base” compte pour l’IA

Contrairement aux systèmes d’IA actuels qui dépendent d’un raisonnement prolongé, les humains s’appuient souvent sur ce que l’on appelle “l’instinct de base” (une forme de jugement intuitif rapide) pour résoudre des problèmes. Bien que l’instinct de base puisse sembler un concept abstrait, il est souvent le résultat d’années d’expérience, d’apprentissage et de traitement du contexte qui permet aux humains de prendre des décisions rapides sans analyser tous les détails. C’est ce type d’intuition qui sépare le calcul brut de la pensée humaine. Les humains construisent cet “instinct de base” à travers la reconnaissance de modèles et l’expérience accumulée, ce qui leur permet de prendre des décisions sans explorer exhaustivement toutes les options possibles. Le nouvel “instinct de base” de l’IA vise à reproduire ce processus.

Cette idée, également appelée “l’apriori d’intelligence”, pourrait être la clé pour doter les systèmes d’IA d’une pensée humaine et les rendre plus efficaces. Les modèles d’IA avec un apriori d’intelligence solide peuvent anticiper les solutions qui sont susceptibles de réussir sans avoir à passer par des calculs extensifs. Au lieu de s’appuyer sur des méthodes de recherche exhaustives, l’instinct de base permet aux systèmes d’IA de tirer parti des connaissances antérieures, en se concentrant sur les chemins les plus efficaces pour parvenir à une solution.

Comment Cogito v2 a intégré l'”instinct de base”

Cogito a intégré l’idée d'”instinct de base” (plus techniquement, l’apriori d’intelligence) dans son modèle récemment publié, Cogito v2. Ils ont intégré cette idée à l’aide d’un mécanisme appelé Distillation et amplification itératives (IDA). Ce mécanisme permet au modèle d’apprendre de son propre processus de raisonnement et d’affiner ses compétences de résolution de problèmes au fil du temps. Au lieu de s’appuyer sur des invites statiques ou des enseignants fixes, l’IDA permet à l’IA de distiller les chemins de raisonnement réussis dans ses paramètres de modèle de base. Ce processus d’amélioration auto-entraîne améliore la capacité de raisonnement du modèle, en optimisant non seulement pour des réponses exactes, mais également pour les méthodes de pensée les plus efficaces.

• Distillation et amplification itératives (IDA)

Pour comprendre comment l’IDA fonctionne, nous pouvons examiner la théorie du double processus, qui divise la pensée humaine en deux systèmes : le système 1 et le système 2. Le système 1 fait référence à la prise de décision intuitive rapide, tandis que le système 2 est plus lent, avec un raisonnement plus délibéré. La théorie suggère que les humains s’appuient sur le système 1 pour la plupart des tâches, mais passent au système 2 lorsqu’ils sont confrontés à des décisions plus complexes.

L’IDA est un cycle à deux étapes : l’amplification et la distillation. Dans la phase d’amplification, le modèle utilise des méthodes de calcul intensif pour générer des solutions ou des traces de raisonnement de haute qualité. C’est comme la pensée du système 2, où l’IA prend le temps d’évaluer soigneusement les solutions potentielles. Dans la phase de distillation, le modèle internalise ensuite les connaissances acquises pendant la phase d’amplification, transformant le processus de raisonnement du système 2 en système 1. Tout comme un conducteur devient plus intuitif après avoir acquis de l’expérience, un modèle d’IA avec l’IDA peut prendre des décisions plus rapides et plus efficaces avec le temps.

L’idée clé derrière l’IDA est d’utiliser des méthodes de calcul intensif dans la phase d’amplification, puis de distiller le raisonnement amélioré dans les paramètres du modèle. Ce processus permet au modèle d’internaliser des stratégies de raisonnement efficaces qui améliorent sa capacité à penser de manière intuitive lors de la résolution de problèmes. En répétant ce cycle, le système d’IA améliore continuellement sa capacité à prendre des décisions avec moins de ressources de calcul.

Les avantages de l’intégration de l'”instinct de base” dans l’IA

L’un des principaux avantages de l'”instinct de base” de l’IA est son efficacité. Des modèles comme Cogito v2 démontrent des chaînes de raisonnement qui sont jusqu’à 60 % plus courtes que celles des modèles concurrents. Cela signifie qu’ils peuvent arriver à des réponses avec moins d’étapes internes, réduisant le temps et les ressources nécessaires pour l’inférence. Par exemple, un problème qui pourrait prendre plus de 200 jetons pour être résolu par DeepSeek R1 peut être résolu par Cogito v2 en moins de 100 jetons.

De plus, le coût de formation de Cogito v2 est nettement inférieur à celui des modèles d’IA traditionnels. Le processus de formation complet de Cogito v2, couvrant un large éventail de paramètres, a coûté moins de 3,5 millions de dollars, ce qui est nettement inférieur aux dépenses typiquement associées aux modèles à grande échelle comme GPT-4.

Cogito v2 a également démontré des capacités émergentes dans des domaines pour lesquels il n’a pas été explicitement formé. Par exemple, bien qu’il ait été formé principalement sur du texte, Cogito v2 peut raisonner sur des images, tirant des conclusions sur la composition et les habitats d’images. Cette capacité de raisonnement transmodale est un pas important vers l’intelligence générale artificielle, un jalon important sur la voie de l’intelligence générale artificielle (AGI).

Repenser le développement de l’IA

Le succès de l’apriori d’intelligence suggère que les stratégies de développement de l’IA doivent subir un changement fondamental. Au lieu de simplement augmenter la taille du modèle ou les ressources de calcul, le développement de l’IA devrait se concentrer sur la construction de systèmes capables de développer et d’affiner leurs propres stratégies cognitives. Ce changement reflète le développement cognitif humain, où l’intelligence n’est pas le résultat d’un cerveau plus grand ou de plus de temps de réflexion, mais plutôt de meilleurs modèles mentaux et de stratégies de raisonnement. Ce changement d’approche pourrait avoir des implications à long terme. En mettant l’accent sur une pensée plus intelligente plutôt que sur la puissance de calcul brute, l’IA peut devenir plus polyvalente, adaptable et capable de relever de nouveaux défis. Ce changement pourrait accélérer l’application de l’IA dans des industries telles que la santé, la cybersécurité et le transport autonome, rendant les systèmes d’IA plus efficaces, rentables et efficaces.

En résumé

Le succès de Cogito v2 démontre que l’avenir de l’IA ne réside pas dans l’augmentation de la taille des modèles ou de la puissance de calcul, mais dans l’amélioration des architectures de raisonnement et l’optimisation d’une résolution de problèmes plus intelligente. Ce changement promet un avenir plus durable et accessible pour l’IA, où les systèmes peuvent continuellement s’améliorer et s’adapter avec moins de dépendance à l’égard de ressources de calcul massives. En se concentrant sur une pensée intelligente plutôt que sur un calcul brut, l’IA peut devenir plus capable de relever des problèmes complexes et réels du monde.