Le scaling au moment des tests : la sauce secrète derrière la nouvelle vague de modèles de raisonnement de niveau PhD

Le domaine de l’intelligence artificielle a atteint un point où simplement ajouter plus de données ou augmenter la taille d’un modèle n’est pas la meilleure façon de le rendre plus intelligent. Pendant les dernières années, nous croyions que si nous construisions des réseaux neuronaux plus grands et que nous les nourrissions de plus d’Internet, ils deviendraient finalement plus intelligents. Cette approche, connue sous le nom de lois de mise à l’échelle, a fonctionné de manière remarquable. Elle nous a donné des modèles capables d’écrire de la poésie, de traduire des langues et de passer l’examen du barreau. Cependant, ces modèles ont souvent lutté avec la logique profonde, les mathématiques complexes et les problèmes scientifiques à plusieurs étapes. Ils étaient excellents pour la reconnaissance de modèles, mais ont souvent échoué face à des problèmes qui nécessitaient une raisonnement à plusieurs étapes.

Récemment, une nouvelle tendance a émergé qui change la façon dont nous pensons aux capacités de l’IA. Cette tendance s’appelle le scaling au moment des tests. Au lieu de se concentrer uniquement sur la quantité de données que le modèle apprend pendant sa phase de formation, les chercheurs se concentrent maintenant sur la quantité de “réflexion” que le modèle effectue lorsqu’il répond à une question. Ce changement est la sauce secrète derrière la dernière vague de modèles de raisonnement, tels que la série o1 d’OpenAI, qui réalisent maintenant des performances au niveau de celles d’étudiants de niveau PhD dans des sujets difficiles comme la physique, la chimie et la biologie.

Le passage de la mise à l’échelle de la formation à la mise à l’échelle de l’inférence

Pour comprendre pourquoi cela constitue un changement majeur, nous devons examiner comment l’IA a été construite jusqu’à présent. Traditionnellement, l'”intelligence” d’un modèle était déterminée en fonction de sa formation. Cela impliquait de passer des mois et des millions de dollars pour faire passer d’énormes quantités de données à travers des milliers de GPU. Une fois la formation terminée, le modèle était essentiellement figé. Lorsque vous lui posiez une question, il fournissait une réponse presque instantanément en fonction des modèles qu’il avait déjà appris. C’est ce que nous appelons l’inférence ou le moment des tests.

Le problème avec cette approche traditionnelle est que le modèle n’a qu’une seule chance de donner la bonne réponse. Il traite la question et génère des jetons les uns après les autres sans pouvoir “réfléchir” ou “vérifier” sa logique avant de répondre. Le scaling au moment des tests change cette dynamique. Il permet au modèle de consacrer plus de puissance de calcul pendant la phase d’inférence. Tout comme un humain pourrait prendre quelques secondes pour répondre à une question simple, mais plusieurs minutes ou heures pour résoudre un problème mathématique complexe, les modèles d’IA sont maintenant conçus pour adapter leur effort en fonction de la difficulté de la tâche.

La définition du concept de scaling au moment des tests

Le scaling au moment des tests fait référence aux techniques qui permettent à un modèle d’IA d’utiliser des ressources de calcul supplémentaires pour traiter une demande au moment de la livraison. En termes simples, cela signifie donner au modèle plus de “temps de réflexion”. Ce n’est pas à propos de rendre le modèle plus grand ; c’est à propos de rendre le modèle plus délibéré. Lorsqu’un modèle utilise le scaling au moment des tests, il ne produit pas simplement la première réponse qui lui vient à l’esprit. Au lieu de cela, il peut explorer différents chemins, vérifier les erreurs dans sa propre logique et affiner sa réponse avant que l’utilisateur ne la voie.

Ce concept est souvent comparé à la façon dont le cerveau humain fonctionne. Les psychologues parlent souvent de “Système 1” et “Système 2” de pensée. Le Système 1 est rapide, instinctif et émotionnel. C’est ce que vous utilisez lorsque vous reconnaissez un visage ou conduisez une voiture sur une route familière. Le Système 2 est plus lent, plus délibéré et logique. C’est ce que vous utilisez lorsque vous résolvez un problème mathématique difficile ou planifiez un projet complexe. Jusqu’à récemment, les modèles de langage étaient principalement des penseurs de type Système 1. Le scaling au moment des tests est le pont qui permet d’accéder à la pensée de type Système 2.

Les mécanismes du processus de raisonnement

Il existe plusieurs façons dont les chercheurs réalisent le scaling au moment des tests. L’une des méthodes les plus courantes s’appelle Chaîne de pensée (CoT) de prompt, mais dans ces nouveaux modèles, elle est intégrée directement dans le système plutôt que de devoir la demander à l’utilisateur. Le modèle est formé pour décomposer un problème en étapes logiques plus petites. En faisant cela, le modèle peut vérifier chaque partie de la solution avant de passer à l’étape suivante.

Une autre technique importante implique les algorithmes de recherche, tels que la recherche arborescente de Monte-Carlo. Au lieu de simplement prédire le mot le plus probable suivant, le modèle génère plusieurs chemins possibles pour une réponse. Il évalue ces chemins et détermine lequel est le plus susceptible de conduire à une solution correcte. S’il atteint une impasse ou réalise qu’une étape précédente était incorrecte, il peut revenir en arrière et essayer une approche différente. Cette capacité de “regarder en avant” est très similaire à la façon dont un moteur d’échecs évalue des milliers de coups possibles avant de choisir le meilleur. En recherchant de nombreuses possibilités pendant la phase d’inférence, le modèle peut résoudre des problèmes beaucoup plus complexes que ceux qui peuvent être résolus directement en utilisant un modèle de langage standard.

Pourquoi le raisonnement de niveau PhD nécessite plus que de la mémoire

La raison pour laquelle cela est si important est que le raisonnement de haut niveau en science et en mathématiques ne peut pas être résolu par la mémoire seule. Dans un examen de physique de niveau PhD, vous ne pouvez pas simplement répéter un fait que vous avez lu dans un manuel. Vous devez appliquer des principes complexes à une situation nouvelle et unique. Les modèles standard ont souvent des hallucinations dans ces scénarios car ils essaient de prédire le mot suivant en fonction de la probabilité plutôt que de la logique.

Le scaling au moment des tests permet au modèle d’agir plus comme un chercheur. Il peut tester des hypothèses internes. Par exemple, si un modèle est invité à écrire un code complexe, il peut “exécuter” la logique dans sa chaîne de pensée cachée, identifier un bug potentiel et le corriger avant de présenter le code final. Cette capacité de s’auto-corriger est ce qui permet à la nouvelle vague de modèles d’obtenir de hauts scores dans des benchmarks comme l’American Invitational Mathematics Examination (AIME) ou le GPQA (un test scientifique difficile conçu par des experts). Ils ne font pas que deviner ; ils vérifient.

Le compromis entre efficacité et coûts de calcul

Bien que le scaling au moment des tests soit puissant, il comporte un coût important. Dans l’ancienne façon de faire les choses, la partie la plus coûteuse de l’IA était la formation. Une fois le modèle déployé, l’exécuter était relativement bon marché et rapide. Avec le scaling au moment des tests, le coût se déplace vers la demande de l’utilisateur. Puisque le modèle effectue plus de travail en générant plusieurs chemins et en vérifiant son propre travail, il prend plus de temps pour répondre et nécessite plus de ressources matérielles.

Cela crée une nouvelle économie pour l’IA. Nous nous dirigeons vers une situation où le “coût par requête” peut varier considérablement. Une question simple sur la météo pourrait coûter une fraction de centime et prendre une seconde. Une enquête scientifique approfondie pourrait coûter plusieurs dollars en temps de calcul et prendre une heure à traiter. Ce compromis est nécessaire pour atteindre un raisonnement de haut niveau, mais cela signifie également que les développeurs doivent trouver des moyens de rendre ces modèles efficaces afin qu’ils puissent être utilisés à grande échelle dans des industries comme la médecine ou l’ingénierie.

L’impact sur l’avenir de l’intelligence artificielle

La montée en puissance du scaling au moment des tests suggère que nous pourrions entrer dans une nouvelle ère de développement de l’IA. Pendant des années, il y a eu une crainte que nous finirions par manquer de données de haute qualité pour former des modèles. Si les modèles n’apprennent que ce que les humains ont déjà écrit, ils pourraient atteindre un plafond. Cependant, le scaling au moment des tests montre que les modèles peuvent améliorer leur performance en réfléchissant plus, et non pas juste en lisant plus.

Cela ouvre la porte à l’IA pour faire ses propres découvertes. Si un modèle peut raisonner à travers un problème qu’il n’a jamais vu auparavant, il peut potentiellement trouver de nouvelles solutions dans des domaines tels que la science des matériaux, la découverte de médicaments ou les énergies renouvelables. Cela déplace l’IA de l’état d’assistant utile qui résume le texte à celui de collaborateur numérique qui peut aider à résoudre les problèmes les plus difficiles du monde. Nous assistons à un déplacement de l’IA “générative” vers l’IA “raisonnante”.

Le point clé

Le scaling au moment des tests s’avère être le maillon manquant dans la quête d’une intelligence artificielle avancée. En permettant aux modèles d’utiliser plus de puissance de calcul au moment de l’inférence, nous avons débloqué un niveau de performance qui était auparavant considéré comme étant des années plus loin. Ces modèles commencent à démontrer un type de logique qui se rapproche beaucoup plus de l’intelligence humaine que la simple reconnaissance de modèles du passé.

Alors que nous avançons, le défi sera de raffiner ces techniques. Nous devons rendre le raisonnement plus rapide et plus accessible tout en trouvant le bon équilibre entre “pensée rapide” et “pensée lente”. La sauce secrète n’est plus simplement la taille du modèle ou la quantité de données qu’il a vues. La sauce secrète est la façon dont le modèle utilise son temps pour réfléchir. Pour quiconque suit les progrès de l’IA, il est clair que le focus a changé. La course n’est plus simplement à propos de qui a le plus grand modèle, mais de qui a le modèle qui peut raisonner le mieux. Ce changement va probablement définir la prochaine décennie d’innovation dans le domaine.