Le GPT-4 est-il un pas de géant vers la réalisation de l’AGI ?

Microsoft vient de publier un article de recherche intitulé : Sparks of Artificial General Intelligence: Early experiments with GPT-4. Comme le décrit Microsoft :

Cet article présente notre enquête sur une version précoce de GPT-4, alors qu’il était encore en développement actif par OpenAI. Nous affirmons que (cette version précoce de) GPT-4 fait partie d’un nouveau groupe de LLM (avec ChatGPT et Google’s PaLM, par exemple) qui présentent une intelligence plus générale que les modèles d’IA précédents.

Dans cet article, il existe des preuves concluantes démontrant que GPT-4 va bien au-delà de la mémorisation, et qu’il a une compréhension profonde et flexible des concepts, des compétences et des domaines. En fait, sa capacité à généraliser dépasse de loin celle de tout être humain vivant aujourd’hui.

Alors que nous avons déjà discuté des avantages de l’AGI, nous devrions rapidement résumer le consensus général sur ce qu’est un système AGI. En substance, un AGI est un type d’IA avancée qui peut généraliser à plusieurs domaines et n’est pas limité dans son champ d’application. Des exemples d’IA étroite incluent un véhicule autonome, un chatbot, un bot d’échecs ou tout autre IA conçu pour un seul objectif.

Un AGI, en comparaison, serait capable de passer facilement d’un domaine à un autre ou à tout autre domaine d’expertise. C’est un IA qui tirerait parti d’algorithmes naissants tels que l’apprentissage par transfert, et l’apprentissage évolutionnaire, tout en exploitant les algorithmes hérités tels que l’apprentissage par renforcement profond.

La description ci-dessus de l’AGI correspond à mon expérience personnelle avec l’utilisation de GPT-4, ainsi qu’aux preuves partagées dans l’article de recherche publié par Microsoft.

L’un des prompts présentés dans l’article est de demander à GPT-4 d’écrire une preuve de l’infinitude des nombres premiers sous la forme d’un poème.

Si nous analysons les exigences pour créer un tel poème, nous réalisons qu’il nécessite une raisonnement mathématique, une expression poétique et une génération de langage naturel. C’est un défi qui dépasserait la capacité moyenne de la plupart des humains.

L’article voulait savoir si GPT-4 produisait simplement du contenu basé sur la mémorisation générale ou s’il comprenait le contexte et était capable de raisonner. Lorsqu’on lui a demandé de recréer un poème dans le style de Shakespeare, il a pu le faire. Cela nécessite un niveau de compréhension multifacette qui dépasse de loin la capacité de la population générale et inclut la théorie de l’esprit et le génie mathématique.

Comment calculer l’intelligence de GPT-4 ?

La question devient alors comment mesurer l’intelligence d’un LLM ? Et GPT-4 montre-t-il des comportements d’un véritable apprentissage ou d’une simple mémorisation ?

La méthode actuelle de test d’un système d’IA consiste à évaluer le système sur un ensemble de jeux de données de référence standard, et à s’assurer qu’ils sont indépendants des données de formation et qu’ils couvrent une gamme de tâches et de domaines. Ce type de test est presque impossible en raison de la quantité quasi illimitée de données sur lesquelles GPT-4 a été formé.

L’article discute de la génération de tâches/questions nouvelles et difficiles qui démontrent de manière convaincante que GPT-4 va bien au-delà de la mémorisation, et qu’il a une compréhension profonde et flexible des concepts, des compétences et des domaines.

Lorsqu’il s’agit d’intelligence, GPT-4 peut générer des histoires courtes, des scénarios, et il peut calculer les formules les plus compliquées.

GPT-4 est également capable de coder à un niveau très élevé, à la fois en termes d’écriture de code à partir d’instructions et de compréhension de code existant. GPT-4 peut gérer une large gamme de tâches de codage, des défis de codage aux applications du monde réel, des assembleurs de bas niveau aux frameworks de haut niveau, des structures de données simples aux programmes complexes tels que les jeux. GPT-4 peut également raisonner sur l’exécution de code, simuler les effets des instructions et expliquer les résultats en langage naturel. GPT-4 peut même exécuter du pseudocode,

GPT-4 peut offrir des réponses rationnelles à presque n’importe quel prompt donné. En fait, son intelligence est presque invincible dans sa complexité.

Limitations de GPT-4

L’article continue ensuite à décrire comment ils ont étudié les réponses et les comportements de GPT-4, pour vérifier sa cohérence, sa cohérence et sa correction, et pour découvrir ses limites et ses biais.

La limitation la plus évidente est sa tendance à halluciner. Voici un exemple d’hallucination qui est donné dans l’article où GPT-4 était confiant dans sa réponse qui était complètement fausse.

Il semble que même GPT-4 comprenne cette limitation actuelle avec les hallucinations, car c’est la réponse qu’il a donnée lorsque je lui ai demandé ce qu’est une hallucination GPT :

Une hallucination GPT fait référence à un phénomène où un modèle de transformateur pré-entraîné génératif (GPT), comme celui avec lequel vous interagissez actuellement, produit une réponse qui n’est pas basée sur des informations factuelles ou n’est pas cohérente avec le contexte fourni. Ces hallucinations se produisent lorsque le modèle génère du texte qui peut sembler plausible mais est en réalité incorrect, trompeur ou sans sens.

En d’autres termes, lorsque vous formez un LLM IA sur les données du monde, comment évitez-vous qu’un système n’apprenne des données incorrectes ? Un grand modèle de langage apprenant et régurgitant des informations erronées et des théories du complot pourrait en fait être l’un des plus grands pièges et menaces que l’humanité pourrait rencontrer avec l’adoption à grande échelle des LLM.

Preuves d’intelligence de GPT-4

L’article illustre qu’il n’avait pas d’importance quel type de prompts complexes étaient dirigés vers lui, GPT-4 dépassait les attentes. Comme indiqué dans l’article :

Maîtrise inégalée de la langue naturelle. Il peut non seulement générer du texte fluide et cohérent, mais également comprendre et manipuler le langage de diverses manières, telles que la synthèse, la traduction ou la réponse à un ensemble extrêmement large de questions. De plus, par traduction, nous entendons non seulement entre différentes langues naturelles, mais également des traductions de ton et de style, ainsi que des domaines tels que la médecine, le droit, la comptabilité, la programmation informatique, la musique et plus encore.

Des examens techniques fictifs ont été donnés à GPT-4, il a facilement réussi, ce qui signifie que dans ce contexte, si c’était un humain à l’autre bout, il serait instantanément embauché en tant qu’ingénieur logiciel. Un test préliminaire similaire de la compétence de GPT-4 sur l’examen du barreau multijuridictionnel a montré une précision supérieure à 70 %. Cela signifie que dans le futur, nous pourrions automatiser de nombreuses tâches qui sont actuellement confiées aux avocats. En fait, il existe certains startups qui travaillent actuellement à créer des avocats robots en utilisant GPT-4.

Production de nouvelles connaissances

L’un des arguments de l’article est que la seule chose qui reste à prouver à GPT-4 pour prouver de véritables niveaux de compréhension est de produire de nouvelles connaissances, telles que prouver de nouveaux théorèmes mathématiques, une prouesse qui reste actuellement hors de portée des LLM.

Cependant, c’est le saint graal d’un AGI. Alors qu’il existe des dangers avec un AGI contrôlé par les mauvaises mains, les avantages d’un AGI capable d’analyser rapidement toutes les données historiques pour découvrir de nouveaux théorèmes, remèdes et traitements sont presque infinis.

Un AGI pourrait être le chaînon manquant pour trouver des remèdes pour les maladies génétiques rares qui manquent actuellement de financement de l’industrie privée, pour guérir le cancer une fois pour toutes et pour maximiser l’efficacité de l’énergie renouvelable pour éliminer notre dépendance à l’égard de l’énergie non durable. En fait, il pourrait résoudre tout problème conséquent qui est introduit dans le système AGI. C’est ce que Sam Altman et l’équipe d’OpenAI comprennent, un AGI est vraiment la dernière invention nécessaire pour résoudre la plupart des problèmes et pour profiter à l’humanité.

Bien sûr, cela ne résout pas le problème du bouton nucléaire de qui contrôle l’AGI et quels sont ses intentions. Quoi qu’il en soit, cet article fait un travail phénoménal pour argumenter que GPT-4 est un pas de géant vers la réalisation du rêve des chercheurs en IA depuis 1956, lorsque l’atelier d’été de recherche sur l’IA de Dartmouth a été lancé pour la première fois.

Alors qu’il est débattable si GPT-4 est un AGI, on pourrait facilement argumenter que pour la première fois dans l’histoire de l’humanité, c’est un système d’IA qui peut passer le test de Turing.