Est-ce que GPT-4 est un bond en avant vers la réalisation de l’AGI ?

Microsoft (MSFT ) a récemment publié un article de recherche intitulé : Les étincelles de l’intelligence artificielle générale : premières expériences avec GPT-4. Comme décrit par Microsoft :

Cet article présente notre enquête sur une version précoce de GPT-4, alors qu’il était encore en développement actif par OpenAI. Nous affirmons que (cette version précoce de) GPT-4 fait partie d’un nouveau groupe de LLM (avec ChatGPT et Google’s (GOOGL ) PaLM, par exemple) qui présentent une intelligence plus générale que les modèles d’AI précédents.

Dans cet article, il y a des preuves concluantes démontrant que GPT-4 va bien au-delà de la mémorisation, et qu’il a une compréhension profonde et flexible des concepts, des compétences et des domaines. En fait, sa capacité à généraliser dépasse celle de tout être humain vivant aujourd’hui.

Alors que nous avons précédemment discuté des avantages de l’AGI, nous devrions rapidement résumer le consensus général sur ce qu’est un système AGI. En essence, un AGI est un type d’AI avancé qui peut généraliser à travers plusieurs domaines et n’est pas limité à un seul objectif. Des exemples d’AI étroits incluent un véhicule autonome, un chatbot, un bot d’échecs, ou tout autre AI conçu pour un seul but.

Un AGI, en comparaison, serait capable de passer facilement d’un domaine à un autre. C’est un AI qui tirerait parti d’algorithmes naissants tels que l’apprentissage de transfert, et l’apprentissage évolutionnaire, tout en exploitant les algorithmes hérités tels que l’apprentissage de renforcement profond.

La description ci-dessus de l’AGI correspond à mon expérience personnelle avec l’utilisation de GPT-4, ainsi qu’aux preuves partagées dans l’article de recherche publié par Microsoft.

L’un des prompts présentés dans l’article est pour GPT-4 pour écrire une preuve de l’infinitude des nombres premiers sous la forme d’un poème.

Si nous analysons les exigences pour créer un tel poème, nous réalisons qu’il nécessite une raison mathématique, une expression poétique et une génération de langage naturel. C’est un défi qui dépasserait la capacité moyenne de la plupart des humains.

L’article voulait savoir si GPT-4 produisait simplement du contenu basé sur la mémorisation générale ou s’il comprenait le contexte et pouvait raisonner. Lorsqu’on lui a demandé de recréer un poème dans le style de Shakespeare, il a pu le faire. Cela nécessite un niveau de compréhension multifacette qui dépasse la capacité de la population générale et inclut la théorie de l’esprit et le génie mathématique.

Comment calculer l’intelligence de GPT-4 ?

La question devient alors comment pouvons-nous mesurer l’intelligence d’un LLM ? Et GPT-4 montre-t-il des comportements d’un véritable apprentissage ou d’une simple mémorisation ?

La méthode actuelle de test d’un système d’AI consiste à évaluer le système sur un ensemble de jeux de données de référence standard, et à s’assurer qu’ils sont indépendants des données de formation et qu’ils couvrent une gamme de tâches et de domaines. Ce type de test est presque impossible en raison de la quantité presque illimitée de données sur lesquelles GPT-4 a été formé.

L’article discute de la génération de tâches et de questions nouvelles et difficiles qui démontrent de manière convaincante que GPT-4 va bien au-delà de la mémorisation, et qu’il a une compréhension profonde et flexible des concepts, des compétences et des domaines.

Lorsqu’il s’agit d’intelligence, GPT-4 peut générer des histoires courtes, des scénarios, et il peut calculer les formules les plus compliquées.

GPT-4 est également capable de coder à un niveau très élevé, à la fois en termes d’écriture de code à partir d’instructions et de compréhension du code existant. GPT-4 peut gérer une large gamme de tâches de codage, des défis de codage aux applications du monde réel, des assembleurs de bas niveau aux frameworks de haut niveau, des structures de données simples aux programmes complexes tels que les jeux. GPT-4 peut également raisonner sur l’exécution du code, simuler les effets des instructions et expliquer les résultats en langage naturel. GPT-4 peut même exécuter du pseudocode,

GPT-4 peut offrir des réponses rationnelles à presque n’importe quel prompt donné. En fait, son intelligence est presque invincible dans sa complexité.

Limitations de GPT-4

L’article continue ensuite à décrire comment ils ont sondé les réponses et les comportements de GPT-4, pour vérifier sa cohérence, sa cohérence et sa correction, et pour découvrir ses limitations et ses biais.

La limitation la plus évidente est sa tendance à halluciner. Voici un exemple d’hallucination qui est donné dans l’article où GPT-4 était confiant dans sa réponse qui était complètement fausse.

Il semble que même GPT-4 comprend cette limitation actuelle avec les hallucinations, car c’est la réponse qu’il a donnée lorsque je lui ai demandé ce qu’est une hallucination GPT :

Une hallucination GPT fait référence à un phénomène où un modèle de transformateur génératif (GPT) comme celui avec lequel vous interagissez actuellement, produit une réponse qui n’est pas basée sur des informations factuelles ou n’est pas cohérente avec le contexte fourni. Ces hallucinations se produisent lorsque le modèle génère du texte qui peut sembler plausible mais est en réalité incorrect, trompeur ou sans sens.

En d’autres termes, lorsque vous formez un LLM AI sur les données du monde, comment évitez-vous qu’un système n’apprenne des données incorrectes ? Un grand modèle de langage apprenant et régurgitant des informations erronées et des théories du complot pourrait en réalité être l’un des plus grands pièges et menaces que l’humanité pourrait faire face avec l’adoption à grande échelle des LLM. Cela pourrait en réalité être l’une des plus grandes menaces de l’AGI, une qui est étonnamment manquée lorsqu’on discute des dangers de l’AGI.

Preuves de l’intelligence de GPT-4

L’article illustre qu’il n’avait pas d’importance quel type de prompts complexes étaient dirigés vers lui, GPT-4 dépassait les attentes. Comme indiqué dans l’article :

Maîtrise inégalée du langage naturel. Il peut non seulement générer du texte fluide et cohérent, mais également comprendre et manipuler le langage de diverses manières, telles que la synthèse, la traduction ou la réponse à un ensemble extrêmement large de questions. De plus, par traduction, nous entendons non seulement entre différentes langues naturelles, mais également des traductions de ton et de style, ainsi que des domaines tels que la médecine, le droit, la comptabilité, la programmation informatique, la musique et plus encore.

Des examens techniques fictifs ont été donnés à GPT-4, il a facilement réussi, ce qui signifie que dans ce contexte, si c’était un humain à l’autre bout, il aurait été embauché instantanément en tant qu’ingénieur logiciel. Un test préliminaire similaire de la compétence de GPT-4 sur l’examen du barreau multijuridictionnel a montré une précision supérieure à 70 %. Cela signifie que dans le futur, nous pourrions automatiser de nombreuses tâches qui sont actuellement confiées aux avocats. En fait, il y a des startups qui travaillent actuellement à créer des avocats robots en utilisant GPT-4.

Production de nouvelles connaissances

L’un des arguments de l’article est que la seule chose qui reste à prouver à GPT-4 pour démontrer de véritables niveaux de compréhension est de produire de nouvelles connaissances, telles que prouver de nouveaux théorèmes mathématiques, une prouesse qui reste actuellement hors de portée des LLM.

Alors, c’est le saint graal d’un AGI. Alors qu’il y a des dangers avec un AGI contrôlé par les mauvaises mains, les avantages d’un AGI capable d’analyser rapidement toutes les données historiques pour découvrir de nouvelles théories, remèdes et traitements sont presque infinis.

Un AGI pourrait être le chaînon manquant pour trouver des remèdes pour les maladies génétiques rares qui manquent actuellement de financement de l’industrie privée, pour guérir le cancer une fois pour toutes et pour maximiser l’efficacité de l’énergie renouvelable pour éliminer notre dépendance à l’égard de l’énergie non durable. En fait, il pourrait résoudre tout problème conséquent qui est introduit dans le système AGI. C’est ce que Sam Altman et l’équipe d’OpenAI comprennent, un AGI est vraiment la dernière invention dont nous avons besoin pour résoudre la plupart des problèmes et pour bénéficier à l’humanité.

Bien sûr, cela ne résout pas le problème du bouton nucléaire de qui contrôle l’AGI et de quelles sont ses intentions. Quoi qu’il en soit, cet article fait un excellent travail pour démontrer que GPT-4 est un bond en avant vers la réalisation du rêve que les chercheurs en IA ont eu depuis 1956, lorsque le projet de recherche d’été de Dartmouth sur l’IA a été lancé pour la première fois.

Alors que cela est débattu si GPT-4 est un AGI, on pourrait facilement soutenir que pour la première fois dans l’histoire de l’humanité, c’est un système d’AI qui peut passer le test de Turing.