Le GPT-4 est-il un bond en avant vers l'atteinte de l'AGI ?

Microsoft a récemment publié un document de recherche intitulé : Étincelles d'intelligence artificielle générale : premières expériences avec GPT-4. Comme décrit par Microsoft :

Ce papier rend compte de notre enquête sur une première version de GPT-4, alors qu'elle était encore en développement actif par OpenAI. Nous soutenons que (cette première version de) GPT-4 fait partie d'une nouvelle cohorte de LLM (avec ChatGPT et Google PaLM par exemple) qui présentent une intelligence plus générale que les modèles d'IA précédents.

Dans cet article, il existe des preuves concluantes démontrant que GPT-4 va bien au-delà de la mémorisation et qu'il a une compréhension profonde et flexible des concepts, des compétences et des domaines. En fait, sa capacité à généraliser dépasse de loin celle de tout être humain vivant aujourd'hui.

Alors que nous avons discuté précédemment de la avantages de l'IAG, nous devrions résumer rapidement le consensus général sur ce qu'est un système AGI. Essentiellement, une AGI est un type d'IA avancée qui peut se généraliser à plusieurs domaines et dont la portée n'est pas limitée. Des exemples d'IA étroite incluent un véhicule autonome, un chatbot, un robot d'échecs ou toute autre IA conçue dans un seul but.

En comparaison, un AGI serait en mesure d'alterner de manière flexible entre l'un des domaines ci-dessus ou tout autre domaine d'expertise. C'est une IA qui profiterait d'algorithmes naissants tels que transférer l'apprentissage, et l'apprentissage évolutif, tout en exploitant des algorithmes hérités tels que apprentissage par renforcement profond.

La description ci-dessus d'AGI correspond à mon expérience personnelle avec l'utilisation de GPT-4, ainsi qu'aux preuves partagées dans un document de recherche publié par Microsoft.

L'une des invites décrites dans l'article est que GPT-4 écrive une preuve de l'infinitude des nombres premiers sous la forme d'un poème.

Si nous analysons les conditions requises pour créer un tel poème, nous réalisons qu'il nécessite un raisonnement mathématique, une expression poétique et la génération d'un langage naturel. C'est un défi qui dépasserait la capacité moyenne de la plupart des humains.

L'article voulait comprendre si GPT-4 produisait simplement du contenu basé sur la mémorisation générale plutôt que sur la compréhension du contexte et la capacité de raisonner. Lorsqu'on lui a demandé de recréer un poème dans le style de Shakespeare, il a réussi à le faire. Cela nécessite un niveau de compréhension à multiples facettes qui dépasse de loin les capacités de la population en général et inclut la théorie de l’esprit et le génie mathématique.

Comment calculer l'intelligence GPT-4 ?

La question devient alors comment mesurer l'intelligence d'un LLM ? Et GPT-4 affiche-t-il des comportements d'apprentissage véritable ou de simple mémorisation ?

La façon actuelle de tester un système d'IA consiste à évaluer le système sur un ensemble d'ensembles de données de référence standard et à s'assurer qu'ils sont indépendants des données de formation et qu'ils couvrent une gamme de tâches et de domaines. Ce type de test est presque impossible en raison de la quantité presque illimitée de données sur lesquelles GPT-4 a été formé.

L'article discute de la génération de tâches/questions nouvelles et difficiles qui démontrent de manière convaincante que GPT-4 va bien au-delà de la mémorisation et qu'il a une compréhension profonde et flexible des concepts, des compétences et des domaines.

En matière d'intelligence, GPT-4 peut générer des histoires courtes, des scénarios et il peut calculer les formules les plus compliquées.

GPT-4 est également capable de coder à un niveau très élevé, à la fois en termes d'écriture de code à partir d'instructions et de compréhension du code existant. GPT-4 peut gérer un large éventail de tâches de codage, de
des défis de codage aux applications du monde réel, de l'assemblage de bas niveau aux cadres de haut niveau, des structures de données simples aux programmes complexes tels que les jeux. GPT-4 peut également raisonner sur l'exécution du code, simuler les effets des instructions et expliquer les résultats en langage naturel. GPT-4 peut même exécuter du pseudocode,

GPT-4 peut offrir des réponses rationnelles à presque toutes les invites données. En fait, son intelligence est presque invincible dans sa complexité.

Limites de GPT-4

L'article continue ensuite à décrire comment ils ont sondé les réponses et les comportements de GPT-4, pour vérifier sa cohérence, sa cohérence et son exactitude, et pour découvrir ses limites et ses biais.

La limite la plus évidente est sa tendance à halluciner. Voici un exemple d'hallucination qui est donné dans l'article où GPT-4 était confiant dans sa réponse qui était complètement fausse.

Il semble que même GPT-4 comprenne cette limitation actuelle avec des hallucinations car c'est la réponse qu'il a donnée quand je lui ai demandé ce qu'est une hallucination GPT :

Une hallucination GPT fait référence à un phénomène où un modèle de transformateur génératif pré-entraîné (GPT), comme celui avec lequel vous interagissez actuellement, produit une réponse qui n'est pas basée sur des informations factuelles ou qui n'est pas cohérente avec le contexte fourni. Ces hallucinations se produisent lorsque le modèle génère un texte qui peut sembler plausible mais qui est en réalité incorrect, trompeur ou absurde.

En d'autres termes, lorsque vous formez un LLM AI sur les données du monde, comment évitez-vous qu'un système apprenne des données incorrectes ? Un grand modèle de langage apprenant et régurgitant la désinformation et les théories du complot pourraient en fait être l'un des plus grands pièges et menaces auxquels l'humanité est confrontée avec l'adoption à grande échelle des LLM. Cela pourrait en fait être l'une des plus grandes menaces d'AGI, une qui est étonnamment manquée lors de l'examen des dangers de l'AGI.

GPT-4 Preuves d'intelligence

Le document montre que peu importe le type d'invites complexes qui lui sont adressées, GPT-4 dépasserait les attentes. Comme indiqué dans le journal :

Sa maîtrise inégalée du langage naturel. Il peut non seulement générer un texte fluide et cohérent, mais aussi le comprendre et le manipuler de diverses manières, comme résumer, traduire ou répondre à un ensemble extrêmement large de questions. De plus, par traduction, nous entendons non seulement entre différentes langues naturelles, mais également des traductions dans le ton et le style, ainsi que dans des domaines tels que la médecine, le droit, la comptabilité, la programmation informatique, la musique, etc.

Des examens techniques fictifs ont été donnés à GPT-4, cela passait facilement au sens dans ce contexte s'il s'agissait d'un humain à l'autre bout qu'ils seraient instantanément embauchés en tant qu'ingénieur logiciel. Un test préliminaire similaire de la compétence de GPT-4 lors de l'examen du barreau multi-états a montré une précision supérieure à 70%. Cela signifie qu'à l'avenir, nous pourrions automatiser bon nombre des tâches actuellement confiées aux avocats. En fait il y a quelques startups qui travaillent maintenant à créer des robots avocats en utilisant GPT-4.

Produire de nouvelles connaissances

L'un des arguments de l'article est que la seule chose qui reste au GPT-4 pour prouver les vrais niveaux de compréhension est qu'il produise de nouvelles connaissances, comme prouver de nouveaux théorèmes mathématiques, un exploit qui reste actuellement hors de portée des LLM.

Là encore, c'est le Saint Graal d'un AGI. Bien qu'il y ait des dangers à contrôler une AGI entre de mauvaises mains, les avantages d'une AGI capable d'analyser rapidement toutes les données historiques pour découvrir de nouveaux théorèmes, remèdes et traitements sont presque infinis.

Une AGI pourrait être le chaînon manquant pour trouver des remèdes aux maladies génétiques rares qui manquent actuellement de financement de l'industrie privée, pour guérir le cancer une fois pour toutes et pour maximiser l'efficacité des énergies renouvelables afin de supprimer notre dépendance à l'énergie non durable. En fait, cela pourrait résoudre tout problème consécutif introduit dans le système AGI. C'est ce que Sam Altman et l'équipe d'OpenAI comprennent, un AGI est vraiment la dernière invention nécessaire pour résoudre la plupart des problèmes et profiter à l'humanité.

Bien sûr, cela ne résout pas le problème du bouton nucléaire de savoir qui contrôle l'AGI et quelles sont ses intentions. Peu importe ce papier fait un travail phénoménal en faisant valoir que GPT-4 est un bond en avant vers la réalisation du rêve que les chercheurs en IA ont eu depuis 1956, lorsque l'atelier d'été initial du projet de recherche d'été de Dartmouth sur l'intelligence artificielle a été lancé pour la première fois.

Bien qu'il soit discutable si GPT-4 est un AGI, on pourrait facilement affirmer que pour la première fois dans l'histoire de l'humanité, c'est un système d'IA qui peut passer le Test de Turing.