O GPT-4 é um Salto Adiante em Direção à Inteligência Artificial Geral?

A Microsoft (MSFT ) recentemente publicou um artigo de pesquisa intitulado: Faíscas de Inteligência Artificial Geral: Experimentos Iniciais com o GPT-4. Como descrito pela Microsoft:

Este artigo relata nossa investigação sobre uma versão inicial do GPT-4, quando ainda estava em desenvolvimento ativo pela OpenAI. Afirmamos que (essa versão inicial do) GPT-4 faz parte de um novo grupo de LLMs (juntamente com o ChatGPT e o PaLM do Google (GOOGL ), por exemplo) que exibem inteligência mais geral do que os modelos de IA anteriores.

Neste artigo, há evidências conclusivas que demonstram que o GPT-4 vai muito além da memorização e que tem uma compreensão profunda e flexível de conceitos, habilidades e domínios. Na verdade, sua capacidade de generalizar supera a de qualquer ser humano vivo hoje.

Enquanto discutimos anteriormente os benefícios da AGI, devemos resumir rapidamente o consenso geral sobre o que é um sistema de AGI. Em essência, um AGI é um tipo de IA avançada que pode generalizar em múltiplos domínios e não é limitado em escopo. Exemplos de IA estreita incluem um veículo autônomo, um chatbot, um robô de xadrez ou qualquer outro IA projetado para um único propósito.

Um AGI, em comparação, seria capaz de alternar flexivelmente entre qualquer um dos acima ou qualquer outro campo de especialização. É um IA que aproveitaria algoritmos nascentes, como aprendizado de transferência, e aprendizado evolutivo, enquanto também exploraria algoritmos legados, como aprendizado de reforço profundo.

A descrição acima do AGI coincide com minha experiência pessoal ao usar o GPT-4, bem como as evidências compartilhadas no artigo de pesquisa publicado pela Microsoft.

Um dos prompts delineados no artigo é para que o GPT-4 escreva uma prova da infinitude dos números primos na forma de um poema.

Se analisarmos os requisitos para criar tal poema, percebemos que ele exige raciocínio matemático, expressão poética e geração de linguagem natural. Este é um desafio que superaria a capacidade média da maioria dos seres humanos.

O artigo queria entender se o GPT-4 estava simplesmente produzindo conteúdo com base na memorização geral versus compreendendo o contexto e sendo capaz de raciocinar. Quando solicitado a recriar um poema no estilo de Shakespeare, ele conseguiu. Isso requer um nível multifacetado de compreensão que supera a capacidade da população em geral e inclui teoria da mente e gênio matemático.

Como Calcular a Inteligência do GPT-4?

A pergunta então se torna como podemos medir a inteligência de um LLM? E o GPT-4 está exibindo comportamentos de aprendizado real ou apenas memorização?

A forma atual de testar um sistema de IA é avaliando o sistema em um conjunto de conjuntos de dados de benchmark padrão, e garantir que eles sejam independentes dos dados de treinamento e que cubram uma variedade de tarefas e domínios. Esse tipo de teste é quase impossível devido à quantidade quase ilimitada de dados nos quais o GPT-4 foi treinado.

O artigo discute a geração de tarefas e perguntas novas e difíceis que demonstram convincentemente que o GPT-4 vai muito além da memorização e que tem uma compreensão profunda e flexível de conceitos, habilidades e domínios.

Quando se trata de inteligência, o GPT-4 pode gerar histórias curtas, roteiros e pode calcular as fórmulas mais complicadas.

O GPT-4 também é capaz de codificar em um nível muito alto, tanto em termos de escrever código a partir de instruções quanto de entender código existente. O GPT-4 pode lidar com uma ampla gama de tarefas de codificação, desde desafios de codificação até aplicações do mundo real, desde assembly de baixo nível até frameworks de alto nível, desde estruturas de dados simples até programas complexos, como jogos. O GPT-4 também pode raciocinar sobre a execução do código, simular os efeitos das instruções e explicar os resultados em linguagem natural. O GPT-4 pode até executar pseudocódigo,

O GPT-4 pode oferecer respostas racionais para quase qualquer prompt dado. Na verdade, sua inteligência é quase invencível em sua complexidade.

Limitações do GPT-4

O artigo então continua a descrever como eles testaram as respostas e comportamentos do GPT-4, para verificar sua consistência, coerência e correção, e para descobrir suas limitações e vieses.

A limitação mais óbvia é sua tendência a alucinar. Aqui está um exemplo de uma alucinação que é dado no artigo, onde o GPT-4 estava confiante em sua resposta, que era completamente falsa.

Parece que mesmo o GPT-4 entende essa limitação atual com alucinações, pois essa foi a resposta que ele deu quando perguntei o que é uma alucinação do GPT:

Uma alucinação do GPT se refere a um fenômeno em que um modelo de Transformador Gerador Pré-treinado (GPT), como o que você está interagindo agora, produz uma resposta que não é baseada em informações factuais ou não é coerente com o contexto fornecido. Essas alucinações ocorrem quando o modelo gera texto que pode parecer plausível, mas é na verdade incorreto, enganoso ou sem sentido.

Em outras palavras, quando você treina um LLM em dados do mundo, como evitar que o sistema aprenda dados incorretos? Um grande modelo de linguagem que aprende e regurgita informações incorretas e teorias da conspiração pode ser um dos maiores obstáculos e ameaças que a humanidade enfrenta com a adoção em larga escala de LLMs. Isso pode ser uma das maiores ameaças do AGI, uma que é surpreendentemente perdida quando se discute os perigos do AGI.

Provas de Inteligência do GPT-4

O artigo ilustra que não importa que tipo de prompts complexos foram direcionados a ele, o GPT-4 excederia as expectativas. Como afirmado no artigo:

Sua mestria inigualável da linguagem natural. Ele não apenas pode gerar texto fluente e coerente, mas também entender e manipular em várias maneiras, como resumir, traduzir ou responder a uma ampla gama de perguntas. Além disso, ao traduzir, queremos dizer não apenas entre diferentes línguas naturais, mas também traduções em tom e estilo, bem como em domínios como medicina, direito, contabilidade, programação de computador, música e mais.

Foram dados testes técnicos simulados ao GPT-4, ele passou facilmente, o que significa que, nesse contexto, se fosse um ser humano do outro lado, ele seria contratado instantaneamente como engenheiro de software. Um teste preliminar semelhante da competência do GPT-4 no Exame de Barra Multistado mostrou uma precisão acima de 70%. Isso significa que, no futuro, podemos automatizar muitas das tarefas que atualmente são dadas a advogados. Na verdade, existem algumas startups que estão trabalhando para criar robôs advogados usando o GPT-4.

Produzindo Novo Conhecimento

Um dos argumentos no artigo é que a única coisa que resta para o GPT-4 provar níveis verdadeiros de compreensão é produzir novo conhecimento, como provar novos teoremas matemáticos, uma façanha que atualmente permanece fora do alcance dos LLMs.

Então, mais uma vez, este é o Santo Graal de um AGI. Embora haja perigos com um AGI sendo controlado pelas mãos erradas, os benefícios de um AGI sendo capaz de analisar rapidamente todos os dados históricos para descobrir novos teoremas, curas e tratamentos é quase infinito.

Um AGI poderia ser o elo perdido para encontrar curas para doenças genéticas raras que atualmente carecem de financiamento da indústria privada, para curar o câncer de uma vez por todas e para maximizar a eficiência da energia renovável para remover nossa dependência de energia insustentável. Na verdade, ele poderia resolver qualquer problema consequente que for alimentado no sistema AGI. Isso é o que Sam Altman e a equipe da OpenAI entendem, um AGI é truly a última invenção necessária para resolver a maioria dos problemas e beneficiar a humanidade.

É claro que isso não resolve o problema do botão nuclear de quem controla o AGI e quais são suas intenções. Independentemente disso, esse artigo faz um trabalho fenomenal argumentando que o GPT-4 é um salto adiante em direção à realização do sonho que os pesquisadores de IA têm desde 1956, quando o projeto de pesquisa de verão de Dartmouth sobre Inteligência Artificial foi lançado pela primeira vez.

Embora seja discutível se o GPT-4 é um AGI, pode-se argumentar facilmente que, pela primeira vez na história humana, é um sistema de IA que pode passar no Teste de Turing.