O GPT-4 é um salto para alcançar o AGI?

A Microsoft lançou recentemente um trabalho de pesquisa intitulado: Centelhas de Inteligência Artificial Geral: Primeiros experimentos com GPT-4. Conforme descrito pela Microsoft:

Este papel relata nossa investigação de uma versão inicial do GPT-4, quando ainda estava em desenvolvimento ativo pela OpenAI. Afirmamos que (esta versão inicial do) GPT-4 faz parte de uma nova coorte de LLMs (junto com ChatGPT e PaLM do Google, por exemplo) que exibem mais inteligência geral do que os modelos de IA anteriores.

Neste artigo, há evidências conclusivas que demonstram que o GPT-4 vai muito além da memorização e que possui uma compreensão profunda e flexível de conceitos, habilidades e domínios. Nos fatos, sua capacidade de generalizar excede em muito a de qualquer humano vivo hoje.

Embora tenhamos discutido anteriormente o benefícios do AGI, devemos resumir rapidamente o consenso geral sobre o que é um sistema AGI. Em essência, uma AGI é um tipo de IA avançada que pode generalizar em vários domínios e não é restrita em escopo. Exemplos de IA estreita incluem um veículo autônomo, um chatbot, um bot de xadrez ou qualquer outra IA projetada para um único propósito.

Uma AGI, em comparação, seria capaz de alternar com flexibilidade entre qualquer um dos itens acima ou qualquer outro campo de especialização. É uma IA que tiraria proveito de algoritmos nascentes, como transferir aprendizado, e aprendizagem evolutiva, ao mesmo tempo em que explora algoritmos legados, como aprendizagem por reforço profundo.

A descrição acima do AGI corresponde à minha experiência pessoal com o uso do GPT-4, bem como às evidências compartilhadas no trabalho de pesquisa divulgado pela Microsoft.

Um dos prompts descritos no artigo é que o GPT-4 escreva uma prova da infinitude dos primos na forma de um poema.

Se analisarmos os requisitos para criar tal poema, percebemos que requer raciocínio matemático, expressão poética e geração de linguagem natural. Este é um desafio que excederia a capacidade média da maioria dos humanos.

O artigo queria entender se o GPT-4 estava simplesmente produzindo conteúdo baseado na memorização geral versus compreensão do contexto e capacidade de raciocínio. Quando solicitado a recriar um poema no estilo de Shakespeare, ele conseguiu fazê-lo. Isto requer um nível multifacetado de compreensão que excede em muito a capacidade da população em geral e inclui a teoria da mente e o génio matemático.

Como calcular a inteligência GPT-4?

A questão então é como podemos medir a inteligência de um LLM? E o GPT-4 está exibindo comportamentos de verdadeiro aprendizado ou mera memorização?

A maneira atual de testar um sistema de IA é avaliar o sistema em um conjunto de conjuntos de dados de benchmark padrão e garantir que sejam independentes dos dados de treinamento e que cubram uma variedade de tarefas e domínios. Esse tipo de teste é quase impossível devido à quantidade quase ilimitada de dados com os quais o GPT-4 foi treinado.

O artigo discute a geração de tarefas/perguntas novas e difíceis que demonstram de forma convincente que o GPT-4 vai muito além da memorização e que possui uma compreensão profunda e flexível de conceitos, habilidades e domínios.

Quando se trata de inteligência, o GPT-4 pode gerar contos, roteiros e pode calcular as fórmulas mais complicadas.

O GPT-4 também é capaz de codificar em um nível muito alto, tanto em termos de escrever código a partir de instruções quanto em entender o código existente. GPT-4 pode lidar com uma ampla gama de tarefas de codificação, desde
desafios de codificação para aplicativos do mundo real, de montagem de baixo nível a estruturas de alto nível, de estruturas de dados simples a programas complexos, como jogos. O GPT-4 também pode raciocinar sobre a execução do código, simular os efeitos das instruções e explicar os resultados em linguagem natural. GPT-4 pode até mesmo executar pseudocódigo,

O GPT-4 pode oferecer respostas racionais a quase qualquer prompt dado. Na verdade, sua inteligência é quase invencível em sua complexidade.

Limitações da GPT-4

O artigo continua descrevendo como eles sondaram as respostas e os comportamentos do GPT-4, para verificar sua consistência, coerência e correção e para descobrir suas limitações e vieses.

A limitação mais óbvia é a sua tendência a alucinar. Aqui está um exemplo de uma alucinação que é dada no papel onde GPT-4 estava confiante em sua resposta que era completamente falsa.

Parece que até o GPT-4 entende essa limitação atual com alucinações, pois esta foi a resposta que deu quando perguntei o que é uma alucinação do GPT:

Uma alucinação GPT refere-se a um fenômeno em que um modelo Generative Pre-trained Transformer (GPT), como aquele com o qual você está interagindo no momento, produz uma resposta que não é baseada em informações factuais ou não é coerente com o contexto fornecido. Essas alucinações ocorrem quando o modelo gera um texto que pode parecer plausível, mas na verdade é incorreto, enganoso ou sem sentido.

Em outras palavras, quando você treina um LLM AI nos dados do mundo, como você evita que um sistema aprenda dados incorretos? Um grande modelo de linguagem aprendendo e regurgitando desinformação e teorias da conspiração podem, na verdade, ser uma das maiores armadilhas e ameaças que a humanidade enfrenta com a adoção em larga escala de LLMs. Na verdade, essa pode ser uma das maiores ameaças da AGI, uma que é surpreendentemente perdida ao discutir os perigos da AGI.

GPT-4 Provas de Inteligência

O artigo ilustra que não importava que tipo de prompts complexos fossem direcionados a ele, o GPT-4 excederia as expectativas. Conforme consta no jornal:

Seu domínio incomparável da linguagem natural. Ele pode não apenas gerar um texto fluente e coerente, mas também entendê-lo e manipulá-lo de várias maneiras, como resumir, traduzir ou responder a um conjunto extremamente amplo de perguntas. Além disso, por traduzir, queremos dizer não apenas entre diferentes idiomas naturais, mas também traduções em tom e estilo, bem como em domínios como medicina, direito, contabilidade, programação de computadores, música e muito mais.

Revisões técnicas simuladas foram dadas ao GPT-4, facilmente passou de significado neste contexto se fosse um humano do outro lado que eles seriam instantaneamente contratados como engenheiros de software. Um teste preliminar semelhante de competência do GPT-4 no Multistate Bar Exam mostrou uma precisão acima de 70%. Isso significa que, no futuro, poderemos automatizar muitas das tarefas atualmente atribuídas aos advogados. Na verdade existem alguns startups que agora estão trabalhando para criar advogados robôs usando GPT-4.

Produzindo Novos Conhecimentos

Um dos argumentos do artigo é que a única coisa que resta para o GPT-4 provar verdadeiros níveis de compreensão é produzir novos conhecimentos, como provar novos teoremas matemáticos, um feito que atualmente permanece fora do alcance dos LLMs.

Então, novamente, este é o Santo Graal de um AGI. Embora existam perigos com um AGI sendo controlado nas mãos erradas, os benefícios de um AGI ser capaz de analisar rapidamente todos os dados históricos para descobrir novos teoremas, curas e tratamentos são quase infinitos.

Um AGI pode ser o elo perdido para encontrar curas para doenças genéticas raras que atualmente carecem de financiamento da indústria privada, para curar o câncer de uma vez por todas e para maximizar a eficiência da energia renovável para remover nossa dependência de energia insustentável. Na verdade, poderia resolver qualquer problema conseqüente que é alimentado no sistema AGI. Isso é o que Sam Altman e a equipe da OpenAI entendem, um AGI é verdadeiramente a última invenção que é necessário para resolver a maioria dos problemas e beneficiar a humanidade.

Claro que isso não resolve o problema do botão nuclear de quem controla o AGI e quais são suas intenções. Independentemente disso papel faz um trabalho fenomenal argumentando que o GPT-4 é um salto para alcançar o sonho que os pesquisadores de IA tiveram desde 1956, quando o primeiro workshop de verão do Dartmouth Summer Research Project on Artificial Intelligence foi lançado.

Embora seja discutível se o GPT-4 é um AGI, pode-se argumentar facilmente que, pela primeira vez na história da humanidade, é um sistema de IA que pode passar no teste. Teste de Turing.