Código Humano de 2020 Destruído Agentes Codificados por Vibração em Testes de Agência

O ChatGPT e outras ferramentas de codificação por vibração foram submetidos a testes em quase 40.000 partidas – e perderam para o código de estudantes de pós-graduação escrito antes da invenção dos Grandes Modelos de Linguagem.

Em um novo estudo do Reino Unido, os pesquisadores colocaram agentes codificados por humanos contra agentes codificados por vibração desenvolvidos com os últimos Grandes Modelos de Linguagem (LLMs), como ChatGPT-5 e Claude, e descobriram que os agentes criados sem a ajuda da IA superaram facilmente as versões facilitadas por IA.

Ambos os conjuntos de agentes foram criados por diferentes gerações de estudantes do Laboratório de Inteligência Artificial do Instituto Federal de Tecnologia de Lausanne. Os agentes não IA foram desenvolvidos como parte de um curso em 2020, dois anos antes do início do ChatGPT e do início da revolução dos LLMs, enquanto os novos agentes foram criados por estudantes atuais, auxiliados pelos melhores e mais recentes LLMs disponíveis.

Mesmo com um jogo manipulado, as soluções codificadas por vibração não puderam vencer, e os cinco primeiros lugares foram consistentemente ocupados por agentes “puros”, com a maioria dos agentes LLM (33 de 40) sendo derrotados facilmente por agentes de linha de base “muito simples”, em 38.304 desafios em um torneio, em uma ampla variedade de variáveis e circunstâncias.