Código Humano de 2020 Arrasa a Agentes Codificados por Vibes en Pruebas de Agencia

ChatGPT y otras herramientas de codificación por vibraciones fueron puestas a prueba en casi 40,000 partidas – y perdieron ante el código escrito por estudiantes de posgrado antes de la invención de los Modelos de Lenguaje Grande.

En un nuevo estudio del Reino Unido, los investigadores enfrentaron a agentes codificados por humanos contra agentes codificados por vibraciones desarrollados con los últimos Modelos de Lenguaje Grande (LLMs), como ChatGPT-5 y Claude, y encontraron que los agentes creados sin la ayuda de la IA superaron con facilidad a las versiones facilitadas por la IA.

Ambos conjuntos de agentes fueron creados por diferentes generaciones de estudiantes del Laboratorio de Inteligencia Artificial del Instituto Federal Suizo de Tecnología de Lausanne. Los agentes no IA fueron desarrollados como parte de un curso en 2020, dos años antes de la invención de ChatGPT y el comienzo de la revolución de los LLM, mientras que los nuevos agentes fueron creados por estudiantes actuales, ayudados por los mejores y últimos LLM disponibles.

Incluso con un juego amañado, las soluciones codificadas por vibraciones no pudieron ganar, y los cinco primeros lugares fueron ocupados consistentemente por agentes ‘crudos’, con la mayoría de los agentes LLM (33 de 40) derrotados con facilidad por agentes de referencia ‘muy simples’, en 38.304 desafíos en un torneo, en una amplia variedad de variables y circunstancias.