El código humano de 2020 destrozó a los agentes codificados por vibración en pruebas agénticas.

ChatGPT y otras herramientas de codificación de vibraciones se pusieron a prueba en casi 40,000 coincidencias, y perdieron ante el código de estudiantes de posgrado escrito antes de la invención de los modelos de lenguaje grandes.

En un nuevo estudio del Reino Unido, los investigadores enfrentaron a agentes codificados por humanos contra... codificado por vibraciones agentes desarrollados con los últimos modelos de lenguaje grande (LLM), como ChatGPT-5 y Claude, y descubrieron que los agentes creados sin la ayuda de IA superaban muy fácilmente a las versiones facilitadas por IA.

Ambos conjuntos de agentes fueron creados por estudiantes de distintas generaciones del Laboratorio de Inteligencia Artificial del Instituto Federal Suizo de Tecnología de Lausana. Los agentes sin IA se desarrollaron como parte de los cursos de 2020, dos años antes de la creación de ChatGPT y el inicio de la revolución de los LLM, mientras que los nuevos agentes fueron creados por estudiantes actuales, con la ayuda de los mejores y más recientes LLM disponibles.

Incluso con un juego manipulado, las soluciones codificadas por vibración no pudieron ganar, y los cinco primeros lugares estuvieron consistentemente en manos de agentes "brutos", con la mayoría de los agentes LLM (33 de 40) superados sin esfuerzo por agentes de base "muy simples", en 38,304 desafíos en un torneo, en una amplia cantidad de variables y circunstancias.

El documento dice:

'Nuestro trabajo demuestra que si bien los LLM de última generación pueden generar código que se ejecuta (es decir, libre de errores de sintaxis), la solución generada no es competitiva con las soluciones diseñadas por humanos en dimensiones como la planificación estratégica, la optimización o la competencia entre múltiples agentes.

'Por lo tanto, este trabajo trae a la vanguardia esta nueva frontera en la generación de código y tiene como objetivo facilitar el desarrollo de puntos de referencia, conjuntos de datos y líneas base de código abierto que enfaticen la síntesis de código basada en el razonamiento'.

El desafío planteado fue participar creativamente en subastas, a través de una variedad de estrategias, y organizar la logística de entrega de los artículos ganados a los ganadores.

Los autores señalan que se otorgaron diversas ventajas a los LLM, como la intervención en su código para mejorar su rendimiento, una ventaja que no se permitía en el código de la era 2020. A pesar de ello, incluso cuando se les proporcionó código correctivo que sin duda habría mejorado sus resultados, los LLM no pudieron aceptarlo ni utilizarlo:

'En nuestra evaluación comparativa, incluso cuando exponemos una buena solución en contexto, el LLM todavía no puede utilizarla.

'Este resultado también plantea interesantes cuestiones de investigación futura sobre los límites del aprendizaje en contexto y la resolución de problemas aumentada por recuperación en escenarios complejos'.

Los LLM utilizados en la prueba fueron Pensamiento GPT-5, Géminis 2.5 Pro, Claude Opus 4.1, Y Búsqueda profunda R1*.

La nuevo documento se titula ¿Puede Vibe Coding superar a los estudiantes de posgrado en informática? Un torneo de LLM vs. Human Coding sobre planificación estratégica orientada al mercado., y proviene de un autor de la Universidad de Southampton y otro de la Universidad de Oxford y el Instituto Alan Turing. El punto de referencia, afirman los autores, será publicado en breve.

Método

Los autores señalan que las pruebas tradicionales en este ámbito se centran en desafíos con soluciones binarias claramente definidas (correcta or incorrecto), verificado a través de pruebas unitariasAl argumentar que esta no es la forma ideal de explorar las limitaciones del código asistido por LLM, los autores idearon un escenario de desafío más complejo, con múltiples puntos de referencia e hitos internos, en el que la victoria es posible, pero nada sencilla:

Comparación de los enfoques estándar basados ​​en pruebas unitarias (arriba) y el escenario de desafío más abierto ideado por los autores (en azul, abajo). Fuente

El Problema de Subasta, Recogida y Entrega (APDP) utilizado en el estudio de los autores fue en parte autoseleccionado, debido a la disponibilidad de un corpus de trabajos estudiantiles de 2020 de la universidad suiza; trabajos que buscaban crear agentes automatizados para la tarea APDP, antes de cualquier posibilidad de impulsar el desarrollo mediante IA. Por lo tanto, fue relativamente fácil asignar a estudiantes modernos el mismo encargo, pero con herramientas actuales.

Los autores intentaron evitar los marcos de prueba populares como evaluación humana, Banco de código grande y WebDev Arena (entre muchos otros), ya que esta clase de procedimientos de prueba tiende a sufrir contaminación de datos (es decir, instancias en las que el sistema puede tener entrenado con datos de prueba En lugar de respetar una split).

El APDP es un problema logístico de dos etapas basado en subastas inversas y enrutamiento de vehículosEn la primera etapa, los agentes compiten para ganar tareas de entrega presentando ofertas sobre el precio que deberían cobrar por completar cada una. Una oferta demasiado alta significa perder la tarea; una oferta demasiado baja puede significar perder dinero.

En la segunda etapa, cada agente debe crear un plan eficiente para cumplir únicamente las tareas que le corresponden, asignándolas a vehículos con diferentes capacidades y costos, bajo restricciones de tiempo y recursos:

En el APDP, las empresas ofertan en subastas inversas por tareas de entrega y luego optimizan las rutas de los vehículos para cumplir solo las tareas que ganan, con el objetivo de maximizar las ganancias.

El objetivo no es simplemente completar las tareas, sino maximizar el beneficio general anticipando qué paquetes de tareas funcionarán mejor juntos y prediciendo las estrategias de los competidores que intentan hacer lo mismo.

El punto de referencia APDP aumenta la dificultad de las tareas de generación de código al introducir una planificación estratégica a lo largo de una secuencia de subastas interdependientes, donde cada oferta reconfigura el panorama de opciones futuras; y, por lo tanto, requiere que los agentes razonen no sólo sobre los costos inmediatos, sino también sobre el posicionamiento, el tiempo y las consecuencias a largo plazo.

El problema central de la entrega es NP-duroEs decir, ningún algoritmo puede encontrar la mejor solución de forma fiable en un tiempo razonable a medida que aumenta el número de tareas. Esto hace que la fuerza bruta sea un enfoque inviable y obliga a los agentes a sacrificar precisión por velocidad.

La carrera está en marcha

La evaluación de los autores comparó 40 agentes codificados por LLM con 17 agentes codificados por humanos en una serie de torneos cara a cara. Cada uno de los 12 torneos utilizó una combinación diferente de cuatro topologías de red vial y consistió en todos contra todos emparejamientos, con agentes enfrentándose a cada oponente dos veces: una vez controlando cada una de dos compañías, con diferentes especificaciones de vehículos.

Esta configuración generó 3,192 partidas por torneo, con un total de 38 304. En cada partida, se subastaron 50 tareas de entrega, definidas por sus puntos de recogida y entrega, así como por su peso, y se sortearon aleatoriamente en trazados de carreteras basados ​​en Suiza, Francia, Gran Bretaña y los Países Bajos.

Redes de carreteras simplificadas utilizadas en el torneo: Gran Bretaña (arriba a la izquierda), Suiza (arriba a la derecha), Países Bajos (abajo a la izquierda) y Francia (abajo a la derecha). Los cuadrados azules y rojos marcan las tareas de recogida y entrega. Los triángulos de colores muestran la posición actual de los vehículos de los agentes.

Los agentes estudiantiles fueron seleccionados en un torneo de cursos de 2020. Ocho fueron de los mejores en una final de eliminación simple, y cuatro más fueron elegidos por su excelente desempeño contra los agentes de base en partidos cara a cara.

Los agentes de referencia siguieron una pauta fija Heurística. Ingenuo calculó la distancia total y realizó la oferta correspondiente, utilizando solo un vehículo e ignorando la agrupación en lotes; Oferta fija de costo de exposición simuló 10 tareas aleatorias y ofertó el costo marginal promedio; Honesto calculó el costo marginal real de insertar la tarea en el cronograma; Modelo Oponente hizo lo mismo pero agregó una estimación del costo del oponente, ofertando el máximo; y Búsqueda de riesgos combinó un decaimiento temporal previo con una estimación de costos en vivo y un modelo del oponente, nuevamente ofertando el más alto de los dos.

La evaluación incluyó 40 agentes codificados con LLM, desarrollados con los programas GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro y DeepSeek R1 (antes mencionados). Cada modelo contó con cinco estrategias distintas, aplicadas dos veces por modelo.

Dos estrategias emplearon indicaciones estáticas escritas por diferentes autores, mientras que una tercera requirió que el modelo reflexionara sobre sí mismo y revisara su propio trabajo; otra implicó la crítica y revisión por parte de un LLM independiente. La última estrategia empleó GPT-4 para sintetizar una nueva indicación mediante la revisión de los cuatro enfoques anteriores.

La solicitud base reflejó la tarea original del estudiante, describiendo el entorno de entrega e instruyendo al modelo para que oferte y planifique para maximizar las ganancias, sin depender de métodos de alta complejidad.

Todos los agentes LLM se probaron tanto en modo de juego propio como en torneo hasta que se corrigieron todos los errores observables. La corrección de errores fue gestionada de forma autónoma por los propios LLM, avisados ​​con la información del error.

Las fallas comunes del LLM, señala el documento, incluían violaciones de los límites de tiempo de espera, imposibilidad de recoger o entregar tareas asignadas e incumplimientos de las restricciones de capacidad del vehículo: errores que a menudo surgían por ignorar instrucciones explícitas o por una lógica de replanificación defectuosa.^†:

'Otro problema común que encontramos (principalmente con Gemini, Claude y DeepSeek, y no tanto con GPT) es que, muy a menudo, LLM no lograba resolver un error.

'Por ejemplo, un agente siempre caducaba, a pesar de varios ciclos (por ejemplo, 5 a 15) de aviso al LLM con el error y de recibir la versión actualizada del código.

'La única solución que encontramos para tales situaciones (donde el LLM falla repetidamente al resolver exactamente el mismo error) es reiniciar desde ceroEn general, observamos la necesidad de esfuerzo manual significativo para lograr un código libre de erroresTuvimos que generar muchos más agentes para obtener los 40 libres de errores que evaluamos.

Los resultados que se muestran a continuación resumen los resultados de 12 torneos de doble ronda, que abarcan cuatro topologías de red y tres torneos por topología, y que arrojaron la mayor parte de 40 000 partidos:

Para contextualizar, cada agente jugó 112 partidos por torneo, por lo que el promedio máximo posible de victorias o derrotas por agente es de 112. La desviación estándar (DE) refleja la variabilidad entre torneos. Los agentes con codificación humana aparecen en negrita. Los agentes con codificación LLM se etiquetan por modelo (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), seguido de un código de estrategia de dos letras para la indicación y un dígito que indica si el agente es el primero o el segundo generado con esa indicación. Fuente

En relación con los resultados mostrados anteriormente, los autores afirman^†:

Los LLM no generaron código esperado/competitivo ni siquiera en variantes más simples del problema APDP (a pesar de que el código estaba prácticamente libre de errores de sintaxis). Esto subraya la importancia de los puntos de referencia de evaluación de código basados ​​en el razonamiento que van más allá del autocompletado e identifican nuevas debilidades de los LLM.

'Nuestros resultados demuestran una clara superioridad de los agentes codificados por humanos: (i) El Los 5 primeros puestos los ocupan constantemente los agentes estudiantiles, y (ii) La mayoría de los agentes LLM (33 de 40) son superados por agentes de línea base muy simples. (como por ejemplo la oferta fija de costo esperado).

Es importante destacar que no depuramos el código de los estudiantes (aunque probamos y depuramos exhaustivamente el código de LLM, tanto en la configuración de juego propio como en la de torneo). Cada vez que un agente de estudiante fallaba, automáticamente le dábamos la victoria al LLM. Muchos de estos fallos serían fáciles de solucionar (por ejemplo, el tiempo de espera de los agentes), por lo que los agentes de estudiante podrían... rango aún más alto. "

Como experimento adicional, se impulsó el pensamiento GPT-5 para mejorar el código del agente humano de mayor rendimiento, Estudiante 1Pero el agente modificado por LLM cayó posteriormente al décimo puesto, ahora con la peor puntuación para humanos. En lugar de mejorar la solución, los cambios de LLM la degradaron casi un 20 %.

Los autores concluyen:

Nuestros resultados resaltan importantes limitaciones en la generación de código LLM, en particular sus limitadas capacidades de razonamiento y planificación durante la generación. Los LLM modernos pueden proporcionar código sin errores de sintaxis y ejecutable, pero ese no es el parámetro que deberíamos usar para medir el progreso hacia una IA general avanzada.

Conclusión

Los propios autores observan hacia el final del artículo que la codificación de vibraciones ha empoderado a personas de todos los niveles técnicos y caracterizan la práctica de forma positiva, como una fuerza niveladora. Sin embargo, también insinúan que, dado que la codificación de vibraciones es una práctica reciente, se desconocen sus límites y se puede suponer que son bastante más altos de lo que se puede esperar de forma realista.

Cierran su oferta pidiendo un cambio de objetivo.Del código que se compila al código que compite.

Una pregunta que el lector ocasional de este interesante artículo nuevo puede tener es si los autores están trabajando hacia arriba o hacia abajo, ya que la tarea de agencia en cuestión es considerablemente más compleja y complicada que generar scripts de PowerShell y otras formas de funcionalidades y correcciones menores para las que la codificación vibe es adecuada.

* Tenga en cuenta que el documento se refiere continuamente a 'DeepPiense si R1', que parece inexistente, y solo aparecen unas pocas referencias en internet (presumiblemente de otros autores que escribieron mal "DeepSeek R1"). Si este es mi error, por favor, contácteme a través de los datos de mi perfil y lo corregiré.

^† El énfasis es del autor, no mío.

Primera publicación: miércoles 26 de noviembre de 2025. Modificado a las 17:35 (hora estándar del este) por motivos de formato.