Ángulo de Anderson

Pasar de Claude Fable a un modelo inferior apenas afectó la productividad de desarrollo durante la prohibición

Martin Anderson
Añade Unite.AI a tus fuentes preferidas en Google
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
Puntos claveEl acceso al Claude Fable 5, de mayor puntuación, elevó la tasa de fusión solo 1,4…
Ver más
  • El acceso al Claude Fable 5, de mayor puntuación, elevó la tasa de fusión solo 1,4 puntos porcentuales.
  • Cinco actualizaciones de Claude no produjeron ninguna ganancia significativa en solicitudes de extracción fusionadas ni en cambios completados semanalmente.
  • Las puntuaciones de los benchmarks significan poco cuando las tareas que asignan los desarrolladores ya están dentro de las capacidades de modelos más antiguos.

Es muy difícil evaluar con precisión si los nuevos modelos de IA han mejorado su rendimiento respecto de sus predecesores o no, e incluso definir necesariamente en qué consiste una mejora de la productividad, ya que las nuevas versiones pueden mostrar avances en un área y, al mismo tiempo, un rendimiento inferior en otra, como ocurre con el software y los marcos de trabajo convencionales. A veces se trata de compensaciones voluntarias, elegidas por las personas; otras, de «daños colaterales».

Eso suponiendo que haya «juego limpio». Hay muchos casos en que los desarrolladores han manipulado el software para que obtenga mejores resultados en las pruebas de referencia, a veces haciendo que detecte cuándo se lo está poniendo a prueba y cambie temporalmente su funcionamiento para conseguir una puntuación más alta. Los modelos de IA también pueden detectar cuándo se los está evaluando y comportarse de manera diferente, incluso sin que se los haya diseñado deliberadamente para hacerlo.

En busca de métricas más útiles y honestas, los desarrolladores suelen establecer sus propios parámetros informales, como el desafío de Simon Wilson de imaginar un pelícano montado en bicicleta, en el que se pide a los modelos de visión y lenguaje (VLM) que creen algo que no está presente en los datos de entrenamiento* y que a menudo obtienen malos resultados, aunque las cosas han mejorado algo a lo largo de 2026:

La métrica de Simon Wilson pide a un VLM que imagine un pelícano montado en bicicleta. Últimamente, la IA ha mejorado mucho en esta tarea, en comparación con los intentos hilarantes de hace unos 18 meses. Sin embargo, algunos sugieren que esto podría deberse a que el desafío ya está incorporado en los datos de entrenamiento. Fuente: https://simonwillison.net/tags/pelican-riding-a-bicycle/

La métrica de Simon Wilson pide a un VLM que imagine un pelícano montado en bicicleta. Últimamente, la IA ha mejorado mucho en esta tarea, en comparación con los intentos hilarantes de hace unos 18 meses. Sin embargo, algunos sugieren que esto podría deberse a que el desafío ya está incorporado en los datos de entrenamiento. Fuente

Sin embargo, una prueba de referencia solo puede medir las habilidades específicas para las que fue diseñada, y, aun cuando los resultados sean fiables, no está claro hasta qué punto esas habilidades son importantes en el uso cotidiano ni si una puntuación más alta se traducirá en más trabajo completado.

En el caso de los modelos de programación, esto puede investigarse observando qué ocurre con el trabajo de los desarrolladores cuando pasan de un modelo a otro.

Hacer [the Same] con menos

En junio de este año, la prohibición de 19 días impuesta por la Casa Blanca al uso de Claude Fable ofreció a los investigadores un entorno de prueba inusualmente claro: los desarrolladores que enviaban solicitudes de cambios (PR) a GitHub pasaron a versiones menos potentes de Claude. Como todas las versiones de Claude figuran como coautoras de las PR y esa información se puede consultar mediante la API de GitHub, los datos están disponibles gratuitamente.

Un nuevo estudio de Harvard University aprovechó esta oportunidad: en él se hizo un seguimiento del trabajo de 297 usuarios de Fable 5 antes, durante y después de la prohibición, y se lo comparó con el de 8.908 desarrolladores que siguieron utilizando el modelo anterior Opus 4.8.

Fable 5 había obtenido anteriormente una puntuación casi 11 puntos superior a la de Opus 4.8 en la prueba de referencia de programación SWE-Bench Pro. Sin embargo, en el estudio de Harvard, el acceso a Fable 5 se asoció con un aumento de apenas 1,4 puntos porcentuales en la proporción de cambios de código enviados que se aceptaron en proyectos de GitHub en un plazo de siete días, una diferencia que, según el artículo, en la práctica equivale a un error de redondeo; además, un análisis más amplio tampoco encontró mejoras significativas de productividad al pasar a otros modelos de IA más nuevos:

«Los resultados muestran que tener acceso a Fable 5 solo modificó la tasa de integración en 1,4 puntos porcentuales, y que el cambio no fue estadísticamente [significant]. También analizamos cinco de las ocho actualizaciones de modelos de 2026 y observamos que la tasa de integración no aumentó después de esas actualizaciones [either].

«Del mismo modo, los desarrolladores no lograron que se integraran más solicitudes de cambios por semana. Estos resultados muestran que las mejoras en las pruebas de referencia actuales de programación no se tradujeron realmente en más trabajo terminado».

En cinco actualizaciones de modelos realizadas en 2026, que involucraron a 1.208 desarrolladores y más de 15.000 cambios de código propuestos, no se observó ninguna mejora estadísticamente significativa ni en la tasa de integración del código enviado ni en la cantidad de cambios completados con éxito cada semana.

Aunque el artículo reconoce que las integraciones en GitHub son una medida imperfecta de la productividad, la prohibición ofreció una oportunidad muy poco frecuente para evaluar los efectos de cambiar de modelo en condiciones laborales reales, en un sector que atrae un enorme interés mundial, pero que funciona con el máximo nivel posible de opacidad empresarial.

Al reconocer la dificultad de establecer criterios empíricos en estos casos, el nuevo trabajo† señala:

«Quienes utilizan primero los nuevos modelos podrían tener más experiencia, por lo que, al comparar la productividad entre desarrolladores, no podemos saber si la diferencia se debe al modelo o a quienes lo usan. Incluso si observamos a las mismas personas, no sabemos si asignan las mismas tareas a distintos modelos.

«Por ejemplo, algunas personas podrían usar Fable 5 para las tareas más difíciles y cambiar a modelos de una categoría inferior para las más sencillas. Si asignan las tareas más difíciles al modelo más potente, este podría parecer menos productivo según casi cualquier medida que elijamos, ya que las tareas más difíciles llevan más tiempo y tienen menos probabilidades de que se acepten».

El artículo también sostiene que estudios anteriores se han visto sesgados porque la mayoría de los cambios de código procedían de un pequeño número de proyectos, cada uno con sus propias reglas para aceptar contribuciones; y que estas diferencias han dificultado determinar si las mejoras de productividad se debieron realmente a la actualización a modelos más nuevos.

Metodología

Para el experimento principal††, las solicitudes de incorporación de cambios de GitHub de 297 desarrolladores identificados en el estudio como usuarios de Fable 5 se dividieron en cuatro períodos: antes del lanzamiento del modelo, el 9 de junio; durante los tres días en que estuvo disponible; a lo largo de los 19 días de suspensión; y después de que se restableciera el acceso, el 1 de julio.

Se compararon sus tasas de fusión con las de 8.908 desarrolladores identificados como usuarios del modelo anterior Opus 4.8, lo que permitió distinguir los cambios asociados a la suspensión de las fluctuaciones generales de la actividad en GitHub.

La comparación partió de la hipótesis de que, sin la prohibición, ambos grupos habrían experimentado cambios similares en sus tasas de fusión. Se compararon los cambios en dichas tasas entre los dos grupos, y el análisis estadístico tuvo en cuenta las diferencias entre cada desarrollador y las fluctuaciones diarias:

Cronología de las actualizaciones de los modelos Claude y de la suspensión de Fable 5. El panel superior muestra ocho actualizaciones de Opus y Sonnet; los círculos rellenos señalan las cinco analizadas en el estudio más amplio. El panel inferior muestra los cuatro períodos utilizados para evaluar cómo afectó el período de suspensión a las tasas de fusión de solicitudes de incorporación de cambios, con la prohibición como período de referencia. Las líneas moradas indican cuándo Fable 5 estuvo disponible o suspendido; el sombreado gris señala la prohibición; y las secciones rayadas indican los días excluidos inmediatamente después de que se suspendiera o restableciera el acceso. Fuente - https://arxiv.org/pdf/2611.23216

Cronología de las actualizaciones de los modelos Claude y de la suspensión de Fable 5. El panel superior muestra ocho actualizaciones de Opus y Sonnet; los círculos rellenos señalan las cinco analizadas en el estudio más amplio. El panel inferior muestra los cuatro períodos utilizados para evaluar cómo afectó el período de suspensión a las tasas de fusión de solicitudes de incorporación de cambios, con la prohibición como período de referencia. Las líneas moradas indican cuándo Fable 5 estuvo disponible o suspendido; el sombreado gris señala la prohibición; y las secciones rayadas indican los días excluidos inmediatamente después de que se suspendiera o restableciera el acceso. Fuente

En cuanto a los datos, las solicitudes de incorporación de cambios públicas de GitHub creadas con Claude Code se identificaron mediante la API de búsqueda de GitHub, usando el aviso «Generated with Claude Code» que se incluye automáticamente en sus descripciones. Cuando también se había copiado el nombre del modelo específico del historial de confirmaciones del código a la descripción de la solicitud, fue posible determinar qué versión de Claude se había utilizado.

Las solicitudes de incorporación de cambios enviadas en torno a la suspensión de Fable 5 y a las posteriores actualizaciones de Claude se recopilaron entre noviembre de 2025 y octubre de 2026; se dejaron transcurrir al menos cuatro semanas para que se fusionaran las solicitudes más recientes.

Los 297 desarrolladores que usaron Fable 5 durante el breve período en que estuvo disponible fueron seleccionados para el grupo principal del estudio, mientras que 8.908 desarrolladores que usaron Opus 4.8 y de quienes no constaba ningún uso de Fable 5 conformaron el grupo de control.

La principal métrica de productividad fue la proporción de cambios de código enviados que se aceptaron en proyectos de GitHub en un plazo de siete días, lo que permitió comparar la tasa de envíos aceptados en los períodos anterior, durante y posterior a la suspensión. También se realizaron comprobaciones adicionales de las solicitudes de incorporación de cambios fusionadas en una hora; las cerradas sin fusionarse; el número de comentarios recibidos; los cambios revertidos posteriormente; y los fallos en las comprobaciones automatizadas de GitHub.

Pruebas

La pérdida y la posterior restitución del acceso a Fable 5 tuvieron un efecto apenas perceptible en la productividad de los desarrolladores: el acceso al modelo más nuevo se asoció con un aumento de solo 1,4 puntos porcentuales en la proporción de solicitudes de incorporación de cambios fusionadas en un plazo de siete días, una diferencia que se consideró «no estadísticamente significativa»:

Comparación del uso de Fable 5 y las tasas de fusión de solicitudes de incorporación de cambios antes, durante y después de la prohibición. Izquierda: porcentaje de solicitudes de incorporación de cambios creadas con Fable 5. Derecha: cambios en la tasa de fusión a siete días con respecto al período del 22 al 28 de junio; los puntos muestran las estimaciones y las líneas horizontales indican intervalos de confianza del 95 %. Las filas sombreadas señalan los períodos en que Fable 5 estuvo disponible. Pese a los grandes cambios en el uso del modelo, apenas se observaron variaciones en las tasas de fusión.

Comparación del uso de Fable 5 y las tasas de fusión de solicitudes de incorporación de cambios antes, durante y después de la prohibición. Izquierda: porcentaje de solicitudes de incorporación de cambios creadas con Fable 5. Derecha: cambios en la tasa de fusión a siete días con respecto al período del 22 al 28 de junio; los puntos muestran las estimaciones y las líneas horizontales indican intervalos de confianza del 95 %. Las filas sombreadas señalan los períodos en que Fable 5 estuvo disponible. Pese a los grandes cambios en el uso del modelo, apenas se observaron variaciones en las tasas de fusión.

Además, en cinco actualizaciones de modelos Claude, que incluyeron a 1.208 desarrolladores y más de 15.000 envíos de código, no se observó ninguna mejora en la proporción de código aceptado en proyectos de GitHub. De hecho, la tasa descendió ligeramente: se estima que 0,9 puntos porcentuales.

También se observó que los desarrolladores que utilizaban modelos más recientes completaban apenas un 2,4 % más de envíos aceptados por semana, una diferencia demasiado pequeña como para establecer una mejora fiable. Incluso cuando las puntuaciones de las pruebas de referencia habían aumentado entre 5 y 18 puntos, no se observaron mejoras significativas en la productividad.

También se observó que los modelos más recientes no rendían mejor en las comprobaciones automatizadas de código de GitHub, ya que las tasas de fallos se mantuvieron prácticamente sin cambios.

El artículo concluye:

«Nuestra hipótesis es que la principal razón por la que las mejoras de Fable 5 en las pruebas de referencia no se tradujeron en una mayor productividad en el trabajo real es que las tareas que los desarrolladores asignan a los agentes ya están dentro de las capacidades del modelo anterior».

Y continúa:

«Nuestros hallazgos aportan evidencia obtenida en el trabajo real a las advertencias de estudios anteriores: una puntuación en una prueba de referencia significa poco para quienes eligen un modelo, si no hay pruebas de que mida el trabajo para el que se utiliza [describe].

«Si los organismos reguladores y los compradores evalúan cuánto más potente es un modelo basándose en su puntuación en una prueba de referencia [score], es probable que la diferencia en la que confían no se refleje en la productividad de los usuarios».

Conclusión

Las métricas interanuales coherentes llevan mucho tiempo siendo un requisito previo para el aspecto empresarial de los sistemas industriales, pero resulta especialmente difícil reproducirlas en condiciones reales y con precisión en el campo de la IA. Parte de la razón es la rapidez con que los «datos de prueba» que definen una prueba de referencia pasan a formar parte de los datos de entrenamiento del siguiente modelo y dejan de ser útiles para las pruebas. Esto, por sí solo, prácticamente invalida el modelo de evaluación comparativa empresarial y las pruebas científicas coherentes, en las que los investigadores dependen de cuestionar métricas establecidas anteriormente que quizá ya carezcan de sentido.

De hecho, durante los últimos diez años ha sido sorprendente observar cuántos artículos de investigación sobre visión artificial siguen adhiriéndose a estándares obsoletos desde hace mucho tiempo, como ImageNet, simplemente porque su origen se remonta a tiempos muy lejanos.

Los resultados de este artículo presentan a los desarrolladores bajo una luz bastante favorable, como defensores adaptables y flexibles de cualquier sistema disponible y operativo; el hecho de que trabajen prácticamente a la misma velocidad con la IA más reciente o con la anterior indica que optimizan en función de los plazos y las fechas límite, independientemente de las herramientas que tengan a su disposición.

 

* Como señaló un comentarista reciente de Hacker News, probablemente esto ya no sea cierto, porque los datos de «Pelican on Bicycle» ahora forman parte de los datos de entrenamiento y, por tanto, la prueba está comprometida.

† Titulado «Los modelos de programación con puntuaciones más altas no hicieron más trabajo».

††El estudio plantea otras dos preguntas, pero no considero que sean especialmente pertinentes para el tema ni que tengan una importancia comparable a la pregunta principal, y no las he tratado aquí. Consulte el PDF original para obtener más detalles.

Publicado por primera vez el miércoles 18 de noviembre de 2026

Redactor de aprendizaje automático, especialista en síntesis de imágenes humanas. Anterior jefe de contenido de investigación en Metaphysic.ai, hasta su disolución en Brahma.ai de DNEG.
Sitio web: martinanderson.ai
Contacto: martin@martinanderson.ai