METR estima que el crecimiento de las capacidades de los modelos de Anthropic casi se ha duplicado

El 5 de noviembre de 2026, METR publicó una evaluación independiente en la que concluyó que probablemente Anthropic está mejorando las capacidades de sus modelos en tareas bien definidas a un ritmo aproximadamente doble que antes, y que es probable que el uso de la IA explique la mayor parte de la aceleración actual. Las conclusiones están sujetas a una incertidumbre considerable, y las omisiones impiden ver buena parte de las pruebas que las respaldan.

Las pruebas de referencia muestran una tendencia más pronunciada

A partir de AECI, el índice de capacidades de Anthropic basado en pruebas de referencia, METR estimó que las puntuaciones de estas pruebas han crecido 1,9 veces más rápido desde octubre de 2025, con un intervalo de confianza del 95 % de entre 1,5 y 2,8 veces. Ese ritmo equivale aproximadamente a dos años de progreso al ritmo anterior en un solo año. La evaluación general compara octubre de 2026 con el ritmo observado entre marzo de 2024 y octubre de 2025.

El cálculo incluye modelos de uso exclusivamente interno y fecha cada versión según el momento en que la mayoría de los empleados de Anthropic pudo utilizarla, lo que permite establecer una base común para comparar sistemas publicados y no publicados. Las comprobaciones de robustez de METR arrojaron estimaciones de aceleración de entre 1,1 y 2,9 veces al aplicar distintos métodos de modelización, lo que demuestra que los resultados dependen de cómo se representen la dificultad de las pruebas de referencia y otros supuestos analíticos.

Pruebas del papel de la IA en la aceleración

Las pruebas convencieron a METR de que el aumento más rápido de la capacidad de cómputo para entrenamiento no causó la aceleración, aunque se ocultaron los detalles que respaldan esta conclusión. Es probable que factores ajenos a la IA desempeñaran un papel importante a finales de 2025, pero la mejor hipótesis actual es que no explican la aceleración sostenida.

Los indicios aportados por el personal apuntaban en la misma dirección, aunque eran dispares. Las entrevistas con investigadores variaron mucho en torno a una aceleración aproximada de dos veces. En octubre de 2026, las encuestas informales situaron en unas 12 veces la mejora media que el personal atribuía a sí mismo al usar el modelo interno más capaz. METR advirtió que responder exigía poco esfuerzo, que quizá las respuestas no fueran representativas del conjunto del personal y que las mejoras de productividad individuales no equivalen directamente a un aumento de las capacidades de toda la organización.

El efecto actual se debe principalmente a que la IA ayuda a los investigadores. La IA todavía no puede realizar de forma totalmente autónoma contribuciones de gran importancia a las tareas de entrenamiento más relevantes, aunque los investigadores describieron indicios de que esas contribuciones podrían surgir pronto, con distintos grados de madurez según el área.

Persisten las dudas sobre los cuellos de botella y la medición

No surgieron pruebas convincentes de que el progreso algorítmico, la capacidad de cómputo para entrenamiento, la capacidad de cómputo para experimentos o los datos fueran a imponer cuellos de botella importantes en un horizonte de 12 meses. Los revisores cambiaron varias veces de interpretación a medida que recibían información nueva, por lo que no tenían plena confianza en esa evaluación. Aun así, METR consideró que la falta de restricciones claras o de rendimientos decrecientes pronunciados plantea un riesgo considerable de que las nuevas mejoras de capacidad se acumulen y provoquen una aceleración todavía mayor; se trata de una valoración de riesgo futuro, no de un resultado observado.

AECI se centra en tareas bien definidas y fáciles de evaluar, por lo que un mayor avance en las pruebas de referencia podría no traducirse en efectos equivalentes en el mundo real. METR señaló que el sobreajuste, los factores ajenos a la IA o una referencia histórica excepcionalmente baja podrían llevar a sobreestimar el resultado, mientras que no detectar una aceleración reciente, la eliminación de los cuellos de botella humanos más rápida de lo previsto o unas puntuaciones en las pruebas de referencia que subestimen el impacto en el mundo real podrían llevar a infraestimarlo. Las puntuaciones del Modelo 4, superiores al 50 % en las 15 pruebas de referencia utilizadas para evaluarlo, suscitaron además la preocupación independiente de que la saturación pudiera dificultar las mediciones futuras.

Acceso amplio, pero pocas pruebas públicas

METR dedicó a la evaluación, que duró once semanas, 2,5 equivalentes a tiempo completo; el trabajo se extendió del 12 de agosto de 2026 al 29 de octubre de 2026. El equipo revisó resultados de pruebas de referencia internas, métricas de preentrenamiento y aprendizaje por refuerzo, mediciones de capacidad de cómputo para entrenamiento, análisis de la aceleración propiciada por la IA y documentos internos, y realizó unas 15 entrevistas con personal clave. El equipo no tuvo un acceso equiparable al de los empleados ni pudo probar modelos no públicos.

Anthropic podía aprobar o rechazar solicitudes de información y censurar unilateralmente el material no público. Las omisiones de Anthropic dejaron fuera del informe público la mayoría de las pruebas que METR consideró más informativas, incluidos los análisis detallados de la atribución a la IA, las estimaciones del progreso algorítmico, los análisis específicos de los cuellos de botella y las previsiones sobre futuros modelos. Anthropic explicó que las omisiones protegían información confidencial que podría acelerar el trabajo de otros desarrolladores de IA. METR conservó la potestad de decidir la metodología y las conclusiones y no aceptó ningún pago, aunque trabajó con dispositivos de Anthropic y utilizó tokens gratuitos.

La evaluación ofrece un análisis externo exhaustivo de la aceleración de la investigación impulsada por la IA, pero no aporta transparencia sobre las pruebas subyacentes. Los resultados públicos de las pruebas de referencia y los testimonios del personal respaldan la conclusión de que el progreso se ha acelerado, pero las omisiones impiden que los lectores evalúen por su cuenta buena parte de los fundamentos de las conclusiones de METR sobre la atribución y los cuellos de botella. Por tanto, estos hallazgos centrales dependen en gran medida de la síntesis que hizo el evaluador de pruebas que los lectores no pueden examinar por completo.