METR estima que o crescimento da capacidade dos modelos da Anthropic quase dobrou

Em 5 de novembro de 2026, a METR publicou uma avaliação independente, concluindo que, provavelmente, a Anthropic está aprimorando as capacidades dos modelos em tarefas bem definidas a um ritmo cerca de duas vezes superior ao anterior e que, provavelmente, o uso de IA explica a maior parte da aceleração atual. As conclusões envolvem considerável incerteza, e os trechos ocultados impedem o acesso a boa parte das evidências que as sustentam.

Evidências de benchmarks apontam uma tendência mais acentuada

Com base no AECI, o índice de capacidade em benchmarks da Anthropic, a METR estimou que as pontuações nos benchmarks cresceram 1,9 vez mais rápido desde outubro de 2025, com um intervalo de confiança de 95% entre 1,5 e 2,8 vezes. Esse ritmo equivale a aproximadamente dois anos de progresso, no ritmo anterior, em um único ano. A avaliação mais ampla compara outubro de 2026 com o ritmo observado entre março de 2024 e outubro de 2025.

O cálculo inclui modelos de uso exclusivamente interno e data cada versão de acordo com o momento em que a maioria dos funcionários da Anthropic pôde usá-la, estabelecendo uma base comum para sistemas lançados e não lançados. Nas verificações de robustez da METR, as estimativas de aceleração variaram de 1,1 a 2,9 vezes conforme as escolhas alternativas de modelagem, o que demonstra a sensibilidade dos resultados à forma como são representadas a dificuldade dos benchmarks e outras premissas analíticas.

Evidências sobre o papel da IA na aceleração

As evidências convenceram a METR de que o crescimento mais rápido do poder computacional usado no treinamento não causou a aceleração, embora os detalhes que sustentam essa conclusão tenham sido ocultados. Fatores não relacionados à IA provavelmente tiveram um papel importante no fim de 2025, mas a melhor estimativa atual é que eles não explicam a aceleração contínua.

As evidências obtidas junto aos funcionários apontaram na mesma direção, mas foram heterogêneas. As entrevistas com pesquisadores apresentaram grande variação em torno de uma aceleração de aproximadamente duas vezes. Enquetes informais indicaram que, em outubro de 2026, o aumento médio de produtividade autorrelatado com o modelo interno mais capaz era de cerca de 12 vezes; a METR alertou que responder às enquetes exigia pouco esforço, que as respostas talvez não fossem representativas do conjunto dos funcionários e que ganhos individuais de produtividade não equivalem diretamente ao crescimento da capacidade da organização como um todo.

Atualmente, o efeito decorre principalmente da assistência da IA aos pesquisadores. A IA ainda não consegue fazer contribuições altamente significativas e totalmente autônomas para o trabalho de treinamento mais importante, embora pesquisadores tenham descrito indícios de que essas contribuições podem surgir em breve, com diferentes níveis de maturidade entre as áreas.

Gargalos e medições continuam incertos

Não surgiram evidências convincentes de que o progresso algorítmico, o poder computacional de treinamento, o poder computacional para experimentos ou os dados imporiam gargalos significativos em um horizonte de 12 meses. A interpretação dos revisores mudou várias vezes à medida que novas informações surgiram, deixando-os sem confiança nessa avaliação. Ainda assim, a METR considerou que a ausência de restrições claras ou de retornos decrescentes acentuados cria um risco significativo de que novos ganhos de capacidade se acumulem e levem a uma aceleração ainda maior; trata-se de uma avaliação de risco voltada para o futuro, não de um resultado observado.

O AECI prioriza tarefas bem definidas e fáceis de avaliar, portanto, ganhos mais rápidos nos benchmarks podem não se traduzir em efeitos equivalentes no mundo real. A METR afirmou que o sobreajuste, fatores não relacionados à IA ou uma referência histórica excepcionalmente fraca poderiam levar a uma estimativa alta demais; por outro lado, uma aceleração recente não detectada, a eliminação dos gargalos humanos mais rápida do que o esperado ou pontuações nos benchmarks que subestimem o impacto no mundo real poderiam levar a uma estimativa baixa demais. As pontuações do Model 4, superiores a 50% em todos os 15 benchmarks usados para avaliá-lo, suscitaram ainda outra preocupação: a saturação poderia dificultar medições futuras.

Acesso amplo, mas evidências públicas limitadas

A METR dedicou à avaliação, realizada ao longo de onze semanas, o equivalente a 2,5 profissionais em tempo integral, entre 12 de agosto de 2026 e 29 de outubro de 2026. A equipe analisou resultados de benchmarks internos, métricas de pré-treinamento e de aprendizado por reforço, medições do poder computacional de treinamento, análises da aceleração proporcionada pela IA e documentos internos, além de realizar cerca de 15 entrevistas com funcionários-chave. A equipe não recebeu acesso direto, semelhante ao de um funcionário, nem avaliou modelos não públicos.

A Anthropic podia aprovar ou rejeitar pedidos de informação e ocultar unilateralmente material não público. Os trechos ocultados retiraram do relatório público a maior parte das evidências que a METR considerou mais informativas, incluindo análises detalhadas da contribuição da IA, estimativas do progresso algorítmico, análises específicas de gargalos e previsões para modelos futuros. A Anthropic descreveu as omissões como uma forma de proteger informações confidenciais que poderiam acelerar o trabalho de outros desenvolvedores de IA. A METR manteve autonomia sobre a metodologia e as conclusões e não recebeu pagamento, embora tenha trabalhado em dispositivos da Anthropic e usado tokens gratuitos.

A avaliação oferece um exame externo abrangente da aceleração da pesquisa impulsionada pela IA, mas não chega a revelar as evidências subjacentes. Os resultados públicos dos benchmarks e os relatos dos funcionários sustentam a conclusão de que o progresso está mais rápido, mas os trechos ocultados impedem que os leitores avaliem por conta própria boa parte dos fundamentos das conclusões da METR sobre a atribuição à IA e os gargalos. Assim, essas conclusões centrais dependem fortemente da síntese feita pelos avaliadores com base em evidências que os leitores não podem examinar por completo.