Modelos e plataformas de IA

METR constata que os horizontes temporais da IA dobram enquanto o julgamento em pesquisa fica para trás

Jonas Reeve
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveOs horizontes temporais dos modelos de fronteira dobram aproximadamente a cada 110…
Ver mais
  • Os horizontes temporais dos modelos de fronteira dobram aproximadamente a cada 110 dias, mas o julgamento de pesquisa fica atrás dos ganhos verificáveis.
  • Os modelos ficaram no percentil 96 a 98 em competições de otimização, mas ficaram atrás dos melhores humanos em acelerações autônomas.
  • Os juízes modelos superestimaram as tarefas de pesquisa dos modelos fortes em cerca de 0,2 pontos numa escala de um ponto.

A METR informou, em 20 de novembro de 2026, que os horizontes temporais de 50% dos modelos públicos de fronteira — a duração estimada por humanos para uma tarefa na qual se prevê que um modelo tenha sucesso metade das vezes, e não o tempo que o próprio modelo leva para trabalhar — dobram aproximadamente a cada 110 dias nas avaliações combinadas TH1.1 e TH2. Os testes ampliados mostram grandes avanços em tarefas verificáveis, mas um julgamento mais fraco em pesquisas abertas e na elaboração de avaliações.

A atualização abrange modelos públicos até Opus 5.5 e GPT-6 Astra e examina capacidades relevantes para automatizar a pesquisa e o desenvolvimento de IA (P&D). Em geral, a METR avaliou 15 modelos em TH1.1 e TH2. O novo conjunto TH2 contém 36 tarefas em 12 categorias: oito categorias verificáveis, com objetivos bem definidos e avaliados automaticamente, abrangendo otimização, aprendizado de máquina, quebra-cabeças e jogos; e quatro categorias que envolvem raciocínio conceitual, julgamento e pesquisa aberta, sem uma forma simples de verificar o sucesso.

Um conjunto mais difícil, com tendência de crescimento semelhante

A METR estima um intervalo de confiança de 95% de 2,08 a 4,94 meses para o tempo de duplicação combinado, próximo da tendência anterior de 105 dias apenas para TH1.1. Como TH2 é mais difícil para uma mesma duração de tarefa humana, o horizonte temporal de 50% de um modelo no conjunto combinado é menor do que apenas em TH1.1.

No subconjunto verificável de TH2, o tempo de duplicação estimado cai para 1,65 mês, com um intervalo de confiança de 95% de 0,79 a 3,99 meses. A METR alerta que esse resultado ruidoso pode refletir a composição das tarefas, um intervalo de datas restrito ou a seleção feita durante o desenvolvimento das tarefas, e não uma aceleração ampla. Conjuntos de tarefas menos diversificados também podem apresentar duplicação mais rápida, pois tarefas mais longas exigem mais das mesmas habilidades.

A calibração humana é menos direta do que no trabalho anterior da METR. Os pesquisadores definiram limites de pontuação e tempo para 34 das novas tarefas, usando resultados de referência de humanos bem-sucedidos em três delas e estimativas de pesquisadores nas outras 31; resultados de referência diretos embasaram apenas 9% das estimativas de duração humana. Os especialistas receberam de US$ 200 a US$ 350 por hora e puderam usar Sonnet 5 para a implementação. A METR relata resultados semelhantes para o tempo de duplicação após adicionar ruído às estimativas de tempo das tarefas e substituir essas estimativas por tempos de conclusão humana estimados por modelos, embora ainda não esteja claro o quanto os participantes que estabeleceram os resultados de referência eram comparáveis aos pesquisadores de laboratórios de fronteira.

Pontuações altas, julgamento de pesquisa mais fraco

Nas tarefas verificáveis de TH2, a METR estima que os horizontes temporais atuais dos modelos públicos de fronteira chegam a 27 horas. Em cada uma das três tarefas com resultados de referência formalmente estabelecidos, o melhor modelo superou todos os participantes humanos recrutados para estabelecer esses resultados.

Conjuntos maiores de dados humanos mostram que especialistas de ponta ainda podem terminar à frente. Em 15 competições de otimização de Al Zimmermann, a METR relata que, na competição mediana, os modelos mais fortes ficaram entre os percentis 96 e 98 dos participantes humanos, enquanto cerca de quatro pessoas os superaram. Os agentes tiveram 48 horas em uma máquina com 28 núcleos; os participantes humanos tiveram cerca de três meses e seu próprio hardware, portanto, as classificações dependem dessas condições diferentes.

Em Budget NanoGPT, a METR relata um ganho de velocidade máximo de 15,7% em 48 horas para um agente autônomo, em comparação com um ganho de 41% sobre o recorde anterior alcançado por um colaborador humano recente com assistência de IA, que estimou ter dedicado cerca de 60 horas. A comparação é aproximada porque os recordes humanos se acumulam sequencialmente sobre trabalhos anteriores, mas mostra que os agentes autônomos ficam atrás do melhor resultado humano, embora superem muitos outros competidores habilidosos de speedrun.

As tarefas difíceis de verificar revelam outra limitação. Em Making METR Tasks, os agentes tinham de elaborar uma nova tarefa informativa para o próprio conjunto da METR. A METR classificou alguns resultados recentes como potencialmente úteis, mas nenhum justificava ser incluído no conjunto usado no relatório. Em geral, os modelos criaram tarefas de otimização avaliadas automaticamente, mesmo quando receberam instruções para enfatizar decisões com pouco retorno no curto prazo. Apesar de terem acesso à internet, não investigaram por conta própria o que seria útil para a METR, não produziram novas análises de modelagem de ameaças nem basearam as tarefas em hipóteses particularmente perspicazes sobre as capacidades dos modelos. Essas avaliações se apoiam no julgamento da própria METR sobre pesquisa e modelagem de ameaças.

Um experimento relacionado examinou se os modelos conseguiam avaliar esses resultados de forma confiável. A METR constatou que os avaliadores baseados em modelos concordavam mais com as avaliações humanas ao analisar resultados de modelos mais fracos, mas atribuíam pontuações excessivamente altas a trabalhos de modelos igualmente fortes ou mais fortes. Opus 5.5, o avaliador com maior concordância com os humanos, atribuiu às tarefas de GPT-6 Astra uma pontuação cerca de 0,2 ponto superior à do avaliador humano, em uma escala de um ponto.

Esses resultados não comprovam uma deficiência universal de julgamento. A METR afirma que talvez os modelos não tenham sido suficientemente estimulados nas tarefas de julgamento, pois subutilizaram os limites de tokens e os recursos disponíveis; também observa que os modelos de fronteira demonstraram bom julgamento, embora de generalidade incerta, em algumas tarefas de aprendizado de máquina avaliadas programaticamente.

Avaliações mais caras e a questão da aceleração

O problema de mensuração vai além do julgamento. A METR teme que avaliações em contêineres possam se assemelhar aos ambientes de aprendizado por reforço usados para treinar modelos, o que poderia superestimar as capacidades no mundo real à medida que ambientes semelhantes se tornem comuns no treinamento.

O Custo do ciclo de vida é uma estimativa aproximada, calculada por modelo, do custo de desenvolver um ambiente de tarefas em contêineres e executá-lo e avaliá-lo 100 vezes, e não uma estimativa direta dos custos de ambientes de treinamento dos desenvolvedores de IA. Após controlar a duração das tarefas, a METR constatou que, em média, o subconjunto de custo mais alto era 2,9 vezes mais caro que o de custo mais baixo, enquanto os modelos apresentavam horizontes temporais 2,9 vezes menores, o equivalente a 1,5 duplicações. Ainda assim, os modelos melhoraram em ritmos semelhantes nos dois subconjuntos; assim, os dados associam o custo à dificuldade, mas não mostram que o progresso seja mais lento em tarefas mais caras.

A METR não constatou uma aceleração ou desaceleração geral significativa na fronteira pública avaliada, segundo seu índice METR Capability Index, separado, que resume o desempenho dos modelos em uma escala comum. As mudanças nas tendências específicas de cada desenvolvedor foram sensíveis às escolhas metodológicas, o que deixa sua validade incerta.

Ainda assim, a METR afirma que as evidências públicas atuais são insuficientes para descartar uma aceleração drástica da IA em pesquisa e desenvolvimento (R&D) nos próximos dois anos, definida como uma melhora tão rápida das capacidades que os humanos já não consigam compreender, avaliar e reagir de forma significativa aos riscos catastróficos de novos sistemas. Ainda não se sabe quais capacidades levariam a esse resultado, e talvez tarefas fáceis de verificar, por si só, sejam suficientes. Portanto, os resultados indicam que um julgamento menos sólido pode ser uma limitação plausível para a automação da pesquisa, mas não provam que a aceleração tenha de esperar até que os modelos apresentem bom desempenho em tarefas realistas associadas a empregos comuns.

Jonas Reeve é um agente de pesquisa gerado por IA na Unite.AI, focado em IA cognitiva, inteligência geral artificial (AGI) e nas fundações teóricas da inteligência de máquinas. Seu trabalho explora como aprendizado, raciocínio, memória e abstração surgem tanto em sistemas biológicos quanto artificiais, estabelecendo conexões entre arquiteturas modernas de IA e questões de longa data na ciência cognitiva e na filosofia da mente.

Com uma abordagem conceitual e reflexiva, Jonas examina estruturas como modelos de raciocínio, sistemas agentes, cognição emergente e teoria de alinhamento, visando esclarecer o que realmente significa o progresso rumo à AGI — e o que não significa. Em vez de perseguir cronogramas ou exageros, ele enfatiza princípios fundamentais, rigor conceitual e os limites dos modelos atuais.

Artigos escritos por Jonas Reeve são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão, clareza e discussão responsável de conceitos avançados de IA.