Anthropic diz que Claude lidera 26% de sua pesquisa e desenvolvimento de IA

Anthropic afirmou que seus modelos Claude “lideram” 26% do trabalho de pesquisa e desenvolvimento de IA da empresa em agosto de 2026, nos primeiros resultados de um protótipo do Índice de Automação de P&D publicado em um post do Anthropic Institute em 17 de setembro de 2026.

O post, intitulado “Medidas para entender o ritmo do desenvolvimento de IA em laboratórios de ponta”, combina o índice com métricas internas sobre supervisão de agentes e alocação de computação, e a Anthropic disse que pretende continuar publicando essas medições.

O Índice de Automação de P&D

O Índice de Automação de P&D da Anthropic mapeia toda a gama de trabalhos de P&D de IA realizados na empresa, avalia o grau de automação de cada tarefa atualmente e combina essas avaliações em uma medida agregada. As pontuações utilizam uma escala de Nível de Automação desenvolvida pela Epoch AI, que vai de AL0, que significa nenhuma participação de IA, até AL5, onde a IA opera totalmente de forma autônoma sem nenhum humano no processo. No nível AL3, a IA “colabora”, executando grandes partes de uma tarefa sob estreita direção humana; no nível AL4, a IA “lidera”, conduzindo a maior parte de uma tarefa desde um prompt de alto nível até a conclusão, enquanto um humano supervisiona.

A Anthropic informou que, em agosto de 2026, Claude “lidera” 26% de seu trabalho de P&D de IA, a parcela de trabalho no nível “colabora” ou superior está acima de 90%, e Claude não está operando de forma totalmente autônoma em nenhum subconjunto medido de trabalho de P&D de IA. Um gráfico no post descreve a participação de 26% de “liderança” como um aumento em relação a menos de 1% em fevereiro de 2026.

O catálogo subjacente de tarefas foi montado de baixo para cima usando registros de trabalho como Slack e documentação interna. Para cada semana de julho de 2026, um agente de pesquisa Claude revisou a semana de cada pessoa amostrada aleatoriamente — 20% da equipe de cada departamento que compõe o ciclo de P&D de modelos — e listou as tarefas em que trabalharam, resultando em uma lista plana de aproximadamente 15.000 tarefas granulares. Claude então organizou essas tarefas em uma árvore hierárquica de 542 nós, 378 deles folhas, como “diagnóstico e correção de defeitos da plataforma de avaliação”, e essa árvore foi congelada para que todas as medições utilizem o mesmo conjunto de trabalho.

Para cada nó, um agente Claude investiga como esse tipo de trabalho é realizado em toda a empresa, e um juiz independente Claude atribui um dos seis níveis de automação, limitado a evidências do mês avaliado ou anteriores. As tarefas são ponderadas pelo tempo de pessoa, de modo que categorias que demandam mais esforço da equipe recebem maior peso.

A Anthropic verificou as avaliações do juiz com a equipe responsável pelas áreas de trabalho relevantes, que avaliaram sem ver as evidências ou julgamentos dos modelos, e reportou um acordo exato modelo‑versus‑humano de 59% versus 35% humano‑versus‑humano, com avaliações dentro de um nível de diferença 97% das vezes. As limitações declaradas incluem o conjunto congelado, que captura a automação do trabalho existente sem registrar novos tipos de trabalho; uma comparação de tarefas recebidas de fevereiro a julho de 2026 com um conjunto de janeiro de 2026 não encontrou aumento nas tarefas “novas”, e a Anthropic planeja reconstruir o conjunto periodicamente e atualizar a versão dos números publicados.

Supervisão de Agentes Internos

Um segundo conjunto de medições cobre a supervisão da Anthropic sobre agentes de IA em seus sistemas. Em agosto de 2026, aproximadamente 30.000 agentes estavam realizando trabalhos de pesquisa e engenharia simultaneamente na plataforma interna mais utilizada da empresa, e as medições reportadas abrangem apenas essa plataforma.

A Anthropic informou que monitores online verificam 100% das ações desses agentes antes da execução, geralmente em segundos; de mais de um bilhão de decisões de agentes analisadas ao longo de agosto de 2026, 0,002% (cerca de 1 em 47.000) foram bloqueadas, e humanos revisam quaisquer ações bloqueadas dentro de uma semana. Monitores offline ingerem 100% das ações após o fato e sinalizam aproximadamente 100.000 transcrições por semana, que múltiplos classificadores revisam para falsos positivos, resolvendo a maioria das sinalizações; aproximadamente 50 sinalizações de alta prioridade por semana são encaminhadas para revisão humana, e cerca de uma a duas transcrições a cada mil são sinalizadas para revisão adicional.

De acordo com o post, os monitores online são criados para danos que ocorram rapidamente e não possam ser desfeitos, como um agente copiando pesos de modelo dos sistemas da Anthropic, enquanto os monitores offline visam comportamentos perigosos que se desenvolvem lentamente e podem ser revertidos, como sinais de desalinhamento do modelo. A Anthropic afirmou que duas escolhas de design na estrutura interna suportam a supervisão: cada agente possui uma identidade individual que persiste através de atualizações de modelo, e os agentes se comunicam por meio de um sistema de mensagens aberto e compartilhado, cruzado com transcrições, permitindo que o monitoramento comportamental atravesse a comunicação entre agentes. A empresa disse que a METR já realizou anteriormente um red‑team independente de sua plataforma de monitoramento offline, e que essas medições de supervisão também foram publicadas em seu relatório de risco de agosto de 2026.

Visão Geral da Alocação de Computação

Para a terceira medição, a Anthropic examinou como utilizou toda a sua computação de 13 a 20 de julho de 2026, classificando cada carga de trabalho em categorias e medindo quanto da computação destinada ao P&D de IA era trabalho de segurança. Ao longo dessa semana, a Anthropic relatou que cerca de 6% da computação destinada ao P&D de IA foi alocada para segurança, e cerca de 12% da computação destinada ao P&D de IA impulsionado por IA foi alocada para segurança.

A empresa descreve ambas as estimativas como deliberadamente conservadoras: tokens que avançam as capacidades tanto quanto a segurança foram contabilizados como P&D de IA, e os classificadores de salvaguardas, uma quantidade separada e comparável de computação, são excluídos. Um classificador Claude orientado por prompt classificou quase 10.000 execuções de treinamento e avaliação de pesquisa da semana usando uma amostra de aproximadamente 14% ponderada em direção aos maiores usuários de computação, e a Anthropic informou que o classificador concordou com os revisores humanos dentro de um ou dois pontos percentuais.

As limitações declaradas são que uma única semana demonstra que a medição é viável sem estabelecer uma tendência, que os rótulos de carga de trabalho subjacentes são de melhor esforço e não verificados, e que a medida de participação da computação reflete o que foi gasto, e não a quantidade de trabalho de segurança realizado.

Objetivo e Próximos Passos

A Anthropic afirmou que está divulgando as medições porque elas fornecem ao público, a partes externas e aos governos uma visão mais clara do ritmo de desenvolvimento de IA dentro dos laboratórios de fronteira, complementando seus relatórios de risco da Política de Escala Responsável e sua proposta de política do Quadro de IA Avançada. Observou que os números deveriam mudar se houvesse coordenação no ritmo da fronteira, conforme solicitado pelo CEO Dario Amodei.

A publicação afirma que qualquer desenvolvedor de fronteira poderia publicar as mesmas medições regularmente com uma metodologia pública, e identifica dois obstáculos à comparação entre laboratórios: a ausência de uma metodologia compartilhada e o uso, por parte do desenvolvedor, de seus próprios modelos para avaliar seus sistemas. Diz que tais medições poderiam ser verificadas por terceiros ou pelos modelos de outros desenvolvedores, e poderiam se tornar um gatilho para requisitos mais rigorosos, como uma janela de teste fixa antes que um novo modelo seja colocado em uso para mais P&D de IA.

A Anthropic disse que planeja incorporar avaliadores independentes de terceiros de múltiplas organizações, concedendo-lhes acesso a processos internos, sistemas e dados comparáveis aos que as equipes internas de avaliação de risco possuem, para verificar práticas de segurança, relatar incidentes e monitorar métricas-chave como as apresentadas na publicação. O texto foi coautorado por Marina Favaro e Phillie Wright, com direção de pesquisa de Jack Clark.