Ângulo de Anderson
Reduzir a versão do Claude Fable quase não afetou a produtividade dos desenvolvedores durante a proibição

Pontos-chaveO acesso ao Claude Fable 5, de pontuação mais alta, elevou a taxa de merge em apenas…
Ver mais
- O acesso ao Claude Fable 5, de pontuação mais alta, elevou a taxa de merge em apenas 1,4 pontos percentuais.
- Cinco atualizações do Claude não produziram ganho significativo em pull requests mesclados ou em alterações semanais concluídas.
- As pontuações de benchmark significam pouco quando as tarefas atribuídas pelos desenvolvedores já estão dentro das capacidades dos modelos mais antigos.
É muito difícil avaliar com precisão se os novos modelos de IA melhoraram ou não seu desempenho em relação aos antecessores — ou até mesmo definir necessariamente o que constitui um aumento de produtividade —, já que os novos lançamentos podem apresentar melhorias em uma área, mas desempenho inferior em outra, como acontece também com softwares e estruturas convencionais. Às vezes, essas são escolhas deliberadas, feitas por pessoas; outras vezes, são «danos colaterais».
Isso partindo do pressuposto de que há «jogo limpo». Há muitos casos em que desenvolvedores manipularam softwares para que tivessem melhor desempenho em testes de referência, às vezes fazendo com que eles reconhecessem quando estavam sendo testados e alterassem temporariamente seu funcionamento para obter uma pontuação melhor. Os modelos de IA também podem reconhecer quando estão sendo avaliados e se comportar de maneira diferente, mesmo sem terem sido projetados deliberadamente para isso.
Em busca de métricas mais significativas e honestas, os desenvolvedores costumam estabelecer seus próprios parâmetros informais, como o desafio do pelicano andando de bicicleta, uma avaliação qualitativa de Simon Wilson na qual modelos de visão-linguagem (VLMs) precisam criar algo que não consta nos dados de treinamento* e, muitas vezes, têm um desempenho ruim — embora as coisas tenham melhorado um pouco ao longo de 2026:

A métrica de Simon Wilson pede a um VLM que imagine um pelicano andando de bicicleta. Ultimamente, a IA tem se saído muito melhor nisso do que há cerca de 18 meses, quando os resultados eram hilários. Mas alguns sugerem que isso talvez se deva ao fato de o desafio estar agora incorporado aos dados de treinamento. Fonte
No entanto, um teste de referência só pode medir as habilidades específicas para as quais foi concebido e, mesmo quando os resultados são confiáveis, não fica claro até que ponto essas habilidades são relevantes no uso cotidiano, nem se uma pontuação mais alta resultará na conclusão de mais trabalho.
No caso dos modelos de programação, isso pode ser investigado observando o que acontece com a produção dos desenvolvedores quando eles trocam um modelo por outro.
Fazendo [the Same] com menos
Em junho deste ano, a proibição de 19 dias imposta pela Casa Branca ao uso do Claude Fable proporcionou aos pesquisadores um ambiente de teste excepcionalmente claro: desenvolvedores que enviavam solicitações de integração (PRs) ao GitHub passaram a usar versões menos potentes do Claude. Como todas as versões do Claude assinam em conjunto as PRs e essas informações podem ser pesquisadas pela API do GitHub, os dados estão disponíveis gratuitamente.
Essa oportunidade foi aproveitada em um novo estudo da Universidade Harvard, que acompanhou o trabalho de 297 usuários do Fable 5 antes, durante e depois da proibição e o comparou ao de 8.908 desenvolvedores que continuaram usando o modelo mais antigo Opus 4.8.
Anteriormente, o Fable 5 havia obtido uma pontuação quase 11 pontos mais alta que o Opus 4.8 no teste de referência de programação SWE-Bench Pro. No estudo de Harvard, porém, o acesso ao Fable 5 esteve associado a um aumento de apenas 1,4 ponto percentual na proporção de alterações de código enviadas que foram aceitas em projetos do GitHub em até sete dias — uma diferença que, segundo o artigo, é praticamente um erro de arredondamento. Uma análise mais ampla também não encontrou ganhos significativos de produtividade com a atualização para outros modelos de IA mais recentes:
«Os resultados mostram que ter acesso ao Fable 5 alterou a taxa de integração em apenas 1,4 ponto percentual, e essa mudança não foi estatisticamente [significant]. Também analisamos cinco das oito atualizações de modelo realizadas em 2026 e constatamos que a taxa de integração não aumentou após essas atualizações [either].
«Da mesma forma, os desenvolvedores não conseguiram integrar mais solicitações por semana. Esses resultados mostram que os avanços nos atuais testes de referência de programação não se traduziram de fato em mais trabalho concluído.»
Em cinco atualizações realizadas em 2026, envolvendo 1.208 desenvolvedores e mais de 15.000 alterações de código propostas, não foi constatada nenhuma melhora estatisticamente significativa na taxa de integração do código enviado nem no número de alterações concluídas com sucesso a cada semana.
Embora o artigo reconheça que as integrações no GitHub são uma medida imperfeita de produtividade, a proibição ofereceu uma oportunidade muito rara de avaliar os efeitos da troca de modelos em condições reais de trabalho, no contexto de um setor que desperta enorme interesse global, mas opera com o máximo possível de opacidade corporativa.
Reconhecendo a dificuldade de estabelecer critérios empíricos nesses casos, o novo trabalho† observa:
«As pessoas que usam novos modelos primeiro podem ter mais experiência; por isso, quando comparamos a produtividade entre desenvolvedores, não conseguimos saber se a diferença se deve ao modelo ou às pessoas que o utilizam. Mesmo que observemos as mesmas pessoas, não sabemos se elas atribuem as mesmas tarefas a modelos diferentes.
“Por exemplo, algumas pessoas podem usar o Fable 5 para as tarefas mais difíceis e recorrer a modelos de categoria inferior para as mais fáceis. Se atribuírem as tarefas mais difíceis ao modelo mais potente, este poderá parecer menos produtivo segundo quase qualquer métrica que escolhermos, pois as tarefas mais difíceis demoram mais e têm menor probabilidade de serem incorporadas.”
O artigo também argumenta que estudos anteriores foram distorcidos pelo fato de a maioria das alterações de código vir de um pequeno número de projetos, cada qual com suas próprias regras para aceitar contribuições, e que essas diferenças dificultaram determinar se os ganhos de produtividade foram realmente causados pela adoção de modelos mais recentes.
Metodologia
No experimento principal††, as solicitações de pull request no GitHub de 297 desenvolvedores identificados no estudo como usuários do Fable 5 foram divididas em quatro períodos: antes do lançamento do modelo, em 9 de junho; durante seus três dias de disponibilidade; ao longo da suspensão de 19 dias; e após a restauração do acesso, em 1º de julho.
As taxas de incorporação foram comparadas às de 8.908 desenvolvedores identificados como usuários do modelo mais antigo, Opus 4.8, o que permitiu distinguir as mudanças associadas à suspensão das flutuações mais amplas na atividade do GitHub.
A comparação partiu do pressuposto de que, sem a proibição, os dois grupos teriam apresentado mudanças semelhantes em suas taxas de incorporação. As mudanças nessas taxas foram comparadas entre os dois grupos, levando em conta, na análise estatística, as diferenças entre cada desenvolvedor e as flutuações diárias:

Cronologia das atualizações dos modelos Claude e da suspensão do Fable 5. O painel superior mostra oito atualizações do Opus e do Sonnet, com círculos preenchidos indicando as cinco examinadas no estudo mais amplo. O painel inferior mostra os quatro períodos usados para avaliar como o período de suspensão afetou as taxas de incorporação de PRs, tendo a proibição como período de referência. As linhas roxas mostram quando o Fable 5 esteve disponível ou suspenso; a área cinza indica a proibição; e as áreas hachuradas representam os dias excluídos logo após a suspensão ou a restauração do acesso. Fonte
Quanto aos dados, as PRs públicas do GitHub criadas com o Claude Code foram identificadas por meio da API de busca do GitHub, usando o aviso “Generated with Claude Code” incluído automaticamente em suas descrições. Quando o nome específico do modelo também havia sido copiado do histórico de commits do código para a descrição da PR, foi possível determinar qual versão do Claude havia sido usada.
As PRs enviadas em torno da suspensão do Fable 5 e das atualizações subsequentes do Claude foram coletadas entre novembro de 2025 e outubro de 2026, com pelo menos quatro semanas para que as submissões mais recentes fossem incorporadas.
Os 297 desenvolvedores que usaram o Fable 5 durante seu breve período de disponibilidade foram selecionados para o grupo principal do estudo, enquanto 8.908 desenvolvedores que usaram o Opus 4.8 e não tinham registro de uso do Fable 5 formaram o grupo de controle.
A principal métrica de produtividade foi a proporção de alterações de código enviadas que foram aceitas em projetos do GitHub no prazo de sete dias, o que permitiu comparar a taxa de submissões bem-sucedidas nos períodos anterior, durante e posterior à suspensão. Verificações adicionais abrangeram PRs incorporadas em até uma hora; PRs encerradas sem serem incorporadas; o número de comentários recebidos; alterações revertidas posteriormente; e falhas nas verificações automatizadas do GitHub.
Testes
A perda e a posterior restauração do acesso ao Fable 5 tiveram pouco efeito mensurável sobre a produtividade dos desenvolvedores: o acesso ao modelo mais recente esteve associado a um aumento de apenas 1,4 ponto percentual na proporção de PRs incorporadas em até sete dias, uma diferença considerada “sem significância estatística”:

Comparação entre o uso do Fable 5 e as taxas de incorporação de PRs antes, durante e depois da proibição. À esquerda: a porcentagem de PRs produzidas com o Fable 5. À direita: as variações na taxa de incorporação em sete dias em relação ao período de 22 a 28 de junho, com os pontos indicando as estimativas e as linhas horizontais mostrando os intervalos de confiança de 95%. As linhas sombreadas indicam os períodos em que o Fable 5 esteve disponível. Apesar das grandes mudanças no uso do modelo, observou-se pouca alteração nas taxas de incorporação.
Além disso, em cinco atualizações de modelos Claude, envolvendo 1.208 desenvolvedores e mais de 15.000 submissões de código, não foi observado aumento na proporção de código aceito em projetos do GitHub. Na verdade, a taxa caiu ligeiramente, em uma estimativa de 0,9 ponto percentual.
Também se constatou que os desenvolvedores que usavam modelos mais recentes concluíam apenas 2,4% mais envios aceitos por semana — uma diferença pequena demais para estabelecer uma melhora confiável. Mesmo quando as pontuações em benchmarks haviam aumentado entre 5 e 18 pontos, não foram observados ganhos significativos de produtividade.
Também se constatou que os modelos mais recentes não se saíam melhor nas verificações automatizadas de código do GitHub, com taxas de falha praticamente inalteradas.
O artigo conclui:
‘Nossa hipótese é que o principal motivo para os ganhos do Fable 5 em benchmarks não se traduzirem em produtividade no trabalho real é que as tarefas que os desenvolvedores atribuem aos agentes já estão ao alcance do modelo mais antigo.’
E prossegue:
‘Nossas conclusões acrescentam evidências do trabalho real ao que estudos anteriores já alertavam: uma pontuação em benchmark pouco significa para quem escolhe um modelo, se não houver evidências de que ela mede o trabalho para o qual o modelo é usado[describe].
‘Se órgãos reguladores e compradores avaliarem o quanto um modelo é mais robusto com base em sua pontuação em benchmark[score], a diferença em que se apoiam provavelmente não se refletirá na produtividade dos usuários.’
Conclusão
Métricas consistentes, ano após ano, são há muito um pré-requisito para a dimensão empresarial dos sistemas industriais; mas são particularmente difíceis de reproduzir em condições reais e com precisão no campo da IA. Um dos motivos é a rapidez com que os ‘dados de teste’ que definem um benchmark entram nos dados de treinamento do modelo seguinte e se tornam inúteis para fins de teste. Só isso já praticamente inviabiliza o modelo de avaliação comparativa corporativa e de testes científicos consistentes, nos quais os pesquisadores dependem de superar métricas estabelecidas anteriormente que talvez já não tenham significado.
De fato, ao longo dos últimos dez anos, tem sido impressionante observar quantos artigos de pesquisa em visão computacional ainda seguem padrões há muito ultrapassados, como o ImageNet, simplesmente porque sua origem remonta a tanto tempo.
Os resultados deste artigo apresentam os desenvolvedores sob uma luz bastante favorável, como adeptos adaptáveis e flexíveis de qualquer sistema disponível e em funcionamento; o fato de terem praticamente o mesmo ritmo de desempenho com a IA mais recente ou com a anterior indica que otimizam em função do tempo disponível e dos prazos, independentemente das ferramentas que têm à disposição.
* Como observou recentemente um comentarista do Hacker News, isso provavelmente já não é verdade, pois os dados de ‘Pelicano de bicicleta’ agora fazem parte dos dados de treinamento, comprometendo, portanto, o teste.
† Intitulado ‘Modelos de programação com pontuações mais altas não produziram mais trabalho’.
††O estudo apresenta outras duas questões, mas não considero que sejam particularmente pertinentes ao tema nem comparáveis em importância à questão principal, por isso não as abordo aqui. Consulte o PDF original para mais detalhes.
Publicado originalmente na quarta-feira, 18 de novembro de 2026












