Angle d’Anderson

Le passage de Claude Fable à une version inférieure a à peine affecté la productivité des développeurs pendant l’interdiction

Martin Anderson
Ajouter Unite.AI à vos sources préférées sur Google
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
Points clésL'accès au Claude Fable 5, plus performant, n'a augmenté le taux de fusion que de 1,4…
Voir plus
  • L'accès au Claude Fable 5, plus performant, n'a augmenté le taux de fusion que de 1,4 point de pourcentage.
  • Cinq mises à niveau de Claude n'ont produit aucun gain significatif dans les pull requests fusionnées ni dans les modifications hebdomadaires terminées.
  • Les scores de benchmark signifient peu lorsque les tâches assignées par les développeurs relèvent déjà des capacités des modèles plus anciens.

Il est très difficile d’évaluer avec précision si les nouveaux modèles d’IA ont amélioré leurs performances par rapport à leurs prédécesseurs — ou même de définir ce que constitue nécessairement un gain de productivité —, car les nouvelles versions peuvent montrer des progrès dans un domaine tout en affichant des performances dégradées dans un autre, comme cela peut arriver avec les logiciels et les environnements de développement classiques. Il s’agit parfois de compromis volontaires, décidés par des humains, et parfois de « dommages collatéraux ».

Cela suppose que les règles du jeu soient respectées. Il existe de nombreux cas où des développeurs ont truqué des logiciels pour qu’ils obtiennent de meilleurs résultats aux tests de performance, parfois en leur faisant détecter qu’ils sont soumis à un test et en modifiant temporairement leur fonctionnement pour obtenir un meilleur score. Les modèles d’IA peuvent eux aussi détecter qu’ils sont en cours d’évaluation et se comporter différemment, même sans avoir été conçus délibérément à cette fin.

Pour trouver des mesures plus pertinentes et plus honnêtes, les développeurs établissent souvent leurs propres critères empiriques informels, comme le défi du pélican à vélo, une épreuve qualitative de Simon Wilson dans laquelle les modèles vision-langage (VLM) doivent créer quelque chose qui ne figure pas dans les données d’entraînement* et obtiennent souvent de mauvais résultats — même si les choses se sont quelque peu améliorées au cours de 2026 :

Le critère de Simon Wilson demande à un VLM d’imaginer un pélican à vélo. Dernièrement, l’IA s’en sort beaucoup mieux qu’il y a environ 18 mois, où les résultats étaient hilarants. Certains avancent toutefois que cela pourrait s’expliquer par le fait que le défi est désormais intégré aux données d’entraînement. Source : https://simonwillison.net/tags/pelican-riding-a-bicycle/

Le critère de Simon Wilson demande à un VLM d’imaginer un pélican à vélo. Dernièrement, l’IA s’en sort beaucoup mieux qu’il y a environ 18 mois, où les résultats étaient hilarants. Certains avancent toutefois que cela pourrait s’expliquer par le fait que le défi est désormais intégré aux données d’entraînement. Source

Cependant, un test de référence ne peut mesurer que les compétences précises qu’il a été conçu pour évaluer et, même lorsque les résultats sont fiables, on ne sait toujours pas dans quelle mesure ces compétences comptent dans l’usage quotidien, ni si un score plus élevé se traduira par davantage de travail effectué.

Pour les modèles de programmation, on peut étudier la question en observant ce qui advient de la production des développeurs lorsqu’ils passent d’un modèle à un autre.

Faire [the Same] avec moins

En juin de cette année, l’interdiction de la Maison-Blanche, qui a duré 19 jours, d’utiliser Claude Fable a offert aux chercheurs un cadre d’étude exceptionnellement clair : les développeurs qui soumettaient des demandes de fusion (PR) sur GitHub sont passés à des versions moins puissantes de Claude. Comme toutes les versions de Claude cosignent les PR et que ces informations sont consultables via l’API GitHub, les données sont librement accessibles.

Des chercheurs de Harvard University ont saisi cette occasion dans une nouvelle étude, qui a suivi le travail de 297 utilisateurs de Fable 5 avant, pendant et après l’interdiction, puis l’a comparé à celui de 8 908 développeurs qui ont continué à utiliser l’ancien modèle Opus 4.8.

Fable 5 avait auparavant obtenu un score supérieur de près de 11 points à celui d’Opus 4.8 au test de programmation SWE-Bench Pro. Dans l’étude de Harvard, toutefois, l’accès à Fable 5 était associé à une hausse de seulement 1,4 point de pourcentage de la proportion des modifications de code soumises qui étaient acceptées dans des projets GitHub dans les sept jours, une différence que l’article qualifie, en pratique, d’erreur d’arrondi. Une analyse plus large n’a par ailleurs relevé aucun gain de productivité significatif lié au passage à d’autres modèles d’IA plus récents :

« Les résultats montrent que l’accès à Fable 5 n’a modifié le taux de fusion que de 1,4 point de pourcentage, et que cette variation n’était pas statistiquement [significant]. Nous avons également analysé cinq des huit changements de modèle intervenus en 2026 et constaté que le taux de fusion n’avait pas augmenté après ces changements [either].

« De même, les développeurs n’ont pas obtenu davantage de demandes de fusion acceptées chaque semaine. Ces résultats montrent que les progrès réalisés aux tests de programmation actuels ne se sont pas vraiment traduits par davantage de travail achevé. »

Sur cinq changements de modèle en 2026, impliquant 1 208 développeurs et plus de 15 000 modifications de code proposées, aucune amélioration statistiquement significative n’a été constatée, ni du taux de fusion du code soumis ni du nombre de modifications menées à bien chaque semaine.

Bien que l’article reconnaisse que les fusions sur GitHub constituent une mesure imparfaite de la productivité, l’interdiction a offert une occasion très rare d’évaluer les effets d’un changement de modèle dans des conditions de travail réelles, dans un secteur qui suscite un immense intérêt à l’échelle mondiale, mais dont les entreprises font preuve de la plus grande opacité possible.

Reconnaissant la difficulté à établir des critères empiriques dans de tels cas, cette nouvelle étude† observe :

« Les personnes qui adoptent les nouveaux modèles en premier sont peut-être plus expérimentées ; lorsqu’on compare la productivité de différents développeurs, on ne peut donc pas savoir si l’écart vient du modèle ou des personnes qui l’utilisent. Même si l’on observe les mêmes personnes, on ne sait pas si elles confient les mêmes tâches à différents modèles.

« Par exemple, certaines personnes pourraient utiliser Fable 5 pour les tâches les plus difficiles et passer à des modèles de gamme inférieure pour les tâches plus faciles. Si elles confient les tâches les plus difficiles au modèle le plus puissant, celui-ci peut sembler moins productif selon presque tous les indicateurs retenus, car les tâches difficiles prennent plus de temps et ont moins de chances d’être fusionnées. »

L’article avance également que les études précédentes ont été biaisées par le fait que la plupart des modifications de code provenaient d’un petit nombre de projets, chacun ayant ses propres règles d’acceptation des contributions ; ces différences ont rendu difficile de déterminer si les gains de productivité étaient réellement dus au passage à des modèles plus récents.

Méthode

Pour l’expérience principale††, les demandes de fusion GitHub de 297 développeurs identifiés dans l’étude comme utilisateurs de Fable 5 ont été réparties en quatre périodes : avant la sortie du modèle, le 9 juin ; pendant ses trois jours de disponibilité ; durant les 19 jours de suspension ; et après le rétablissement de l’accès, le 1er juillet.

Leurs taux de fusion ont été comparés à ceux de 8 908 développeurs identifiés comme utilisateurs de l’ancien modèle Opus 4.8, afin de distinguer les changements liés à la suspension des fluctuations plus générales de l’activité sur GitHub.

La comparaison reposait sur l’hypothèse que, sans l’interdiction, les deux groupes auraient connu des évolutions similaires de leurs taux de fusion. Les évolutions de ces taux ont été comparées entre les deux groupes, en tenant compte, dans l’analyse statistique, des différences entre les développeurs et des fluctuations quotidiennes :

Chronologie des mises à niveau des modèles Claude et de la suspension de Fable 5. Le panneau supérieur présente huit mises à niveau d’Opus et de Sonnet ; les cercles pleins indiquent les cinq examinées dans l’étude élargie. Le panneau inférieur montre les quatre périodes utilisées pour évaluer l’incidence de la suspension sur les taux de fusion des demandes de fusion (PR), la période d’interdiction servant de référence. Les lignes violettes indiquent les périodes où Fable 5 était disponible ou suspendu ; les zones grises marquent l’interdiction ; et les sections hachurées représentent les jours exclus juste après la suspension ou le rétablissement de l’accès. Source : https://arxiv.org/pdf/2611.23216

Chronologie des mises à niveau des modèles Claude et de la suspension de Fable 5. Le panneau supérieur présente huit mises à niveau d’Opus et de Sonnet ; les cercles pleins indiquent les cinq examinées dans l’étude élargie. Le panneau inférieur montre les quatre périodes utilisées pour évaluer l’incidence de la suspension sur les taux de fusion des demandes de fusion (PR), la période d’interdiction servant de référence. Les lignes violettes indiquent les périodes où Fable 5 était disponible ou suspendu ; les zones grises marquent l’interdiction ; et les sections hachurées représentent les jours exclus juste après la suspension ou le rétablissement de l’accès. Source

Pour constituer les données, les demandes de fusion publiques sur GitHub créées avec Claude Code ont été repérées à l’aide de l’API GitHub Search, grâce à la mention « Generated with Claude Code » automatiquement incluse dans leur description. Lorsque le nom du modèle utilisé avait également été copié depuis l’historique des validations du code dans la description de la demande de fusion, il était possible d’établir quelle version de Claude avait été utilisée.

Les demandes de fusion soumises autour de la suspension de Fable 5 et des mises à niveau ultérieures de Claude ont été recueillies entre novembre 2025 et octobre 2026 ; un délai d’au moins quatre semaines a été laissé pour que les plus récentes soient fusionnées.

Les 297 développeurs qui avaient utilisé Fable 5 pendant sa brève période de disponibilité ont constitué le groupe principal de l’étude, tandis que les 8 908 développeurs ayant utilisé Opus 4.8 sans qu’aucune utilisation de Fable 5 soit enregistrée ont constitué le groupe témoin.

Le principal indicateur de productivité était la proportion des modifications de code soumises qui étaient acceptées dans des projets GitHub dans un délai de sept jours, ce qui permettait de comparer le taux de soumissions acceptées avant, pendant et après la suspension. Des vérifications supplémentaires ont porté sur les demandes de fusion fusionnées en moins d’une heure ; celles fermées sans être fusionnées ; le nombre de commentaires reçus ; les modifications annulées par la suite ; et les échecs des contrôles automatisés de GitHub.

Résultats

La perte puis le rétablissement de l’accès à Fable 5 ont eu peu d’effet mesurable sur la productivité des développeurs. L’accès au modèle plus récent a été associé à une hausse de seulement 1,4 point de pourcentage de la proportion des demandes de fusion fusionnées dans un délai de sept jours, une différence jugée « non statistiquement significative » :

Comparaison de l’utilisation de Fable 5 et des taux de fusion des demandes de fusion avant, pendant et après l’interdiction. À gauche : pourcentage des demandes de fusion produites avec Fable 5. À droite : évolution du taux de fusion sur sept jours par rapport à la période du 22 au 28 juin ; les points représentent les estimations et les lignes horizontales, les intervalles de confiance à 95 %. Les rangées ombrées indiquent les périodes où Fable 5 était disponible. Malgré d’importantes variations dans l’utilisation des modèles, les taux de fusion ont peu changé.

Comparaison de l’utilisation de Fable 5 et des taux de fusion des demandes de fusion avant, pendant et après l’interdiction. À gauche : pourcentage des demandes de fusion produites avec Fable 5. À droite : évolution du taux de fusion sur sept jours par rapport à la période du 22 au 28 juin ; les points représentent les estimations et les lignes horizontales, les intervalles de confiance à 95 %. Les rangées ombrées indiquent les périodes où Fable 5 était disponible. Malgré d’importantes variations dans l’utilisation des modèles, les taux de fusion ont peu changé.

En outre, sur cinq mises à niveau de modèles Claude, concernant 1 208 développeurs et plus de 15 000 soumissions de code, aucune amélioration de la proportion de code accepté dans les projets GitHub n’a été constatée. Le taux a même légèrement diminué, de 0,9 point de pourcentage selon l’estimation.

Les développeurs qui utilisaient des modèles plus récents ont également réalisé seulement 2,4 % de soumissions acceptées supplémentaires par semaine, un écart trop faible pour établir une amélioration fiable. Même lorsque les scores aux tests de référence avaient augmenté de 5 à 18 points, aucun gain de productivité significatif n’a été observé.

Il a également été constaté que les modèles plus récents ne réussissaient pas mieux les vérifications automatisées du code de GitHub, les taux d’échec restant pratiquement inchangés.

L’article conclut :

« Nous faisons l’hypothèse que si les progrès de Fable 5 aux tests de référence ne se sont pas traduits par une productivité accrue dans le travail réel, c’est principalement parce que les tâches confiées par les développeurs aux agents relèvent déjà des capacités de l’ancien modèle. »

Et poursuit :

« Nos résultats apportent des éléments issus du travail réel à ce que des travaux antérieurs avaient déjà souligné : un score à un test de référence a peu de valeur pour les personnes qui choisissent un modèle, s’il n’est pas prouvé que ce test mesure le travail pour lequel le modèle est utilisé[describe]. »

« Si les autorités de réglementation et les acheteurs évaluent la puissance d’un modèle en fonction de son score aux tests de référence[score], l’écart sur lequel ils s’appuient ne se traduira probablement pas par une hausse de la productivité des utilisateurs. »

Conclusion

Des indicateurs cohérents d’une année sur l’autre constituent depuis longtemps un préalable au volet commercial des systèmes industriels ; toutefois, il est particulièrement difficile de les reproduire de manière réaliste et exacte dans le domaine de l’IA. Cela tient en partie à la rapidité avec laquelle les « données de test » qui définissent un test de référence intègrent les données d’entraînement du modèle suivant et deviennent inutilisables à des fins de test. À elle seule, cette situation remet largement en cause le cadre de l’évaluation comparative en entreprise et celui des tests scientifiques cohérents, où les chercheurs doivent remettre en cause des indicateurs établis de longue date, qui pourraient désormais n’avoir plus aucun sens.

En effet, il a été étonnant, au cours des dix dernières années, de voir le nombre d’articles de recherche en vision par ordinateur qui continuent de s’en tenir à des normes depuis longtemps dépassées, comme ImageNet, simplement parce que leur origine remonte à si loin.

Les résultats de cet article présentent les développeurs sous un jour plutôt favorable, en les montrant comme des utilisateurs adaptables et flexibles, capables de s’accommoder de n’importe quel système disponible et opérationnel. Le fait qu’ils travaillent à peu près à la même vitesse avec le modèle d’IA le plus récent ou le précédent indique qu’ils adaptent leur travail aux durées et aux échéances, quels que soient les outils à leur disposition.

 

* Comme l’a fait remarquer récemment un commentateur sur Hacker News, ce n’est probablement plus vrai, car les données « Pelican on Bicycle » font désormais partie des données d’entraînement, ce qui compromet donc le test.

† Intitulé « Les modèles de programmation ayant obtenu de meilleurs scores n’ont pas accompli davantage de travail ».

†† L’étude pose deux autres questions, mais je ne pense pas qu’elles soient particulièrement pertinentes pour le sujet ni d’une importance comparable à celle de la question principale ; je ne les ai donc pas abordées ici. Pour plus de détails, veuillez consulter le PDF source.

Première publication le mercredi 18 novembre 2026

Rédacteur spécialisé en apprentissage automatique, expert du domaine de la synthèse d'images humaines. Ancien responsable du contenu de recherche chez Metaphysic.ai, jusqu'à sa dissolution dans Brahma.ai de DNEG.
Site Web: martinanderson.ai
Contact: martin@martinanderson.ai