Andersonin kulma

Claude Fablesta heikompaan malliin siirtyminen vaikutti kehittäjien tuottavuuteen tuskin lainkaan kiellon aikana

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
Keskeiset kohdatPääsy paremmin pisteytettyyn Claude Fable 5:een nosti yhdistämisastetta vain 1,4…
Näytä lisää
  • Pääsy paremmin pisteytettyyn Claude Fable 5:een nosti yhdistämisastetta vain 1,4 prosenttiyksikköä.
  • Viisi Claude-päivitystä ei tuottanut merkittävää hyötyä yhdistetyissä pull-pyynnöissä tai viikoittain valmistuneissa muutoksissa.
  • Vertailuarvojen pisteillä on vähän merkitystä, kun kehittäjien antamat tehtävät ovat jo vanhempien mallien kykyjen rajoissa.

On hyvin vaikea arvioida tarkasti, ovatko uudet tekoälymallit parantaneet suorituskykyään aiempiin malleihin verrattuna – tai edes määritellä, mitä tuottavuuden paraneminen varsinaisesti tarkoittaa. Uudet julkaisut voivat nimittäin parantaa suorituskykyä yhdellä osa-alueella mutta heikentää sitä toisella, aivan kuten perinteiset ohjelmistot ja ohjelmistokehyksetkin. Joskus kyse on tietoisista kompromisseista, jotka ihmiset ovat tehneet vapaaehtoisesti, joskus taas ”sivuvahingosta”.

Tässä oletetaan, että ”pelataan reilusti”. On lukuisia tapauksia, joissa kehittäjät ovat virittäneet ohjelmiston pärjäämään paremmin vertailutesteissä, joskus saaneet sen tunnistamaan, milloin sitä testataan ja muuttamaan tilapäisesti toimintaansa paremman tuloksen saavuttamiseksi. Myös tekoälymallit voivat tunnistaa, milloin niitä arvioidaan, ja käyttäytyä eri tavoin, vaikka niitä ei olisi tarkoituksella suunniteltu tekemään niin.

Etsiessään merkityksellisempiä ja rehellisempiä mittareita kehittäjät luovat usein omia epävirallisia vertailukohtiaan, kuten Simon Wilsonin laadullisen haasteen, jossa pelikaani ajaa polkupyörällä. Siinä näkö-kielimalleja (VLM) pyydetään luomaan jotakin, mitä ei ole koulutusdatassa*, ja ne suoriutuvat tehtävästä usein heikosti – vaikka tilanne onkin parantunut jonkin verran vuoden 2026 aikana:

Simon Wilsonin mittarissa VLM:n pitää kuvitella polkupyörällä ajava pelikaani. Tekoäly on viime aikoina onnistunut tässä paljon paremmin kuin noin 18 kuukautta sitten nähdyt hilpeät yritykset. Jotkut kuitenkin arvelevat, että tämä johtuu siitä, että haaste on nyt jo juurtunut koulutusdataan. Lähde: https://simonwillison.net/tags/pelican-riding-a-bicycle/

Simon Wilsonin mittarissa VLM:n pitää kuvitella polkupyörällä ajava pelikaani. Tekoäly on viime aikoina onnistunut tässä paljon paremmin kuin noin 18 kuukautta sitten nähdyt hilpeät yritykset. Jotkut kuitenkin arvelevat, että tämä johtuu siitä, että haaste on nyt jo juurtunut koulutusdataan. Lähde

Vertailutestillä voidaan kuitenkin mitata vain niitä taitoja, joita se on suunniteltu testaamaan. Vaikka tulokset olisivat luotettavia, ei silti ole selvää, kuinka paljon näillä taidoilla on merkitystä jokapäiväisessä käytössä tai johtaako parempi tulos siihen, että enemmän työtä saadaan valmiiksi.

Koodausmallien kohdalla tätä voidaan selvittää tarkastelemalla, mitä kehittäjien työmäärälle tapahtuu, kun he vaihtavat mallista toiseen.

Tekeminen [the Same] vähemmällä

Tämän vuoden kesäkuussa 19 päivää kestänyt Valkoisen talon kielto käyttää Claude Fablea tarjosi tutkijoille poikkeuksellisen selkeän tutkimusympäristön: GitHubiin pull requesteja (PR) lähettäneet kehittäjät siirtyivät käyttämään Claude-mallin heikompia versioita. Koska Claude-mallin kaikki versiot allekirjoittavat PR:t yhdessä ja tieto on haettavissa GitHubin API:n kautta, se on vapaasti saatavilla.

Harvard Universityn uusi tutkimus hyödynsi tätä tilaisuutta seuraamalla 297 Fable 5 -käyttäjän työtä ennen kieltoa, sen aikana ja sen jälkeen. Tuloksia verrattiin 8 908 kehittäjän työhön; he jatkoivat vanhemman Opus 4.8 -mallin käyttöä.

Fable 5 oli aiemmin saanut SWE-Bench Pro -koodausvertailutestissä lähes 11 pistettä korkeamman tuloksen kuin Opus 4.8. Harvardin tutkimuksessa Fable 5:n käyttömahdollisuus liittyi kuitenkin vain 1,4 prosenttiyksikön kasvuun niiden lähetettyjen koodimuutosten osuudessa, jotka hyväksyttiin GitHub-projekteihin seitsemän päivän kuluessa. Tutkimuksen mukaan ero on käytännössä pyöristysvirheen luokkaa. Laajemmassa analyysissä ei myöskään havaittu merkittäviä tuottavuushyötyjä, kun siirryttiin muihin uudempiin tekoälymalleihin:

”Tulokset osoittavat, että Fable 5:n käyttömahdollisuus muutti yhdistämisastetta vain 1,4 prosenttiyksikköä, eikä muutos ollut tilastollisesti merkitsevä[significant]. Analysoimme myös viisi vuoden 2026 kahdeksasta mallipäivityksestä ja havaitsimme, ettei yhdistämisaste noussut näiden päivitysten jälkeen[either].

”Vastaavasti kehittäjien pull requesteja ei yhdistetty viikossa enempää. Tulokset osoittavat, etteivät nykyisissä koodausvertailutesteissä saavutetut parannukset juuri lisänneet valmiiksi saatua työtä.”

Viidessä vuoden 2026 mallipäivityksessä, joihin osallistui 1 208 kehittäjää ja joissa ehdotettiin yli 15 000 koodimuutosta, ei havaittu tilastollisesti merkitsevää parannusta sen enempää lähetetyn koodin yhdistämisasteessa kuin viikoittain onnistuneesti valmiiksi saatujen muutosten määrässä.

Tutkimuksessa myönnetään, että GitHubiin yhdistetyt muutokset ovat epätäydellinen tuottavuuden mittari. Kielto tarjosi kuitenkin hyvin harvinaisen tilaisuuden arvioida mallin vaihtamisen vaikutuksia todellisissa työoloissa alalla, joka herättää valtavasti maailmanlaajuista kiinnostusta mutta toimii yritysten mahdollisimman suuren salailun suojissa.

Tunnustaessaan empiiristen arviointiperusteiden määrittämisen vaikeuden tällaisissa tapauksissa uusi tutkimus† toteaa:

”Uusia malleja ensimmäisinä käyttävät ihmiset saattavat olla kokeneempia. Kun siis vertaamme kehittäjien tuottavuutta, emme voi tietää, johtuuko ero mallista vai sen käyttäjistä. Vaikka tarkastelisimme samoja ihmisiä, emme tiedä, antavatko he eri malleille samat tehtävät.

”Esimerkiksi jotkut saattavat käyttää Fable 5:tä vaikeimpiin tehtäviin ja siirtyä helpommissa tehtävissä alemman tason malleihin. Jos vaikeammat tehtävät annetaan tehokkaimmalle mallille, se saattaa näyttää vähemmän tuottavalta lähes millä tahansa valitsemallamme mittarilla, sillä vaikeampien tehtävien tekemiseen kuluu enemmän aikaa ja ne päätyvät harvemmin yhdistetyiksi.”

Artikkelissa väitetään myös, että aiempia tutkimuksia ovat vääristäneet se, että suurin osa koodimuutoksista tuli pienestä määrästä projekteja, joilla kullakin oli omat sääntönsä muutosten hyväksymiselle. Lisäksi näiden erojen vuoksi on ollut vaikea selvittää, johtuivatko tuottavuuden parannukset todella siirtymisestä uudempiin malleihin.

Menetelmä

Pääkokeessa†† tutkimuksessa Fable 5:n käyttäjiksi tunnistettujen 297 kehittäjän GitHub-pull-pyynnöt jaettiin neljään ajanjaksoon: aikaan ennen mallin julkaisua 9. kesäkuuta, sen kolmen saatavillaolopäivän ajalle, 19 päivän käyttökatkon ajalle sekä aikaan sen jälkeen, kun käyttöoikeus palautettiin 1. heinäkuuta.

Heidän pull-pyyntöjensä yhdistämisastetta verrattiin 8 908 kehittäjän vastaavaan asteeseen. Nämä kehittäjät oli tunnistettu vanhemman Opus 4.8 -mallin käyttäjiksi, joten käyttökatkoon liittyvät muutokset voitiin erottaa GitHubin aktiivisuuden laajemmista vaihteluista.

Vertailussa oletettiin, että ilman käyttökieltoa molempien ryhmien yhdistämisaste olisi muuttunut samalla tavalla. Ryhmien yhdistämisasteiden muutoksia verrattiin tilastollisessa analyysissä, jossa otettiin huomioon kehittäjien väliset erot ja päivittäinen vaihtelu:

Claude-mallien päivitysten ja Fable 5:n käyttökatkon aikajana. Ylemmässä osassa näkyy kahdeksan Opus- ja Sonnet-mallien päivitystä; täytetyt ympyrät merkitsevät viittä laajemmassa tutkimuksessa tarkasteltua päivitystä. Alemmassa osassa näkyvät neljä ajanjaksoa, joita käytettiin arvioitaessa käyttökatkon vaikutusta PR-pyyntöjen yhdistämisasteeseen; käyttökielto toimii vertailujaksona. Violetit viivat osoittavat, milloin Fable 5 oli saatavilla tai käyttökiellossa; harmaa varjostus merkitsee käyttökieltoa, ja vinoviivoitetut osat osoittavat päivät, jotka jätettiin pois heti käyttöoikeuden keskeyttämisen tai palauttamisen jälkeen. Lähde - https://arxiv.org/pdf/2611.23216

Claude-mallien päivitysten ja Fable 5:n käyttökatkon aikajana. Ylemmässä osassa näkyy kahdeksan Opus- ja Sonnet-mallien päivitystä; täytetyt ympyrät merkitsevät viittä laajemmassa tutkimuksessa tarkasteltua päivitystä. Alemmassa osassa näkyvät neljä ajanjaksoa, joita käytettiin arvioitaessa käyttökatkon vaikutusta PR-pyyntöjen yhdistämisasteeseen; käyttökielto toimii vertailujaksona. Violetit viivat osoittavat, milloin Fable 5 oli saatavilla tai käyttökiellossa; harmaa varjostus merkitsee käyttökieltoa, ja vinoviivoitetut osat osoittavat päivät, jotka jätettiin pois heti käyttöoikeuden keskeyttämisen tai palauttamisen jälkeen. Lähde

Aineistoa varten julkiset GitHub-pull-pyynnöt, jotka oli tehty Claude Codella, tunnistettiin GitHub Search API:n avulla. Tunnistuksessa käytettiin pull-pyyntöjen kuvauksiin automaattisesti lisättyä ”Generated with Claude Code” -ilmoitusta. Kun myös tietyn mallin nimi oli kopioitu koodin commit-historiasta pull-pyynnön kuvaukseen, käytetyn Claude-version pystyi selvittämään.

Fable 5:n käyttökatkon ja sitä seuranneiden Claude-mallien päivitysten aikaan lähetetyt pull-pyynnöt kerättiin marraskuun 2025 ja lokakuun 2026 välisenä aikana. Uusimpien pyyntöjen yhdistämiselle annettiin vähintään neljä viikkoa aikaa.

Päätutkimusryhmään valittiin 297 kehittäjää, jotka olivat käyttäneet Fable 5:tä sen lyhyen saatavillaolojakson aikana. Vertailuryhmään valittiin 8 908 kehittäjää, jotka olivat käyttäneet Opus 4.8:aa eikä joiden osalta ollut kirjattu Fable 5:n käyttöä.

Tuottavuuden päämittarina käytettiin GitHub-projekteihin seitsemän päivän kuluessa hyväksyttyjen lähetettyjen koodimuutosten osuutta. Näin onnistuneiden lähetysten määrää voitiin verrata käyttökatkoa edeltäneellä ajanjaksolla, sen aikana ja sen jälkeen. Lisäksi tarkasteltiin tunnin kuluessa yhdistettyjä PR-pyyntöjä, yhdistämättä suljettuja PR-pyyntöjä, saatujen kommenttien määrää, myöhemmin peruttuja muutoksia sekä GitHubin automaattisten tarkistusten epäonnistumisia.

Testit

Fable 5:n käyttöoikeuden menetyksellä ja myöhemmällä palauttamisella oli vain vähän mitattavaa vaikutusta kehittäjien tuottavuuteen. Uudemman mallin käyttöön liittyi vain 1,4 prosenttiyksikön kasvu seitsemän päivän kuluessa yhdistettyjen PR-pyyntöjen osuudessa; eroa pidettiin ”tilastollisesti ei-merkitsevänä”:

Fable 5:n käytön ja PR-pyyntöjen yhdistämisasteiden vertailu ennen käyttökieltoa, sen aikana ja sen jälkeen. Vasemmalla: Fable 5:tä käyttäen laadittujen PR-pyyntöjen osuus. Oikealla: seitsemän päivän yhdistämisasteen muutokset verrattuna ajanjaksoon 22.–28. kesäkuuta. Pisteet osoittavat arviot ja vaakaviivat 95 prosentin luottamusvälit. Varjostetut rivit merkitsevät ajanjaksoja, jolloin Fable 5 oli saatavilla. Mallin käytössä tapahtuneista suurista muutoksista huolimatta yhdistämisasteissa havaittiin vain vähän muutoksia.

Fable 5:n käytön ja PR-pyyntöjen yhdistämisasteiden vertailu ennen käyttökieltoa, sen aikana ja sen jälkeen. Vasemmalla: Fable 5:tä käyttäen laadittujen PR-pyyntöjen osuus. Oikealla: seitsemän päivän yhdistämisasteen muutokset verrattuna ajanjaksoon 22.–28. kesäkuuta. Pisteet osoittavat arviot ja vaakaviivat 95 prosentin luottamusvälit. Varjostetut rivit merkitsevät ajanjaksoja, jolloin Fable 5 oli saatavilla. Mallin käytössä tapahtuneista suurista muutoksista huolimatta yhdistämisasteissa havaittiin vain vähän muutoksia.

Lisäksi viiden Claude-mallipäivityksen tarkastelussa, johon osallistui 1 208 kehittäjää ja jossa oli mukana yli 15 000 koodimuutosta, GitHub-projekteihin hyväksyttyjen koodimuutosten osuudessa ei havaittu parannusta. Osuus jopa laski hieman, arviolta 0,9 prosenttiyksikköä.

Uudempiä malleja käyttävien kehittäjien havaittiin myös saavan viikossa valmiiksi vain 2,4 % enemmän hyväksyttyjä koodimuutoksia – ero oli liian pieni, jotta sen perusteella voitaisiin todeta luotettava parannus. Vaikka vertailutulokset olivat parantuneet 5–18 pistettä, merkittäviä tuottavuushyötyjä ei havaittu.

Uusien mallien ei myöskään havaittu suoriutuvan paremmin GitHubin automatisoiduista koodintarkistuksista, ja virheprosentit pysyivät käytännössä ennallaan.

Tutkimuksessa todetaan:

”Oletamme, että tärkein syy siihen, etteivät Fable 5:n paremmat vertailutulokset näkyneet työn tuottavuudessa, on se, että kehittäjien agenteille antamat tehtävät ovat jo ennestään sellaisia, joista vanhempi malli selviytyy.”

Tutkimuksessa jatketaan:

”Tuloksemme tarjoavat todellisesta työstä näyttöä aiempien tutkimusten varoituksen tueksi: vertailutulos merkitsee vain vähän mallia valitseville, ellei ole näyttöä siitä, että se mittaa työtä, johon mallia käytetään[describe].”

”Jos sääntelyviranomaiset ja ostajat arvioivat mallin paremmuutta sen vertailutuloksen [score] perusteella, heidän varaan laskemansa ero ei todennäköisesti näy käyttäjien tuottavuudessa.”

Johtopäätös

Yhtenäiset, vuodesta toiseen vertailukelpoiset mittarit ovat olleet pitkään teollisuusjärjestelmien liiketoiminnan edellytys. Niiden toistaminen todellisissa olosuhteissa luotettavasti on kuitenkin erityisen vaikeaa tekoälyn alalla. Yksi syy tähän on se, kuinka nopeasti vertailuarvion määrittävä ”testidata” päätyy seuraavan mallin koulutusdataan ja muuttuu käyttökelvottomaksi testaustarkoituksiin. Jo tämä horjuttaa yritysten vertailuanalyyseissä ja johdonmukaisessa tieteellisessä testauksessa käytettyä toimintamallia, sillä tutkijat tarvitsevat aiemmin vakiintuneiden mittareiden rikkomista, jotta ne eivät enää olisi merkityksettömiä.

Viimeisten kymmenen vuoden aikana on ollut hämmästyttävää nähdä, kuinka monet konenäköä käsittelevät tutkimukset nojaavat yhä pitkään vanhentuneisiin standardeihin, kuten ImageNet, yksinkertaisesti siksi, että niiden historia ulottuu niin kauas.

Tämän tutkimuksen tulokset antavat kehittäjistä varsin myönteisen kuvan: he mukautuvat joustavasti käytettävissä olevaan ja toiminnassa olevaan järjestelmään. Se, että he työskentelevät lähes samaa tahtia uusimmalla tai edellisellä tekoälymallilla, osoittaa heidän mukauttavan toimintansa aikatauluihin ja määräaikoihin käytettävissä olevista työkaluista riippumatta.

 

* Kuten eräs tuore Hacker News -kommentoija huomautti, tämä ei luultavasti enää pidä paikkaansa, sillä ”Pelican on Bicycle” -data on nyt mukana koulutusdatassa, joten testi on vaarantunut.

† Otsikko: ”Paremmat pisteet saaneet koodausmallit eivät saaneet enempää työtä tehdyksi”.

†† Tutkimuksessa esitetään kaksi muutakin kysymystä, mutta en pidä niitä erityisen olennaisina aiheen kannalta enkä merkitykseltään verrattavina päätutkimuskysymykseen, joten en ole käsitellyt niitä tässä. Lisätietoja on alkuperäisessä PDF-tiedostossa.

Julkaistu ensimmäisen kerran keskiviikkona 18. marraskuuta 2026

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai