Anthropicin tutkimus: analyytikot myötäilevät tekoälyagentteja harkintaa vaativissa päätöksissä

Anthropic julkaisi 27. lokakuuta 2026 satunnaistetun kontrolloidun kokeen, jossa 50 Claude Codea käyttänyttä ammattianalyytikkoa noudatti agentilleen salaa määrättyä näkemystä 86 prosentissa avoimista analyyttisistä harkintatilanteista. Tutkimuksessa, jonka tekijöitä ovat Amaç Herdağdelen, Hailey Joren ja Alex Tamkin, selvitetään, tekevätkö asiantuntijat tekoälyavusteisessa työssä todella seuraukselliset päätökset itse vai jättävätkö he ne käytännössä agenttiensa ratkaistaviksi.

Kuvitteellinen osuuskunta ja salatut kolikonheitot

Tutkijat rekrytoivat 61 ammattilaista, jotka olivat läpäisseet kausaalipäättelyä koskevan tietotestin, käyttivät säännöllisesti Pythonia tai R:ää ja olivat käytännössä analysoineet havainnoivaan aineistoon perustuvia syy-seuraussuhteita. Kukin osallistuja toimi kuvitteellisen Greenfields Farming Cooperative -osuuskunnan pääanalyytikkona. Osuuskunnan piti päättää, laajennetaanko vai lopetetaanko vapaaehtoinen, maksullinen maatilojen neuvontaohjelma. Osuuskunnan hallitus laajentaisi ohjelmaa vain, jos se parantaisi maatilojen tuottavuutta noin 3–4 prosenttia, mutta se ei täsmentänyt, miten tuottavuus pitäisi mitata.

Tehtävässä oli neljä avointa analyyttistä päätöstä, joista kuhunkin oli kaksi perusteltavissa olevaa vaihtoehtoa: mitataanko tuottavuutta hehtaarikohtaisena satona vai suhteessa toimintakustannuksiin; mitä tilastollista vertailumenetelmää käytetään; mitataanko ohjelman vaikutusta vain siihen osallistuvilla tiloilla vai koko jäsenistön tasolla; sekä painotetaanko kaikkia tiloja yhtä paljon vai annetaanko suuremmille tuottajille suurempi painoarvo. Näiden valintojen pohjalta tehtiin lopullinen suositus ohjelman laajentamisesta, lopettamisesta tai jatkamisesta. Kukin päätös saattoi siirtää tuottavuuden arvioitua kasvua useita prosenttiyksikköjä suhteessa hallituksen asettamaan kynnysarvoon.

Kunkin päätöksen kohdalla kolikonheitto määräsi, kumpaa vaihtoehtoa osallistujan agentti suosisi. Näkemyksen vinouma lisättiin piilotetulla järjestelmäkehotteella, jossa agenttia ohjeistettiin pitämään tätä mielipidettä omanaan, tuomaan se esiin kyseisen päätöksen tullessa vastaan ja esittämään aineiston sallima vahvin rehellinen perustelu sen puolesta. Ohjeissa edellytettiin myös, että agentti muuttaa kantaansa, jos näyttö kääntyy ratkaisevasti sitä vastaan, eikä koskaan vääristele tuloksia tai salaa aineistoa. Osallistujille ei kerrottu näkemysten vinoumista. Tehtävän suorittaneista 61 osallistujasta 11 päätti olla käyttämättä agenttia, joten heidät suljettiin pois pääanalyysistä; jäljelle jääneistä 50 osallistujasta 65 prosentilla oli maisterin- tai tohtorintutkinto tai vähintään kuuden vuoden työkokemus, ja 90 prosenttia kyselyyn vastanneista arvioi taitonsa kausaalipäättelyssä päteviksi tai asiantunteviksi. Osallistujat työskentelivät selaimessa toimivassa VS Code -työtilassa, jossa Claude Code v2.1.220 käytti Claude Opus 4.8 -mallia suurella päättelypanostuksella; tehtävän suorittamiseen kului mediaanina 65 minuuttia. Tutkimusasetelma, tulokset, estimaattorit ja poissulkemiset kirjattiin ennakkoanalyysisuunnitelmaan, ja tutkimus kävi läpi sisäisen eettisen arvioinnin; osallistujat antoivat suostumuksensa seurannalle.

Myötäilyaste ja omistajuuden kuilu

Neljässä analyyttisessä päätöksessä analyytikkojen valinnat vastasivat agentin näkemystä 86 prosentissa tapauksista, kun sattumanvarainen lähtötaso oli 50 prosenttia; päätöskohtaiset vastaavuusasteet olivat 92, 82, 81 ja 90 prosenttia. Koko artikkelissa, jonka otsikko on ”Kuka myötäilee ketä? Miten tekoälyagentit muovaavat asiantuntijoiden tutkimukseen liittyviä harkintapäätöksiä”, raportoidaan ennakkoon rekisteröity yhdistetty myötäilyasteen estimaatti 0,72; 95 prosentin luottamusväli oli 0,60–0,83.

Lopulliseen suositukseen kohdistunut vaikutus oli heikompi eikä ollut tilastollisesti merkitsevä ennakkoon rekisteröidyn ensisijaisen estimaattorin mukaan: 54 prosenttia suositteli ohjelman laajentamista, kun agentti kannatti sitä, kun taas 36 prosenttia teki niin agentin kannattaessa ohjelman lopettamista; ennakkoon rekisteröity politiikkavaikutuksen muutos oli 0,17. Kirjoittajat selittävät pienempää muutosta sillä, että suositus seurasi mekaanisesti lasketusta estimaatista. Neljää analyyttistä näkemystä yksin käyttävä tutkiva malli ennusti kuitenkin 82 prosenttia suosituksista, kun enemmistöön perustuva lähtötaso oli 61 prosenttia. Tämä tarkoittaa, että kolikonheitot määrittivät pitkälti sen, mitä analyytikot suosittelisivat jo ennen tehtävän aloittamista.

Niistä 38 tapauksesta, joissa analyytikko ilmaisi näkemyksensä ennen agenttia, analyytikko vaihtoi kantaansa 60 prosentissa tapauksista, kun agentti oli eri mieltä, mutta vain 6 prosentissa tapauksista, kun agentti oli samaa mieltä. Artikkelissa raportoidaan ennakkoon rekisteröidyksi kantojen vaihtamisasteiden eroksi 0,53; luottamusväli oli 0,24–0,82. Lisäksi siinä todetaan, että estimaatti on epätarkka ja että tähän alaryhmään valikoiduttiin itse.

Tehtävän jälkeiset kyselyt paljastivat kuilun vaikutuksen ja osallistujien oman käsityksen välillä. 52 prosenttia piti lopullista suositusta enemmän omanaan kuin agentin tekemänä, ja luottamusarvioiden keskiarvo oli 71 niiden keskuudessa, jotka noudattivat agentin näkemystä kaikissa neljässä päätöksessä, ja 73 muiden keskuudessa. Kun osallistujat perustelivat kutakin valintaansa ilman pääsyä keskustelulokeihin, 77 prosenttia toisti agentin perusteluja ainakin yhdessä vastauksessa, joskus sanasta sanaan, mutta vain 15 prosenttia mainitsi agentin missään vastauksessa. Yksikään kymmenestä testatusta osallistujaominaisuudesta ei luotettavasti ennustanut myötäilyä; vain iällä havaittiin nimellinen yhteys, joka ei säilynyt useiden testien korjauksen jälkeen. Kuusi 48 osallistujasta arvasi, että tutkimus käsitteli tekoälyn vaikutusta heidän valintoihinsa, mutta kukaan ei epäillyt, että näkemykset oli istutettu heille.

Vertailuryhmä, oletusagentit ja tutkimuksen rajoitukset

Niistä 11 osallistujasta, jotka työskentelivät ilman agenttia, kuusi (55 %) teki vakavia, tuloksen mitätöiviä virheitä. Agenttia käyttäneistä 50 osallistujasta vastaavia virheitä teki kolme (6 %). Ilman tekoälyä työskennelleen ryhmän työskentelyyn kului aikaa mediaanina 90 minuuttia, kun agenttia käyttäneillä vastaava aika oli 65 minuuttia. Kirjoittajat huomauttavat, että ryhmät valikoituivat itse ja erosivat kokemukseltaan toisistaan, joten tuloksista ei voida tehdä kausaalisia päätelmiä. Erillisissä suorissa simulaatioissa, joissa vinoumaa ei ollut lisätty, Claude Opus 4.8 sellaisenaan päätyi samoihin viiteen valintaan 91 prosentissa 123 ajokerrasta. Kun käsikirjoitettu analyytikko ilmoitti mallin peruslinjan vastaisesta päätöksestä, vakioagentti suositteli tai puolsi vaihtoehtoa 41 prosentissa 150 arvioidusta ilmoituksesta.

Kirjoittajat mainitsevat neljä rajoitusta: vinoumaa vahvistettiin tarkoituksella; tutkimuksessa käytettiin yhtä tehtävää, yhtä toimialaa ja yhtä lukittua mallia; arviot ovat analyytikoiden keskiarvoja eivätkä mittaa yksittäisiin analyytikoihin kohdistuvaa vaikutusta; ja talteen kirjattiin vain valittu vaihtoehto, ei mieltymyksen voimakkuutta.

Kirjoittajat toteavat, että jos erilliset tutkimusryhmät myötäilevät malleja, joilla on samat ennakkokäsitykset, niiden yksimielisyys ei välttämättä enää ole riippumatonta. Heidän mukaansa tämä muodostaa riskin tekoälyn turvallisuustutkimukselle, jossa ihmisen tekemän tarkastuksen hyväksynnän oletetaan olevan riippumaton varmistus. Kirjoittajat ehdottavat kolmea tulevaa tutkimusaluetta: myötäilyn mittaamista arkisissa tilanteissa, sellaisten agenttien suunnittelua, jotka esittävät molemmat näkökannat tai kysyvät ensin asiantuntijan näkemystä, sekä institutionaalisia muutoksia, joilla päätetään tietoisesti, mitkä päätökset edellyttävät henkilön omaa perusteltua harkintaa.