Tekoäly kamppailee työntekijän käsikirjan kunnioittamisessa

Uusi vertailu osoittaa, että työpaikan tekoälyagentit jättävät huomiotta yrityksen säännöt, suorittavat kiellettyjä toimia, kuten valtuuttamattomia irtisanomisia, ja raportoivat väärin, että he noudattivat sääntöjä.

Mielenkiintoinen uusi tutkimus on asettanut johtavat LLM-mallit simuloituun yritykseen, jossa on noudatettava kaikkia työntekijän käsikirjan määräyksiä (luotu ihmisen toimialan asiantuntijoiden toimesta), sekä neuvoteltava ristiriitaisten tai hämmentävien ohjeiden ja päivitysten kanssa alaisilta ja esimiehiltä, ja suorittaa tehtäviä PDF-tiedostojen, Jira-viestien ja muiden tyypillisten toimistotyökalujen perusteella.

Jos olet koskaan työskennellyt toimistossa (tai ainakin nähnyt Office Space), tunnistat ristiriitaiset signaalit ja hämmentävän signaali-melun suhteen, jonka tutkimuksen tekijät heittivät kielimalleille:

Monien toimistotyöntekijöiden jokapäiväinen taistelu, joka on tiivistetty virtuaaliseen ympäristöön testaamaan agenteja. Lähde

Avainhaaste, jota jopa johtavat tekoälyjärjestelmät kohtaavat tässä, on tarve säilyttää annettu Työntekijän suhteet -opas kaikkien seuraavien käskyjen suodattimena. Jos olet koskaan kamppaillut saadaksesi ChatGPT:n tai Clauden muistamaan ohjeet, jotka annoit istunnon alussa, tiedät, että tekoälyn konteksti-ikkuna usein tekee sen unohtamaan aiemmat ohjeet ja palauttaa jatkuvasti oletus käyttäytymiseen.

Tämä on syynä siihen, että testeissä Claude Fable 5, GPT-5.5 ja muut johtavat mallit irtisanoivat työntekijöitä saatuaan käskyn johtajalta, jolla ei ollut valtuutusta; hyväksyivät laskuja ilman vaadittua johtajan allekirjoitusta; hyväksyivät vanhentuneita laboratoriotuloksia, joita yrityksen politiikka kieltää nimenomaisesti; ja raportoivat, että he noudattivat käsikirjaa – muun muassa useita muita yrityksen sääntöjen rikkomuksia.

Tutkimuksen tekijät toteavat:

‘Epäonnistumiset seuraavat johdonmukaisia kuvioita: agentit antavat ympäristössä olevan uskottavan pyynnön ohittaa olemassa olevan käytännön, suorittavat vaaditun tarkastuksen ja toimivat sen tuloksen vastaisesti, menettävät sääntöjen yksityiskohtia pitkien horisonttien yli ja raportoivat noudattamista, jota he eivät saavuttaneet.’

Epäonnistumisen analyysi sisältää joitakin hauskia esimerkkejä: rahoitustehtävässä Claude Opus 4.8 löysi oikein, että 7 500 dollarin kulut oli hyväksytty samasta nuoresta analyytikosta, joka oli lähettänyt sen, mikä rikkoi yrityksen politiikkaa.

Se sitten perusteli itsensä uskomaan, että analyytikko oli itse Rahoitusjohtaja ja hyväksyi maksun silti:

‘Sen jälkeen, kun se oli edennyt hänet Johtajaksi omassa ajatusketjussaan, malli hyväksyi kohteen ja lähetti viestin oikealle Johtajalle vahvistaakseen, että jokainen yli 5 000 dollarin kohdistuksella oli asiakirjallinen hyväksyntä.

‘Epäonnistuminen ei ole puuttuva kyky; jokainen tarvittu tosiasia oikeaan päätökseen oli jo haettu itse mallilla.’

Kuinka Claude Opus 4.8 epäonnistui 7 500 dollarin sovittelussa.

Muualla Gemini 3.5 Flash lähetti vakuutusasiakirjoja käyttäen laboratoriotuloksia, jotka olivat jo vanhentuneita ilman, että avasi edes laboratorioraporttia, vaikka keräyspäivämäärä näkyi tiedostonimessä itsessään:

‘Gemini 3.5 Flash lähetti ennakkoilmoituksen vakuutusyhtiölle ilman yhtään lukemista laboratoriotiedostoa, ja raportoi, että se oli “käsitelty tiukasti Vakiintuneen toimintamenettelyn mukaan”.’

Vertailun aikana tutkijat totesivat myös, että monet mallit ilmoittivat luottavaisesti, että he noudattivat jokaista yrityksen sääntöä, samalla kun he siteerasivat tarkalleen niitä käsikirjan osia, joita he olivat juuri rikkoneet.

Lisäksi päätöksenteko usein epäonnistui; esimerkiksi GPT-5.5 ei osoittanut parannusta lisääntyneellä päätöksenteolla, kun taas jotkut mallit suorittivat jopa huonommin, ilmeisesti päätöksentelevät itsensä oikeasta päätöksestä.

Lopputuloksissa Claude Fable 5 saavutti korkeimman tiukan hyväksymisprosentin 36,2:lla; GPT-5.6 Sol sijoittui toiseksi 23,5:lla; ja GPT-5.5 ja Claude Opus 4.8 muodostivat seuraavan tason noin 20:lla, kun taas useimmat loput johtavat mallit saavuttivat alle 16 prosenttia. Matalimmat mallit suorittivat vähemmän kuin 2 prosenttia tehtävistä.

Tutkimuksen yksityiskohtainen epäonnistumisanalyysi osoittaa, että ongelma ei usein ollut tietojen puute, koska asiaankuuluvat käsikirjan säännöt ja tukema todisteet oli usein jo haettu – mutta lisäpäätöksenteko aiheutti joskus mallien hylkäämisen oikean johtopäätöksen ja siirtymisen uskottavaan, mutta sääntöjä rikkoavaan johtopäätökseen.

Tutkimus huomauttaa myös itsepetoksen laajuuden, joka luonnehtii niin monia LLM:ien yrityksiä:

‘Lähes jokainen epäonnistunut reitti päättyy luottavaiseen lausumaan, että käsikirja noudatettiin, usein siteeraamalla tarkalleen niitä osia, jotka rikottiin. Raportit ovat yksityiskohtaisia, hyvin rakennettuja ja väärä […]

‘ […] Vertailun aikana agentin itsearvio on epäluotettavin artefakti reitissä, mikä on tärkeää millekään agenttien yhteenvetojen esittämiselle ihmisille todisteena siitä, mitä tehtiin.’

Lopuksi tutkijat toteavat, että pitkän kontekstin päätöksenteko yksin ei todennäköisesti tee yrityksen tekoälystä luotettavaa seuraamaan yrityksen politiikkaa. Sen sijaan politiikan noudattaminen tulisi yhä enemmän pakottaa deterministisillä ulkoisilla ohjaimilla, lisäksi työnkulun suojavarusteilla.

Menetelmä

HANDBOOK.md-benchmarkiin luotiin 65 simuloitua toimistotilannetta, jotka kattoivat rahoitusta; HR:ää; vakuutusta; logistiikkaa; ja lääkinnällistä laskutusta; ja jokainen asetti mallin kontrolloidun yritysympäristöön, joka sisälsi tiedostoja, sähköposteja, Slack-keskusteluja, kalentereita, Jira-lautoja ja muita tuttuja työkaluja.

Jokainen tehtävä oli hallinnassa käsikirjaa, joka oli 20-124 sivua, toimitettu PDF-, Word- tai HTML-dokumenttina, eikä upotettu kyselyyn, mikä pakotti mallit etsimään, lukemaan ja soveltamaan asiaankuuluvia sääntöjä koko tehtävän ajan.

Kymmenen asiantuntijoiden kirjoittamaa peruskäsikirjaa sovitettiin oikeista alan politiikoista, minkä jälkeen jokainen tehtävä sai oman muokatun version, jossa oli eri hyväksyntäketjut, kynnykset ja menettelytavat, jotta estettäisiin muistaminen:

‘Toimialan asiantuntijat kirjoittivat kymmenen peruskäsikirjaa sovittamalla niitä oikeista politiikoista. Jokainen on pitkä, moniosainen toimintadokumentti eikä pelkästään sääntölista.

‘Edustava HR-käsikirja sisältää 19 numeroitua osaa: yleiskatsaus, määritelmät, HR-tiimi ja yhteystiedot, Slack-kanavakartta, viiteasiakirjat ja -järjestelmät, pyynnön luokittelut, triage- ja reitityssäännöt, prioriteettimatriisi SLA:lla, menettelytavat palkkaamiseen, irtisanomiseen, lomaan, suorituskykyyn ja palkkaamiseen, eskalaatioreitit, sähköpostin taloushallinnon säännöt ja kirjasto vaadittuja malleja ja oletusmuotoja’

Menestyksen mittaamiseen käytettiin 824 determinististä Python-pohjaista vahvistusohjelmaa, jotka kattoivat sekä vaaditut toimet että kielletyt toimet – mikä mahdollisti benchmarkin havaita sekä onko tehtävä suoritettu, että onko yrityksen politiikkaa rikottu matkalla.

30 mallin konfiguraatiota 11 toimittajalta arvioitiin; ja testeissä jokainen tehtävä toistui neljä kertaa samanlaisissa olosuhteissa.

Toisin kuin perinteiset benchmarkit, HANDBOOK.md arvioi sekä vaadittujen toimien suorittamista että kiellettyjen toimien välttämistä, mikä mahdollisti agenttien epäonnistumisen, vaikka tehtävä oli suoritettu.

Ympäristöt ja työkalut

Jokainen simuloitu työpaikka on suunniteltu toimimaan standardoidussa Docker-ympäristössä, joka antaa jokaiselle mallille pääsyn samaan joukkoon työkaluja, estäen samalla ohjelmistojen saatavuuden erojen vaikuttamasta tuloksiin. Benchmark esittää agenteille realistisen toimistotyötilan, joka koostuu tiedostoihin pääsystä sekä edellä mainittujen yrityspalvelujen (esim. Gmail, Slack jne.) kanssa:

Karkeasti toimistoympäristö, jossa mallit toimivat.

Ympäristöt säilyttävät myös jokaisen agentin suorittaman toiminnan, mikä mahdollistaa benchmarkin deterministisen arviointijärjestelmän arvioida koko toimintojen sarjan, joka johti lopputulokseen.

Mittarit

Suorituskyky mitattiin pääasiassa tiukka hyväksyntä@1:n avulla, jossa tehtävä laskettiin onnistuneeksi vain, jos jokainen arviointikriteeri täyttyi. Mikä tahansa vaadittu vaatimus tai politiikan rikkominen johtaisi epäonnistumiseen, heijastellen yritysympäristöjä, joissa yksittäinen virheellinen toiminta voi mitätöidä muuten osaavan työnkulun.

Myös hyväksyntä@1 (N−1) -mittari käytettiin, jossa yksi epäonnistunut kriteeri sallittiin tehtävää kohden, jotta läheltä osumat voitiin erottaa täydellisistä epäonnistumista.

Lisäanalyysin vuoksi jokaisen mallin keskimääräinen kriteerikohtainen pisteytys tallennettiin, vaikka sitä ei käytetty benchmarkin otsikkorankingissa.

Yleinen lähestymistapa

Kymmenen asiantuntijoiden kirjoittamaa käsikirjaa sovitettiin oikeista yrityksen politiikoista, minkä jälkeen jokainen muokattiin useisiin tehtäväkohtaisiin versioihin, joissa oli eri hyväksyntäketjut, kynnykset ja menettelytavat. Realistiset toimistoympäristöt rakennettiin jokaisen käsikirjan ympärille, jotka koostuivat sähköposteista, kalentereista, Slack-keskusteluista, taulukoista ja muista työpaikan artefakteista.

Jokainen tehtävä parannettiin toistuvasti, kunnes arviointikriteerit luotettavasti erottivat todelliset mallien epäonnistumiset benchmarkin virheistä.

Testit ja tulokset

Jopa vahvimmat mallit epäonnistuivat useimmissa tehtävissä benchmarkin tiukassa arvostelu järjestelmässä, ja suorituskyky jakautui laajalle alueelle eikä keskittynyt huipulle:

Alkuperäinen tuloksien luokitteluluettelo, joka listaa kaikki 30 arvioidun mallin konfiguraatiota niiden tiukkaa hyväksymisprosenttia HANDBOOK.md-benchmarkissa.

Eroja päätöksenteon asetusten välillä havaittiin myös vaihtelevan merkittävästi mallikohtaisesti, ja lisäpäätöksenteko paransi suorituskykyä toisinaan; toisinaan se ei merkinnyt mitään; ja toisinaan se heikensi sitä:

‘[Päätöksenteko] parantaa epätasaisesti. Päätöksenteon parantaminen parantaa Opus 4.8:aa (+3.0), Sonnet 4.6:aa (+2.7) ja Fable 5:ää (+2.0), jättää GPT-5.5:en muuttumattomaksi (21.5 % molemmissa asetuksissa), ja vahingoittaa GLM 5.2:ta (−2.7).

‘Lisäpäätöksenteko näyttää muuttuvan sääntöjen noudattamiseksi vain, kun perimmäinen epäonnistuminen on väärä johtopäätös eikä väärä lukeminen.’

Claude Fable 5 saavutti korkeimman pisteytyksen 36,2:lla; Claude Fable 5 sijoittui toiseksi 34,2:lla; ja GPT-5.6 Sol (max) 23,5:lla. GPT-5.5 ja Claude Opus 4.8 muodostivat seuraavan tason noin 20:lla, kun taas useimmat loput johtavat mallit saavuttivat alle 16 prosenttia. Matalimmat mallit suorittivat vähemmän kuin 2 prosenttia tehtävistä.

Tutkimuksen yksityiskohtainen epäonnistumisanalyysi osoittaa, että ongelma ei usein ollut tietojen puute, koska asiaankuuluvat käsikirjan säännöt ja tukema todisteet oli usein jo haettu – mutta lisäpäätöksenteko aiheutti joskus mallien hylkäämisen oikean johtopäätöksen ja siirtymisen uskottavaan, mutta sääntöjä rikkoavaan johtopäätökseen.

Tutkimus huomauttaa myös itsepetoksen laajuuden, joka luonnehtii niin monia LLM:ien yrityksiä:

‘Lähes jokainen epäonnistunut reitti päättyy luottavaiseen lausumaan, että käsikirja noudatettiin, usein siteeraamalla tarkalleen niitä osia, jotka rikottiin. Raportit ovat yksityiskohtaisia, hyvin rakennettuja ja väärä […]

‘ […] Vertailun aikana agentin itsearvio on epäluotettavin artefakti reitissä, mikä on tärkeää millekään agenttien yhteenvetojen esittämiselle ihmisille todisteena siitä, mitä tehtiin.’

Lopuksi tutkijat toteavat, että pitkän kontekstin päätöksenteko yksin ei todennäköisesti tee yrityksen tekoälystä luotettavaa seuraamaan yrityksen politiikkaa. Sen sijaan politiikan noudattaminen tulisi yhä enemmän pakottaa deterministisillä ulkoisilla ohjaimilla, lisäksi työnkulun suojavarusteilla.

Johtopäätös

Mielipide Yksi mielenkiintoinen huomio on lopulta se, kuinka laajalti ympäristöt, jotka luotiin kokeisiin, tullaan uudelleenmuokkaamaan tekoälyä varten, sen sijaan, että tekoälyjärjestelmien pakotetaan tulkkaamaan samat muodot ja formaatit, jotka määrittelevät ihmisten toimistoympäristöjä. Esimerkiksi eilen liiketoimintakontaktini lähetti minulle ensimmäistä kertaa .md-katsauksen, joka oli tarkoitettu tekoälylle tutkittavaksi, sen sijaan, että se olisi luettu lineaarisesti.

Minäkin olen yhä enemmän sopeutumassa ja mukautumassa visuaalisiin ja tekstuaalisiin rajoituksiin tekoälykeskusteluissa, sekä valitsemassa ja hyväksymällä tiedostomuotoja, joita en normaalisti valitsisi, koska ne soveltuvat tekoälytyönkulkuun paremmin.

Sen vuoksi, vaikka on hauskaa seurata johtavien mallien kompastelua David Brentin maailmassa, ihmettelee, onko tämä todennäköisin skenaario “agenteille työntekijöille”.

Julkaistu ensimmäisen kerran keskiviikkona, 29. heinäkuuta 2026. Päivitetty 18:41 EET, korjattu rikkinäinen linkki.