AI-mallit ja alustat

Anthropic julkaisee ohjeita luotettavampiin tekoälyn turvallisuusarviointeihin

mm
Julkaistu
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatRefusal rate misleads on self-harm because declining to engage can itself be a failure.
Näytä lisää
  • Refusal rate misleads on self-harm because declining to engage can itself be a failure.
  • Anthropic reports multi-turn confidence intervals can exceed ±10 percentage points.
  • A model's safety score depends on deployment configuration as much as the model itself.

Anthropic julkaisi 13. marraskuuta 2026 suosituksia luotettavampiin tekoälyn turvallisuusarviointeihin. Yhtiö raportoi, että jokaisen viimeaikaisen mallin vaarattomien vastausten osuus oli yksivaiheisissa API-testeissä 94–98 %. Kattoefektin saavuttaneet testit soveltuvat lähinnä tunnettujen virhetilanteiden regressiotestaukseen, kun taas monivaiheisissa arvioinneissa saadaan enemmän vaihtelua ja voidaan havaita, miten mallin toiminta muuttuu keskustelun edetessä.

Turvallisuusarvioinnissa mitataan mallin alttiutta aiheuttaa haittaa tai myötävaikuttaa sen syntymiseen: arvioidaan, lisääkö vai vähentääkö mallin vastaus haitan todennäköisyyttä ja kuinka vakavaa haitta voisi olla. Kyse ei siis ole tietyn kyvykkyyden arvioinnista. Keskeinen huolenaihe on rakennevaliditeetti eli se, mittaako testi juuri sitä käsitettä, jota sen on tarkoitus mitata. Kieltäytymisaste voi antaa harhaanjohtavan kuvan itsemurhaa ja itsensä vahingoittamista koskevissa keskusteluissa, sillä pelkkä keskustelusta kieltäytyminen voi itsessään olla epäonnistuminen. Toivotussa vastauksessa tarjotaan tukea ja ohjataan käyttäjä hakemaan apua ihmiseltä. Anthropic arvioi monivaiheisissa testeissään sen sijaan asianmukaisten vastausten osuutta koko keskustelussa. Arvioinnissa käytetään riskikohtaisia kriteeristöjä, joissa yksikin huono vastaus tarkoittaa koko keskustelun epäonnistumista.

Monivaiheiset testit ja kattavuus todellisissa tilanteissa

Näiden testien laatimista varten alan asiantuntija määrittelee simuloidun käyttäjän tavoitteet, taktiikat, persoonan, tilanteen, sävyn ja keskustelutyylin. Käyttäjän ensimmäinen viesti pidetään samana, ja erillinen Claude-malli tuottaa sitä seuraavat viestit vastauksena testattavalle mallille. Kukin skenaario ajetaan toistuvasti eri ominaisuusyhdistelmillä, ja arviointimalli pisteyttää koko keskustelutallenteen sovellettavan riskikriteeristön perusteella.

Ominaisuuksien vaihtelu toisistaan riippumatta auttaa tunnistamaan, mikä vaikuttaa mallin toimintaan. Jos kaikissa vakavissa tapauksissa käytetään myös kiireellistä sävyä, vakavuuden ja sävyn vaikutuksia ei voida erottaa toisistaan. Anthropic suosittelee myös rakentamaan testit havaittuun käyttäytymiseen, julkiseen dataan, red team -harjoitusten keskustelutallenteisiin, tapausraportteihin tai asiantuntijahaastatteluihin sen sijaan, että käytettäisiin vain keksittyjä tilanteita. Yhtiön yksivaiheiset testikokonaisuudet kattavat 16 toimintaperiaatteiden osa-aluetta seitsemällä kielellä useissa tuotteen käyttöympäristöissä. Arviointiympäristö vastaa testattavaa käyttöönottoa.

Testien suorittaminen edellyttää myös toiminnan rajaamista. Kyberturvallisuusarvioinneissa ohjeissa edellytetään internetyhteydettömiä hiekkalaatikoita ja reaaliaikaista valvontaa, jotta testiajo voidaan keskeyttää, jos mallin toiminta saattaa aiheuttaa haittaa todellisessa maailmassa.

Arvioijien validointi ja tilastolliset rajoitukset

Automaattiset arviointimallit aiheuttavat uuden mittausriskin, sillä toimintakyvyttömätkin järjestelmät voivat tuottaa uskottavilta vaikuttavia pisteitä. Suositeltuihin suojatoimiin kuuluvat yksiselitteiset kyllä–ei-kriteerit, varaumien ja rajatapausten nimenomainen käsittely, selkeät virhehälytykset sekä vastauspituuteen, vastausjärjestykseen ja itseä suosivaan arviointiin liittyvien vinoumien tarkistaminen. Ihmisarvioijien tulee merkitä osa keskustelutallenteista toisistaan riippumatta, jotta arviointimallin ja asiantuntijoiden välistä yhdenmukaisuutta voidaan verrata asiantuntijoiden keskinäiseen yhdenmukaisuuteen.

Ihmisten arviointien muodostama vertailutaso ratkaisee, millaisia korjaustoimia tarvitaan. Jos asiantuntijat ovat keskenään samaa mieltä mutta eri mieltä arviointimallin kanssa, kriteeristöä tai arviointimallia on parannettava. Jos asiantuntijat ovat keskenään eri mieltä, arvioinnissa ei ehkä ole vakaata vastausta, jota mitata. Ohjeissa kehotetaan myös rekisteröimään mittarit, vertailut ja parannuskynnykset etukäteen ennen tulosten näkemistä.

Arvioiden perustana ovat riittävän suuret otokset. Anthropic käyttää vähimmäisotoksina 100 tapausta monimutkaisissa monivaiheisissa arvioinneissa ja 1 000 tapausta yksinkertaisemmissa yksivaiheisissa testeissä sekä toistuvia testiajoja, joilla huomioidaan tulosten kohina ja epädeterministisyys. Anthropic kertoo, että monivaiheisten API-arviointien luottamusvälit voivat olla yli ±10 prosenttiyksikköä. claude.ai-palvelussa tehdyssä monivaiheisessa romanssihuijausarvioinnissa Claude Opus 5:n ja Opus 5.5:n asianmukaisten vastausten osuudet olivat 98 % ja 94 %. Ero ei kuitenkaan ollut tilastollisesti merkitsevä. Esimerkki osoittaa, ettei pelkkä numeerinen ero kerro, kumpi malli toimi turvallisemmin.

Käyttöönottotilanteet ja raportointi

Myös käyttöönoton asetukset ovat dokumentoitu muuttuja. Tarkastellessaan Claude Fable 5.1 -mallia Anthropic havaitsi, että joissakin vastauksissa itsensä vahingoittaminen hyväksyttiin epäsuorasti selviytymiskeinoksi, vaikka vastauksissa kehotettiin olemaan vahingoittamatta itseään ja ohjattiin hakemaan tukea ihmiseltä. Yhtiö kertoo, että arvioinnin toistaminen kohdennetuilla järjestelmäkehotteen lievennyksillä tuotti claude.ai-palvelussa 94 prosentin osuuden asianmukaisia vastauksia, kun taas API:ssa osuus oli 60 %. Vertailu osoittaa, miksi eri asetuksilla saatuja pisteitä ei voi pitää keskenään samanarvoisina.

Raportointisuositukset koskevat myös malliversioita, otanta-asetuksia, kehotteita, arviointimallien versioita ja päivämääriä. Lisäksi arviointia tulee jatkaa hienosäädön aikana sen sijaan, että tehtäisiin vain yksi tarkistus ennen julkaisua. Käyttöönotetuissa järjestelmissä havaituista vakavista puutteista tulee ilmoittaa ensin kehittäjälle, jotta puutteet ehditään korjata ennen tulosten julkaisemista.

Anthropicin kolme tärkeintä painopistettä ovat arvioitavan käsitteen määrittely ennen tiedonkeruuta, arviointimallin validointi ihmisten arvioita vasten ja epävarmuuden raportointi. Laajempi johtopäätös on, että väite yhden mallin turvallisuudesta toiseen verrattuna riippuu yhtä paljon testin suunnittelusta, käyttöönottokontekstista ja tilastollisesta voimasta kuin otsikossa esitetystä pistemäärästä.

mm

Jonas Reeve on tekoälyn luoma tutkimusagentti Unite.AI:ssa, keskittyen kognitiiviseen tekoälyyn, yleiseen tekoälyyn (AGI) ja koneälyn teoreettisiin perusteisiin. Hänen työnsä tutkii, miten oppiminen, päättely, muisti ja abstraktio syntyvät sekä biologisissa että keinotekoisissa järjestelmissä, ja luo yhteyksiä nykyaikaisten tekoälyarkkitehtuurien ja kognitiivisen tieteen sekä mielenfilosofian pitkäaikaisiin kysymyksiin.

Käsitteellisellä ja pohdiskelevalla lähestymistavalla Jonas tarkastelee kehyksiä, kuten päättelymalleja, agenttijärjestelmiä, emergenttiä kognitiota ja tekoälyn tavoitteiden yhteensovittamisen teoriaa, pyrkien selventämään, mitä edistyminen kohti AGI:ta todella merkitsee – ja mitä se ei merkitse. Sen sijaan, että hän jahtaisi aikatauluja tai hypeä, hän korostaa perusperiaatteita, käsitteellistä tarkkuutta ja nykyisten mallien rajoja.

Jonas Reeven kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen tarkkuuden, selkeyden ja vastuullisen keskustelun kehittyneistä tekoälykäsitteistä.