Kuka saa tarkastaa raja‑AI:n? Valkoisen talon sopimuksen puuttuva määritelmä

Tällä viikolla Googlen, OpenAI:n, Anthropicin, Metan, xAI:n ja Nvidian johtajat allekirjoittivat White House Accord on Super Intelligence. Yritykset sitoutuivat neljä valvontakerrosta raja‑AI-malleille: sisäiset kontrollit, sisäinen tiimi, joka tarkistaa ne, riippumaton ulkoinen tarkastaja tai arvioija sekä riippumaton hallituksen komitea. Sitoumukset ovat toistaiseksi vapaaehtoisia, ja sopimus sanoo niiden mahdollisesti myöhemmin kirjoitettavan lainsäädännöksi.

Neljästä kerroksesta ulkoinen arviointi kantaa eniten painoa. Se on ainoa kerros, joka asettaa jonkun yrityksen ulkopuolelle asemaan, jossa hän voi sanoa, toimivatko suojatoimet. Sillä on myös vähiten määrittelyä. Sopimus ei kerro, kuka täyttää riippumattoman arvioijan kelpoisuuskriteerit, mitä standardia vastaan he arvioivat, kuinka paljon pääsyä he saavat, tai miten riippumattomuus kestää, kun arvioija myös myy palveluita yritykselle, jota hän tarkastelee. Jokainen yritys valitsee oman arvioijansa.

Näiden ehtojen mukaan kaksi yritystä voi molemmat ilmoittaa läpänneensä riippumattoman arvioinnin, mutta tarkoittaa hyvin erilaisia asioita. Tämän aukon sulkeminen vaatii vastauksia kolmeen kysymykseen.

Mitä tulisi päättää, kuka täyttää kelpoisuuskriteerit

Riippumattoman AI-arvioijan uskottava määritelmä tulee kattaa vähintään neljä asiaa.

Riippumattomuus. Arvioijan ei tulisi tarkastaa suojatoimia, joita hän on auttanut suunnittelemaan, eikä hänen tulisi myydä korjaus- tai konsultointipalveluita samalle yritykselle, jota hän arvioi. Kypsät tarkastusalat myös seuraavat palkkioperusteista riippuvuutta. Kun yksi asiakas muodostaa suuren osan arvioijan liikevaihdosta, arvioijalla on syy olla suopea.

Työhön sopiva osaaminen. “Audit” kattaa useita eri toimintoja tekoälyssä. Mallin testaaminen vaarallisten kykyjen, kuten kyky auttaa kyberhyökkäyksessä tai biologisen aseessa, vaatii koneoppimisen tutkijoita ja alakohtaisia asiantuntijoita. Sen tarkistaminen, että yrityksen suojatoimet on suunniteltu hyvin ja toimivat käytännössä, vaatii kokeneita valvonta-auditoinnin tarkastajia. Arvioija, joka on pätevä yhteen, ei automaattisesti ole pätevä toiseen, ja arviointiraportin tulisi kertoa, kumpaa tehtiin.

Pääsy ja laajuus. Arvioija, joka näkee vain dokumentaation, voi vahvistaa, että suojatoimi on olemassa paperilla. Sen toimivuuden vahvistaminen vaatii pääsyn järjestelmiin, lokitiedostoihin, hyväksymistietoihin ja henkilöihin pitkän ajanjakson aikana. Raja‑AI-mallit muuttuvat koulutusjaksojen ja käyttöönottojen välillä, joten arvioijalla täytyy myös olla selkeä sääntö siitä, milloin muutos vaatii uuden tarkastelun.

Arvioijan valvonta. Jollakin on tarkistettava tarkastajat. Vakiintuneilla auditointimarkkinoilla akkreditointielimet tarkastelevat arvioijien työtä ja voivat poistaa heidän asemansa, jos se ei täytä vaatimuksia. Tämä takaisinkytkentä on se, mikä antaa arvioinnin johtopäätöksille painoarvoa.

Jo olemassa oleva infrastruktuuri

 Mikään tästä ei tarvitse olla keksitty alusta alkaen. ISO 42001, kansainvälinen standardi AI‑hallintajärjestelmille, tarjoaa organisaatioille kehyksen tekoälyn hallintaan, dokumentoiduilla kontrollilla, selkeillä omistajilla ja jatkuvalla parantamisella. Sen kumppanistandardi, ISO 42006, asettaa vaatimuksia tahoille, jotka auditoin ja sertifioivat ISO 42001:n mukaisesti, mukaan lukien auditorien osoittaman osaamisen ja noudatettavat puolueettomuussäännöt. Koska sertifiointielimet toimivat akkreditoinnin alaisina, kolmas osapuoli valvoo itse auditoinnin tekijöitä.

Teknisen testauksen puolella uudemmat viitekehykset täyttävät aukkoja. AIUC-1 sertifioi tietyt AI‑agentit tietyissä käyttöönotossa, toistuvalla kolmannen osapuolen testauksella ongelmiin kuten harhakuvaukset, ohitukset ja epävarma työkalujen käyttö, ja rakentuu ISO 42001:n kontrollien päälle.

Osavaltiot testaavat myös malleja valvoakseen arvioijia suoraan. Connecticut hyväksyi tänä vuonna lain, joka luo pilottiohjelma, alkaen heinäkuussa 2027, jossa osavaltion kuluttajansuojaviranomainen hyväksyy enintään viisi riippumatonta varmennusorganisaatiota. Jokaisen on solmittava osavaltion valvomassa sopimuksessa määritelty laajuus, menetelmät, raportointivelvoitteet ja hallinto. Tämä rakenne vastaa useita sopimuksen avoimia kysymyksiä: kuka hyväksyy arvioijat, mihin heitä pidetään, ja kuka valvoo heitä.

Nämä osat eivät ole rakennettu raja‑AI-mallien arviointiin, eikä niitä tulisi esittää täydellisenä ratkaisuna. Edessä oleva työ on yhdistää ne niin, että hallintajärjestelmän varmistus, tekninen mallitestaus ja arvioijan valvonta sopivat yhteen yhden uskottavan riippumattomuusmääritelmän alla.

Miksi säännöt on asetettava ensin

Sopimuksen sitoumukset ovat tänä päivänä vapaaehtoisia. Jos ne muuttuvat laiksi, säännöt siitä, kuka voi toimia arvioijana, on oltava paikoillaan ennen kuin mandaatti astuu voimaan, kolmesta syystä.

Ensinnäkin varhainen käytäntö muodostaa ennakkotapauksen. Kun allekirjoittajat alkavat nimetä arvioijia ja julkaista tuloksia, markkinat vakiinnuttavat toimivat määritelmät termeille “riippumaton” ja “kelpoinen”. Ulkopuolisesta paineesta vapautuneet määritelmät pyrkivät suosimaan kätevyyttä. Myöhemmin saapuvat lainsäätäjät löytävät nämä määritelmät jo sisällytettyinä sopimuksiin ja odotuksiin.

Toiseksi, pätevä kapasiteetti vaatii aikaa rakentaakseen. Arviointielinten akkreditointi, arvioijien kouluttaminen, jotka ymmärtävät sekä raja‑malleja että valvontatestausta, ja yhteisten menetelmien kehittäminen vievät kaikki vuosia. Mandaatti, joka saapuu ennen kuin tämä kapasiteetti on olemassa, täytetään sillä, joka on saatavilla.

Kolmanneksi, vaatimus ilman pätevän arvioijan markkinoita takanaan johtaa laatikon tarkistamiseen. Yritykset täyttävät säännön kirjaimen, sääntelijöillä on vähän perusteita haastaa heikot arviot, ja yleisö saa vaikutelman valvonnasta ilman merkittävää sisältöä.

Jotkut väittävät, että on liian aikaista asettaa nämä säännöt, koska raja‑mallien arvioinnin tiede on vielä nuori. Se on perusteltu huoli testausmenetelmistä, joiden tulisi kehittyä mallien mukana. Tässä esitetyt kysymykset koskevat arvioijaa: ovatko he ristiriidattomia, päteviä tehtävään, saavatko he riittävän pääsyn ja ovatko he valvonnan alaisia. Näihin kysymyksiin on vakaita vastauksia, ja muut varmistusalueet ovat vastanneet niihin vuosikymmeniä.

Mitä organisaatiot voivat tehdä nyt

Yritykset, jotka rakentavat tai ottavat käyttöön kehittynyttä tekoälyä, eivät tarvitse odottaa mandaattia. Valitessaan arvioijaa he voivat kysyä, mitä muita palveluita yritys heille tarjoaa, mitä pätevyyksiä sen tiimillä on kyseistä arviointityyppiä varten, kuinka paljon pääsyä sitoumus sisältää, ja kuka valvoo yrityksen työtä. AI‑hallintajärjestelmän rakentaminen nyt antaa myös tulevalle arvioijalle konkreettisen ja dokumentoidun kohteen arvioitavaksi.

Sopimus luo vankan rakenteen tekoälyn vastuullisuudelle. Sen arvo riippuu siitä, kuka täyttää arvioijan roolin ja mitä heiltä odotetaan, ja sen määrittämiseen käytettävä aika on ennen kuin kukaan on pakotettu käyttämään sitä.