Hvem får revidere Frontier AI? Den hvite husavtalens manglende definisjon

Denne uken signerte ledere fra Google, OpenAI, Anthropic, Meta, xAI og Nvidia Den hvite husavtalen om superintelligens. Selskapene forpliktet seg til fire lag av tilsyn for frontier-modeller: interne kontroller, et internt team som verifiserer dem, en uavhengig ekstern revisor eller vurderer, og en uavhengig styrekomité. Forpliktelsene er foreløpig frivillige, og avtalen sier at de etter hvert kan bli lovfestet.

Av de fire lagene bærer den eksterne vurderingen mest vekt. Det er det eneste laget som setter noen utenfor selskapet i en posisjon til å si om sikkerhetstiltakene fungerer. Det har også minst definisjon. Avtalen sier ikke hvem som kvalifiserer som en uavhengig revisor, hvilken standard de vurderer mot, hvor mye tilgang de får, eller hvordan uavhengigheten holder når en vurderer også selger tjenester til selskapet den gjennomgår. Hvert selskap velger sin egen revisor.

Under disse vilkårene kan to selskaper begge kunngjøre at de har bestått en uavhengig vurdering og mene svært forskjellige ting. Å lukke dette gapet vil kreve svar på tre spørsmål.

Hva bør avgjøre hvem som kvalifiserer

En troverdig definisjon av en uavhengig AI-revisor må dekke minst fire ting.

Uavhengighet. En revisor bør ikke gjennomgå sikkerhetstiltak den har vært med på å utforme, og den bør ikke selge utbedrings- eller konsulentarbeid til samme selskap den vurderer. Modne revisjonsfelt overvåker også avhengighet av honorarer. Når én kunde utgjør en stor del av en revisors inntekter, har revisoren en grunn til å være mild.

Kompetanse tilpasset jobben. «Revisjon» omfatter flere ulike aktiviteter innen AI. Testing av en modell for farlige evner, som å hjelpe til med et cyberangrep eller et biologisk våpen, krever maskinlæringsforskere og fagspesialister. Å sjekke om et selskaps sikkerhetstiltak er godt utformet og fungerer i praksis krever erfarne kontrollrevisorer. En revisor som er kvalifisert for den ene, er ikke automatisk kvalifisert for den andre, og en revisjonsrapport bør angi hvilken som ble utført.

Tilgang og omfang. En revisor som kun ser dokumentasjon kan bekrefte at et sikkerhetstiltak finnes på papiret. Å bekrefte at det fungerte krever tilgang til systemer, logger, godkjenningsregistreringer og personer over en tidsperiode. Frontier-modeller endrer seg mellom treningskjøringer og utrullinger, så revisoren trenger også en klar regel for når en endring krever en ny gjennomgang.

Oversikt over revisoren. Noen må kontrollere kontrollørene. I etablerte revisjonsmarkeder gjennomgår akkrediteringsorganer revisorers arbeid og kan trekke tilbake deres status når den er utilstrekkelig. Denne sikkerhetsmekanismen er det som gir en revisjons konklusjoner vekt.

Infrastrukturen som allerede finnes

 Ingenting av dette må oppfinnes fra bunnen av. ISO 42001, den internasjonale standarden for AI-styringssystemer, gir organisasjoner et rammeverk for å styre AI, med dokumenterte kontroller, klare eiere og kontinuerlig forbedring. Den tilhørende standarden, ISO 42006, fastsetter krav til organene som reviderer og sertifiserer i henhold til ISO 42001, inkludert kompetansen revisorene må demonstrere og upartiskhetsreglene de må følge. Siden sertifiseringsorganer opererer under akkreditering, har en tredjepart tilsyn med revisorene selv.

På den tekniske test siden fyller nyere rammeverk inn. AIUC-1 sertifiserer spesifikke AI-agenter i spesifikke implementeringer, med gjentakende tredjepartstesting for problemer som hallusinasjoner, jailbreaks og usikker verktøybruk, og bygger på kontrollene i ISO 42001.

Stater tester også modeller for å direkte overvåke revisorer. Connecticut vedtok i år en lov som oppretter et pilotprogram, som starter i juli 2027, der statens Department of Consumer Protection vil godkjenne opptil fem uavhengige verifiseringsorganisasjoner. Hver må inngå en statlig overvåket avtale som definerer omfang, metoder, rapporteringsforpliktelser og styring. Denne strukturen svarer på flere av avtalenes åpne spørsmål: hvem som godkjenner revisorer, hva de holdes til, og hvem som overvåker dem.

Disse delene ble ikke bygget for evaluering av frontier-modeller, og de bør ikke presenteres som et fullstendig svar. Arbeidet fremover er å knytte dem sammen, slik at styringssystemgaranti, teknisk modelltesting og tilsyn med revisorer passer sammen under én troverdig definisjon av uavhengighet.

Hvorfor reglene må komme først

Avtalens forpliktelser er frivillige i dag. Hvis de blir lov, må reglene for hvem som kan fungere som revisor være på plass før mandatet trer i kraft, av tre grunner.

For det første blir tidlig praksis til presedens. Når signatarene begynner å navngi revisorer og publisere resultater, vil markedet slå fast fungerende definisjoner av «uavhengig» og «kvalifisert». Definisjoner fastsatt uten ekstern press har en tendens til å favorisere bekvemmelighet. Lovgivere som kommer senere vil finne disse definisjonene allerede innarbeidet i kontrakter og forventninger.

For det andre tar det tid å bygge opp kvalifisert kapasitet. Å akkreditere vurderingsorganer, trene evaluatorer som forstår både grensetilstandmodeller og kontrolltesting, og utvikle felles metoder tar alle år. Et mandat som kommer før denne kapasiteten finnes, vil bli møtt av hvem som helst som er tilgjengelig.

For det tredje fører et krav uten et marked av kvalifiserte vurderere bak seg til bare å krysse av i bokser. Bedrifter vil oppfylle regelens bokstav, regulatorer vil ha liten grunnlag for å utfordre svake vurderinger, og publikum vil få inntrykk av tilsyn uten mye substans.

Noen hevder at det er for tidlig å fastsette disse reglene fordi vitenskapen om å evaluere grensetilstandmodeller fortsatt er ung. Det er en rimelig bekymring angående testmetoder, som bør fortsette å utvikle seg i takt med modellene. Spørsmålene som reises her gjelder vurdereren: om de er fri for konflikter, kvalifisert for oppgaven, får tilstrekkelig tilgang og er underlagt tilsyn. Disse spørsmålene har stabile svar, og andre forsikringstjenester har besvart dem i flere tiår.

Hva organisasjoner kan gjøre nå

Selskaper som bygger eller implementerer avansert AI trenger ikke vente på et mandat. Når de velger en vurderer, kan de spørre hvilke andre tjenester firmaet tilbyr dem, hvilke kvalifikasjoner teamet har for den spesifikke typen vurdering, hvor mye tilgang engasjementet gir, og hvem som har ansvar for firmaets arbeid. Å bygge et AI‑styringssystem nå gir også enhver fremtidig vurderer noe konkret og dokumentert å evaluere.

Avtalen etablerer en solid struktur for AI‑ansvarlighet. Verdien av den vil avhenge av hvem som fyller vurdererrollen og hvilke krav som stilles til dem, og tiden for å definere dette er før noen blir pålagt å bruke den.