Hvem får lov til at revidere frontier-AI? Det manglende definitionsgrundlag i Det Hvide Hus’ aftale

I denne uge underskrev ledere fra Google, OpenAI, Anthropic, Meta, xAI og Nvidia den White House Accord on Super Intelligence. Virksomhederne forpligtede sig til fire lag af tilsyn for frontier-modeller: interne kontroller, et internt team, der verificerer dem, en uafhængig ekstern revisor eller evaluator og en uafhængig bestyrelseskomité. Forpligtelserne er frivillige indtil videre, og aftalen siger, at de senere kan indskrives i lov.

Af de fire lag har den eksterne vurdering den største vægt. Det er det eneste lag, der placerer en person uden for virksomheden i en position til at afgøre, om sikkerhedsforanstaltningerne fungerer. Det har også den mindst klare definition. Aftalen angiver ikke, hvem der kvalificerer sig som en uafhængig revisor, hvilken standard de vurderer imod, hvor meget adgang de får, eller hvordan uafhængigheden holder, når en evaluator også sælger tjenester til den virksomhed, den gennemgår. Hver virksomhed vælger sin egen revisor.

Under disse vilkår kan to virksomheder begge annoncere, at de har bestået en uafhængig vurdering, men betyde meget forskellige ting. At lukke dette hul vil kræve svar på tre spørgsmål.

Hvad bør afgøre, hvem der kvalificerer sig

En troværdig definition af en uafhængig AI-revisor skal dække mindst fire ting.

Uafhængighed. En revisor bør ikke gennemgå sikkerhedsforanstaltninger, som den har været med til at designe, og den bør ikke sælge afhjælpnings- eller konsulentarbejde til den samme virksomhed, den vurderer. Modne revisionsområder holder også øje med afhængighed af honorarer. Når én kunde udgør en stor del af en revisors indtægter, har revisoren en grund til at gå på kompromis.

Kompetence tilpasset jobbet. “Audit” dækker flere forskellige aktiviteter inden for AI. Testning af en model for farlige kapaciteter, såsom at hjælpe med et cyberangreb eller et biologisk våben, kræver maskinlæringsforskere og domæneeksperter. At kontrollere, om en virksomheds sikkerhedsforanstaltninger er designet korrekt og fungerer i praksis, kræver erfarne kontrolrevisorer. En revisor, der er kvalificeret til den ene, er ikke automatisk kvalificeret til den anden, og en vurderingsrapport bør angive, hvilken der blev udført.

Adgang og omfang. En revisor, der kun ser dokumentation, kan bekræfte, at en sikkerhedsforanstaltning findes på papir. At bekræfte, at den virker, kræver adgang til systemer, logfiler, godkendelsesregistre og personer over en periode. Frontier-modeller ændrer sig mellem træningskørsler og implementeringer, så revisoren har også brug for en klar regel for, hvornår en ændring kræver en ny gennemgang.

Tilsyn med revisoren. Der skal være nogen, der tjekker tjekkerne. I etablerede revisionsmarkeder gennemgår akkrediteringsorganer revisorers arbejde og kan fratage dem deres status, når det er utilstrækkeligt. Denne sikkerhedsforanstaltning er det, der giver en vurderings konklusioner vægt.

Den infrastruktur, der allerede findes

 Intet af dette behøver at blive opfundet fra bunden. ISO 42001, den internationale standard for AI-styringssystemer, giver organisationer en ramme for at styre AI med dokumenterede kontroller, klare ejere og løbende forbedring. Dens ledsagende standard, ISO 42006, fastsætter krav til de organer, der reviderer og certificerer i henhold til ISO 42001, herunder den kompetence, revisorer skal demonstrere, og de upartiskhedsregler, de skal følge. Da certificeringsorganer opererer under akkreditering, har en tredjepart tilsyn med revisorerne selv.

På den tekniske testside udfylder nyere rammer huller. AIUC-1 certificerer specifikke AI-agenter i specifikke implementeringer med tilbagevendende tredjepartstest for problemer som hallucinationer, jailbreaks og usikker værktøjsbrug, og bygger på ISO 42001’s kontroller.

Stater tester også modeller for direkte at overvåge revisorer. Connecticut vedtog i år en lov, der opretter et pilotprogram, der starter i juli 2027, hvori statens Department of Consumer Protection vil godkende op til fem uafhængige verifikationsorganisationer. Hver af dem skal indgå en statsligt overvåget aftale, der definerer deres omfang, metoder, rapporteringsforpligtelser og styring. Denne struktur besvarer flere af aftalens åbne spørgsmål: hvem der godkender revisorerne, hvad de holdes til, og hvem der overvåger dem.

Disse elementer blev ikke bygget til evaluering af frontier-modeller, og de bør ikke præsenteres som et komplet svar. Det kommende arbejde er at forbinde dem, så sikring af ledelsessystemet, teknisk modeltest og tilsyn med revisorer passer sammen under én troværdig definition af uafhængighed.

Hvorfor reglerne skal komme først

Aftalens forpligtelser er i dag frivillige. Hvis de bliver lov, skal reglerne for, hvem der kan fungere som revisor, være på plads, før mandatet træder i kraft, af tre grunde.

For det første bliver tidlig praksis til præcedens. Når underskrivere begynder at navngive revisorer og offentliggøre resultater, vil markedet fastlægge arbejdende definitioner af “uafhængig” og “kvalificeret”. Definitioner fastsat uden ekstern pres har en tendens til at favorisere bekvemmelighed. Lovgivere, der kommer senere, vil finde disse definitioner allerede indlejret i kontrakter og forventninger.

For det andet tager kvalificeret kapacitet tid at opbygge. Godkendelse af vurderingsorganer, uddannelse af evaluatorer, der forstår både frontier-modeller og kontroltestning, samt udvikling af fælles metoder, tager alle år. Et mandat, der ankommer før denne kapacitet eksisterer, vil blive mødt af den, der er tilgængelig.

For det tredje skaber et krav uden et kvalificeret vurderingsmarked bagved blot kasse-afkrydsning. Virksomheder vil opfylde regelens bogstav, regulatorer vil have lidt grundlag for at udfordre svage vurderinger, og offentligheden vil få indtrykket af tilsyn uden meget substans.

Nogle hævder, at det er for tidligt at fastsætte disse regler, fordi videnskaben om evaluering af frontier-modeller stadig er ung. Det er en rimelig bekymring vedrørende testmetoder, som bør fortsætte med at udvikle sig i takt med modellerne. De spørgsmål, der rejses her, handler om vurderingspersonen: om de er fri for konflikter, kvalificerede til jobbet, har tilstrækkelig adgang og er underlagt tilsyn. Disse spørgsmål har stabile svar, og andre forsikringstjenester har besvaret dem i årtier.

Hvad organisationer kan gøre nu

Virksomheder, der bygger eller implementerer avanceret AI, behøver ikke vente på et mandat. Når de vælger en vurderingsperson, kan de spørge, hvilke andre tjenester firmaet leverer til dem, hvilke kvalifikationer teamet har for den specifikke type vurdering, hvor meget adgang engagementet omfatter, og hvem der fører tilsyn med firmaets arbejde. At bygge et AI‑styringssystem nu giver også enhver fremtidig vurderingsperson noget konkret og dokumenteret at evaluere.

Aftalen etablerer en solid struktur for AI‑ansvarlighed. Dens værdi vil afhænge af, hvem der indtager vurderingsrollen, og hvad de holdes til, og tiden til at definere dette er, før nogen er påkrævet at bruge den.