Vem får granska frontier‑AI? White House Accords saknade definition

Denna vecka undertecknade ledarna för Google, OpenAI, Anthropic, Meta, xAI och Nvidia White House Accord on Super Intelligence. Företagen förpliktade sig till fyra lager av tillsyn för frontier‑modeller: interna kontroller, ett internt team som verifierar dem, en oberoende extern revisor eller utvärderare samt en oberoende styrelsekommitté. Åtagandena är frivilliga för närvarande, och överenskommelsen säger att de så småningom kan skrivas in i lag.

Av de fyra lagren har den externa bedömningen störst vikt. Det är det enda lagret som placerar någon utanför företaget i en position att säga huruvida skyddsåtgärderna fungerar. Det har också minst definition. Överenskommelsen säger inte vem som kvalificerar sig som oberoende granskare, vilken standard de bedömer mot, hur mycket åtkomst de får, eller hur oberoendet håller när en utvärderare även säljer tjänster till det företag de granskar. Varje företag väljer sin egen granskare.

Enligt dessa villkor kan två företag båda meddela att de har klarat en oberoende granskning och mena mycket olika saker. Att överbrygga detta gap kräver svar på tre frågor.

Vad bör avgöra vem som kvalificerar sig

En trovärdig definition av en oberoende AI‑granskare måste omfatta minst fyra aspekter.

Oberoende. En granskare bör inte granska skyddsåtgärder som den hjälpt till att utforma, och den bör inte sälja återställnings- eller konsulttjänster till samma företag som den granskar. Mogna granskningsfält övervakar också beroende av arvoden. När en kund står för en stor del av en granskningsbyrås intäkter, har granskaren en anledning att vara mild.

Kompetens anpassad till uppdraget. “Audit” omfattar flera olika aktiviteter inom AI. Att testa en modell för farliga förmågor, såsom att hjälpa till med en cyberattack eller ett biologiskt vapen, kräver maskininlärningsforskare och ämnesexperter. Att kontrollera om ett företags skyddsåtgärder är väl utformade och fungerar i praktiken kräver erfarna kontrollrevisorer. En granskare som är kvalificerad för den ena är inte automatiskt kvalificerad för den andra, och en granskningsrapport bör ange vilken som utfördes.

Åtkomst och omfattning. En granskare som endast ser dokumentation kan bekräfta att en skyddsåtgärd finns på papper. Att bekräfta att den fungerade kräver åtkomst till system, loggar, godkännanderegistreringar och personer under en tidsperiod. Frontier‑modeller förändras mellan träningskörningar och distributioner, så granskaren behöver också en tydlig regel för när en förändring kräver en ny granskning.

Övervakning av granskaren. Någon måste kontrollera kontrollanter. På etablerade granskningsmarknader granskar ackrediteringsorgan granskarnas arbete och kan ta bort deras status när det brister. Denna säkerhetsåtgärd är det som ger en gransknings slutsatser någon vikt.

Den infrastruktur som redan finns

 Ingenting av detta behöver uppfinnas från grunden. ISO 42001, den internationella standarden för AI‑hanteringssystem, ger organisationer ett ramverk för styrning av AI, med dokumenterade kontroller, tydliga ägare och kontinuerlig förbättring. Dess följeslagare, ISO 42006, fastställer krav för de organ som granskar och certifierar enligt ISO 42001, inklusive den kompetens som revisorer måste demonstrera och de opartiskhetsregler de måste följa. Eftersom certifieringsorgan arbetar under ackreditering, övervakar en tredje part själva revisorerna.

På den tekniska testningssidan fyller nyare ramverk i luckorna. AIUC-1 certifierar specifika AI‑agenter i specifika implementeringar, med återkommande tredjepartstestning för problem som hallucinationer, jailbreaks och osäker verktygsanvändning, och bygger på ISO 42001:s kontroller.

Stater testar också modeller för att direkt övervaka granskare. Connecticut antog i år en lag som skapar ett pilotprogram, med start i juli 2027, där statens Department of Consumer Protection kommer att godkänna upp till fem oberoende verifieringsorganisationer. Varje organisation måste ingå ett statligt övervakat avtal som definierar dess omfattning, metoder, rapporteringsskyldigheter och styrning. Denna struktur besvarar flera av överenskommelsens öppna frågor: vem som godkänner granskare, vad de hålls ansvariga för och vem som övervakar dem.

Dessa delar byggdes inte för utvärdering av frontier‑modeller, och de bör inte presenteras som ett komplett svar. Det framtida arbetet handlar om att koppla dem så att systemförsäkring, teknisk modelltestning och granskningens övervakning samverkar under en trovärdig definition av oberoende.

Varför reglerna måste komma först

Överenskommelsens åtaganden är idag frivilliga. Om de blir lag krävs att reglerna för vem som kan fungera som granskare finns på plats innan mandatet träder i kraft, av tre skäl.

Först blir tidig praxis ett prejudikat. När undertecknarna börjar namnge granskare och publicera resultat, kommer marknaden att fastställa fungerande definitioner av “oberoende” och “kvalificerad”. Definitioner som fastställs utan yttre påtryckningar tenderar att gynna bekvämlighet. Lagstiftare som kommer senare kommer att finna att dessa definitioner redan är inbäddade i avtal och förväntningar.

För det andra tar det tid att bygga upp kvalificerad kapacitet. Att ackreditera bedömningsorgan, utbilda utvärderare som förstår både frontier‑modeller och kontrolltestning, samt utveckla gemensamma metoder tar alla år. Ett mandat som införs innan den kapaciteten finns kommer att uppfyllas av den som är tillgänglig.

För det tredje leder ett krav utan en marknad av kvalificerade bedömare till enbart box‑checking. Företagen kommer att uppfylla regelns bokstav, regulatorerna får liten grund för att ifrågasätta svaga bedömningar, och allmänheten får intrycket av tillsyn utan mycket substans.

Vissa hävdar att det är för tidigt att fastställa dessa regler eftersom vetenskapen om att utvärdera frontier‑modeller fortfarande är ung. Det är en rimlig oro kring testmetoder, som bör fortsätta utvecklas i takt med modellerna. De frågor som tas upp här gäller bedömaren: om de är fria från konflikter, kvalificerade för uppdraget, har tillräcklig åtkomst och är föremål för tillsyn. Dessa frågor har stabila svar, och andra försäkringsområden har besvarat dem i årtionden.

Vad organisationer kan göra nu

Företag som bygger eller implementerar avancerad AI behöver inte vänta på ett mandat. När de väljer en bedömare kan de fråga vilka andra tjänster företaget erbjuder dem, vilka kvalifikationer teamet har för den specifika typen av bedömning, hur mycket åtkomst engagemanget innebär och vem som övervakar företagets arbete. Att bygga ett AI‑hanteringssystem nu ger även framtida bedömare något konkret och dokumenterat att utvärdera.

Avtalet etablerar en solid struktur för AI‑ansvarsskyldighet. Dess värde beror på vem som fyller bedömarrollen och vilka krav som ställs på dem, och tiden att definiera detta är innan någon är skyldig att använda det.