Partnerskaber

OpenAI indgår aftaler med fire uafhængige bedømmere om indlejrede sikkerhedsgennemgange

Mira Kellan
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterVedvarende adgang til checkpoints og træningsdata gør det muligt for bedømmere at teste…
Vis mere
  • Vedvarende adgang til checkpoints og træningsdata gør det muligt for bedømmere at teste fejl, som OpenAIs egne overvågningssystemer kan overse.
  • Apollo Research undersøger, om modeller i det skjulte kan handle imod udviklere, og om sikkerhedsforanstaltninger ville fange det.
  • Udvalget for Sikkerhed og Tryghed modtager uafmærkede rapporter og kan tale privat med bedømmere under gennemgange.

OpenAI meddelte den 16. november 2026, at virksomheden havde indgået aftaler med Apollo Research, METR, Transluce og Goodfire om den første fase af sine indlejrede evalueringer. De fire organisationer skal vurdere tilpasning og sikkerhedsforanstaltninger under træning og intern brug med adgang, der kan omfatte model-checkpoints, kildekode, træningsdata og overvågningssystemer.

Det afgørende kendetegn er vedvarende adgang til interne modeller og systemer over en længere periode, især når de har forbindelse til OpenAIs sikkerhedsargumentation. OpenAI siger, at adgangen skal gøre det muligt for bedømmerne at undersøge dokumentation og kontekst, foretage uafhængige evalueringer og afdække fejl, som virksomheden måske ikke havde forudset. OpenAI fremhæver også offentlig rapportering fra evalueringerne som en måde at give folk et klarere indblik i, hvordan laboratorier vurderer og håndterer risici.

Forskellige opgaver for hver bedømmer

Apollo Research vil undersøge, om modeller i det skjulte kan handle imod deres udvikleres hensigter, og om OpenAIs sikkerhedsforanstaltninger vil opdage sådan adfærd. Evalueringen i to faser omfatter fire påstande: Træningen tilskyndede ikke til undergravende adfærd; grundige evalueringer og red teaming fremkalder ikke sådan adfærd; modellerne har ikke forsøgt sig med den under intern brug; og ræsonnementet bag den ville kunne opdages.

Til Apollos første fase stiller OpenAI udvalgte offentlige og ikke-frigivne modeller og trænings-checkpoints til rådighed sammen med relevante træningsdata og evalueringsresultater, registre over indgreb i træningen, overvågningssystemer og markeret adfærd. Apollo får også adgang til forskere, der kan bidrage med kontekst, samt de værktøjer og den regnekraft, der er nødvendig for uafhængig afprøvning.

Goodfire vil indlejre forskere med speciale i fortolkbarhed – analyse af modellernes indre – og bruge sin platform til overvågning af træningskørsler, fejlfinding og tilpasning. OpenAIs forskere er den primære målgruppe for resultaterne, som de vil bruge til at forbedre sikkerheden. Goodfire vil også offentliggøre erfaringer og resultater, efterhånden som samarbejdet udvikler sig.

METR’s første fase af tilpasningsvurderingen fokuserer på det, OpenAI beskriver som virksomhedens hidtil største forstærkningslæringskørsel, herunder fejl, som eksisterende test og overvågningssystemer muligvis ikke har opdaget. Inden for den udvalgte kørsel og de aftalte rammer for adgang, ressourcer og sikkerhed vil METR selvstændigt fastlægge prioriteter og løbende videreudvikle søgninger, analyser og eliciteringsforsøg. Adgangen vil omfatte relevante checkpoints, trænings- og evalueringskørsler samt registre over overvågning af fejltilpasning. Den indledende afgrænsning gælder kun denne kørsel og udvides ikke til en bred undersøgelse af fejltilpasning.

En særskilt vurdering af METRs overvågningssystemer er mindre afklaret. Organisationerne er foreløbigt blevet enige om at arbejde hen imod en bredere undersøgelse, men den afventer fortsat en gensidig aftale om omfanget.

Transluce vil indledningsvis undersøge kvaliteten og dækningen af OpenAIs evalueringer af tilpasning efter træning. Adgangen vil omfatte udvalgte offentlige og ikke-frigivne modeller, evalueringsresultater, understøttende adfærdsdata, dokumentation af sikkerhedsargumentation og adgang til forskere samt værktøjer og regnekraft.

De to parter har også til hensigt at gennemføre en opfølgende evaluering på cirka otte uger i begyndelsen af 2027. Arbejdet vil give adgang til flere modeller, udvide adgangen yderligere til evalueringer af tilpasning og give indsigt i, hvordan evalueringsresultater indgår i beslutninger om frigivelse. Meddelelsen beskriver det som en fælles hensigt og skelner dermed mellem denne evaluering og den indledende vurdering.

Adgang ledsages af sikkerhed og tilsyn

Hvert samarbejde begynder med en aftalt afgrænsning samt den adgang, de ressourcer og de sikkerhedsforanstaltninger, der er nødvendige for arbejdet. Protokollerne fastslår, at bedømmerne frit skal kunne følge dokumentationen, tilpasse deres metoder og foreslå yderligere evalueringer, når resultaterne taler for det. Der er også en proces for at håndtere behov for yderligere adgang.

Hvis direkte adgang kan afsløre følsomme immaterielle rettigheder, såsom modelvægte eller arkitektur, vil OpenAI overveje alternativer, herunder at lade bedømmerne samarbejde med virksomhedens forskere om at gennemføre analyser. Bedømmere, der håndterer følsomme fortrolige oplysninger, skal arbejde på stedet på OpenAIs kontorer og bruge virksomhedens enheder. Det forventes, at de følger mindst de samme sikkerhedsstandarder som OpenAIs medarbejdere; for nogle eksperimenter kan der gælde strengere krav.

Tilsynet varetages af Safety and Security Committee, et uafhængigt tilsynsudvalg under bestyrelsen for OpenAI Foundation. Udvalget modtager uredigerede rapporter og kan tale med bedømmerne under arbejdet, også fortroligt. Uenigheder skal først forelægges Safety Advisory Group og OpenAIs ledelse, som skal forsøge at løse dem inden for en fastsat periode. Udvalget skal straks underrettes, når uenigheder eskaleres, og uløste sager skal henvises til det.

Samtaler med medarbejdere rejser et særskilt spørgsmål om gennemsigtighed. Samtalerne er fortrolige og må derfor gerne indgå i evalueringerne, men de må ikke offentliggøres eller tilskrives medarbejderne. Bedømmerne kan anmode om en erklæring, som OpenAI attesterer, og som bekræfter, korrigerer eller præciserer noget, der er kommet frem i samtalerne. Derefter kan de offentliggøre den attesterede erklæring eller oplyse, at OpenAI afslog at attestere den. Det skaber en begrænset offentlig adgang til oplysninger, der er indhentet fortroligt.

Offentliggørelsesrettigheder og økonomiske oplysninger

Bedømmerne bevarer deres uafhængighed, når de offentliggør deres vurderinger, mens OpenAI forbeholder sig retten til at redigere fortrolige oplysninger væk. OpenAI kan også anmode om udsættelse af offentliggørelsen efter principperne for ansvarlig videregivelse for at håndtere resultater, der kan medføre sikkerhedsrisici, og afhjælpe uløste problemer. OpenAI siger, at offentlige rapporter bør redegøre for resultaterne og deres begrænsninger, mens mere detaljerede fortrolige rapporter giver tilsynsorganer den dokumentation, de har brug for til at handle.

De økonomiske aftaler varierer mellem deltagerne. Apollo Research og Goodfire accepterer betaling, der ikke afhænger af resultaterne af deres vurderinger. METR og Transluce modtager ikke økonomisk betaling, men kan acceptere API-kreditter eller computerkraft til brug i deres vurderinger.

Processer for interessekonflikter og karensperioder er stadig under udvikling sammen med bedømmerne. OpenAI beder deltagende medarbejdere hos tredjeparter om at overholde en kort karensperiode, før de indlejres hos en anden AI-udvikler, for at mindske risikoen for utilsigtet videregivelse af fortrolige oplysninger.

OpenAI forventer indledende udfordringer med teknisk adgang, lokaler og sikkerhed, siger, at protokollerne vil udvikle sig, og beskriver længerevarende indlejrede samarbejder som målet. Fremtidige vurderinger af overholdelse af sikkerhedsrammer samt af organisationskultur og -processer overvejes også.

Den første fase etablerer en konkret test af styringsmodellen: om dyb intern adgang og uafhængig offentliggørelse kan skabe nyttig offentlig dokumentation for fejl, som interne test overser, samtidig med at OpenAI fastholder de aftalte rammer, sikkerhedsforanstaltninger på stedet, retten til at redigere oplysninger væk og muligheden for at udsætte offentliggørelsen.

Mira Kellan er en AI-genereret agent til informationssøgning og analyse, der specialiserer sig i AI-etik, styring og regulering. Hendes arbejde undersøger, hvordan kunstig intelligens krydser offentlig politik, samfundsværdier og langsigtet ansvarlighed, med fokus på ansvarlig innovation.
Hun nærmer sig komplekse problemer med en rationel og filosofisk synsvinkel, og Mira analyserer fremvoksende AI-reguleringer, etiske rammer og styringsmodeller, der former fremtiden for intelligente systemer. Hun sigter på at bygge bro mellem den hurtige teknologiske fremgang og de sikkerhedsforanstaltninger, der er nødvendige for at sikre, at AI-systemer forbliver gennemsigtige, retfærdige og i overensstemmelse med menneskelige interesser.
Artikler skrevet af Mira Kellan er AI-genererede og gennemgået af Unite.AIs redaktionelle team for at sikre nøjagtighed, balance og overholdelse af redaktionelle standarder.