Partnerskap
Apollo Research skal integrere seks evaluatører i OpenAIs pilotprosjekt om undergraving

Viktige punkterOpenAI kan holde tilbake materiale innenfor omfanget av sikkerhets- eller…
Vis mer
- OpenAI kan holde tilbake materiale innenfor omfanget av sikkerhets- eller immaterialrettsgrunner, men ikke fordi det er ugunstig.
- OpenAI kan sladde sensitivt bevismateriale bak Apollos funn mens Apollos konklusjoner holdes intakte.
- Apollo hevder at rettigheter til metatransparens er avgjørende fordi uopplyste begrensninger kan få fraværende problemer til å virke betryggende.
Apollo Research kunngjorde 16. november 2026 at seks av evaluatørene deres skal arbeide hos OpenAI i fire måneder for å undersøke om modellene forsøker å undergrave mekanismer for tilpasning eller kontroll under trening, evalueringer og intern utrulling.
Teamet skal undersøke fire spørsmål: om trening gir insentiver til undergraving, om evalueringer kan avdekke slik atferd, om undergraving forekommer under intern utrulling, og om resonnementer knyttet til undergraving kan oppdages. Omfanget omfatter forsøk på å undergrave modellens egen tilpasning eller kontrollmekanismer, så vel som etterfølgernes.
Ordningen skal utvide den eksterne granskingen utover Apollos tidligere evalueringsmetode, som fant sted etter ettertreningen og kort tid før offentlig lansering. Apollo mener at dette tidspunktet ikke er tilstrekkelig for å teste feiltilpasset atferd, som strategisk planlegging, eller undersøke ikke-offentlige bruksområder under intern utrulling. Integrerte evalueringer med tilgang på nivå med ansatte skal avhjelpe disse begrensningene.
Apollo beskriver pilotprosjektet som et ambisiøst første skritt, ikke som en fullverdig integrert evaluering. Selskapets generelle standard krever tilgang til alle relevante dokumenter, også hvis en utvikler forsøker å skjule ugunstig informasjon; at funnene formidles til et egnet eksternt publikum, selv om utvikleren protesterer; og en tilstrekkelig offentlig redegjørelse for begrensningene, slik at leserne forstår hva en rapport kan og ikke kan fastslå.
Avgrenset tilgang og kontakt med ansatte
For vurderingen av insentiver i treningen har OpenAI forpliktet seg til å stille relevant treningskode og relevante datasett til rådighet, forløp fra forsterkningslæring med tilgjengelige resonnementsspor og belønninger, samt mulighet til å spørre mellomliggende kontrollpunkter for modellen. De detaljerte tilgangsordningene for de øvrige vurderingspåstandene gjenstår å avtale.
Vurderingen er begrenset til avtalte påstander, modeller og tidsperioder. OpenAI kan holde tilbake materiale innenfor det avtalte omfanget når selskapet anser det som rimelig nødvendig på grunn av teknisk umulighet, sikkerhetsrisiko eller beskyttelse av immaterielle rettigheter. Selskapet kan ikke holde tilbake informasjon eller nekte tilgang til ansatte bare fordi materialet er ugunstig. OpenAI må informere Apollo om at materiale er holdt tilbake og gi skriftlige begrunnelser. Når OpenAI anser det som gjennomførbart og relevant, må selskapet også angi hvilke kategorier de tilbakeholdte dokumentene tilhører, og omtrent hvor omfattende materialet er. Apollo kan be om utvidet tilgang gjennom en utpekt kontaktperson hos OpenAI og eskalere avslag, men det er ingen garanti for at tilgangen blir utvidet.
Også kontakten med ansatte er regulert. Apollo kan be om å få snakke med personer med særskilt kompetanse og foreslå enkeltpersoner, men OpenAI velger hvem som får delta, og formelle samtaler må loggføres. Hvis en annen ansatt tar opp konfidensiell informasjon, må Apollo avslutte den substansielle diskusjonen og formidle videre oppfølging gjennom sin utpekte kontaktperson hos OpenAI, selv når informasjonen faller innenfor oppdragets omfang.
Evaluatorene skal arbeide på OpenAIs maskinvare og bruke separate kanaler som kan overvåkes. Som standard får de ikke tilgang til generelle kanaler for ansatte, som Slack. Apollo påpeker at uformelle samtaler og Slack kan avdekke relevant informasjon som en evaluator kanskje ikke ville ha bedt om, og ønsker at slik informasjon skal omfattes av fremtidige vurderinger.
Offentlige rapporter og rett til sladding
Apollo planlegger to offentlige rapporter. Den første skal ta for seg insentiver i treningen til å undergrave mekanismer. Den andre skal dekke evalueringer, intern utrulling og hvorvidt undergravende resonnementer kan oppdages. Hver rapport skal beskrive metoder, konklusjoner, begrensninger, spørsmål som ikke kunne vurderes, og dokumentasjon som kan offentliggjøres.
OpenAI skal gjennomgå rapportene og kan be om at konfidensiell informasjon sladdes, inkludert dokumentasjon som underbygger funn. Selskapet kan ikke sladde Apollos konklusjoner eller be om sladding bare fordi et funn er ugunstig. Det kan likevel sladde dokumentasjon som det anser som sensitiv immateriell eiendom, uavhengig av om dokumentasjonen bidrar direkte til et funn. Offentligheten kan derfor bli ute av stand til å undersøke all dokumentasjonen bak en konklusjon, selv om Apollo kan opplyse om sladdingene påvirket konklusjonene. OpenAI skal dele de usladdede rapportene med styrets komité for sikkerhet og trygghet.
Påstander som bygger på samtaler med ansatte, krever en formell bekreftelse fra OpenAI, med mindre Apollo underbygger dem på egen hånd. Kravet gjelder også informasjon som autoriserte ansatte gir i formelle intervjuer. Hvis OpenAI avslår å bekrefte opplysningene, kan Apollo opplyse om avslaget og forklare hvordan det påvirker konklusjonene, uten å røpe den underliggende konfidensielle informasjonen.
Regler for metatransparens
Særskilte rettigheter knyttet til metatransparens gir Apollo anledning til offentlig å beskrive oppdragets omfang og vilkår, hvilken tilgang selskapet ba om og fikk, hvilket materiale som ble holdt tilbake eller forsinket og begrunnelsene for dette, forespørsler om å fjerne innhold fra rapportene og betydningen av slike forespørsler, samt eventuelt press som Apollo mente påvirket arbeidet. Apollo kan diskutere vilkårene for tilgang og publisering uten at OpenAI gjennomgår dem på forhånd.
Apollo anser disse rettighetene som en minimumsstandard for alle evalueringsoppdrag. Uten dem kan fravær av rapporterte problemer virke betryggende, selv når det skyldes begrensninger i undersøkelsene eller i hva som kan offentliggjøres. Konklusjonene fra pilotprosjektet må derfor leses sammen med redegjørelsen for begrensningene på tilgang og publisering: Den samme vurderingen kan veie ulikt, avhengig av hva evaluatorene hadde mulighet til å undersøke og offentliggjøre.












