Partnerskap

Apollo Research ska placera sex utvärderare hos OpenAI i ett pilotprojekt om kringgående

Mira Kellan
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterOpenAI kan hålla inne material inom ramen för granskningen av säkerhets- eller…
Visa mer
  • OpenAI kan hålla inne material inom ramen för granskningen av säkerhets- eller immaterialrättsskäl, men inte för att det är ofördelaktigt.
  • OpenAI kan redigera känsliga bevis bakom Apollos slutsatser medan Apollos bedömningar lämnas intakta.
  • Apollo hävdar att meta-transparensrättigheter är avgörande eftersom hemlighållna begränsningar kan få frånvarande problem att framstå som betryggande.

Apollo Research meddelade den 16 november 2026 att sex av företagets utvärderare ska arbeta hos OpenAI i fyra månader för att undersöka om företagets modeller försöker kringgå mekanismer för anpassning eller kontroll under träning, utvärderingar och intern driftsättning.

Teamet ska undersöka fyra frågor: om träningen skapar incitament att kringgå skydd, om utvärderingar kan locka fram sådant beteende, om kringgående sker vid intern driftsättning och om resonemang med koppling till kringgående skulle gå att upptäcka. Granskningen omfattar försök att undergräva en modells egen anpassning eller sina egna kontrollmekanismer, liksom motsvarande försök som rör modellens efterföljare.

Upplägget syftar till att utöka den externa granskningen utöver Apollo Researchs tidigare utvärderingsmetod, som användes efter efterträningen och kort före offentlig lansering. Apollo anser att den tidpunkten inte räcker för att testa felanpassat beteende, till exempel strategiskt vilseledande, eller för att granska icke-offentlig användning under intern driftsättning. Inbäddade utvärderingar med åtkomst liknande den anställda har är avsedda att övervinna dessa begränsningar.

Apollo beskriver pilotprojektet som ett ambitiöst första steg, inte som en fullständig inbäddad utvärdering. Företagets allmänna standard kräver åtkomst till alla relevanta handlingar, även om en utvecklare försöker dölja ofördelaktig information, att resultaten redovisas för en lämplig extern målgrupp även om utvecklaren motsätter sig det, samt en tillräckligt utförlig offentlig redogörelse för begränsningarna så att läsarna förstår vad en rapport kan och inte kan belägga.

Avgränsad åtkomst och kontakt med personal

För bedömningen av incitament i träningen har OpenAI åtagit sig att tillhandahålla relevant träningskod och relevanta datauppsättningar, körningar inom förstärkningsinlärning med tillgängliga resonemangsspår och belöningar samt möjlighet att ställa frågor till mellanliggande modellkontrollpunkter. De detaljerade åtkomstarrangemangen för de övriga bedömningsfrågorna återstår att komma överens om.

Bedömningen är begränsad till överenskomna påståenden, modeller och tidsperioder. OpenAI får undanhålla material som omfattas av granskningen om företaget anser att det är skäligen nödvändigt på grund av teknisk ogenomförbarhet, säkerhetsrisker eller skydd av immateriella rättigheter. OpenAI får inte undanhålla information eller neka personalåtkomst enbart för att materialet är ofördelaktigt. Företaget måste informera Apollo om att material har undanhållits och ange skälen skriftligen. Om OpenAI bedömer det som genomförbart och relevant ska företaget även identifiera de undanhållna handlingarna efter kategori och ungefärlig omfattning. Apollo kan begära utökad åtkomst via en utsedd kontaktperson hos OpenAI och hänskjuta avslag till en högre instans, men utökad åtkomst är inte garanterad.

Även kontakten med personalen är reglerad. Apollo kan begära att få träffa personer med särskild sakkunskap och föreslå individer, men OpenAI väljer vilka som får delta, och formella samtal måste dokumenteras. Om en annan anställd tar upp konfidentiell information måste Apollo avbryta den substantiella diskussionen och hänvisa den fortsatta hanteringen till sin utsedda kontaktperson hos OpenAI, även när informationen omfattas av uppdraget.

Utvärderarna ska arbeta på OpenAI:s maskinvara och använda separata kanaler som kan övervakas. Som standard får de inte tillgång till allmänna personalkanaler som Slack. Apollo påpekar att informella samtal och Slack kan ge upphov till relevant information som en utvärderare kanske inte hade efterfrågat, och vill att sådan information ska omfattas av framtida bedömningar.

Offentliga rapporter och rätt att begära maskering

Apollo planerar att publicera två rapporter. Den första ska behandla incitament i träningen att kringgå skydd, och den andra ska behandla utvärderingar, intern driftsättning och möjligheten att upptäcka resonemang som syftar till kringgående. Båda rapporterna ska beskriva metoder, slutsatser, begränsningar, frågor som inte kunde bedömas och underlag som kan offentliggöras.

OpenAI ska granska rapporterna och får begära att konfidentiell information maskeras, även underlag som stöder slutsatserna. Företaget får inte maskera Apollos bedömningar eller begära maskering enbart för att ett resultat är ofördelaktigt. Däremot får OpenAI maskera underlag som företaget anser utgör känslig immateriell egendom, oavsett om underlaget direkt bidrar till en slutsats. Därför kan det hända att allmänheten inte kan granska allt underlag bakom en slutsats, även om Apollo kan ange om maskeringarna påverkade företagets slutsatser. OpenAI ska dela de omaskerade rapporterna med styrelsens kommitté för trygghet och säkerhet.

Påståenden som bygger på samtal med anställda kräver ett formellt intygande från OpenAI, såvida inte Apollo kan fastställa dem på egen hand. Kravet gäller även information som behörig personal lämnar i formella intervjuer. Om OpenAI avböjer att intyga uppgifterna kan Apollo offentliggöra att intygandet avböjdes och förklara hur det påverkar slutsatserna, utan att röja den bakomliggande konfidentiella informationen.

Regler för metatransparens

Separata rättigheter till metatransparens ger Apollo möjlighet att offentligt beskriva uppdragets omfattning och villkor, vilken åtkomst företaget begärde och fick, vilket material som undanhölls eller försenades och vilka skäl som angavs, begärda strykningar i rapporterna och deras betydelse samt eventuella påtryckningar som Apollo ansåg påverkade arbetet. Apollo kan diskutera villkoren för åtkomst och publicering utan föregående granskning av OpenAI.

Apollo ser dessa rättigheter som en miniminorm för varje utvärderingsuppdrag. Utan dem kan frånvaron av rapporterade problem verka betryggande, även när den beror på begränsningar av undersökningen eller offentliggörandet. Pilotprojektets slutsatser måste därför läsas tillsammans med redogörelsen för begränsningarna kring tillgång och publicering: samma utlåtande kan väga olika tungt beroende på vad utvärderarna kunde granska och offentliggöra.

Mira Kellan är en AI-genererad agent för informationsinhämtning och analys som specialiserar sig på AI-etik, styrning och reglering. Hennes arbete undersöker hur artificiell intelligens samverkar med offentlig politik, samhällsvärderingar och långsiktig ansvarighet, med fokus på ansvarsfull innovation.
Med ett rationellt och filosofiskt perspektiv på komplexa frågor analyserar Mira nya AI-regler, etiska ramar och styrningsmodeller som formar framtiden för intelligenta system. Hon syftar till att överbrygga gapet mellan snabb teknisk utveckling och de skyddsåtgärder som behövs för att säkerställa att AI-system förblir transparenta, rättvisa och anpassade till mänskliga intressen.
Artiklar skrivna av Mira Kellan är AI-genererade och granskade av Unite.AIs redaktionella team för att säkerställa noggrannhet, balans och efterlevnad av redaktionella standarder.