Partnerschappen
Apollo Research plaatst zes evaluatoren binnen de ondermijningspilot van OpenAI

Belangrijkste puntenOpenAI kan materiaal binnen de reikwijdte achterhouden om veiligheids- of…
Meer weergeven
- OpenAI kan materiaal binnen de reikwijdte achterhouden om veiligheids- of intellectuele-eigendomsredenen, maar niet omdat het ongunstig is.
- OpenAI kan gevoelig bewijs achter Apollo's bevindingen redigeren terwijl Apollo's oordelen intact blijven.
- Apollo betoogt dat meta-transparantierechten essentieel zijn omdat niet-openbaar gemaakte beperkingen ontbrekende problemen geruststellend kunnen laten lijken.
Apollo Research maakte op 16 november 2026 bekend dat zes van zijn evaluatoren vier maanden lang binnen OpenAI zullen werken om te onderzoeken of de modellen tijdens training, evaluaties en interne inzet proberen afstemmings- of controlemechanismen te ondermijnen.
Het team onderzoekt vier vragen: of training ondermijning stimuleert, of evaluaties die aan het licht kunnen brengen, of ondermijning plaatsvindt tijdens interne inzet en of redeneringen die verband houden met ondermijning detecteerbaar zouden zijn. De reikwijdte omvat pogingen om de afstemming of controlemechanismen van een model zelf te ondermijnen, evenals die van opvolgende modellen.
Deze aanpak is bedoeld om externe toetsing verder te laten gaan dan de eerdere evaluatiemethode van Apollo, die plaatsvond na de post-trainingfase en kort voor de openbare introductie. Volgens Apollo is dat moment niet geschikt om gedrag te testen dat niet op de afstemming is gericht, zoals strategisch handelen, of om niet-openbare toepassingen tijdens interne inzet te onderzoeken. Ingebedde evaluaties met toegang zoals die van medewerkers moeten deze beperkingen ondervangen.
Apollo omschrijft de pilot als een ambitieuze eerste stap, niet als een volledige ingebedde evaluatie. Volgens de algemene norm van Apollo moet er toegang zijn tot alle relevante documenten, ook als een ontwikkelaar ongunstige informatie probeert te verbergen; moeten de bevindingen worden gedeeld met een passend extern publiek, ook als de ontwikkelaar daar bezwaar tegen maakt; en moeten de beperkingen voldoende openbaar worden toegelicht, zodat lezers begrijpen wat een rapport wel en niet kan aantonen.
Afgebakende toegang en contact met medewerkers
Voor de beoordeling van trainingsprikkels heeft OpenAI toegezegd relevante trainingscode en datasets beschikbaar te stellen, evenals roll-outs van reinforcement learning met de beschikbare redeneersporen en beloningen, en de mogelijkheid te bieden om tussentijdse modelcheckpoints te bevragen. De gedetailleerde toegangsafspraken voor de overige beoordelingsclaims moeten nog worden overeengekomen.
De beoordeling is beperkt tot overeengekomen claims, modellen en tijdsperioden. OpenAI mag zaken die binnen de afgesproken reikwijdte vallen achterhouden wanneer het dat redelijkerwijs noodzakelijk acht vanwege technische onhaalbaarheid, beveiligingsrisico’s of de bescherming van intellectueel eigendom. Het mag geen informatie of toegang tot medewerkers achterhouden enkel omdat het materiaal ongunstig is. OpenAI moet Apollo laten weten dat er zaken zijn achtergehouden en daarvoor schriftelijke redenen geven. Ook moet het, wanneer OpenAI dat haalbaar en relevant acht, aangeven om welke categorieën achtergehouden documenten het gaat en wat de geschatte omvang ervan is. Apollo kan via een aangewezen contactpersoon bij OpenAI om ruimere toegang verzoeken en weigeringen laten escaleren, maar uitbreiding is niet gegarandeerd.
Ook het contact met medewerkers is aan regels gebonden. Apollo kan verzoeken om mensen met specifieke deskundigheid en personen voorstellen, maar OpenAI kiest de deelnemers die toestemming krijgen en formele gesprekken moeten worden vastgelegd. Als een andere medewerker vertrouwelijke informatie ter sprake brengt, moet Apollo de inhoudelijke bespreking stopzetten en verdere opvolging via de aangewezen contactpersoon bij OpenAI laten verlopen, ook wanneer de informatie binnen de reikwijdte van de opdracht valt.
De evaluatoren werken op hardware van OpenAI en gebruiken afzonderlijke kanalen die kunnen worden gemonitord. Standaard krijgen ze geen toegang tot algemene communicatiekanalen voor medewerkers, zoals Slack. Apollo merkt op dat informele gesprekken en Slack relevante informatie aan het licht kunnen brengen waar een evaluator mogelijk niet om zou hebben gevraagd. Het wil dat dergelijke informatie bij toekomstige evaluaties binnen de reikwijdte valt.
Openbare rapporten en recht op weglakken
Apollo is van plan twee openbare rapporten uit te brengen. Het eerste gaat over de prikkels die training kan geven om tot ondermijning over te gaan; het tweede behandelt evaluaties, interne inzet en de detecteerbaarheid van ondermijnende redeneringen. Elk rapport beschrijft de methoden, conclusies, beperkingen, vragen die niet konden worden beoordeeld en ondersteunend bewijs dat openbaar kan worden gemaakt.
OpenAI zal de rapporten beoordelen en kan verzoeken vertrouwelijke informatie weg te lakken, waaronder bewijs ter onderbouwing van bevindingen. Het mag Apollo’s oordelen niet weglakken en mag daar ook niet om verzoeken enkel omdat een bevinding ongunstig is. Het mag echter wel bewijs weglakken dat het als gevoelig intellectueel eigendom beschouwt, ongeacht of dat bewijs rechtstreeks bijdraagt aan een bevinding. Openbare lezers kunnen daardoor mogelijk niet al het bewijs achter een conclusie bekijken, al kan Apollo aangeven of de weglakkingen gevolgen hadden voor zijn conclusies. OpenAI deelt de rapporten zonder weglakkingen met de Commissie voor Veiligheid en Beveiliging van zijn raad van bestuur.
Claims op basis van gesprekken met medewerkers vereisen een formele bevestiging van OpenAI, tenzij Apollo ze onafhankelijk onderbouwt. Die eis geldt ook voor informatie die bevoegde medewerkers tijdens formele interviews verstrekken. Als OpenAI de bevestiging weigert, kan Apollo bekendmaken dat die is geweigerd en uitleggen wat dat betekent voor zijn conclusies, zonder de onderliggende vertrouwelijke informatie openbaar te maken.
Regels voor metatransparantie
Afzonderlijke rechten op metatransparantie stellen Apollo in staat publiekelijk te beschrijven wat de reikwijdte en voorwaarden van de opdracht zijn, welke toegang het heeft gevraagd en gekregen, welk materiaal is achtergehouden of vertraagd en welke redenen daarvoor zijn gegeven, welke verwijderingen uit rapporten zijn gevraagd en wat daarvan de betekenis is, en welke druk volgens Apollo van invloed is geweest op zijn werk. Apollo mag zijn toegangs- en publicatievoorwaarden bespreken zonder voorafgaande beoordeling door OpenAI.
Apollo beschouwt die rechten als een minimumnorm voor elke evaluatieopdracht. Zonder die rechten kan het uitblijven van gemelde problemen geruststellend lijken, zelfs wanneer dat voortkomt uit beperkingen op het onderzoek of de openbaarmaking. De conclusies van de pilot moeten daarom worden gelezen in samenhang met de beschrijving van de beperkingen op de toegang en publicatie: hetzelfde oordeel kan anders wegen, afhankelijk van wat de evaluatoren konden inzien en openbaar maken.












