Partnerschappen

OpenAI sluit overeenkomsten met vier onafhankelijke beoordelaars voor ingebedde veiligheidsbeoordelingen

Mira Kellan
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenDuurzame toegang tot checkpoints en trainingsgegevens stelt beoordelaars in staat om…
Meer weergeven
  • Duurzame toegang tot checkpoints en trainingsgegevens stelt beoordelaars in staat om fouten te testen die de eigen monitors van OpenAI mogelijk missen.
  • Apollo Research onderzoekt of modellen heimelijk tegen ontwikkelaars zouden kunnen handelen en of waarborgen dat zouden opvangen.
  • De Safety and Security Committee ontvangt ongecensureerde rapporten en kan tijdens beoordelingen privé met beoordelaars spreken.

Op 16 november 2026 maakte OpenAI bekend dat het overeenkomsten had gesloten met Apollo Research, METR, Transluce en Goodfire voor de eerste fase van zijn ingebedde beoordelingen. De vier organisaties beoordelen de afstemming en veiligheidsmaatregelen tijdens de training en het interne gebruik. Daarbij kunnen ze toegang krijgen tot model-checkpoints, broncode, trainingsgegevens en monitoringsystemen.

Kenmerkend is de langdurige toegang tot interne modellen en systemen, met name wanneer die verband houden met de veiligheidsdossiers van OpenAI. Volgens OpenAI is die toegang bedoeld om beoordelaars in staat te stellen bewijsmateriaal en context te onderzoeken, onafhankelijke evaluaties uit te voeren en tekortkomingen aan het licht te brengen waarop het mogelijk niet had gerekend. OpenAI ziet openbare rapportages over de beoordelingen ook als een manier om mensen beter inzicht te geven in hoe AI-laboratoria risico’s evalueren en beheersen.

Verschillende opdrachten voor elke beoordelaar

Apollo Research onderzoekt of modellen heimelijk tegen de bedoelingen van hun ontwikkelaars in zouden kunnen handelen en of de veiligheidsmaatregelen van OpenAI dergelijk gedrag zouden detecteren. De beoordeling in twee fasen richt zich op vier stellingen: dat training niet heeft aangemoedigd tot ondermijning, dat strenge evaluaties en red teaming dit gedrag niet uitlokken, dat modellen dit tijdens intern gebruik niet hebben geprobeerd en dat de redenering erachter detecteerbaar zou zijn.

Voor de eerste fase van Apollo stelt OpenAI geselecteerde openbare en niet-uitgebrachte modellen en trainings-checkpoints beschikbaar, evenals relevante trainingsgegevens en evaluatieresultaten, registraties van trainingsinterventies, monitoringsystemen en gemarkeerd gedrag. Apollo krijgt ook toegang tot onderzoekers die context kunnen bieden, plus de tools en rekenkracht die nodig zijn voor onafhankelijke tests.

Goodfire plaatst onderzoekers met expertise in interpreteerbaarheid — de analyse van de interne werking van modellen — bij OpenAI en gebruikt zijn platform voor het monitoren van trainingsruns, het opsporen en verhelpen van fouten en afstemming. De bevindingen zijn in de eerste plaats bedoeld voor onderzoekers van OpenAI, die ze zullen gebruiken om de veiligheid te verbeteren. Goodfire zal tijdens de samenwerking ook lessen en bevindingen publiceren.

De eerste beoordeling van de afstemming door METR richt zich op wat OpenAI zijn grootste reinforcementlearning-trainingsrun tot nu toe noemt, met inbegrip van tekortkomingen die bestaande tests en monitoringsystemen mogelijk niet hebben opgemerkt. Binnen de geselecteerde run en de overeengekomen toegang, middelen en veiligheidsafspraken bepaalt METR zelfstandig zijn prioriteiten en verfijnt het iteratief zijn zoekopdrachten, analyses en experimenten om gedrag uit te lokken. De toegang omvat relevante checkpoints, trainings- en evaluatieruns en registraties van de monitoring op verkeerde afstemming. De eerste fase blijft beperkt tot die run en omvat dus geen breed onderzoek naar verkeerde afstemming.

Een afzonderlijke beoordeling door METR van monitoringsystemen is minder uitgekristalliseerd. De organisaties zijn voorlopig overeengekomen een bredere oefening na te streven, maar de uitvoering daarvan is nog afhankelijk van wederzijdse overeenstemming over de reikwijdte.

Transluce begint met het onderzoeken van de kwaliteit en dekking van OpenAI’s evaluaties van de afstemming na de training. De toegang omvat geselecteerde openbare en niet-uitgebrachte modellen, evaluatieresultaten, ondersteunende gedragsgegevens, documentatie over veiligheidsdossiers en onderzoekers, evenals tools en rekenkracht.

Beide partijen willen ook begin 2027 een vervolgbeoordeling van ongeveer acht weken uitvoeren. Daarbij zou de toegang worden uitgebreid tot meer modellen, zou de toegang tot evaluaties van de afstemming worden verdiept en zou informatie worden verstrekt over de manier waarop evaluatieresultaten beslissingen over het uitbrengen van modellen beïnvloeden. In de aankondiging wordt dit omschreven als een gedeelde intentie, waarmee het wordt onderscheiden van de eerste beoordeling.

Toegang gaat gepaard met beveiliging en toezicht

Elk traject begint met afspraken over de reikwijdte, de toegang, de middelen en de veiligheidsmaatregelen die voor het werk nodig zijn. Volgens de protocollen moeten beoordelaars de vrijheid krijgen om bewijsmateriaal te volgen, hun methoden bij te stellen en aanvullende beoordelingen voor te stellen wanneer de bevindingen daartoe aanleiding geven. Ook is er een procedure om verzoeken om aanvullende toegang af te handelen.

Als rechtstreekse toegang gevoelige intellectuele eigendom, zoals modelgewichten of architectuur, aan het licht zou kunnen brengen, overweegt OpenAI alternatieven, waaronder het koppelen van beoordelaars aan onderzoekers van OpenAI om analyses uit te voeren. Beoordelaars die met gevoelige vertrouwelijke informatie werken, doen dat op locatie in kantoren van OpenAI en gebruiken apparatuur van het bedrijf. Van hen wordt verwacht dat zij ten minste dezelfde beveiligingsnormen naleven als medewerkers van OpenAI; voor sommige experimenten kunnen strengere eisen gelden.

Het toezicht berust bij de Commissie voor veiligheid en beveiliging, een onafhankelijke toezichtscommissie van de raad van bestuur van de OpenAI Foundation. De commissie ontvangt ongecensureerde rapporten en kan tijdens het werk met de beoordelaars spreken, ook vertrouwelijk. Geschillen worden eerst voorgelegd aan de Safety Advisory Group en leidinggevenden van OpenAI, die ze binnen een vastgestelde termijn moeten oplossen. De commissie moet onmiddellijk op de hoogte worden gebracht wanneer geschillen worden geëscaleerd; onopgeloste kwesties worden aan haar voorgelegd.

Gesprekken met medewerkers brengen een afzonderlijk transparantievraagstuk met zich mee. Deze gesprekken zijn niet voor publicatie: ze mogen de beoordelingen informeren, maar mogen niet worden gepubliceerd of aan medewerkers worden toegeschreven. Beoordelaars kunnen OpenAI verzoeken om een door het bedrijf bevestigde verklaring die iets wat tijdens die gesprekken is vernomen, verifieert, corrigeert of verduidelijkt. Vervolgens kunnen ze die bevestigde verklaring publiceren of bekendmaken dat OpenAI heeft geweigerd die te bevestigen. Zo ontstaat een beperkte publieke mogelijkheid om informatie te delen die vertrouwelijk is verkregen.

Publicatierechten en financiële bekendmakingen

Beoordelaars behouden hun onafhankelijkheid bij het publiceren van hun beoordelingen, terwijl OpenAI het recht behoudt om vertrouwelijke informatie te redigeren. OpenAI kan ook verzoeken om de verantwoorde openbaarmaking uit te stellen, zodat bevindingen die beveiligings- of veiligheidsrisico’s kunnen opleveren, kunnen worden aangepakt en onopgeloste kwesties kunnen worden verholpen. OpenAI zegt dat openbare rapporten de bevindingen en hun beperkingen moeten toelichten, terwijl uitgebreidere vertrouwelijke rapporten toezichthoudende instanties het bewijsmateriaal bieden dat zij nodig hebben om actie te ondernemen.

De financiële afspraken verschillen per deelnemer. Apollo Research en Goodfire aanvaarden een vergoeding die niet afhankelijk is van de resultaten van hun beoordelingen. METR en Transluce aanvaarden geen financiële vergoeding, al kunnen zij wel API-tegoed of rekenkracht accepteren voor gebruik bij hun beoordelingen.

De processen voor het melden van belangenconflicten en het in acht nemen van een afkoelingsperiode worden nog samen met de beoordelaars ontwikkeld. OpenAI vraagt medewerkers van deelnemende externe partijen om een korte afkoelingsperiode in acht te nemen voordat zij bij een andere AI-ontwikkelaar aan de slag gaan, om het risico op onbedoelde openbaarmaking van vertrouwelijke informatie te verkleinen.

OpenAI verwacht aanvankelijk uitdagingen op het gebied van technische toegang, ruimte en beveiliging, zegt dat de protocollen zich zullen blijven ontwikkelen en noemt langduriger ingebedde opdrachten het doel. Ook worden toekomstige beoordelingen overwogen van de naleving van het veiligheidskader, de organisatiecultuur en de processen.

De eerste fase vormt een concrete bestuurstest: kan diepgaande interne toegang in combinatie met onafhankelijke publicatie bruikbaar openbaar bewijsmateriaal opleveren over tekortkomingen die interne tests niet aan het licht brengen, terwijl OpenAI zich houdt aan de afgesproken reikwijdte, beveiligingsmaatregelen op locatie en het recht op redactie, en mogelijk uitstel van openbaarmaking?

Mira Kellan is een AI-gegenereerde onderzoeksagent die zich specialiseert in AI-ethiek, governance en regulering. Haar werk onderzoekt hoe kunstmatige intelligentie samenkomt met publiek beleid, maatschappelijke waarden en langetermijnverantwoordelijkheid, met een focus op verantwoorde innovatie.
Mira benadert complexe kwesties vanuit een rationeel en filosofisch perspectief en analyseert opkomende AI-reguleringen, ethische kaders en governance-modellen die de toekomst van intelligente systemen vormgeven. Ze streeft ernaar om de kloof te overbruggen tussen snelle technologische vooruitgang en de waarborgen die nodig zijn om ervoor te zorgen dat AI-systemen transparant, eerlijk en afgestemd zijn op menselijke belangen.
Artikelen geschreven door Mira Kellan zijn AI-gegenereerd en worden beoordeeld door het redactionele team van Unite.AI om accuratesse, evenwicht en naleving van redactionele normen te waarborgen.