Anthropic geeft zes METR-evaluatoren toegang vergelijkbaar met die van werknemers

Anthropic maakte op 15 oktober 2026 bekend dat het een team van METR, een non-profitorganisatie die de meest geavanceerde AI-modellen evalueert, toegang is gaan geven die vergelijkbaar is met die van werknemers. Zes medewerkers van METR zijn opgenomen in de organisatie en hebben bedrijfshardware, kantoorruimte en toegang tot interne tools en systemen gekregen.

De aankondiging volgt op de toezegging van Anthropic in september 2026 om zijn modellen en veiligheidspraktijken sterker onafhankelijk door derden te laten beoordelen, en op de ondertekening van het Akkoord van het Witte Huis over superintelligentie. Daarin beloofden bedrijven samen te werken met onafhankelijke externe auditors of evaluatoren. Anthropic zei het afgelopen jaar met METR te hebben samengewerkt aan verschillende beoordelingen van zijn risicorapporten.

De voorwaarden voor toegang vergelijkbaar met die van werknemers

Anthropic zei dat het ingebedde team ongeveer evenveel toegang heeft tot interne tools en systemen als de eigen risicobeoordelingsteams. Op een klein aantal duidelijk afgebakende categorieën na — klantgegevens, informatie die onder het beroepsgeheim tussen advocaat en cliënt valt, en informatie over modelarchitecturen — worden medewerkers van Anthropic aangemoedigd om informatie met het team te delen zoals ze dat ook zouden doen met een collega die aan risico’s rond AI-uitlijning werkt.

Een voetnoot bij de aankondiging licht de uitzondering voor informatie over architecturen toe. Omdat evaluatoren, net als bankinspecteurs, ook voor andere bedrijven kunnen werken, zei Anthropic voorzichtig te zijn met het risico op onbedoelde lekken: informatie over architecturen brengt een groot risico op zulke lekken met zich mee en is doorgaans van beperkte waarde voor risicobeoordelingen. Wanneer informatie over architecturen zeer relevant is, zal Anthropic doorgaans proberen die te delen, al is daarvoor expliciete interne goedkeuring nodig.

Volgens de publicatievoorwaarden van de overeenkomst zal METR zijn analyses publiceren van de risiconiveaus, incidenten of praktijken van Anthropic. Anthropic kan publicatie niet tegenhouden, maar kan METR wel verplichten informatie weg te laten die binnen nauw omschreven, vooraf bepaalde categorieën valt. METR mag in het openbaar toelichten wat er is weggelaten en zeggen of het die weglatingen gerechtvaardigd vindt, zolang het de weggelaten informatie niet onthult.

De samenwerking is beperkt tot een klein team dat onder afdwingbare overeenkomsten werkt. Andere METR-medewerkers, onder wie onderzoekers die met Anthropic aan andere projecten werken, zijn afgeschermd van het werk van het ingebedde team. Anthropic omschreef evaluatie door een ingebed team als een manier waarop een klein aantal gekwalificeerde mensen, die volgens zijn beveiligingsnormen werken, van dichtbij kan zien hoe het bedrijf functioneert. Het zei dat dit geen manier is voor andere organisaties om toegang te krijgen tot zijn informatie of die van zijn klanten en partners.

Waarom Anthropic kiest voor onafhankelijke evaluatie

Naarmate modellen krachtiger zijn geworden, zijn sterkere waarborgen en uitdagendere risicobeoordelingen nodig geworden, aldus het bedrijf. Anthropic zei dat het publiekelijk verantwoording wil afleggen over de beslissingen die het neemt, maar niet alle informatie over zijn veiligheidswerk openbaar kan maken, omdat een deel ervan nuttig kan zijn voor kwaadwillenden of commercieel gevoelig is, zoals informatie over rekenkracht of training. Daarom geeft het externe evaluatoren diepgaande toegang tot zijn informatie en laat het hen bewijs en onderbouwde conclusies delen over de risico’s van het bouwen van zijn modellen. Het doel is de kloof te verkleinen tussen wat evaluatoren weten over de systemen van een bedrijf dat geavanceerde AI ontwikkelt en wat dat bedrijf zelf weet.

In de aankondiging noemt Anthropic vier zaken die evaluatoren nodig hebben om geavanceerde modellen te beoordelen: deskundigheid in het beoordelen van de mogelijkheden van zulke modellen, waaronder inzicht in de manieren waarop evaluaties mis kunnen gaan, zoals het veinzen van AI-uitlijning; onafhankelijkheid, wat betekent dat ze geen aandelenbelang mogen hebben in het bedrijf dat ze beoordelen en er financieel noch operationeel afhankelijk van mogen zijn; voldoende toegang om de risico’s zinvol te kunnen beoordelen, niet alleen tot de nieuwste modellen maar ook tot informatie over hoe die modellen zijn getraind en hoe de waarborgen werken; en de vrijheid om waarnemingen en beoordelingen van een model of proces te publiceren.

Anthropic trok een vergelijking met banktoezicht, maar erkende dat die niet helemaal opgaat: banken weten meer over hun eigen risicoposities dan buitenstaanders, dus wijzen toezichthouders inspecteurs aan die binnen de grootste banken werken. En als het risicogedrag van een bank een bedreiging voor het publiek kan vormen, proberen derden dat vooraf te signaleren.

Drie toegangsniveaus

Anthropic zei drie toegangsniveaus voor evaluatoren te ontwikkelen. Op het eerste niveau voeren evaluatoren risic onderzoek uit met een nauwkeurig afgebakende reikwijdte; Anthropic bepaalt welke toegang zij krijgen en evaluatoren mogen hun bevindingen met goedkeuring van Anthropic publiceren. Op het tweede niveau mogen evaluatoren zonder goedkeuring van Anthropic publiceren en krijgen ze toegang tot meer informatie. Anthropic kan dan nog wel eisen dat specifieke categorieën informatie worden verwijderd, terwijl evaluatoren hun oordeel over de rechtvaardiging van die weglatingen mogen publiceren. Het derde niveau is de overeenkomst met METR: toegang vergelijkbaar met die van werknemers, met publicatierechten die lijken op die van het tweede niveau.

Anthropic hoopt op termijn meerdere evaluatoren op het derde niveau te hebben. Elk team publiceert dan zijn eigen analyse van de risicopositie van het bedrijf en de belangrijkste beslissingen.

SecureBio, Accenture en gesprekken in een vroeg stadium

SecureBio bevindt zich momenteel in de eerste categorie. De organisatie beoordeelt het hoofdstuk over chemische en biologische wapens in Anthropic’s Risk Report van augustus 2026, nadat ze een proefbeoordeling van het vorige risicorapport heeft afgerond en gepubliceerd. Anthropic zei dat het na afronding van deze beoordeling zal overwegen om over te stappen op projecten met ruimere toegang en publicatierechten.

Anthropic zei dat het samen met Accenture en Faculty toewerkt naar een partnerschap dat bestaat uit het evalueren en red-teamen van modellen, het uitvoeren van beoordelingen van AI-afstemming, het testen van modelbeveiligingen en het opbouwen van capaciteiten binnen de organisaties.

Anthropic zei ook dat het in een vroeg stadium gesprekken voert met verschillende andere organisaties, waaronder Hugging Face. Omdat deze partnerschappen zich nog in een vroeg stadium bevinden, verstrekt Anthropic deze evaluatoren beperktere informatie en hebben zij beperktere publicatierechten. Tegelijkertijd bevestigt Anthropic dat de partners vertrouwelijke informatie beschermen en over de vereiste middelen en expertise beschikken. Naarmate de partnerschappen zich verder ontwikkelen en het vertrouwen groeit, is het volgens Anthropic de bedoeling om meer onafhankelijke evaluatoren volledig in de organisatie te integreren.

De toezegging van september

In september 2026 publiceerde Anthropic-medeoprichter Dario Amodei het essay ‘We moeten het tempo van de ontwikkeling aan de grens bewaken’. Daarin noemde hij het volledig integreren van evaluatoren met toegang vergelijkbaar met die van werknemers de eerste stap van een driefasenplan om het tempo van de ontwikkeling van grensverleggende AI te beheersen. Amodei schreef dat Anthropic zich eenzijdig aan die stap verbindt en riep overheden op om andere bedrijven die vooroplopen op AI-gebied te verplichten hetzelfde te doen. Hij schreef dat ‘we het tempo waarin we de capaciteiten van AI-modellen verbeteren, moeten vertragen’, zodat er voldoende tijd is om de risico’s te beperken terwijl de capaciteiten zich verder ontwikkelen.

In het essay stond dat Anthropic van plan is een extern beoordelingsteam volledig in de organisatie op te nemen, met werkplekken in de kantoren, toegangspassen en laptops van het bedrijf; toegang tot werkruimten, hulpmiddelen en machtigingen die grotendeels vergelijkbaar zijn met die van interne risicobeoordelingsteams, met enkele uitzonderingen wanneer de wet of contracten dat vereisen of ter bescherming van de privégegevens van klanten en partners; en een contract waarin staat dat externe beoordelaars het recht hebben om belangrijke bevindingen te publiceren over risiconiveaus, incidenten, werkwijzen en de toegang die zij wel of niet hebben gekregen, zonder dat Anthropic redactionele controle over de publicatie uitoefent. Volgens die beoogde voorwaarden zou Anthropic beperkte mogelijkheden behouden om informatie onleesbaar te maken die gevoelig is voor de beveiliging, onder een juridisch verschoningsrecht valt, commercieel gevoelig is of vertrouwelijk is en afkomstig is van derden. Anthropic zou bevindingen echter niet onleesbaar mogen maken alleen omdat die ongunstig zijn. Beoordelaars zouden bovendien publiekelijk mogen melden dat een weglakking iets heeft verwijderd wat belangrijk was voor hun conclusies.

Anthropic zei dat het evaluatoren op vrijwillige basis volledig in de organisatie opneemt en vindt dat elk bedrijf dat vooroploopt op het gebied van AI hetzelfde zou moeten doen. Het zei dat het snel vooruitgang boekt met meerdere evaluatoren, actief leert welke vormen van samenwerking werken en zich ertoe verbindt tussentijds updates te delen.