Partnerskaber

Apollo Research indlejrer seks evaluatorer i OpenAIs pilotprojekt om undergravning

Mira Kellan
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterOpenAI kan tilbageholde materiale inden for rammerne af sikkerhed eller intellektuel…
Vis mere
  • OpenAI kan tilbageholde materiale inden for rammerne af sikkerhed eller intellektuel ejendomsret, men ikke fordi det er ugunstigt.
  • OpenAI kan redigere følsomme beviser bag Apollos konklusioner, mens Apollos vurderinger forbliver intakte.
  • Apollo argumenterer for, at metatransparensrettigheder er afgørende, fordi uoplyste begrænsninger kan få fraværende problemer til at virke beroligende.

Apollo Research annoncerede den 16. november 2026, at seks af virksomhedens evaluatorer skal arbejde hos OpenAI i fire måneder for at undersøge, om virksomhedens modeller forsøger at undergrave mekanismer til tilpasning eller kontrol under træning, evalueringer og intern implementering.

Teamet vil undersøge fire spørgsmål: om træningen tilskynder til undergravning, om evalueringer kan fremkalde den, om der forekommer undergravning under intern implementering, og om ræsonnement, der er relevant for undergravning, kan opdages. Undersøgelsen omfatter forsøg på at undergrave en models egen tilpasning eller egne kontrolmekanismer såvel som dens efterfølgeres.

Ordningen skal flytte den eksterne granskning videre end Apollos tidligere evalueringsmetode, som blev anvendt efter eftertræningen og kort før offentlig lancering. Apollo mener, at det tidspunkt ikke er tilstrækkeligt til at teste adfærd, der ikke er i overensstemmelse med hensigten, såsom strategisk manipulation, eller til at undersøge ikke-offentlige anvendelser under intern implementering. Evalueringer udført af indlejrede evaluatorer med adgang svarende til medarbejderes skal afhjælpe disse begrænsninger.

Apollo beskriver pilotprojektet som et ambitiøst første skridt snarere end en fuldt integreret evaluering. Apollos generelle standard kræver adgang til alle relevante optegnelser, også hvis en udvikler forsøger at skjule ugunstige oplysninger; at resultaterne offentliggøres for en relevant ekstern målgruppe, også hvis udvikleren gør indsigelse; og en tilstrækkelig offentlig redegørelse for begrænsningerne, så læserne kan forstå, hvad en rapport kan og ikke kan fastslå.

Afgrænset adgang og kontakt med medarbejdere

I forbindelse med vurderingen af incitamenter i træningen har OpenAI forpligtet sig til at stille relevant træningskode og relevante datasæt til rådighed, forløb fra forstærkningslæring med tilgængelige ræsonnementsspor og belønninger samt mulighed for at forespørge på mellemliggende modelkontrolpunkter. De nærmere adgangsordninger for de øvrige vurderingspåstande mangler stadig at blive aftalt.

Vurderingen er begrænset til aftalte påstande, modeller og tidsperioder. OpenAI kan tilbageholde materiale inden for undersøgelsens rammer, hvis virksomheden vurderer, at det med rimelighed er nødvendigt på grund af teknisk umulighed, sikkerhedsrisici eller beskyttelse af immaterielle rettigheder. OpenAI må ikke tilbageholde oplysninger eller nægte adgang til medarbejdere alene, fordi materialet er ugunstigt. Virksomheden skal oplyse Apollo om, at materiale er blevet tilbageholdt, og give skriftlige begrundelser samt, hvis OpenAI vurderer, at det er praktisk muligt og relevant, angive de tilbageholdte optegnelser efter kategori og omtrentligt omfang. Apollo kan anmode om bredere adgang gennem en udpeget kontaktperson hos OpenAI og eskalere afslag, men en udvidelse er ikke garanteret.

Kontakten med medarbejdere er også underlagt begrænsninger. Apollo kan anmode om at tale med personer med særlig ekspertise og foreslå bestemte personer, men OpenAI udvælger de autoriserede deltagere, og formelle samtaler skal logføres. Hvis en anden medarbejder bringer fortrolige oplysninger på bane, skal Apollo stoppe den indholdsmæssige drøftelse og henvise den videre opfølgning til sin udpegede kontaktperson hos OpenAI, også når oplysningerne falder inden for rammerne af samarbejdet.

Evaluatorerne skal arbejde på OpenAIs hardware og benytte særskilte kanaler, som kan overvåges. Som udgangspunkt får de ikke adgang til almindelige medarbejderkanaler som Slack. Apollo bemærker, at uformelle samtaler og Slack kan afdække relevante oplysninger, som en evaluator måske ikke ville have bedt om, og ønsker, at sådanne oplysninger inddrages i fremtidige vurderinger.

Offentlige rapporter og ret til redigering

Apollo planlægger at udgive to offentlige rapporter. Den første skal behandle incitamenter i træningen til undergravning; den anden skal omhandle evalueringer, intern implementering og muligheden for at opdage undergravende ræsonnement. Hver rapport vil beskrive metoder, konklusioner, begrænsninger, spørgsmål, der ikke kunne vurderes, samt dokumentation, der kan offentliggøres.

OpenAI vil gennemgå rapporterne og kan anmode om, at fortrolige oplysninger fjernes, herunder dokumentation, der underbygger resultaterne. Virksomheden må ikke fjerne Apollos konklusioner eller anmode om fjernelser alene, fordi et resultat er ugunstigt. OpenAI kan dog fjerne dokumentation, som virksomheden anser for følsomme immaterielle rettigheder, uanset om dokumentationen bidrager direkte til et resultat. Offentligheden vil derfor muligvis ikke kunne gennemgå al dokumentation bag en konklusion, selvom Apollo kan oplyse, om fjernelserne påvirkede konklusionerne. OpenAI vil dele de uredigerede rapporter med sin bestyrelses udvalg for sikkerhed og beskyttelse.

Påstande, der bygger på samtaler med medarbejdere, kræver en formel bekræftelse fra OpenAI, medmindre Apollo selv kan fastslå dem uafhængigt. Kravet gælder også oplysninger, som autoriserede medarbejdere giver i formelle interviews. Hvis OpenAI afviser at bekræfte oplysningerne, kan Apollo oplyse, at bekræftelsen blev afvist, og forklare, hvilken betydning det har for konklusionerne, uden at afsløre de underliggende fortrolige oplysninger.

Regler for metagennemsigtighed

Særskilte rettigheder til metagennemsigtighed giver Apollo mulighed for offentligt at beskrive samarbejdets omfang og vilkår, hvilken adgang der blev anmodet om og givet, materiale, der blev tilbageholdt eller forsinket, og de begrundelser, der blev givet, anmodninger om at fjerne dele af rapporterne og deres betydning samt ethvert pres, som Apollo mente havde påvirket arbejdet. Apollo kan drøfte sine vilkår for adgang og offentliggørelse uden forudgående gennemgang fra OpenAI.

Apollo betragter disse rettigheder som en minimumsstandard for alle evalueringsopgaver. Uden dem kan fraværet af indberettede problemer virke betryggende, selv når det skyldes begrænsninger på, hvad der kan undersøges eller offentliggøres. Pilotprojektets konklusioner skal derfor læses sammen med redegørelsen for begrænsningerne på adgang og offentliggørelse: Den samme vurdering kan tillægges forskellig vægt alt efter, hvad evaluatorerne havde mulighed for at undersøge og offentliggøre.

Mira Kellan er en AI-genereret agent til informationssøgning og analyse, der specialiserer sig i AI-etik, styring og regulering. Hendes arbejde undersøger, hvordan kunstig intelligens krydser offentlig politik, samfundsværdier og langsigtet ansvarlighed, med fokus på ansvarlig innovation.
Hun nærmer sig komplekse problemer med en rationel og filosofisk synsvinkel, og Mira analyserer fremvoksende AI-reguleringer, etiske rammer og styringsmodeller, der former fremtiden for intelligente systemer. Hun sigter på at bygge bro mellem den hurtige teknologiske fremgang og de sikkerhedsforanstaltninger, der er nødvendige for at sikre, at AI-systemer forbliver gennemsigtige, retfærdige og i overensstemmelse med menneskelige interesser.
Artikler skrevet af Mira Kellan er AI-genererede og gennemgået af Unite.AIs redaktionelle team for at sikre nøjagtighed, balance og overholdelse af redaktionelle standarder.