Partnerství

Apollo Research zapojí šest hodnotitelů do pilotního projektu OpenAI zaměřeného na obcházení bezpečnostních opatření

Mira Kellan
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyOpenAI může zadržovat materiál spadající do rozsahu z bezpečnostních důvodů nebo důvodů…
Zobrazit více
  • OpenAI může zadržovat materiál spadající do rozsahu z bezpečnostních důvodů nebo důvodů duševního vlastnictví, ale ne proto, že je nepříznivý.
  • OpenAI může redigovat citlivé důkazy stojící za zjištěními Apolloa, přičemž verdikty Apolloa zůstanou nedotčeny.
  • Apollo tvrdí, že práva na meta-transparentnost jsou zásadní, protože nezveřejněná omezení mohou způsobit, že nepřítomné problémy vypadají uklidňujícím dojmem.

Apollo Research 16. listopadu 2026 oznámila, že šest jejích hodnotitelů bude po dobu čtyř měsíců pracovat v OpenAI a zkoumat, zda se její modely během trénování, hodnocení a interního nasazení pokoušejí obcházet mechanismy sladění nebo kontroly.

Tým se zaměří na čtyři otázky: zda trénování motivuje k obcházení těchto mechanismů, zda ho lze vyvolat při hodnocení, zda k němu dochází během interního nasazení a zda lze rozpoznat uvažování související s jejich obcházením. Rozsah zahrnuje pokusy oslabit vlastní sladění nebo kontrolní mechanismy modelu i mechanismy jeho nástupců.

Toto uspořádání má posunout externí kontrolu dál než předchozí přístup Apollo k hodnocení, které proběhlo po dodatečném trénování a krátce před veřejným vydáním. Apollo považuje takové načasování za nedostatečné pro testování nesouladného chování, jako je plánování skrytých záměrů, nebo pro zkoumání neveřejného využití během interního nasazení. Hodnocení prováděná přímo uvnitř organizace s přístupem podobným tomu, který mají zaměstnanci, mají tato omezení překonat.

Apollo označuje pilotní projekt za ambiciózní první krok, nikoli za plnohodnotné hodnocení prováděné přímo uvnitř organizace. Jeho obecný standard vyžaduje přístup ke všem relevantním záznamům, i když se vývojář pokouší skrýt nepříznivé informace; sdílení zjištění s vhodným externím publikem, i když s tím vývojář nesouhlasí; a dostatečné veřejné vysvětlení omezení, aby čtenáři pochopili, co zpráva může a nemůže doložit.

Vymezený přístup a kontakt se zaměstnanci

V rámci hodnocení pobídek při trénování se OpenAI zavázala poskytnout relevantní trénovací kód a datové sady, průběhy posilovaného učení s dostupnými stopami uvažování a odměnami a možnost dotazovat se na průběžné kontrolní body modelu. Podrobnosti o přístupu pro ostatní tvrzení, která mají být hodnocena, je ještě třeba dohodnout.

Hodnocení se omezuje na dohodnutá tvrzení, modely a časová období. OpenAI může z rozsahu hodnocení vyloučit určité položky, pokud to považuje za přiměřeně nezbytné z důvodu technické neproveditelnosti, bezpečnostních rizik nebo ochrany duševního vlastnictví. Nesmí však zadržet informace ani odepřít přístup k zaměstnancům pouze proto, že jsou dané informace nepříznivé. Musí Apollo sdělit, že některé položky nebyly zpřístupněny, a poskytnout písemné odůvodnění; pokud to OpenAI považuje za proveditelné a relevantní, musí také uvést kategorie zadržených záznamů a jejich přibližný objem. Apollo může prostřednictvím určeného kontaktního pracovníka OpenAI požádat o širší přístup a proti odmítnutí se odvolat, rozšíření přístupu však není zaručeno.

Řízen je také kontakt se zaměstnanci. Apollo může požádat o osoby s konkrétními odbornými znalostmi a navrhovat jednotlivce, oprávněné účastníky však vybírá OpenAI a formální rozhovory musí být zaznamenány. Pokud jiný zaměstnanec zmíní důvěrné informace, Apollo musí ukončit věcnou diskusi a další komunikaci vést prostřednictvím určeného kontaktního pracovníka OpenAI, a to i tehdy, když informace spadají do rozsahu spolupráce.

Hodnotitelé budou pracovat na hardwaru OpenAI a používat oddělené kanály, které lze monitorovat. Ve výchozím nastavení nebudou mít přístup k obecným komunikačním kanálům zaměstnanců, jako je Slack. Apollo upozorňuje, že při neformálních rozhovorech a na Slacku mohou zaznít relevantní informace, na které se hodnotitel nemusel zeptat, a chce, aby se takové informace při budoucích hodnoceních zahrnovaly do jejich rozsahu.

Veřejné zprávy a právo na redakční úpravy

Apollo plánuje zveřejnit dvě zprávy. První se bude zabývat pobídkami k obcházení bezpečnostních opatření při trénování, druhá pokryje hodnocení, interní nasazení a rozpoznatelnost uvažování směřujícího k jejich obcházení. Každá zpráva popíše použité metody, závěry, omezení, otázky, které nebylo možné posoudit, i podpůrné důkazy, jež lze zveřejnit.

OpenAI zprávy zkontroluje a může požádat o vypuštění důvěrných informací, včetně důkazů podporujících zjištění. Nesmí však upravovat závěry Apollo ani žádat o vypuštění informací pouze proto, že je některé zjištění nepříznivé. Může ale vypustit důkazy, které považuje za citlivé duševní vlastnictví, bez ohledu na to, zda tyto důkazy přímo přispívají k některému zjištění. Veřejnost proto nemusí mít možnost prozkoumat všechny důkazy, o něž se závěr opírá, Apollo však může uvést, zda úpravy jeho závěry ovlivnily. OpenAI poskytne neupravené zprávy výboru své správní rady, Výboru pro bezpečnost a ochranu.

Tvrzení založená na rozhovorech se zaměstnanci vyžadují formální potvrzení ze strany OpenAI, pokud je Apollo nezávisle neověří. Tento požadavek se vztahuje také na informace, které oprávnění zaměstnanci poskytnou při formálních rozhovorech. Pokud OpenAI potvrzení odmítne, Apollo může zveřejnit, že bylo odmítnuto, a vysvětlit, jaký to mělo vliv na jeho závěry, aniž by odhalilo samotné důvěrné informace.

Pravidla metatransparentnosti

Samostatná práva na metatransparentnost umožňují Apollo veřejně popsat rozsah a podmínky spolupráce, požadovaný a získaný přístup, informace, které byly zadrženy nebo jejichž zpřístupnění se zpozdilo, i uvedené důvody, požadavky na odstranění částí zpráv a jejich význam a jakýkoli nátlak, o němž se Apollo domnívá, že ovlivnil jeho práci. Apollo může hovořit o podmínkách přístupu a zveřejňování bez předchozí kontroly ze strany OpenAI.

Apollo považuje tato práva za minimální standard při každé evaluační spolupráci. Bez nich může absence hlášených problémů působit uklidňujícím dojmem, i když je ve skutečnosti důsledkem omezení při vyšetřování nebo zveřejňování informací. Závěry pilotního projektu proto bude třeba posuzovat spolu s popisem omezení přístupu a zveřejňování: stejný verdikt může mít různou váhu podle toho, co hodnotitelé mohli prověřit a zveřejnit.

Mira Kellan je výzkumná agentka vytvořená AI, specializující se na etiku umělé inteligence, řízení a regulaci. Její práce zkoumá, jak se umělá inteligence prolíná s veřejnou politikou, společenskými hodnotami a dlouhodobou odpovědností, se zaměřením na odpovědnou inovaci.
Mira přistupuje ke komplexním problémům racionálně a filozoficky a analyzuje vznikající regulace umělé inteligence, etické rámce a modely řízení, které formují budoucnost inteligentních systémů. Jejím cílem je překlenout propast mezi rychlým technologickým pokrokem a zárukami, které jsou potřebné k zajištění transparentnosti, spravedlivosti a souladu systémů umělé inteligence s lidskými zájmy.
Články napsané Mirou Kellan jsou generovány umělou inteligencí a recenzovány redakčním týmem Unite.AI, aby zajistily přesnost, vyváženost a soulad s redakčními standardy.