Partnerství

OpenAI uzavírá smlouvy se čtyřmi nezávislými hodnotiteli pro průběžné bezpečnostní kontroly

Mira Kellan
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyTrvalý přístup ke kontrolním bodům a tréninkovým datům umožňuje hodnotitelům testovat…
Zobrazit více
  • Trvalý přístup ke kontrolním bodům a tréninkovým datům umožňuje hodnotitelům testovat selhání, která by vlastní monitorovací systémy OpenAI mohly přehlédnout.
  • Apollo Research zkoumá, zda by modely mohly tajně jednat proti vývojářům a zda by to bezpečnostní opatření odhalila.
  • Výbor pro bezpečnost a ochranu obdrží necenzurované zprávy a může během přezkumů mluvit s hodnotiteli soukromě.

OpenAI 16. listopadu 2026 oznámila, že pro první fázi průběžných hodnocení uzavřela dohody se společnostmi Apollo Research, METR, Transluce a Goodfire. Tyto čtyři organizace budou během trénování a interního používání posuzovat sladění modelů a ochranná opatření. Přístup, který získají, může zahrnovat kontrolní body modelů, zdrojový kód, trénovací data a monitorovací systémy.

Klíčovým rysem je dlouhodobý přístup k interním modelům a systémům, zejména pokud souvisejí s bezpečnostní argumentací OpenAI. OpenAI uvádí, že tento přístup má hodnotitelům umožnit zkoumat důkazy a kontext, provádět nezávislá hodnocení a odhalovat selhání, která nemusela předvídat. Zveřejňování zpráv z těchto hodnocení podle ní také lidem poskytne jasnější představu o tom, jak laboratoře vyhodnocují rizika a jak s nimi nakládají.

Každý hodnotitel má jiné zadání

Apollo Research bude zkoumat, zda by modely mohly skrytě jednat proti záměrům svých vývojářů a zda by takové chování odhalila ochranná opatření OpenAI. Dvoustupňové hodnocení se zaměří na čtyři tvrzení: trénování nepodněcovalo modely k podvratnému jednání, důkladná hodnocení a red teaming takové jednání nevyvolávají, modely se o ně během interního používání nepokusily a jejich úvahy, které by k němu vedly, by bylo možné odhalit.

V první fázi poskytne OpenAI vybrané veřejně dostupné i dosud nevydané modely a kontrolní body z trénování, příslušná trénovací data a výsledky hodnocení, záznamy o zásazích do trénování, monitorovací systémy a označené případy chování. Apollo získá také přístup k výzkumníkům, kteří mohou poskytnout kontext, a k nástrojům a výpočetním kapacitám potřebným k nezávislému testování.

Goodfire zapojí přímo do práce výzkumníky specializující se na interpretovatelnost, tedy analýzu vnitřního fungování modelů, a využije svou platformu k monitorování trénovacích běhů, ladění a práci na sladění modelů. Hlavním adresátem jejích zjištění budou výzkumníci OpenAI, kteří je využijí ke zlepšení bezpečnosti. Goodfire bude v průběhu spolupráce zveřejňovat také získané poznatky a závěry.

Hodnocení sladění modelů, které METR provede v první fázi, se zaměří na běh posilovaného učení, jejž OpenAI označuje za dosud největší, včetně selhání, která mohly stávající testy a monitorovací systémy přehlédnout. V rámci vybraného běhu a dohodnutého přístupu, zdrojů a bezpečnostních opatření by METR nezávisle stanovoval priority a průběžně upravoval vyhledávání, analýzy a experimenty zaměřené na vyvolávání schopností modelů. Přístup bude zahrnovat příslušné kontrolní body, výstupy z trénování a vyhodnocování a záznamy z monitorování nesouladu. Počáteční záběr hodnocení je omezen na tento běh a nerozšiřuje se na širší průzkum nesouladu.

Samostatné hodnocení monitorovacího systému METR je méně ustálené. Organizace se předběžně dohodly, že budou usilovat o širší prověrku, její uskutečnění však stále závisí na vzájemné dohodě o rozsahu.

Transluce začne zkoumáním kvality a pokrytí hodnocení sladění modelů OpenAI po trénování. Získá přístup k vybraným veřejně dostupným i dosud nevydaným modelům, výsledkům hodnocení, doplňujícím údajům o chování, dokumentaci k bezpečnostní argumentaci a výzkumníkům, stejně jako k nástrojům a výpočetním kapacitám.

Obě strany mají také společný záměr provést na začátku roku 2027 navazující hodnocení, které potrvá přibližně osm týdnů. Tato práce by rozšířila přístup k dalším modelům, umožnila hlubší přístup k hodnocením sladění a poskytla informace o tom, jak výsledky hodnocení ovlivňují rozhodnutí o uvedení modelů na trh. Oznámení tento záměr popisuje jako společný, čímž jej odlišuje od počátečního hodnocení.

Přístup doprovází bezpečnostní opatření a dohled

Každá spolupráce začíná dohodou o rozsahu práce a o přístupu, zdrojích a bezpečnostních opatřeních, které jsou k ní zapotřebí. Protokoly počítají s tím, že hodnotitelé budou moci svobodně sledovat důkazy, zdokonalovat své metody a navrhovat další hodnocení, pokud to zjištění odůvodňují. Stanovují také postup pro vyřizování žádostí o další přístup.

Pokud by přímý přístup mohl odhalit citlivé duševní vlastnictví, například váhy modelu nebo jeho architekturu, OpenAI zváží alternativní řešení, včetně zapojení svých výzkumníků do analýz společně s hodnotiteli. Hodnotitelé pracující s citlivými důvěrnými informacemi budou působit v kancelářích OpenAI a používat zařízení této společnosti. Očekává se, že budou dodržovat přinejmenším stejné bezpečnostní standardy jako zaměstnanci OpenAI; u některých experimentů mohou platit přísnější požadavky.

Dohled vykonává Výbor pro bezpečnost a zabezpečení, nezávislý kontrolní výbor správní rady OpenAI Foundation. Výbor bude dostávat necenzurované zprávy a během práce bude moci s hodnotiteli hovořit, a to i soukromě. Spory budou nejprve předloženy Poradní skupině pro bezpečnost a vedoucím pracovníkům OpenAI, kteří je ve stanovené lhůtě vyřeší. Při předání sporů k dalšímu řešení musí být výbor neprodleně informován; nevyřešené záležitosti mu budou postoupeny.

Rozhovory se zaměstnanci představují samostatný problém z hlediska transparentnosti. Jsou vedeny jako neoficiální, což znamená, že mohou posloužit jako podklad pro hodnocení, nelze je však zveřejnit ani připisovat konkrétním zaměstnancům. Hodnotitelé mohou požádat o prohlášení potvrzené OpenAI, které ověří, opraví nebo objasní informace získané během těchto rozhovorů. Poté mohou zveřejnit potvrzené prohlášení, nebo uvést, že OpenAI odmítla jeho správnost potvrdit, čímž se vytváří omezená veřejná cesta pro sdílení informací získaných důvěrně.

Práva na zveřejňování a informace o finančních vazbách

Hodnotitelé si zachovávají nezávislost při zveřejňování svých posudků, zatímco OpenAI si ponechává právo začernit důvěrné informace. Může také požádat o odklad zveřejnění v rámci odpovědného informování, aby bylo možné řešit zjištění, která by mohla představovat bezpečnostní rizika, a napravit dosud nevyřešené problémy. OpenAI uvádí, že veřejné zprávy by měly popisovat zjištění i jejich omezení, zatímco podrobnější důvěrné zprávy poskytují kontrolním orgánům důkazy potřebné k přijetí opatření.

Finanční podmínky se u jednotlivých účastníků liší. Apollo Research a Goodfire přijímají odměnu, která nezávisí na výsledcích jejich hodnocení. METR a Transluce finanční odměnu nepřijímají, mohou však přijmout kredity API nebo výpočetní kapacitu pro své hodnocení.

Postupy pro oznamování střetů zájmů a období na zchlazení se s hodnotiteli stále připravují. OpenAI žádá pracovníky zúčastněných třetích stran, aby před působením přímo u jiného vývojáře umělé inteligence dodrželi krátké období na zchlazení, čímž se má snížit riziko neúmyslného vyzrazení důvěrných informací.

OpenAI očekává počáteční problémy s technickým přístupem, prostory a zabezpečením, uvádí, že se protokoly budou vyvíjet, a za cíl označuje dlouhodobou spolupráci přímo u vývojářů. Zvažuje také budoucí hodnocení souladu s bezpečnostním rámcem, organizační kultury a procesů.

První fáze přináší konkrétní zkoušku systému řízení: zda mohou hluboký přístup k interním informacím a nezávislé zveřejňování přinést užitečné veřejné důkazy o selháních, která interní testy nezachytí, a to při zachování dohodnutého rozsahu hodnocení, bezpečnostních opatření v prostorách organizace, práva na začernění informací a možnosti odložit jejich zveřejnění.

Mira Kellan je výzkumná agentka vytvořená AI, specializující se na etiku umělé inteligence, řízení a regulaci. Její práce zkoumá, jak se umělá inteligence prolíná s veřejnou politikou, společenskými hodnotami a dlouhodobou odpovědností, se zaměřením na odpovědnou inovaci.
Mira přistupuje ke komplexním problémům racionálně a filozoficky a analyzuje vznikající regulace umělé inteligence, etické rámce a modely řízení, které formují budoucnost inteligentních systémů. Jejím cílem je překlenout propast mezi rychlým technologickým pokrokem a zárukami, které jsou potřebné k zajištění transparentnosti, spravedlivosti a souladu systémů umělé inteligence s lidskými zájmy.
Články napsané Mirou Kellan jsou generovány umělou inteligencí a recenzovány redakčním týmem Unite.AI, aby zajistily přesnost, vyváženost a soulad s redakčními standardy.