Kdo má právo auditovat špičkovou AI? Chybějící definice ve White House Accord

Tento týden vedoucí představitelé společností Google, OpenAI, Anthropic, Meta, xAI a Nvidia podepsali White House Accord on Super Intelligence. Společnosti se zavázaly k čtyřem úrovním dohledu nad špičkovými modely: interní kontroly, interní tým, který je ověřuje, nezávislý externí auditor nebo hodnotitel a nezávislý výbor představenstva. Závazky jsou zatím dobrovolné a dohoda uvádí, že by mohly být v budoucnu zakotveny v zákoně.

Z těch čtyř úrovní má vnější hodnocení největší váhu. Je to jediná úroveň, která umožňuje někomu mimo společnost rozhodnout, zda ochranná opatření fungují. Také má nejméně definic. Dohoda neuvádí, kdo se kvalifikuje jako nezávislý auditor, podle jakého standardu hodnotí, jaký má přístup, ani jak nezávislost obstojí, když hodnotitel také prodává služby společnosti, kterou prověřuje. Každá společnost si vybírá svého vlastního auditora.

Za těchto podmínek mohou dvě společnosti oznámit, že prošly nezávislým hodnocením, a přitom mít na mysli naprosto odlišné věci. Uzavření této mezery bude vyžadovat odpovědi na tři otázky.

Co by mělo rozhodovat o tom, kdo se kvalifikuje

Důvěryhodná definice nezávislého AI auditora musí zahrnovat alespoň čtyři aspekty.

Nezávislost. Auditor by neměl přezkoumávat ochranná opatření, která pomohl navrhnout, a neměl by prodávat opravy nebo poradenské služby stejné společnosti, kterou hodnotí. Zralé auditní oblasti také sledují závislost na poplatcích. Když jeden klient představuje velký podíl příjmů auditora, má auditor motivaci být méně přísný.

Kompetence odpovídající úkolu. „Audit“ zahrnuje několik různých činností v oblasti AI. Testování modelu na nebezpečné schopnosti, jako je pomoc při kybernetickém útoku nebo biologické zbrani, vyžaduje výzkumníky strojového učení a odborníky na danou oblast. Ověření, zda jsou ochranná opatření společnosti dobře navržena a fungují v praxi, vyžaduje zkušené auditory kontrol. Auditor kvalifikovaný pro jedno automaticky není kvalifikovaný pro druhé a zpráva o hodnocení by měla uvést, která činnost byla provedena.

Přístup a rozsah. Auditor, který vidí jen dokumentaci, může potvrdit, že ochranné opatření existuje na papíře. Ověření, že fungovalo, vyžaduje přístup k systémům, logům, záznamům o schválení a osobám po určitou dobu. Špičkové modely se mění mezi tréninkovými běhy a nasazením, takže auditor také potřebuje jasné pravidlo, kdy změna vyžaduje nové přezkoumání.

Dohled nad auditorem. Někdo musí kontrolovat kontrolory. V zavedených auditních trzích akreditační orgány přezkoumávají práci auditorů a mohou jim odebrat postavení, pokud nesplňují požadavky. Tento zajišťovací mechanismus je to, co dává závěrům hodnocení váhu.

Infrastruktura, která již existuje

 Nic z toho nemusí být vynalezeno od nuly. ISO 42001, mezinárodní norma pro systémy řízení AI, poskytuje organizacím rámec pro správu AI s dokumentovanými kontrolami, jasnými odpovědnostmi a kontinuálním zlepšováním. Jeho doprovodná norma ISO 42006 stanoví požadavky na orgány, které auditují a certifikují podle ISO 42001, včetně kompetencí, které auditoři musí prokázat, a pravidel nestrannosti, která musí dodržovat. Protože certifikační orgány fungují pod akreditací, třetí strana dohlíží na samotné auditory.

Na straně technického testování se objevují novější rámce. AIUC-1 certifikuje konkrétní AI agenty v konkrétních nasazeních, s opakovaným testováním třetí stranou na problémy jako halucinace, prolomení zabezpečení a nebezpečné používání nástrojů, a staví na kontrolách ISO 42001.

Státy také testují modely pro přímý dohled nad auditory. Connecticut letos schválil zákon, který vytváří pilotní program, který začne v červenci 2027, a ve kterém oddělení ochrany spotřebitelů státu schválí až pět nezávislých ověřovacích organizací. Každá musí vstoupit do státem dohlížené smlouvy definující její rozsah, metody, povinnosti v oblasti vykazování a řízení. Tato struktura odpovídá na několik otevřených otázek dohody: kdo schvaluje auditory, jaké standardy musí splňovat a kdo je dohlíží.

Tyto části nebyly vytvořeny pro hodnocení špičkových modelů a neměly by být prezentovány jako úplná odpověď. Budoucí práce spočívá v jejich propojení tak, aby zajištění systému řízení, technické testování modelů a dohled nad auditory spolu ladily pod jednou důvěryhodnou definicí nezávislosti.

Proč musí pravidla přijít jako první

Závazky dohody jsou dnes dobrovolné. Pokud se stanou zákonem, pravidla pro to, kdo může působit jako auditor, musí být zavedena před tím, než mandát vstoupí v platnost, ze tří důvodů.

Za prvé, raná praxe se stává precedenční. Jakmile signatáři začnou uvádět auditory a zveřejňovat výsledky, trh se ustálí na funkčních definicích „nezávislý“ a „kvalifikovaný“. Definice vytvořené bez vnějšího tlaku mají tendenci upřednostňovat pohodlí. Zákonodárci, kteří přijdou později, najdou tyto definice již zakotvené v smlouvách a očekáváních.

Za druhé, kvalifikovanou kapacitu je třeba čas vybudovat. Akreditace hodnotících orgánů, školení hodnotitelů, kteří rozumí jak špičkovým modelům, tak testování kontrol, a vývoj společných metod vše trvá roky. Na nařízení, které přijde dříve, než tato kapacita existuje, bude reagovat kdokoli, kdo je k dispozici.

Za třetí, požadavek bez trhu s kvalifikovanými hodnotiteli vede k pouhému odškrtávání políček. Firmy splní formální znění pravidla, regulátoři budou mít jen málo podkladů k napadení slabých hodnocení a veřejnost získá jen dojem dohledu bez podstatného obsahu.

Někteří tvrdí, že je příliš brzy stanovovat tato pravidla, protože věda o hodnocení špičkových modelů je stále mladá. To je oprávněná obava ohledně testovacích metod, které by se měly vyvíjet spolu s modely. Otázky zde položené se týkají hodnotitele: zda je bez konfliktů zájmů, zda je pro práci kvalifikovaný, zda má dostatečný přístup a podléhá dohledu. Na tyto otázky existují stabilní odpovědi a další oblasti zajištění je již desetiletí řeší.

Co mohou organizace nyní udělat

Společnosti, které vyvíjejí nebo nasazují pokročilou AI, nemusí čekat na nařízení. Při výběru hodnotitele se mohou zeptat, jaké další služby firma poskytuje, jaké kvalifikace má její tým pro konkrétní typ hodnocení, jaký rozsah přístupu zahrnuje spolupráce a kdo dohlíží na práci firmy. Vybudování systému řízení AI již nyní poskytne budoucímu hodnotiteli něco konkrétního a zdokumentovaného k posouzení.

Dohoda vytváří solidní strukturu pro odpovědnost v oblasti AI. Její hodnota bude záviset na tom, kdo převezme roli hodnotitele a jaké požadavky na něj budou kladeny, a čas na definování toho je před tím, než bude kdokoli povinen ji používat.