Odvětví AI chce naši důvěru, nejprve ale potřebuje lepší kontrolní mechanismy

V oblasti bezpečnosti nemůžeme čekat, až se něco pokazí, abychom zjistili, zda naše bezpečnostní opatření fungují. Testujeme je. Prověřujeme je. Počítáme s tím, že někdo nakonec najde slabinu, kterou jsme přehlédli.

To jsou základy bezpečnosti.

Proč by tedy nejpokročilejší AI měla podléhat jiným standardům?

S tím, jak se systémy AI stávají autonomnějšími a získávají větší přístup k systémům v reálném světě, pozorujeme něco, co by mělo znepokojovat každého, kdo někdy pracoval na obranné straně kybernetické bezpečnosti: schopnosti se rozvíjejí rychleji než možnosti jejich kontroly.

Rychlost ale není omluvou pro slabší zabezpečení. Právě proto potřebujeme zabezpečení silnější.

Nezisková organizace Guidelight AI v nedávném hodnocení zkoumala veřejně dostupné doklady o postupech kontroly AI ve společnostech Anthropic, Google, Meta, OpenAI a xAI. Žádná z nich nezískala celkově lepší známku než C+.

To neznamená, že se tyto společnosti chovají nezodpovědně. Neznamená to ani, že za zavřenými dveřmi nefungují další kontrolní mechanismy.

Bezpečnost se ale nemůže opírat o domněnky. Pokud se od nás očekává, že budeme důvěřovat stále výkonnějším systémům, měli bychom chtít důkazy, že kontrolní mechanismy, které je obklopují, obstojí při stejně přísném prověřování, jaké bychom požadovali kdekoli jinde.

Přestaňme považovat selhání za zajímavé příběhy

Když se agent AI začne chovat neočekávaně, získá neplánovaný přístup nebo odhalí slabinu, pozornost se obvykle soustředí na to, co technologie udělala.

To je zajímavé.

Není to ale ta nejdůležitější otázka.

Odborníka na bezpečnost zajímá: Byla aktivita zaznamenána? Všiml si někdo, že k ní dochází? Podléhaly nebezpečné akce nějakým omezením? Mohl někdo systém zastavit? Existoval plán, jak situaci zvládnout, a někdo ho předtím otestoval?

Tyto otázky nejsou specifické pro AI. V kybernetické bezpečnosti si je klademe už léta.

Prevence a zvládání incidentů však zřejmě zůstávají slabými místy vznikajícího prostředí kontrolních mechanismů pro nejpokročilejší AI. Veřejně dostupných důkazů o opatřeních omezujících rizikové akce, bezpečnostních pojistkách a nouzovém zvládání incidentů je stále málo.

To by mělo být důležitější než to, jak neobvyklý incident je. Když něco selže, chci vědět, co selhalo, co zabránilo zhoršení situace a co se poté změnilo.

Transparentnost je užitečná. Ještě důležitější je poučit se.

Skutečným problémem bezpečnosti AI je rychlost

Nemyslím si, že největší bezprostřední hrozbou je, že AI náhle vymyslí zcela nový druh kybernetického útoku. Větší problém je mnohem praktičtější. AI může výrazně urychlit útoky, kterým už rozumíme.

Výzkum, který dříve zabral hodiny, lze provést během několika minut. Útočné techniky lze rychleji kombinovat. Zranitelnosti lze odhalit a zneužít dříve, než proces bezpečnostní reakce zaměřený na člověka dospěje k prvnímu eskalačnímu hovoru.

To je problém, protože velká část dnešní bezpečnostní infrastruktury stále počítá s tím, že bude čas reagovat.

Někdy ale čas nebude.

Pokud se útok rozvine rychle, proces reakce založený na tiketech, schůzkách, schvalování a ruční eskalaci může zastarat ještě dřív, než se někdo dostane ke třetímu kroku.

A právě v tom má odvětví AI co dohánět.

Pokud laboratoře vyvíjející nejpokročilejší AI očekávají, že podniky v éře AI přehodnotí svůj přístup k přehledu o bezpečnostní situaci, správě zranitelností, architektuře a reakci na incidenty, měly by nám ukázat, že samy udělaly totéž.

„Důvěřujte nám“ není rámec kontrolních mechanismů

Celou svou kariéru se pohybuji v oblasti testování bezpečnosti a jeden princip se osvědčuje mimořádně dobře: dobré úmysly bezpečnost nedokazují. Dokazují ji důkazy.

• Testujete.
• Sledujete.
• Pokoušíte se věci rozbít.

Zjišťujete, co se stane, když kontrolní mechanismy nefungují tak, jak by podle architektonického diagramu měly. A dbáte na to, aby měl někdo pravomoc systém v případě potřeby zastavit. Stejný standard by měl platit i pro nejpokročilejší AI.

To znamená provádět nepřátelské testování kontrolních mechanismů, shromažďovat měřitelné důkazy o jejich funkčnosti a jasně stanovit, kdo má pravomoc systémy vypnout, když se něco pokazí.

Znamená to také přehodnotit způsob zvládání incidentů.

Laboratoře vyvíjející nejpokročilejší AI nemohou vymýšlet způsob, jak situaci zvládnout, až poté, co agent AI překročí zamýšlené hranice. Při trénování a testování stále schopnějších modelů musí nést odpovědnost za činy, které tyto systémy mohou vykonat. To vyžaduje důkladné nepřátelské testování, předem schválená ochranná opatření, jasné limity pravomocí agentů a ověřené způsoby, jak zasáhnout nebo systém vypnout dříve, než se selhání rozšíří.

Lidský úsudek je stále důležitý. Laboratoře vyvíjející tyto systémy však musí stanovit jejich hranice, ověřit, zda jsou dodržovány, a nést odpovědnost, pokud tomu tak není.

Jejich odpovědností není jen předvést, co agent dokáže. Musí ukázat, že agent může bezpečně fungovat, že jeho chování lze kontrolovat a že nové schopnosti přispívají k většímu zabezpečení světa, nikoli k menšímu.

Důvěru je třeba si zasloužit

Neříkám, že bychom měli inovace v oblasti AI zpomalit na minimum. Tvrdím, že bezpečnost s nimi musí držet krok. Pokud investujeme obrovské prostředky do zvyšování schopností AI, musíme stejně naléhavě usilovat o to, aby ji bylo možné bezpečně bránit.

Přední laboratoře však při urychlování trénování a testování nových modelů AI s kybernetickými schopnostmi musí myslet na obránce. Především jim pomáhat rychleji odhalovat hrozby a reagovat na ně. A co je ještě důležitější, bránit tomu, aby se tyto systémy samy staly hrozbou. Tato odpovědnost také vyžaduje, aby přijímaly nezávislou vnější kontrolu.

Nezávislé posuzování se nesmí stát něčím, co firmy přijímají pouze tehdy, když podporuje příběh, který chtějí vyprávět. Pokud jsou systémy pokročilé AI natolik výkonné, že mohou změnit prostředí hrozeb, jejich bezpečnostní opatření by měla být natolik robustní, aby obstála při důkladném nezávislém testování.

Odvětví AI chce naši důvěru.

Jako odborník z praxe v oblasti kybernetické bezpečnosti jsem ochoten mu ji dát. Ale nejdřív mi ukažte bezpečnostní opatření.