Předefinování autority v C‑suite: Co ve skutečnosti vyžaduje budování vztahu s AI

Strávil jsem 25 let na straně kupujících v oblasti bezpečnostních operací a nikdy jsem se neobával kvůli pravidlu firewallu. Nicméně kvůli AI jsem ztrácel spánek. Tradiční automatizace, ať už je jakákoli složitá, řídí se logikou, kterou lze sledovat. V tomto bezprecedentním měřítku agentní AI jsou však systémy důvěřovány, aby činily rozhodovací úkony, které inženýři nejsou vždy schopni plně vysvětlit – tato ztráta transparentnosti je přesně důvod, proč je tolik CISO v patové situaci.

97% bezpečnostních lídrů je přesvědčeno, že AI dokáže zvládnout třídění, přesto ji v praxi používá jen 35 %. Tento bod obratu je problém důvěry a důvěra může být vyřešena jen tak, jak vždy – prostřednictvím struktury, důkazů a času.

Můžete vidět automatizaci, ale můžete AI důvěřovat?

S tradiční automatizací mohou odborníci s jistotou vědět, co se stane, ještě předtím, než se to stane. Tato transparentnost je důvod, proč týmy SOC strávily desetiletí budováním důvěry v automatizované pracovní postupy bez velkých interních debat, avšak agentní AI prolomila tento vzorec zavedením naučené vrstvy úsudku – systému, který zohledňuje kontext, činí prediktivní rozhodnutí a dochází k závěrům procesem, který není vždy zcela čitelný, ani pro tvůrce systému. 

Pouze 21% organizací uvádí, že mají zavedený vyspělý model správy pro agentní AI, i když 74 % očekává, že do roku 2027 bude AI agentům využíváno alespoň „středně“. Když bezpečnostní odborníci nejsou schopni transparentně vysvětlit tento typ „black box AI“, je to důkaz obtížnosti správy AI nástrojů. Nejde o to, že by nástroje nebyly řádně zabezpečeny, ale že vnitřní fungování AI nástroje je založeno na úsudku, nikoli na vývojovém diagramu.

V řídících místnostech lídři hodnotí AI tak, jak by hodnotili automatizaci, ptají se „mohu vidět logiku“, místo aby se ptali „jak získat důvěru v rozhodovatele, jehož logika se vyvíjí?“ Většina CISO pravděpodobně již zná odpověď, ale výzvou je ji v praxi uplatnit.

Zacházení s AI jako s klíčovým najmutím

Zamyslete se nad nástupem nového senior analytika. CISO by novému analytikovi neodhalil klíče k produkci již první den, ať už byl jeho životopis jakýkoli. Začal by ho s nízkorizikovými úkoly, sledoval, jak zvládá nejasnosti, a postupně rozšiřoval jeho pravomoci, jakmile si je zaslouží. AI si zaslouží stejný nástup, podpořený důkazní důvěrou, která se buduje v čase.

Již jsme viděli, jak se tyto dopady projeví v praxi, když autonomní Meta AI agent spustil celopodnikovou bezpečnostní událost poté, co jednal bez lidského schválení, což přibližně dva hodiny vystavilo citlivá firemní a uživatelská data neoprávněným zaměstnancům, než byla událost zvládnuta. Kořenovou příčinou byl nedostatek lidského dohledu v rozhodovacím bodě, kde mělo být vyžadováno explicitní schválení. To je přesně ten typ selhání, který mají přísné ohraničující pravidla předcházet, a připomíná, že disciplína rozsahu je důležitější než sofistikovanost modelu.

AI si zaslouží stejnou pozornost a můžeme o ní uvažovat jako o důkazně podloženém nasazení:

• Pochopte rozhodovací logiku před nasazením. Nemusíte vidět každou váhu v modelu, ale musíte vědět, na jakých datech model uvažuje, jaké výsledky optimalizuje a kde se pravděpodobně nacházejí jeho slepé úhly.
• Nastavte pevné ohraničující pravidla již první den. Přesně definujte, na co může systém jednat samostatně a co vyžaduje lidský zásah. Úzký rozsah je základem, na kterém se buduje důvěra.
• Rozšiřujte hranice pouze s narůstajícím důkazem. Každé správné rozhodnutí je datový bod a každé selhání také. Rozšiřujte rozsah v poměru k dosavadnímu záznamu, nikoli k nadšení dodavatele nebo rozpočtovým cyklům.

Dodržování těchto kroků jako protokolu pomůže zmírnit obavy CISO, včetně zabránění autonomnímu systému fungovat dál, než kdyby jej někdo skutečně ověřil a zasloužil si důvěru.

Třívrstvý model: Kde AI získává své místo

SANS’ Secure AI Blueprint představuje řídící strukturu postavenou na třech stopách: chránit AI, využívat AI, spravovat AI, zahrnující šest kontrolních kategorií včetně přístupu, dat, nasazení, inferencí, monitorování a zabezpečení modelu. Toto je užitečný výchozí bod a o krok dál je užitečné strukturovat tento vztah rozdělením SOC na tři vrstvy, aby se vyřešil problém důvěry v AI.

1. Výsledek. Toto je vrstva, kde se nachází obchodní riziko. Co organizace považuje za přijatelný výsledek? Jaká je tolerance pro falešně negativní oproti falešně pozitivním výsledkům? Je to lidské rozhodnutí, konec. Žádný model nemá hlasovat o tom, co je organizace ochotna riskovat.
2. Usuzování. Zde se stanovují priority a pod nejasností se činí kompromisy. Má být tato výstraha nyní eskalována nebo pozdržena pro další kontext? Stojí tato anomálie za to přerušit někomu noc? Usuzování může být podpořeno AI a čím dál tím více by mělo být, ale konečná autorita zůstává lidská. Toto je vrstva, kterou mnoho organizací láká předčasně předat, a je to ta, která je může spálit, pokud tak učiní.
3. Exekuce. Zde by AI měla provádět těžkou práci a to rychlostí, kterou žádný lidský tým nedokáže dorovnat. Obohacování výstrahy, korelace signálů napříč desítkou nástrojů, navrhování akce izolace, spuštění scénáře, jakmile člověk nebo důvěryhodná vrstva úsudku schválí cestu. Rychlost stroje, deterministická po spuštění, bez egocentrismu.

Zrání partnerství, ne jen řízení nástroje

Když je vztah AI v rámci SOC postaven jako partnerství místo dohledu nad nástrojem, CISO mohou začít vnímat AI jako rozvíjejícího se spoluhráče, což vede k zásadní změně v tom, jak CISO využívá svůj čas.

SOC, které dokáží tento vztah vyvážit, mají nejdisciplínovanější proces budování důvěry. Tato disciplína umožňuje bezpečnostní operaci škálovat rychlostí stroje ve vrstvě exekuce, aniž by ztratila lidský úsudek, který rozhodnutí na úrovni výsledku stále vyžadují a vždy budou vyžadovat.

Už jsme překonali období, kdy byla AI vnímána jako lesklý nový nástroj k zapůsobení na představenstva. Schopnosti a potenciál AI získaly autoritu být zacházeno tak, jak všichni v SOC vždy zacházeli s pokročilou technologií – krok po kroku, na základě ověřených rozhodnutí.