Nick Kathmann, CISO/CIO ve firmě LogicGate – Interview Series

Nicholas Kathmann je Chief Information Security Officer (CISO) ve firmě LogicGate, kde vede informační bezpečnostní program společnosti, dohlíží na inovace platformové bezpečnosti a komunikuje se zákazníky o správě kybernetických rizik. S více než dvacetiletou zkušeností v IT a 18+ lety v kybernetické bezpečnosti vybudoval Kathmann bezpečnostní operace napříč malými podniky a podniky z žebříčku Fortune 100.

LogicGate je platforma pro rizika a compliance, která pomáhá organizacím automatizovat a škálovat své programy governance, rizika a compliance (GRC). Díky své vlajkové lodi, Risk Cloud®, umožňuje LogicGate týmům identifikovat, hodnotit a spravovat rizika napříč podnikem s pomocnými pracovními postupy, přehledy v reálném čase a integracemi. Platforma podporuje širokou škálu případů použití, včetně třetích stran, kybernetické compliance a interního řízení auditu, což pomáhá společnostem budovat více agilní a odolné strategie rizik

Vykonáváte funkci CISO i CIO ve firmě LogicGate — jak vidíte transformaci odpovědností těchto rolí umělou inteligencí v příštích 2–3 letech?

Umělá inteligence již transformuje obě tyto role, ale v příštích 2-3 letech si myslím, že uvidíme velký vzestup agentic AI, která má sílu重新 definovat, jak přistupujeme k obchodním procesům v denním životě. Cokoliv, co by obvykle šlo na IT help desk — jako resetování hesel, instalace aplikací a další — může být zpracováno umělou inteligencí. Další kritickou oblastí použití bude využití agentů AI pro zpracování únavných auditních hodnocení, což umožní CISO a CIO prioritizovat více strategických požadavků.

Jak by měly podniky přistupovat k nasazení AI při zachování silného bezpečnostního postoje, zejména v kontextu federálních kybernetických propouštění a trendů deregulace?

Zatímco ve Spojených státech vidíme trend deregulace, regulace se ve skutečnosti zpřísňují v EU. Pokud jste tedy multinacionální podnik, očekávejte, že budete muset dodržovat globální regulační požadavky na odpovědné používání AI. Pro společnosti, které operují pouze ve Spojených státech, si myslím, že bude důležité vytvořit silné AI governance politiky a zachovat určitou lidskou kontrolu v procesu nasazení, aby se zajistilo, že nic nechodí špatně.

Jaké jsou největší slepé skvrny, které vidíte dnes, pokud jde o integraci AI do stávajících bezpečnostních rámců?

Zatímco existuje několik oblastí, na které si mohu vzpomenout, nejvýznamnější slepou skvrnou by byla oblast, kde se nachází vaše data a kde procházejí. Zavedení AI bude pouze zvyšovat obtížnost dohledu v této oblasti. Dodavatelé umožňují funkce AI ve svých produktech, ale tato data ne vždy putují přímo k modelu AI/dodavateli. To činí tradiční bezpečnostní nástroje, jako je DLP a webové monitorování, efektivními.

Řekl jste, že většina AI governance strategií jsou „papírové tygři“. Jaké jsou základní složky rámce governance, který skutečně funguje?

Když říkám „papírové tygři“, odkazuji se konkrétně na governance strategie, kde pouze malý tým zná procesy a standardy a nejsou vynucovány nebo ani pochopitelné v celé organizaci. AI je velmi všudypřítomná, což znamená, že ovlivňuje každou skupinu a každý tým. „Jedna velikost se hodí všem“ strategie nefungují. Silný rámec governance se bude lišit, ale IAPP, OWASP, NIST a další poradenské orgány mají dobré rámce pro stanovení, co vyhodnotit. Nejobtížnější částí je určit, kdy požadavky platí pro každý případ použití.

Jak mohou společnosti避nout AI model drift a zajistit odpovědné používání v průběhu času bez nadměrného inženýrství svých politik?

Drift a degradace jsou pouze součástí používání technologie, ale AI může tento proces výrazně urychlit. Pokud se však drift stane příliš velkým, budou nutné korekční opatření. Ucelená testovací strategie, která hledá a měří přesnost, zkreslení a další červené vlajky, je nezbytná v průběhu času. Pokud společnosti chtějí避nout zkreslení a drift, musí nejprve zajistit, aby měly nástroje pro identifikaci a měření.

Jakou roli by měly hrát changelogy, omezené aktualizace politik a reálné zpětné vazby ve udržování agilního AI governance?

Zatímco hrají roli v současnosti, aby snížily riziko a odpovědnost poskytovatele, reálné zpětné vazby omezují schopnost zákazníků a uživatelů provádět AI governance, zejména pokud se komunikační mechanismy mění příliš často.

Jaké obavy máte kolem AI zkreslení a diskriminace při podávání nebo úvěrovém hodnocení, zejména u „Kup teď, zaplať později“ (BNPL) služeb?

Minulý rok jsem hovořil s AI/ML výzkumníkem z velké, nadnárodní banky, který experimentoval s AI/LLM napříč svými rizika modely. Modely, i když byly trénovány na velkých a přesných datech, činily překvapivá, nepodporovaná rozhodnutí o schválení nebo zamítnutí úvěru. Pokud například byly zmíněny slova „velký úvěr“ v chatovém protokolu nebo komunikaci se zákazníky, modely by default zamítly úvěr — bez ohledu na to, zda zákazník řekl to, nebo zaměstnanec banky. Pokud se bude AI spoléhat, banky budou potřebovat lepší dohled a odpovědnost, a tyto „překvapení“ je třeba minimalizovat.

Jak by měly být auditovány nebo hodnoceny algoritmy, které činí rozhodnutí s vysokými zárukami — a kdo by měl být odpovědný?

To se vrací k ucelenému testovacímu modelu, kde je nutné nepřetržitě testovat a měřit algoritmus/modely v reálném čase. To může být obtížné, protože výstup modelu může mít žádoucí výsledky, které budou potřebovat lidské identifikaci outlierů. Jako příklad z bankovnictví — model, který odmítá všechny úvěry, bude mít skvělou rizikovou klasifikaci, protože žádný úvěr, který schválí, se nikdy nevyplatí. V takovém případě by organizace, která implementuje model/algoritmus, měla být odpovědná za výsledek modelu, stejně jako by tomu bylo, kdyby rozhodnutí činili lidé.

Jak AI nástroje mění riziko a pojištění samo o sobě, zejména u podniků, které vyžadují kybernetické pojištění?

AI nástroje jsou skvělé pro rozdělování velkých množství dat a nalezení vzorců nebo trendů. Na straně zákazníka budou tyto nástroje sehrát důležitou roli při pochopení skutečného rizika organizace a jeho správě. Na straně pojišťovny budou tyto nástroje užitečné pro nalezení nesrovnalostí a organizací, které se stávají nezralými v průběhu času.

Jak mohou společnosti využít AI k proaktivnímu snížení kybernetického rizika a vyjednání lepších podmínek v dnešním pojišťovacím trhu?

Dnes je nejlepší způsob, jak využít AI pro snížení rizika a vyjednání lepších pojistných podmínek, filtrování šumu a odvrácení pozornosti, aby se soustředily na nejvýznamnější rizika. Pokud snížíte tato rizika komplexním způsobem, vaše pojistné sazby by měly klesnout. Je příliš snadné se nechat zahlcovat obrovským množstvím rizik. Nezabývejte se tím, abyste řešili každou jednotlivou otázku, když se zaměřením na nejkritičtější otázky můžete mít mnohem větší dopad.

Jaké jsou beberapa taktické kroky, které doporučujete společnostem, které chtějí implementovat AI odpovědně — ale nevědí, kde začít?

Nejprve je nutné pochopit, jaké jsou vaše případy použití a zdokumentovat požadované výsledky. Každý chce implementovat AI, ale je důležité myslet na vaše cíle nejdříve a pracovat zpět od nich — něco, co si myslím, že mnoho organizací dnes bojuje. Jakmile máte dobrý přehled o svých případech použití, můžete prozkoumat různé AI rámce a pochopit, které z aplikovatelných kontrol jsou důležité pro vaše případy použití a implementaci. Silná AI governance je také obchodně kritická, pro minimalizaci rizik a efektivitu, protože automatizace je pouze tak užitečná, jako je vstupní data. Organizace, které využívají AI, musí tak činit odpovědně, protože partneři a potenciální zákazníci kladou těžké otázky kolem AI rozptylu a používání. Neznát odpověď může znamenat ztrátu obchodních dohod, což přímo ovlivňuje bottom line.

Pokud byste měli předpovědět největší AI související bezpečnostní riziko za pět let — co by to bylo — a jak se můžeme připravit dnes?

Moje předpověď je, že s tím, jak se Agentic AI bude stavět do více obchodních procesů a aplikací, útočníci se budou zapojovat do podvodu a zneužívání, aby manipulovali tyto agenty, aby dosáhli škodlivých výsledků. Už jsme viděli tohle u manipulace zákaznických služeb, což vedlo k neoprávněným dohodám a refundacím. Útočníci použili jazykové triky, aby obešli politiky a zasáhli do rozhodování agenta.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit LogicGate.