Aarti Samani, zakladatelka a generální ředitelka Shreem Growth Partners – rozhovor

Aarti Samani, zakladatelka a generální ředitelka Shreem Growth Partners, je technologickým lídrem a strategem umělé inteligence s více než dvacetiletou zkušeností s řízením růstu v oblasti umělé inteligence, digitální identity a biometrické bezpečnosti. Zastávala seniorní pozice v iProov a Digital Surgery (získané Medtronic), kde vedla globální produktové a marketingové strategie a zajišťovala významné investice. Často komentuje pro BBC a vystupuje jako hlavní řečník na globálních akcích, včetně Money 20/20 a CogX Festival, a radí správním radám a výkonným ředitelům v oblasti etiky umělé inteligence, řízení a rizik, pomáhaje organizacím budovat důvěru a odolnost ve věku umělé inteligence.

Shreem Growth Partners pomáhá organizacím chránit se proti deepfake podvodům a AI-poháněnému napodobování, zaměřením se na lidskou vrstvu obrany. Prostřednictvím přizpůsobené výuky, výkonných briefingů, hodnocení zranitelnosti a strategických konzultací vybavuje firma týmy a lídry, aby rozpoznali, reagovali na a zabránili pokusům o manipulaci. Rozvíjením povědomí, připravenosti a kulturní odolnosti umožňuje Shreem organizacím chránit svou identitu, pověst a pracovníky proti vyvíjejícím se hrozbám umělé inteligence.

Založila jste Shreem Growth Partners po seniorních rolích v iProov, Medtronic Digital Surgery a dalších firmách poháněných umělou inteligencí. Co vás inspirovalo k založení společnosti, která se věnuje speciálně odolnosti proti deepfake podvodům?

Po vydání ChatGPT na konci roku 2022 jsme byli svědky exploze nástrojů umělé inteligence schopných klonovat hlasy a tváře za několik minut. Většina organizací je považovala za urychlovače kreativity pro návrh a marketing. Ale zločinci viděli novou příležitost pro větší sociální inženýrství.

Deepfakes se rychle staly nástrojem volby pro podvodníky, aby manipulovali lidmi. Týmy bezpečnosti reagovaly investicemi do technologie detekce, ale detekce sama o sobě nemůže vyřešit problém, který je zakořeněn v lidské důvěře. Psychologie byla slepým místem odvětví.

Tato myšlenka mě vedla k založení Shreem Growth Partners, firmy, která se věnuje budování odolnosti proti deepfake podvodům prostřednictvím povědomí, simulace a kognitivní odolnosti. Zlepšování schopnosti lidí kriticky uvažovat a odolávat manipulaci je klíčem k zmírnění tohoto typu podvodu.

V iProov jste pracovala na hranici oboru tváří biometrické a ověření identity. Jak vám tato zkušenost odhalila rostoucí hrozbu, kterou deepfakes představují pro systémy ověření?

Jako Chief Product a Marketing Officer v iProov jsem pomohla uvést biometrickou verifikaci obličeje do bezpečnostně citlivých organizací napříč veřejným a soukromým sektorem. Tyto instituce jsou stálými cíli organizovaného kybernetického zločinu. Jejich protivníci jsou inteligentní, dobře financovaní a vybavení nejmodernější technologií.

Začali jsme vidět pokusy o obcházení biometrických systémů pomocí deepfakes vytvořených z ukradených identit. Protože iProov fungovala jako cloudový spravovaný služba, mohli jsme pozorovat tyto útoky v reálném čase a analyzovat, jak se každá iterace vyvíjela. Stalo se zřejmým, že zločinci se učí rychleji než trh přizpůsobuje.

Tato zkušenost mi poskytla vnitřní pohled na vývoj deepfake-poháněného podvodu a hluboké pochopení toho, jak kreativita a psychologie pohánějí kybernetický zločin. Toto stejné pochopení zločinecké mysli nyní informuje mou práci v odolnosti proti deepfake podvodům.

Deepfakes se stále více používají pro napodobování výkonných osob, klonování hlasu a sociální inženýrství. Jaké scénáře vidíte nejčastěji v terénu dnes?

Je vždy snazší získat přístup prostřednictvím sociálního inženýrství než rozbitím bezpečnostních systémů. Jakmile lidé rostou více vědomí tradičních podvodů, zločinci se obrací k novým způsobům manipulace důvěry.

Technologie deepfakes se stala nejvýkonnějším nástrojem sociálního inženýrství, jaký jsme kdy viděli. Umožňuje pachatelům generovat vysokofidelity signály důvěry: realistické tváře, hlasy a narativy, které obcházejí lidské úsudky.

Výhoda zločinců není omezena na napodobování výkonných osob nebo plateb. Stále více cílem jsou duševní vlastnictví, citlivé údaje a přístupové pověření. Školením agentů umělé inteligence a poskytováním jim klonovaných hlasů může být podvod proveden ve velkém měřítku, rychlosti a přesnosti, které žádný lidský útočník nemůže dosáhnout. To je hrozba, do které vstupujeme.

Co odlišuje program odolnosti proti deepfake podvodům od tradičního vzdělávání v kybernetické bezpečnosti nebo proti phishingovým útokům?

Školení v kybernetické bezpečnosti, jak je známe, bylo vytvořeno na počátku roku 2000, kdy internet a komerční výpočetní technika byly ještě ve svém počátku. Od té doby se obsah vyvinul, aby splňoval potřeby dodržování předpisů, se zaměřením na platformy LMS a gamifikaci pro zapojení. Ale hrozba se posunula dál.

Dnešní podvody jsou inteligentní, kreativní a psychologicky inženýrské. Zločinci používají umělou inteligenci se stejnou sofistikovaností jako akademie nebo podniky. Školení musí jít za hranice dodržování předpisů a do kognitivních procesů.

Školení v odolnosti proti deepfake podvodům nemůže být redukováno na to, zda někdo klikne na odkaz. Musí učit lidi kriticky uvažovat, zpochybňovat autenticitu tváří a hlasů, se kterými interagují, a rozpoznávat, jak snadno může být vnímání manipulováno.

Rovněž musí být kladen důraz na kognitivní odolnost. Zvýšené emoce, rozptýlené mysli a neustálé multitasking oslabují kritické myšlení. Budování kognitivní odolnosti učí zaměstnance udržovat emocionální rovnováhu a zůstat analytickými a ostražitými. Je to přesně ten stav mysli, který je potřebný k odolání manipulaci.

Vaše firma nabízí hodnocení zranitelnosti deepfakes a cvičení na stole. Můžete nás provést tím, jak vypadá jedna z těchto simulací, a jaké poznatky klienti obvykle získávají?

V našich hodnoceních zranitelnosti a cvičeních na stole replikujeme nejnovější vektory útoků deepfakes založené na skutečných incidentech. Společné scénáře zahrnují falešného žadatele o práci, který používá klonovanou identitu, kompromitovaný IT helpdesk pro resetování více faktorů ověření, nebo videohovor s osobou vygenerovanou umělou inteligencí, která přesvědčí zaměstnance ke stažení škodlivého softwaru.

Tyto simulace odhalují, jak lidé reagují pod tlakem, a odhalují slepá místa v komunikaci, procesech a reakci na incidenty. Výkonní manažeři často objevují chybějící odborné znalosti a nejasnou vlastnictví rozhodnutí. Výsledky obvykle vedou k udržitelnému programu odolnosti. Jednomu, který posiluje gramotnost proti podvodům, změnu procesů a kultury a připravenost na krizi napříč organizací.

Často mluvíte o lidsky orientovaném řízení rizik. Jak mohou společnosti vybavit své zaměstnance, aby detekovali a odolávali deepfake manipulaci, místo aby se spoléhali pouze na technické nástroje?

Deepfakes využívají stejné neuronové obvody, které nám pomáhají vyhodnotit důvěru a emoce. Naše mozky jsou zaprogramovány, aby dávaly přednost vizuálním a sluchovým signálům, protože jsou to první smysly, které se vyvíjí. Ale ještě jsme nevyvinuli instinktivní schopnost zpochybňovat tyto signály, takže musíme tuto dovednost učit a neustále posilovat.

Společnosti mohou vybavit své zaměstnance, aby pohlíželi na digitální interakce s opatrností a zvědavostí. Když jsme ve hlasovém nebo videohovoru, interagujeme s artefaktem. Ten artefakt může být skutečnou osobou zobrazenou na obrazovce nebo umělou. Nemůžeme to vizuálně určit.

Jedinou obranou je aktivní ověření: položení správných otázek, kontrola detailů a pozornost k nesrovnalostem v narativu. Nový mantras musí být jednoduchý – nulová důvěra, vždy ověřovat.

Deepfakes rozostřují hranici mezi dezinformacemi a podvody. Jak mohou výkonní manažeři připravit na krize reputace a operací vyvolané incidenty syntetických médií?

Týmy vedení musí nyní pohlížet na incidenty deepfakes jako na základní obchodní riziko, ne na hypotetické. Každý výkonný manažer kolem stolu by měl znát svou roli, když krize vypukne.

Stejně jako správní rady přezkoumávají registry rizik, měly by také přezkoumávat plány reakce na incidenty, a tyto plány nemohou být statické. Hrozba se vyvíjí příliš rychle. Plány potřebují být testovány a aktualizovány alespoň dvakrát ročně, ideálně po cvičení na stole, které simuluje skutečnou událost.

Krize deepfakes zřídka sedí pěkně v jedné funkci. Vyžadují koordinaci mezi komunikací, právními záležitostmi, bezpečností a HR. Organizace, které reagují nejlépe, jsou ty, jejichž lídři cvičí tuto spolupráci před skutečným incidentem.

Také existuje psychologická cena, když se zaměstnanci nebo výkonní manažeři stanou cílem přesvědčivých deepfakes. Jakou podporu nebo protokoly by měly organizace mít k dispozici, aby řešily lidský dopad?

„Podvodná hanba“ musí být za všech okolností vyhnuta. Organizace by měly budovat kulturu psychologické bezpečnosti dlouho před incidentem. Když se zaměstnanci nebo výkonní manažeři stanou cílem deepfakes, zkušenost může vypadat jako útok. Ztráta kontroly nad vlastní podobiznou, hlasem a digitální identitou.

Odpověď musí být jak procedurální, tak lidská. Zřetelné protokoly hlášení by měly sedět vedle podpory duševního zdraví, důvěrných debriefingů a přístupu k digitální forenzice, aby jednotlivci pochopili, co se stalo.

Lídři nastavují tón. Když výkonní manažeři otevřeně mluví o pokusech o manipulaci a zotavení, odstraňují stigmata a podporují transparentnost. Ta otevřenost je to, co promění individuální zranitelnost v kolektivní odolnost.

Jako zakladatelka poradenské firmy v tomto prostoru, co jsou vaše největší obavy z rychlosti, s jakou se generativní umělá inteligence vyvíjí – a kde vidíte příští vlnu schopností deepfakes?

Generativní umělá inteligence se vyvíjí neobvyklou rychlostí. To samo o sobě není obavou. Skutečné riziko spočívá v její rychlé adopci a „přilepení“ napříč běžnými obchodními operacemi. Tempo řízení hrozeb a povědomí jednoduše nedrželo krok. Ta mezera mezi hrozbou a odolností je přesně tam, kde podvodníci prosperují, s deepfakes jako jejich nejúčinnějším nástrojem.

Každá nová inovace se stává další plochou pro exploataci. V současné době představují agenti umělé inteligence rostoucí riziko. Když se kombinují s technologií deepfakes, mohou provést podvod ve velkém měřítku, rychlosti a přesnosti, které žádný lidský útočník nemůže dosáhnout.

Naopak, jaké technologie nebo spolupráci vidíte jako důvod pro optimismus, že můžeme zůstat před podvody poháněnými deepfakes a dezinformacemi?

Skutečnost, že tato konverzace probíhá v respektovaném publikaci, je sama o sobě známkou pokroku. Ukazuje, že inovátory, regulátory, média a podniky všechny zasáhla dezinformace.

Co mě činí optimistou, je rostoucí ochota spolupracovat. Odolnost proti deepfake nebude pocházet z jednoho nástroje nebo jedné organizace, ale ze sdílené inteligence. Učení, jak vyměňovat informace a vzdělávat komunitu tak efektivně, jako to dělají zločinci.

Ještě potřebujeme vyladit, jak tato spolupráce probíhá, ale záměr je tam. A ten kolektivní záměr je to, co nakonec obnoví důvěru.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Aarti Samani.