Nové bezpečnostní rizika rychlé adopce GenAI, kterým musí organizace čelit

Generativní umělá inteligence (GenAI) se vyvinula z kuriozity na centrální sílu v podnikové technologii. Její schopnost generovat text, kód, obrázky a přehledy na vyžádání ji učinila nepostradatelnou pro zaměstnance, kteří chtějí snížit složitost a urychlit produktivitu. Ale s touto inovací a efektivitou přichází obrovské riziko.

Při hovorech s výkonnými manažery a lídry AI governance z různých odvětví se objevuje jeden téma znovu a znovu: Bezpečnost dat se stala z klíčového problému hlavním bodem jejich strategie a je nyní určujícím výzvou pro adopci AI. Na rozdíl od tradičního softwaru nebo dokonce předchozích vln strojového učení fundamentálně mění GenAI proces zabezpečení dat uvnitř organizace.

Recentní studie MIT zjistila, že 95 % pilotních projektů GenAI v podnikové sféře selhává. Není to proto, že technologie je slabá, ale protože podniky postrádají rámce governance a bezpečnostní rámce potřebné pro operacionalizaci GenAI vhodným a zodpovědným způsobem. V další studii MIT lídři podniků uvedli, že bezpečnost dat je největším obchodním a bezpečnostním rizikem, které brání rychlejší adopci AI. Kromě toho je “shadow AI”, který je neautorizované použití veřejných nástrojů zaměstnanci, široce uznávaný jako hnací síla rostoucích rizik s daty mimo kontrolu podniku.

Model least-privilege přístupu je bezpečnostní model, ve kterém je každé entitě, ať už uživatel, program nebo proces, udělen minimální úroveň přístupu a oprávnění nezbytných pro výkon jeho legálních funkcí. GenAI však převrací celý paradigm: Least privilege se stává omezením, které je v konfliktu se způsobem, jakým jsou tyto systémy navrženy. To je způsobeno tím, že podnikové nástroje GenAI poskytují vyšší produktivitu, když mají přístup k více obchodním datům a obchodnímu kontextu.

Jakmile se adopce GenAI urychluje, uživatelé pokračují v objevování nových aplikací GenAI, z nichž většina vzniká z organického experimentování a zvědavosti, spíše než z top-down, obchodně řízeného plánování. Pokud entita nemůže definovat úkoly, pro které bude GenAI použita, nebo typy dat, ke kterým potřebuje přístup, stává se nemožným nastavit oprávnění least-privilege přístupu. Kromě toho může uživatel mít odpovídající přístup k datové sadě a legitimně ji poskytnout jako vstup pro nástroj GenAI, ale jednou, co jsou data ingested, již nejsou vázána původními oprávněními uživatele. Místo toho mohou být absorbována do modelu, zobrazena v budoucích výstupech nebo zpřístupněna jiným, kteří používají stejný nástroj. Protože GenAI nemusí nutně zdědit kontrolu přístupu k datům, efektivní činí least privilege nevynutitelným.

GenAI Rizika, která je třeba zvážit

GenAI vytváří obrovský a neustále se rozšiřující datový povrch, který komplikuje podnikovou správu a bezpečnost dat několika propojenými způsoby. Tyto zahrnují:

Únik vstupních dat – GenAI může ingestovat data v jejich surové formě, včetně textu, obrázků, zvuku, videa a strukturovaných dat. Koncoví uživatelé mohou nyní směrovat nástroje GenAI na nová data s minimálním úsilím nebo odbornými znalostmi. Místo toho, aby byli omezeni na pečlivě kurátorovaná, strukturovaná tabulka s definovanými schématy a vztahy, mohou tato data zahrnovat záznamy prodejních hovorů, poznámky e-mailů CRM, transkripty zákaznické podpory a další. V praxi zaměstnanci krmí nástroje GenAI úkoly s vysoce citlivými obchodními informacemi, včetně osobních údajů zákazníků, duševního vlastnictví, finančních prognóz a dokonce i zdrojového kódu.

Expozice výstupu – Generativní modely ne pouze konzumují, ale také syntetizují. Úkol může neúmyslně získat přehledy z různých datových sad a zpřístupnit je uživatelům bez řádného schválení. V některých případech mohou výstupy dokonce “halucinovat” data, která vypadají legitimně, ale obsahují fragmenty skutečných, vysoce citlivých trénovacích materiálů.

Nástroje GenAI fungují lépe, když mají kontext pro úkoly, které mají vykonat. V důsledku toho nástroje GenAI ne pouze ingestují existující informace, ale uživatelé také vytvářejí nová data, aby je vedli, ve formě rozsáhlých, podrobných úkolů, které dokumentují obchodní kontext, vnitřní procesy a další potenciálně citlivá nebo obchodně kritická informace.

Přístup bez dohledu – Tradiční podnikové systémy vyžadovaly registraci dodavatele a IT zajištění. Dnes je GenAI zabudována všude – v sadách Microsoft Office, prohlížečích, nástrojích pro chat a platformách SaaS. Zaměstnanci mohou adoptovat GenAI okamžitě, obejití governance úplně. Tento bezproblémový přístup pohání “shadow AI” a každé neautorizované použití GenAI je potenciální událost exfiltrace dat, která se děje neviditelně, v měřítku a mimo hranice governance podniku.

Riziko druhé úrovně dodavatelského řetězce – Dodavatel může vypadat bezpečně, ale často se spoléhá na subdodavatele, jako jsou cloudoví hostitelé, služby anotace nebo třetí strany AI laboratoře. Každý z nich zavádí své vlastní smlouvy o koncovém uživateli (EULA) a zásady. Citlivá podniková data mohou procházet mnoha neviditelnými rukama, ale odpovědnost zůstává výhradně u podniku. Například podnik může mít dodavatele, který dříve dokončil proces registrace, ale nyní používá nástroj GenAI, který by mohl umožnit použití dat podniku jako trénovacích dat, s významnými následnými dopady.

Mezery v governance trénovacích dat – Jakmile data vstoupí do modelu AI, kontrola efektivní končí. Podniky nemohou snadno odvolat nebo řídit, jak jejich informace jsou použity. Proprietární znalosti mohou přetrvávat a poté se objevit ve výstupech dlouho poté, co jejich zdroj byl zapomenut. Zatím jsme se nesetkali s žádným nástrojem GenAI, který by umožňoval požadavky na odstranění informací, které ingestoval, podobně jako je vidět v předpisech o ochraně osobních údajů, jako je Obecné nařízení o ochraně osobních údajů (GDPR) nebo Zákon o ochraně spotřebitele v Kalifornii (CCPA). Implementace takových procesů je nepravděpodobná, dokud nebude poháněna regulací.

Riziko aplikací kódu – AI je stále více zodpovědná za psaní kódu, který podkládá podnikové systémy. Vývojáři, kteří používají nástroje GenAI, jako je Microsoft Copilot, pro generování kódu, mohou nevědomky zavést nezabezpečené závislosti, šířit zranitelnosti nebo vkládat kód pod konfliktními open-source licencemi. Jakmile jsou tyto slabiny nasazeny, stávají se součástí softwarového dodavatelského řetězce.

Význam GenAI Rizik

GenAI je již zabudována do podnikových pracovních postupů, takže otázka pro podniky není, zda ji adoptovat, ale jak to udělat zodpovědně. Adoptování GenAI bez governance riskuje drahé porušení, regulační pokuty a poškození reputace. Ale blokování GenAI pouze pohání zaměstnance k použití neautorizovaných řešení. Jediná cesta vpřed je umožnění obklopené viditelností a kontrolou.

GenAI governance vyžaduje kontext-driven viditelnost nejen do toho, jaká data podnik má, kde žijí a kdo k nim má přístup, ale také do toho, jak GenAI je používána. Podniky potřebují vidět, které nástroje jsou přístupné, jaké úkoly jsou zadávány a zda citlivá data opouštějí jejich prostředí. Odtud mohou aplikovat příslušné kontroly pro monitorování úkolů a výstupů v reálném čase, označit rizikové relace nebo anomální datové toky, zablokovat neautorizované nástroje, filtrovat citlivá zadání předtím, než opustí, deidentifikovat citlivá data, když jsou zadána do úkolů, a vynucovat role-založená omezení na AI-poháněné přehledy.

GenAI je zcela nová vrstva podnikového rizika a příležitosti. Její řízení vyžaduje myšlení, že bezpečnost není brzdou inovace, ale základem, který ji činí bezpečnou.