Proč se nákup stává nejsilnějším regulačním nástrojem AI

Vzhledem k veškeré pozornosti věnované legislativě AI mohou některá z nejzásadnějších pravidel upravujících tuto technologii pocházet z opravdu nečekaného místa: oddělení nákupu.

Stejně jako mnoho regulatorních počátků ve Spojených státech, Kalifornie nabízí raný příklad: stát vypracoval konkrétní požadavky na nákup produktů a služeb využívajících generativní AI. Státní orgány musí posoudit riziko spojené s nákupy GenAI, přičemž použití středně a vysoce rizikových případů podléhá dalšímu přezkoumání Kalifornského oddělení technologií (CDT). Výzvy k podání nabídek vyžadují jazyk o zveřejnění GenAI a dodavatelé mohou být povinni zveřejnit své využití technologie i tehdy, když je AI jen příležitostná součástí nakupovaného produktu či služby.

Ještě zajímavější je, co se děje po uzavření smlouvy. Kaliforniepokyny pro nákup GenAIrozšiřují dohled i po počátečním nákupu. Očekává se, že manažeři smluv budou sledovat technologii GenAI v průběhu času, protože určité změny technologie mohou vyvolat další posouzení rizika.

To mění situaci pro dodavatele, protože průchod nákupním procesem již není jen otázkou vyplnění bezpečnostního dotazníku a předání nějaké dokumentace. Správa AI se začíná stát součástí vstupní ceny za podnikání v Kalifornii. A i když je to aktuální situace v Kalifornii, často to vede i ostatní státy, pokud neexistuje federální legislativa, což znamená, že firmy by byly krátkozraké, kdyby tuto záležitost považovaly jen za kalifornský nákupní problém.

Když kupující začne stanovovat pravidla

Jak se oddělení nákupu stala výchozím bodem pro správu AI? Vlády mohou strávit roky debatami o legislativě, ale pravidla nákupu mohou být pružnější, protože mají mnohem okamžitější publikum: každého, kdo chce získat smlouvu.

Bez komplexní legislativy AI našli kupující jiný způsob, jak si stanovit vlastní očekávání ohledně AI. Mohou rozhodnout, co potřebují vědět o využití technologie dodavatelem, jaké důkazy očekávají a jakou úroveň rizika jsou ochotni akceptovat před podpisem smlouvy. Pro velké kupce, zejména vlády a velké podniky, mohou mít tyto požadavky značný význam.

Týmy nákupu v soukromém sektoru mají své vlastní důvody, proč začít klást otázky ohledně toho, kde se AI používá nebo jaké důkazy existují o tom, že jsou zavedeny vhodné kontroly. Podniky již věnují značné množství času zkoumání bezpečnostních a soukromých praktik svých dodavatelů. Zavedení AI přidává další soubor rizik, která kupující stále více potřebují pochopit před tím, než dodavateli předají svá data, zařadí jeho technologii do kritického procesu nebo mu umožní činit rozhodnutí, jež ovlivňují zákazníky a zaměstnance.

Vaše AI riziko může patřit někomu jinému

Jednou z důležitějších věcí kalifornského přístupu je, že uznává, jak obtížné se stalo vytyčit jasnou hranici kolem využití AI organizací. Ať už si zakoupila vlastní nabídku AI, spolupracuje s poradenskými firmami poskytujícími služby, nebo jednoduše využívá cloudové služby, AI je zakotvena v organizacích či jejich dodavatelských řetězcích.

Kalifornský nákupní proces to částečně zohledňuje. Pokrývá IT i ne‑IT nákupy zahrnující GenAI, včetně konzultantů využívajících tuto technologii, a vyžaduje posouzení rizika, když je během nákupu identifikováno GenAI.

Proces je podobný situaci, kdy týmy kybernetické bezpečnosti zjistily, že ochrana vlastních systémů nestačí, pokud má dodavatel s přístupem k jejich datům nebo infrastruktuře slabé kontroly. Toto uvědomění proměnilo zabezpečení třetích stran v hlavní součást řízení rizik dodavatelů, což je směr, kterým se také AI zdá ubírat.

Také to vytváří nepříjemný problém pro organizace, které vybudovaly samostatné programy pro bezpečnost, soukromí, správu AI a každou novou povinnost související s dodržováním předpisů. Rizika neznají tyto organizační hranice. Aplikace AI může současně vyvolat otázky soukromí, bezpečnostní zranitelnosti i regulační povinnosti.

Vytvoření dalšího silo pro jeho řízení jen přidává další místo, kde může něco upadnout mezi prsty.

Problém s jednorázovým prokazováním souladu

Další komplikací již tak složitého problému je, že AI se vyvíjí. Modely jsou aktualizovány, dodavatelé zavádějí nové funkce, zaměstnanci nacházejí využití nástrojů, které nikdo nepředvídal při jejich nákupu, a data se mění. Tato plynulost znamená, že i regulace se musí měnit.

Přesto je mnoho činností souvisejících se souladem stále postaveno na konkrétním okamžiku. Přichází audit, takže se shromažďují důkazy. Zákazník pošle dotazník, takže někdo dohání odpovědi. Přichází nová požadavek a začíná další projekt souladnosti.

Tento přístup byl již obtížný, ale s AI se stává stále těžší ho obhájit. Posouzení rizika provedené při nákupu produktu může být v té době naprosto přesné, ale o rok později může být značně zastaralé.

Kalifornie se zdá, že si toho je vědoma, protože její pokyny pro monitorování smluv vyžadují průběžné hodnocení výstupů GenAI, včetně nepřesných výstupů, vymyšleného obsahu a zaujatosti. Změny nebo doplňky technologie GenAI ve smlouvách, které dříve vyžadovaly konzultaci CDT, mohou také vyžadovat přehodnocení.

Framework NIST AI Risk Management Framework přijímá podobný pohled na řízení rizik AI, považuje jej za průběžný proces napříč životním cyklem AI. To bude vyžadovat od organizací odlišné myšlení než je zvyklé připravovat se na další audit a pak si oddechnout, až bude hotovo.

Nákup požaduje důkazy, ne honbu

Okolo automatizované shody je spousta nadšení, zejména když se společnosti snaží držet krok s rostoucím počtem požadavků na bezpečnost, soukromí a AI. Přitažlivost je pochopitelná, ale nebezpečí nastává, když se efektivita zamění s řízením.

Dokončení pracovního postupu neříká, zda se podkladové riziko změnilo. Například dodavatel, který před šesti měsíci nepoužíval AI pro konkrétní službu, ji může nyní používat. Proto musí shoda fungovat spíše jako smyčka než jako cílová čára. Organizace musí vědět, co řídí, ověřovat, že kontroly nadále plní svůj účel, a začleňovat nové rizika a požadavky do procesu, jakmile se objeví.

Správně provedené to také výrazně snižuje bolest při nákupu. Když se zákazník zeptá, jak je AI řízena, odpověď není v dokumentu, který někdo napsal minulý rok pro audit. Existuje aktuální, průběžné těleso důkazů ukazujících, jak jsou rizika v praxi řízena, a to se stává komerčně důležitým.

Kalifornie ukazuje, jak může nákup převést principy řízení AI do požadavků, které dodavatelé skutečně musí splnit, pokud chtějí získat zakázku. Ostatní veřejní zadavatelé mohou udělat totéž, zatímco podnikové nákupní týmy mají spoustu motivace klást svým dodavatelům přísnější otázky.

Společnosti mohou nakonec zjistit, že řízení AI není něco, co dělají jen proto, že to vyžaduje regulátor. Budou řídit AI, protože nákupní tým se rozhodl, že jim to musí prokázat, a oni to rádi udělají, aby získali zakázku.