Dlaczego zakupy stają się najpotężniejszym narzędziem regulacyjnym AI

Pomimo całej uwagi poświęcanej ustawodawstwu AI, niektóre z najważniejszych zasad regulujących tę technologię mogą pochodzić z naprawdę nieoczekiwanego miejsca: działów zakupów.

Podobnie jak wiele początków regulacji w Stanach Zjednoczonych, Kalifornia stanowi wczesny przykład: stan wprowadził konkretne wymagania dotyczące zakupu produktów i usług wykorzystujących generatywną sztuczną inteligencję. Jednostki państwowe muszą ocenić ryzyko związane z zakupami GenAI, przy czym zastosowania o umiarkowanym i wysokim ryzyku podlegają dodatkowej kontroli ze strony California Department of Technology (CDT). Ogłoszenia przetargowe muszą zawierać klauzulę ujawnienia GenAI, a dostawcy mogą być zobowiązani do ujawnienia użycia tej technologii, nawet gdy AI jest jedynie incydentalna w produkcie lub usłudze będącej przedmiotem zakupu.

Jeszcze ciekawsze jest to, co dzieje się po sfinalizowaniu transakcji. Kalifornia wytyczne dotyczące zakupu GenAI rozszerzają nadzór poza początkowy zakup. Menedżerowie kontraktów mają monitorować technologię GenAI w czasie, ponieważ niektóre zmiany w technologii mogą wywołać kolejną ocenę ryzyka.

Zmienia to sytuację dostawców, ponieważ przejście przez proces zakupowy nie jest już kwestią wypełnienia kwestionariusza bezpieczeństwa i przekazania kilku dokumentów. Zarządzanie AI zaczyna stawać się częścią kosztu wejścia na rynek w Kalifornii. I choć jest to obecna sytuacja w Kalifornii, często wyznacza to kierunek dla innych stanów, gdy nie ma federalnego ustawodawstwa, co oznacza, że firmy byłyby krótkowzroczne, uznając to za problem jedynie kalifornijskich zakupów.

Kiedy kupujący zaczyna ustalać zasady

Jak działy zakupów stały się punktem wyjścia dla zarządzania AI? Rządy mogą spędzać lata na debacie nad ustawodawstwem, ale zasady zakupowe mogą być bardziej elastyczne, ponieważ mają znacznie bardziej bezpośrednią publiczność: każdego, kto chce uzyskać kontrakt.

Bez kompleksowego ustawodawstwa AI, nabywcy znaleźli inny sposób na określenie własnych oczekiwań wobec AI. Mogą zdecydować, co muszą wiedzieć o wykorzystaniu technologii przez dostawcę, jakie dowody chcą zobaczyć i jaki poziom ryzyka są gotowi zaakceptować przed podpisaniem umowy. Dla dużych nabywców, szczególnie rządów i dużych przedsiębiorstw, te wymagania mogą mieć znaczną wagę.

Zespoły zakupowe w sektorze prywatnym mają własne powody, by zaczynać zadawać pytania dotyczące m.in. tego, gdzie AI jest wykorzystywana lub jakie dowody istnieją na istnienie odpowiednich kontroli. Przedsiębiorstwa już poświęcają znaczny czas na badanie praktyk bezpieczeństwa i prywatności swoich dostawców. Wprowadzenie AI dodaje kolejny zestaw ryzyk, które nabywcy muszą coraz lepiej rozumieć, zanim przekażą dostawcy swoje dane, włączą jego technologię do krytycznego procesu lub pozwolą mu podejmować decyzje wpływające na klientów i pracowników.

Twoje ryzyko AI może należeć do kogoś innego

Jedną z ważniejszych kwestii podejścia Kalifornii jest uznanie, jak trudne stało się wyznaczenie wyraźnej granicy wokół wykorzystania AI przez organizację. Niezależnie od tego, czy zakupiła własną ofertę AI, współpracuje z firmami konsultingowymi świadczącymi usługi, czy po prostu korzysta z usług w chmurze, AI jest wbudowane w organizacje lub ich łańcuchy dostaw.

Proces zakupowy w Kalifornii uwzględnia część tego. Obejmuje zakupy IT i nie-IT związane z GenAI, w tym konsultantów korzystających z tej technologii, i wymaga oceny ryzyka, gdy GenAI zostanie zidentyfikowane w trakcie procesu zakupowego.

Proces ten jest podobny do sytuacji, gdy zespoły ds. cyberbezpieczeństwa zdały sobie sprawę, że ochrona własnych systemów nie wystarczy, jeśli dostawca mający dostęp do ich danych lub infrastruktury ma słabe kontrole. To odkrycie przekształciło cyberbezpieczeństwo stron trzecich w istotny element zarządzania ryzykiem dostawców, a AI wydaje się podążać w tym samym kierunku.

Tworzy to również kłopotliwy problem dla organizacji, które stworzyły odrębne programy dotyczące bezpieczeństwa, prywatności, zarządzania AI oraz każdej nowej obowiązku zgodności. Ryzyka nie respektują tych granic organizacyjnych. Aplikacja AI może jednocześnie generować pytania dotyczące prywatności, narażenia na zagrożenia bezpieczeństwa oraz obowiązki regulacyjne.

Budowanie kolejnej odrębnej struktury do jej regulacji tylko tworzy dodatkowe miejsce, w którym coś może wpaść między luki.

Kłopot z udowodnieniem zgodności jednorazowo

Dodatkowym utrudnieniem już i tak złożonej kwestii jest to, że AI się zmienia. Modele są aktualizowane, dostawcy wprowadzają nowe funkcje, pracownicy znajdują zastosowania narzędzi, których nikt nie przewidział przy zakupie, a dane ulegają zmianie. Ta płynność oznacza, że regulacje również muszą się zmieniać.

Jednak wiele działań związanych ze zgodnością wciąż opiera się na konkretnym momencie w czasie. Nadchodzi audyt, więc zbierane są dowody. Klient wysyła kwestionariusz, więc ktoś poszukuje odpowiedzi. Pojawia się nowe wymaganie i rozpoczyna kolejny projekt zgodności.

To podejście było już uciążliwe, ale w połączeniu z AI staje się coraz trudniejsze do obrony. Ocena ryzyka przeprowadzona w momencie zakupu produktu może być wtedy w pełni trafna, ale po roku może być znacznie przestarzała.

California wydaje się to rozpoznawać, ponieważ jej wytyczne monitorowania kontraktów wymaga bieżącej oceny dostaw GenAI, w tym nieprawidłowych wyników, sfałszowanej treści i uprzedzeń. Zmiany lub dodatki do technologii GenAI w umowach, które wcześniej wymagały konsultacji CDT, mogą również wymagać ponownej oceny.

W Ramka zarządzania ryzykiem AI NIST przyjmuje podobne podejście do zarządzania ryzykiem AI, traktując je jako ciągły proces w całym cyklu życia AI. Wymaga to innego nastawienia od organizacji przyzwyczajonych do przygotowywania się na kolejny audyt, a potem oddechu ulgi, gdy się on zakończy.

Zamówienia wymagają dowodów, nie pośpiechu

Wokół automatycznej zgodności pojawiło się wiele entuzjazmu, szczególnie gdy firmy starają się nadążać za rosnącą liczbą wymagań dotyczących bezpieczeństwa, prywatności i AI. To przyciąganie jest zrozumiałe, ale niebezpieczeństwo pojawia się, gdy efektywność zostaje pomylona z zarządzaniem.

Zakończenie przepływu pracy nie informuje, czy podstawowe ryzyko uległo zmianie. Na przykład dostawca, który nie korzystał z AI w określonej usłudze sześć miesięcy temu, może już z niej korzystać. Dlatego zgodność musi działać bardziej jak pętla niż linia mety. Organizacje muszą wiedzieć, co kontrolują, sprawdzać, czy kontrole nadal spełniają swoje zadania, oraz włączać nowe ryzyka i wymagania do procesu w miarę ich pojawiania się.

Wykonane prawidłowo, to także sprawia, że zakupy są znacznie mniej bolesne. Gdy klient pyta, jak zarządza się AI, odpowiedź nie znajduje się w dokumencie napisanym w zeszłym roku na potrzeby audytu. Istnieje aktualny, ciągły zestaw dowodów pokazujący, jak ryzyka są zarządzane w praktyce, co staje się komercyjnie istotne.

Kalifornia pokazuje, jak zakupy mogą przekształcić zasady zarządzania AI w wymagania, które dostawcy muszą spełnić, jeśli chcą pozyskać biznes. Inni nabywcy z sektora publicznego mogą zrobić to samo, podczas gdy zespoły zakupowe w przedsiębiorstwach mają wiele powodów, by zadawać swoim dostawcom trudniejsze pytania.

Firmy mogą w końcu odkryć, że zarządzanie AI nie jest czymś, co robią jedynie dlatego, że wymaga tego regulator. Będą zarządzać AI, ponieważ zespół zakupowy postanowił poprosić je o dowód, co chętnie zrobią, aby zdobyć zamówienie.