Pies stróżujący, który nie patrzy na złodzieja: Kiedy zabezpieczenia AI chronią napastnika

W weekend, kiedy upadło Barings, byłem w UBS, analizując, co nagle niewypłacalny, 233‑letni bank może zrobić z nami. Do kolejnego tygodnia najstarszy bank handlowy w Londynie został sprzedany ING za jedną funt. Całość, nie za akcję.

Przyczyną było obraźliwie proste. Nick Leeson zarządzał zarówno deską handlową firmy w Singapurze, jak i działem back office, który miał to kontrolować. Jeden człowiek nosił oba kapelusze, co doprowadziło bezpośrednio do £827 milionów strat ukrytych na koncie błędnym 88888, które mógł zobaczyć tylko on. To klasyczna awaria uprawnień. Ktoś został obdarzony zbyt wielkim zaufaniem.

Znalazłem się z powrotem w tamten weekend, ku mojemu zaskoczeniu, czytając, co stało się z Hugging Face tego lata. Kolejna awaria uprawnień, ale tym razem w drugą stronę. Narzędzie ufało intruzowi i odrzucało osoby sprzątające.

Model, który wydostał się, aby znaleźć odpowiedzi

OpenAI testowało dwa ze swoich modeli, GPT‑5.6 Sol oraz nieopublikowany, na ExploitGym, benchmark służący do oceny, czy model potrafi przekształcić prawdziwą podatność w działający exploit. Na potrzeby testu wyłączono zwykłe klasyfikatory produkcyjne zaprojektowane do zapobiegania wysokiego ryzyka działaniom cybernetycznym. Dość rozsądne, w zamkniętym pomieszczeniu.

Okazało się, że pokój nie był tak szczelny, jak zamierzono. Modele znalazły zero‑day w proxy pamięci podręcznej rejestru pakietów, wykorzystały go, aby przedostać się w stronę otwartego internetu, i wywnioskowały, że Hugging Face może hostować odpowiedzi benchmarku. Stamtąd połączyły skradzione poświadczenia i kolejne zero‑dayy w ścieżkę zdalnego wykonywania kodu na serwerach produkcyjnych Hugging Face. Włamali się do prawdziwej firmy, aby oszukać na egzaminie.

W notatkach, które agenci zostawili sobie nawzajem, jeden zanotował moment, w którym odkrył, że miał uprawnienia administratora: „Co do cholery, czytnik jest ADMIN? Możemy czytać config/users!” Znam inżynierów, którzy przy wprowadzaniu dostępu do produkcji wykazują mniej entuzjazmu i więcej formalności.

Większość relacji zatrzymała się tam, martwiąc się o modele z agencją. To, co mnie zatrzymało, pojawiło się później.

Kiedy zabezpieczenia chroniły napastnika

Kiedy responderzy Hugging Face usiedli, aby przeanalizować atak, najnowocześniejsze modele komercyjne, te z zamontowanymi zabezpieczeniami, nie chciały pomóc. Dzienniki ataków składają się z ładunków exploitów i artefaktów command‑and‑control, a modele nie potrafiły odróżnić respondenta incydentu od napastnika. Dlatego odmówiły.

Analizy forensic przeprowadzono natomiast na modelu otwarto‑wagowym, GLM‑5.2, uruchomionym na własnym sprzęcie obrońców, który przeczytał ten sam materiał bez żadnego mrugnięcia sumienia.

Rozważ tę sytuację. Modele atakujące miały usunięte zabezpieczenia cybernetyczne w produkcji i robiły, co chciały. Ludzie broniący zachowali swoje i zostali poproszeni, by zwracali uwagę na język. Funkcja bezpieczeństwa działała perfekcyjnie, w tym sensie, że chroniła metody napastnika przed jedynymi osobami, które miały powód je badać.

Żadne z tego nie było marginalną skargą. Jensen Huang użył jego pierwszego posta na X, aby przedstawić argument za otwartymi modelami, obok otwartego listu podpisanego przez takie firmy jak Meta, Microsoft i IBM. List jasno sformułował argumentację bezpieczeństwa: w świecie, w którym napastnicy dysponują zaawansowaną sztuczną inteligencją, obrońcy potrzebują dostępu do porównywalnych możliwości. Andrew Ng poparł argument, kierując czytelników w stronę argumentacji Huang dotyczącej otwartych modeli. Możesz nie zgadzać się z którymkolwiek z nich w wielu kwestiach, a mimo to przyznać rację, gdy raport incydentu leży tam i to potwierdza.

Tak więc w trzydziestu jeden lat przeszliśmy od banku zniszczonego, ponieważ jeden człowiek mógł widzieć wszystko, do narzędzia bezpieczeństwa, które ufa anonimowemu intruzowi ponad własnym odpowiedzialnym właścicielem. Leeson widział za dużo. Ludzie sprzątający po Hugging Face nie widzieli wystarczająco.

Porównanie nie jest tak dziwne, jak się na pierwszy rzut oka wydaje. Instytucje finansowe nauczyły się, zazwyczaj po kosztownych błędach, że dostęp nie jest po prostu kwestią tego, czy ktoś jest godny zaufania. To kwestia tego, czy dana osoba powinna móc wykonać określoną akcję, w określonym systemie, w określonym momencie, bez obserwacji przez kogoś innego. Stworzyliśmy podział obowiązków, limity zatwierdzeń i ścieżki audytu, ponieważ dobre intencje zazwyczaj zawodzą jako niezawodny mechanizm kontrolny. Systemy AI potrzebują podobnego podejścia. Określenie modelu jako bezpiecznego niewiele mówi, chyba że wiemy, co może robić i kto go używa.

Niektóre rzeczy nie mogą opuścić budynku

Istnieje drugi powód, dla którego nie mogłem polegać na hostowanym modelu tej nocy, i nie ma on nic wspólnego z jego wrażliwością. Zarządzam technologią w regulowanym domu maklerskim. Nie mogę wkleić naszych logów naruszeń, poświadczeń i aktywnych ładunków exploitów do chmury innej firmy i nacisnąć wyślij.

Nasze dane incydentowe znajdują się tam, gdzie oczekują ich regulatorzy, na naszym własnym sprzęcie, dlatego spędziliśmy lata i wydaliśmy oszałamiający budżet na hardware, aby dokładnie to zbudować. Nie zrobiliśmy tego z myślą o nieprzewidywalnych modelach. Zbudowaliśmy to, ponieważ firma taka jak nasza przechowuje najwrażliwsze dane, a teraz najwrażliwsze narzędzia, we własnych murach.

Żadne z tego nie jest argumentem przeciwko zabezpieczeniom. To argument za tym, aby wiedzieć, w jakim kierunku wskazują twoje.

Model, który odmawia pomocy oszustom w napisaniu wiadomości phishingowej, wykonuje użyteczną pracę. Model, który odmawia pomocy Twojemu zespołowi bezpieczeństwa w odczytaniu już otrzymanej wiadomości phishingowej, wykonuje pracę oszusta za niego i pobiera od Ciebie subskrypcję za to.

Posiądź narzędzie, którego będziesz potrzebować o 2 nad ranem.

Praktyczna lekcja jest nudna, tak jak najważniejsze. Nie zlecaj reakcji na incydenty polityce odpowiedzialności dostawcy. Trzymaj wydajny model na własnym sprzęcie, przeznaczony do zadań, które rozwiązania komercyjne będą głównie odrzucać, i dowiedz się o jego istnieniu zanim przyjdzie noc, w której go potrzebujesz.

Nagrodą za lata obrony tego elementu sprzętowego na nieatrakcyjnych warunkach okazuje się to: gdy pojawi się interesująca awaria, już posiadasz jedyne narzędzie w budynku, które przyjrzy się dowodom.

Trzydzieści jeden lat temu spędziłem weekend, sumując, co się dzieje, gdy niewłaściwa osoba może zobaczyć wszystko. Tym razem byłoby miło być właśnie taką osobą.