Branża AI chce naszego zaufania, ale najpierw potrzebuje lepszych mechanizmów kontroli

W kwestiach bezpieczeństwa nie czekamy, aż coś pójdzie nie tak, by sprawdzić, czy nasze zabezpieczenia działają. Testujemy je. Poddajemy je próbom. Zakładamy, że w końcu ktoś znajdzie przeoczoną przez nas słabość.

To podstawy bezpieczeństwa.

Dlaczego więc najbardziej zaawansowana AI miałaby podlegać innym standardom?

W miarę jak systemy AI stają się bardziej autonomiczne i uzyskują szerszy dostęp do rzeczywistych systemów, obserwujemy coś, co powinno niepokoić każdego, kto ma doświadczenie w obronie przed cyberzagrożeniami: możliwości rozwijają się szybciej niż mechanizmy kontroli.

Szybkie tempo nie usprawiedliwia słabszych zabezpieczeń. To właśnie dlatego potrzebujemy lepszych zabezpieczeń.

W niedawnej ocenie organizacja non-profit Guidelight AI przeanalizowała publicznie dostępne informacje na temat praktyk kontroli AI w Anthropic, Google, Meta, OpenAI i xAI. Żadna z tych firm nie uzyskała łącznej oceny wyższej niż C+.

Nie oznacza to, że te firmy postępują lekkomyślnie. Nie oznacza też, że za zamkniętymi drzwiami nie stosuje się dodatkowych mechanizmów kontroli.

Bezpieczeństwo nie opiera się jednak na założeniach. Jeśli oczekuje się od nas zaufania do coraz potężniejszych systemów, powinniśmy wymagać dowodów, że otaczające je mechanizmy kontroli wytrzymają taką samą weryfikację, jakiej domagalibyśmy się w każdej innej dziedzinie.

Przestańmy traktować awarie jak interesujące historie

Gdy agent AI zachowuje się nieoczekiwanie, uzyskuje niezamierzony dostęp lub ujawnia słabość, uwaga zwykle skupia się na tym, co zrobiła technologia.

To interesujące.

Nie jest to jednak najważniejsze pytanie.

Specjalista ds. bezpieczeństwa chce wiedzieć: Czy rejestrowano tę aktywność? Czy ktoś zauważył, co się dzieje? Czy niebezpieczne działania wymagały zatwierdzenia? Czy ktoś mógł zatrzymać system? Czy istniał plan odizolowania zagrożenia i czy ktokolwiek go przetestował?

Te pytania nie dotyczą wyłącznie AI. Od lat zadajemy je w dziedzinie cyberbezpieczeństwa.

Mimo to zapobieganie zagrożeniom i ich izolowanie nadal wydają się słabymi punktami rozwijających się mechanizmów kontroli najbardziej zaawansowanej AI. Publicznie dostępnych informacji na temat działań wymagających zatwierdzenia, mechanizmów awaryjnego odcięcia i awaryjnego izolowania zagrożeń wciąż jest niewiele.

To powinno mieć większe znaczenie niż nowatorstwo danego incydentu. Gdy coś zawodzi, chcę wiedzieć, co zawiodło, co powstrzymało sytuację przed pogorszeniem i co zmieniono później.

Przejrzystość jest przydatna. Wyciąganie wniosków jest jeszcze ważniejsze.

Prawdziwym problemem bezpieczeństwa AI jest tempo

Nie sądzę, by największym krótkoterminowym zagrożeniem było nagłe wymyślenie przez AI zupełnie nowej kategorii cyberataków. Większy problem jest znacznie bardziej praktyczny: AI może sprawić, że znane nam ataki będą przebiegać o wiele szybciej.

Badania, które kiedyś zajmowały godziny, mogą zostać przeprowadzone w kilka minut. Techniki ataku można szybciej łączyć. Luki w zabezpieczeniach można wykryć i wykorzystać, zanim zorientowany na człowieka proces bezpieczeństwa przejdzie choćby przez pierwszą rozmowę eskalacyjną.

To problem, ponieważ znaczna część dzisiejszej infrastruktury bezpieczeństwa nadal zakłada, że będzie czas na reakcję.

Czasem go nie będzie.

Jeśli atak rozwija się szybko, procedura reagowania oparta na zgłoszeniach, spotkaniach, zatwierdzeniach i ręcznej eskalacji może stać się nieaktualna, zanim ktokolwiek dotrze do trzeciego kroku.

I właśnie nad tym branża AI musi popracować.

Jeśli czołowe laboratoria AI oczekują, że przedsiębiorstwa na nowo przemyślą widoczność, zarządzanie podatnościami, architekturę i reagowanie na incydenty w erze AI, powinny pokazać, że same zrobiły to samo.

„Zaufajcie nam” to nie model kontroli

Całą karierę zawodową spędziłem w obszarze testowania bezpieczeństwa i jedna zasada sprawdza się wyjątkowo dobrze: dobre intencje nie dowodzą, że coś jest bezpieczne. Dowodzą tego fakty.

• Testujesz.
• Monitorujesz.
• Próbujesz coś zepsuć.

Sprawdzasz, co się dzieje, gdy mechanizmy kontroli nie działają tak, jak wynikałoby ze schematu architektury. Upewniasz się też, że ktoś ma uprawnienia, by w razie potrzeby zatrzymać system. Najbardziej zaawansowana AI powinna podlegać takim samym standardom.

Oznacza to poddawanie mechanizmów kontroli testom z udziałem atakujących, gromadzenie mierzalnych dowodów ich skuteczności oraz przyznanie jasno określonych uprawnień do wyłączania systemów, gdy coś pójdzie nie tak.

Oznacza to również konieczność ponownego przemyślenia sposobów izolowania zagrożeń.

Czołowe laboratoria AI nie mogą improwizować sposobów izolowania zagrożeń dopiero wtedy, gdy agent AI przekroczy wyznaczone mu granice. Trenując i testując coraz bardziej zaawansowane modele, muszą wziąć odpowiedzialność za działania, które te systemy mogą podejmować. Wymaga to rygorystycznych testów z udziałem atakujących, zabezpieczeń zatwierdzonych z wyprzedzeniem, jasno określonych granic uprawnień agentów oraz sprawdzonych sposobów interweniowania lub wyłączania systemu, zanim awaria się rozprzestrzeni.

Ludzka ocena nadal ma znaczenie. Laboratoria tworzące te systemy muszą jednak wyznaczać granice, sprawdzać, czy są przestrzegane, i ponosić odpowiedzialność, gdy tak nie jest.

Ich odpowiedzialność nie polega wyłącznie na zademonstrowaniu, co potrafi agent. Muszą wykazać, że agent może działać bezpiecznie, że można kontrolować jego zachowanie oraz że nowe możliwości zwiększają bezpieczeństwo świata, a nie je zmniejszają.

Na zaufanie trzeba zasłużyć

Nie twierdzę, że powinniśmy całkowicie zahamować innowacje w dziedzinie AI. Twierdzę, że bezpieczeństwo musi za nimi nadążać. Jeśli inwestujemy ogromne zasoby w zwiększanie możliwości AI, musimy z równie pilną troską zadbać o to, by dało się ją skutecznie zabezpieczyć.

Ale gdy czołowe laboratoria przyspieszają szkolenie i testowanie nowych modeli AI zdolnych do działań w cyberprzestrzeni, muszą pamiętać o obrońcach. Po pierwsze, pomagając im szybciej wykrywać zagrożenia i na nie reagować. Co ważniejsze, zapobiegając temu, by same te systemy stały się zagrożeniem. Ta odpowiedzialność wymaga również zgody na zewnętrzną kontrolę.

Niezależna ocena nie może stać się czymś, na co firmy godzą się tylko wtedy, gdy wspiera narrację, którą chcą przedstawiać. Jeśli systemy AI najnowszej generacji są na tyle potężne, by zmieniać krajobraz zagrożeń, ich mechanizmy zabezpieczeń powinny być na tyle solidne, by wytrzymać rzetelne niezależne testy.

Branża AI chce naszego zaufania.

Jako specjalista ds. bezpieczeństwa jestem gotów jej zaufać. Ale najpierw pokażcie mi zabezpieczenia.