Kto ma prawo audytować AI na pograniczu? Brakująca definicja w Porozumieniu Białego Domu

W tym tygodniu liderzy Google, OpenAI, Anthropic, Meta, xAI i Nvidia podpisali White House Accord on Super Intelligence. Firmy zobowiązały się do czterech warstw nadzoru dla modeli na pograniczu: wewnętrzne kontrole, wewnętrzny zespół weryfikujący je, niezależny zewnętrzny audytor lub ewaluator oraz niezależny komitet zarządu. Zobowiązania są na razie dobrowolne, a porozumienie mówi, że mogą ostatecznie zostać wpisane w prawo.

Spośród czterech warstw, ocena zewnętrzna ma największe znaczenie. To jedyna warstwa, która umożliwia osobie spoza firmy stwierdzić, czy zabezpieczenia działają. Ma ona także najmniej określonej definicji. Porozumienie nie precyzuje, kto kwalifikuje się jako niezależny audytor, jakiego standardu używa, jakiego dostępu udziela, ani jak niezależność wytrzymuje, gdy ewaluator również sprzedaje usługi firmie, którą ocenia. Każda firma wybiera własnego audytora.

Na tych warunkach dwie firmy mogą jednocześnie ogłosić, że przeszły niezależną ocenę, rozumiejąc przy tym zupełnie różne rzeczy. Zamknięcie tej luki wymaga odpowiedzi na trzy pytania.

Co powinno decydować o tym, kto się kwalifikuje

Wiarygodna definicja niezależnego audytora AI musi obejmować co najmniej cztery elementy.

Niezależność. Audytor nie powinien oceniać zabezpieczeń, które pomógł zaprojektować, ani sprzedawać usług naprawczych lub konsultingowych tej samej firmie, którą ocenia. Dojrzałe dziedziny audytu również monitorują zależność od opłat. Gdy jeden klient stanowi dużą część przychodów audytora, audytor ma motywację do łagodniejszej oceny.

Kompetencje dopasowane do zadania. „Audyt” obejmuje kilka różnych działań w dziedzinie AI. Testowanie modelu pod kątem niebezpiecznych możliwości, takich jak pomoc w cyberataku lub broni biologicznej, wymaga badaczy uczenia maszynowego i ekspertów dziedzinowych. Sprawdzenie, czy zabezpieczenia firmy są dobrze zaprojektowane i działają w praktyce, wymaga doświadczonych audytorów kontroli. Audytor kwalifikowany do jednego zadania nie jest automatycznie kwalifikowany do drugiego, a raport z oceny powinien wskazywać, które z nich zostało przeprowadzone.

Dostęp i zakres. Audytor, który widzi jedynie dokumentację, może potwierdzić, że zabezpieczenie istnieje na papierze. Potwierdzenie, że działa, wymaga dostępu do systemów, logów, rejestrów zatwierdzeń oraz osób przez pewien okres czasu. Modele na pograniczu zmieniają się pomiędzy sesjami treningowymi a wdrożeniami, więc audytor potrzebuje także jasnej reguły, kiedy zmiana wymaga ponownego przeglądu.

Nadzór nad audytorem. Ktoś musi sprawdzać kontrolerów. Na ugruntowanych rynkach audytu organy akredytacyjne przeglądają pracę audytorów i mogą odebrać im status, gdy nie spełniają wymogów. To zabezpieczenie nadaje wnioskom z oceny wagę.

Infrastruktura, która już istnieje

 Nic z tego nie musi być wymyślane od podstaw. ISO 42001, międzynarodowy standard systemów zarządzania AI, zapewnia organizacjom ramy do zarządzania AI, z udokumentowanymi kontrolami, wyraźnymi właścicielami i ciągłym doskonaleniem. Powiązany standard, ISO 42006, określa wymagania dla podmiotów, które audytują i certyfikują zgodnie z ISO 42001, w tym kompetencje, które audytorzy muszą wykazać, oraz zasady bezstronności, których muszą przestrzegać. Ponieważ organy certyfikujące działają w ramach akredytacji, trzeci podmiot nadzoruje samych audytorów.

Po stronie testów technicznych pojawiają się nowsze ramy. AIUC-1 certyfikuje konkretne agenty AI w określonych wdrożeniach, z regularnym testowaniem przez podmioty trzecie pod kątem problemów takich jak halucynacje, obejścia zabezpieczeń i niebezpieczne użycie narzędzi, i opiera się na kontrolach ISO 42001.

Stany również testują modele pod kątem bezpośredniego nadzoru nad audytorami. Connecticut przyjął w tym roku ustawę tworzącą program pilotażowy, rozpoczynającą się w lipcu 2027 r., w ramach której Departament Ochrony Konsumentów stanu zatwierdzi do pięciu niezależnych organizacji weryfikacyjnych. Każda musi zawrzeć umowę nadzorowaną przez państwo, definiującą jej zakres, metody, obowiązki sprawozdawcze i zarządzanie. Ta struktura odpowiada na kilka otwartych pytań porozumienia: kto zatwierdza audytorów, jakich standardów muszą przestrzegać i kto nimi nadzoruje.

Te elementy nie zostały stworzone do oceny modeli na pograniczu i nie powinny być przedstawiane jako pełna odpowiedź. Przed nami praca polegająca na ich połączeniu, tak aby zapewnienie systemu zarządzania, testy techniczne modeli i nadzór nad audytorami współgrały w ramach jednej wiarygodnej definicji niezależności.

Dlaczego zasady muszą pojawić się najpierw

Zobowiązania porozumienia są dziś dobrowolne. Jeśli staną się prawem, zasady określające, kto może pełnić rolę audytora, muszą być ustalone przed wejściem w życie mandatu, z trzech powodów.

Po pierwsze, wczesna praktyka staje się precedensem. Gdy sygnatariusze zaczną wymieniać audytorów i publikować wyniki, rynek ustali praktyczne definicje „niezależny” i „kwalifikowany”. Definicje ustalone bez zewnętrznego nacisku mają tendencję do faworyzowania wygody. Ustawodawcy, którzy pojawią się później, znajdą te definicje już wbudowane w umowy i oczekiwania.

Po drugie, budowanie kwalifikowanej zdolności wymaga czasu. Akredytowanie organów oceniających, szkolenie ewaluatorów, którzy rozumieją zarówno modele na granicy możliwości, jak i testowanie kontroli, oraz opracowywanie wspólnych metod zajmuje lata. Mandat, który pojawi się zanim ta zdolność istnieje, zostanie spełniony przez kogokolwiek będzie dostępny.

Po trzecie, wymóg bez rynku kwalifikowanych oceniających prowadzi do odhaczania punktów. Firmy spełnią literalną treść reguły, regulatorzy będą mieli niewiele podstaw, by kwestionować słabe oceny, a społeczeństwo otrzyma jedynie pozory nadzoru bez istotnej treści.

Niektórzy twierdzą, że jest za wcześnie, by ustalać te zasady, ponieważ nauka oceny modeli na granicy możliwości jest wciąż młoda. To uzasadniona obawa dotycząca metod testowania, które powinny ewoluować wraz z rozwojem modeli. Pytania podnoszone tutaj dotyczą oceniającego: czy jest wolny od konfliktów, czy jest kwalifikowany do tej roli, czy ma wystarczający dostęp i czy podlega nadzorowi. Te pytania mają stabilne odpowiedzi, a inne dziedziny zapewniania mają je rozwiązywać od dziesięcioleci.

Co organizacje mogą zrobić już teraz

Firmy budujące lub wdrażające zaawansowaną sztuczną inteligencję nie muszą czekać na mandat. Wybierając oceniającego, mogą zapytać, jakie inne usługi firma im świadczy, jakie kwalifikacje posiada jej zespół w odniesieniu do konkretnego rodzaju oceny, jak duży dostęp obejmuje zaangażowanie oraz kto nadzoruje pracę firmy. Budowanie systemu zarządzania AI już teraz daje przyszłemu oceniającemu coś konkretnego i udokumentowanego do oceny.

Porozumienie tworzy solidną strukturę odpowiedzialności za AI. Jego wartość będzie zależała od tego, kto wypełni rolę oceniającego i jakich standardów będzie podlegał, a czas na zdefiniowanie tego jest przed tym, jak ktokolwiek będzie zobowiązany do jego użycia.