AI w administracji federalnej i wojskowości USA: Nowa platforma oferuje weryfikację i akredytację algorytmów

Startup, którego radę doradczą tworzą byli wybitni urzędnicy wojskowi, wypuścił nową platformę przeznaczoną do oceny bezpieczeństwa i gotowości do wdrożenia aplikacji AI. Wczesnymi użytkownikami systemu mają być Siły Powietrzne USA oraz Departament Bezpieczeństwa Krajowego.

Platforma nosi nazwę VESPR, od firmy CalypsoAI, założonej w 2018 roku, z siedzibą w Dolinie Krzemowej, Dublinie oraz oficjalnie „nieujawnioną” lokalizacją w Wirginii – terenie CIA w Langley.

VESPR jest systemem zarządzania ryzykiem modeli (MRM), zaprojektowanym w celu ułatwienia federalnie zgodnego systemu akredytacji wdrożonych algorytmów. Oferuje zarówno przyjazne środowisko graficzne w stylu pulpitu, jak i interfejs CLI dla bardziej zaawansowanych zastosowań.

Click to enlarge.

VESPR opiera się na standardach walidacji, weryfikacji i akredytacji uczenia maszynowego firmy CalypsoAI oraz zawiera ręcznie opracowane biblioteki uczenia maszynowego przeciwprzeciwnikowego. Oferuje także zautomatyzowane procedury testów obciążeniowych dla potencjalnych algorytmów gotowych do wdrożenia.

Krajowa Grupa Zadaniowa ds. Zasobów Badawczych Sztucznej Inteligencji

Termin wydania może być powiązany z wczorajszym uruchomieniem przez administrację Bidena nowej Krajowej Grupy Zadaniowej ds. Zasobów Badawczych Sztucznej Inteligencji, organu mającego pełnić rolę federalnego komitetu doradczego zgodnie z ustawą National AI Initiative Act z 2020 roku.

Na USA i na całym świecie rośnie presja w celu wprowadzenia znaczących regulacji dla systemów uczenia maszynowego, szczególnie w obszarach krytycznych, takich jak kluczowa infrastruktura i zastosowania wojskowe. Ponieważ systemy ML wciąż przechodzą fazę kształtowania i rozwijają się w szybkim tempie, są stosunkowo niestabilne i często budzą kontrowersje, co sprawia, że konieczne jest zidentyfikowanie powtarzalnych i niezawodnych algorytmów analitycznych – o ile jest to możliwe.

W kwietniu CalypsoAI wyraziło poparcie dla ustawy Endless Frontiers Act, projektu ustawy kongresowej mającej na celu reformę finansowania nauki w obliczu rosnącej roli Chin jako potęgi AI, choć ustawa została ostatecznie osłabiona na etapie Senatu.

Walidacja dla AI federalnego

Zgodnie z komunikatem prasowym VESPR, obszary objęte ramami obejmują widzenie komputerowe oraz przetwarzanie języka naturalnego (NLP).

CalypsoAI twierdzi, że VESPR został stworzony „z kluczowym wkładem istniejących klientów z zakresu bezpieczeństwa narodowego i powstał w wyniku wieloletnich, niezależnie finansowanych badań nad przeciwprzeciwnikowym uczeniem maszynowym”.

Obrazy systemu widoczne w materiale promocyjnym (zobacz koniec artykułu) wydają się zawierać procedury wykrywania i/lub symulacji zatruwania danych oraz wstrzykiwania szumów, oferując symulacje działań potencjalnych atakujących wobec wdrożonych systemów.

Click to enlarge.

System wydaje się wykorzystywać historyczne dane zarówno krajowych, jak i zagranicznych działań. Wśród klas docelowych znajdują się „Protesty” i „Zamieszki”, oprócz mniej jednoznacznej „Rozwój strategiczny”. Do baz referencyjnych systemu zdają się również wchodzić incydenty terroryzmu narodowego, z „Przemocą wobec cywilów” jako kolejną dostępną klasą docelową. Inne dostępne klasy to „Bitwy” oraz „Wybuchy/Zdalna przemoc”.

Click to enlarge.

System wydaje się umożliwiać ochronę cech w sekcji „zarządzanie BIAS” konfiguracji, prawdopodobnie zaprojektowanej w celu zwalczania przeuczenia lub uniknięcia niepożądanego usuwania drobnych zdarzeń odstających, które mogą być istotne w analizie. W materiale wideo VESPR przetwarza tabelaryczne dane historyczne dotyczące „Ukrainy”.

Po tej początkowej kampanii promocyjnej nie jest prawdopodobne (być może celowo), że usłyszymy więcej o tym produkcie SaaS skierowanym do rządu, niezależnie od jego wyników; dzieli on nazwę z siecią kawiarni, aplikacją randkową oraz albumem streamingowym, a w rankingach nieustannie ustępuje modelowi chemicznemu VSEPR.

CalypsoAI otrzymało 13 milionów dolarów w ramach rundy finansowania serii A od Paladin Capital Venture Group w lipcu 2020 roku. Inni inwestorzy to m.in. 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners oraz Pallas Ventures.

W wpisie na blogu firmowym, założyciel CalypsoAI Neil Serebryany, który w 2018 roku prowadził nieokreślone badania w Departamencie Obrony, stwierdza, że firma została założona jako możliwe rozwiązanie lęku rządów przed wdrażaniem zaawansowanych systemów algorytmicznych w nieregulowanym środowisku:

‘Głównym powodem tego lęku przed projektami AI, prowadzącym do ich porzucania w ramach rządu, brzmi prozaicznie, ale w rzeczywistości jest dość złożony. Były porzucane z powodu braku zapewnienia jakości […] Modele AI nie mogą być oceniane tak samo jak tradycyjne modele oprogramowania. Wynika to z natury struktury modelu oraz złożonych sposobów, w jakie mogą zawieść. Brak mechanizmu oceny tych niedeterministycznych systemów w sposób deterministyczny, audytowalny, uniemożliwiał organizacjom rządowym ocenę tak zwanego „jakości” modeli AI względem benchmarku. To prowadziło do obaw, że mogą one zawieść, ulec awarii lub zostać zhakowane przez przeciwnika w momencie, gdy są najbardziej potrzebne, np. w walce, w locie lub podczas skomplikowanej procedury medycznej.’

Rada Doradcza

Miesiąc przed rundą inwestycyjną firma utworzyła Narodową Radę Doradczą ds. Bezpieczeństwa, w skład której wchodzą Tony DeMartino, były asystent sekretarza obrony Jima Mattisa, obecnie współzałożyciel strategicznej firmy doradczej z Waszyngtonu Pallas Advisors; była główna zastępca podsekretarza obrony ds. wywiadu (pod prezydenturą Trumpa) Kari Bingen; były zastępca dyrektora ds. cyfrowych innowacji CIA Sean Roche, dawny specjalista ds. cyber‑wywiadu w tej organizacji; oraz Michael Molino, były wiceprezes wykonawczy ds. rozwoju korporacyjnego w ASRC Federal, która świadczy usługi doradcze, badawcze i techniczne migracyjne w szerokim zakresie krytycznych usług federalnych.

Zgodnie z informacją:

‘VESPR zapewnia zaawansowane możliwości testowania AI przy usprawnionym przepływie pracy, aby zapewnić, że każdy algorytm uczenia maszynowego wprowadzany do produkcji został zweryfikowany pod kątem bezpieczeństwa. VESPR oferuje niezrównane bezpieczeństwo i pewność dla różnorodnych systemów AI, od widzenia komputerowego po przetwarzanie języka naturalnego. Proces VESPR zapewnia testowanie, ocenę, weryfikację i walidację (TEVV) w całym bezpiecznym cyklu życia uczenia maszynowego (SMLC), od fazy badań i rozwoju po wdrożenie modelu. Efektem końcowym są systemy AI, które dostarczają dokładne i kompleksowe monitorowanie oraz raportowanie o możliwościach modeli, ich podatnościach i wydajności.’

Zaktualizowano 11:07 AM EST, aby odzwierciedlić, że Michael Molino już nie pracuje w ASRC Federal, errata w oryginalnym artykule.

Zaktualizowano 1stycznia 28, 2024, aby usunąć zepsuty film na YouTube.