Amerikaanse federale en militaire AI: nieuw platform biedt algoritmevalidatie en accreditatie

Een startup met een adviesraad bestaande uit voormalige militaire grootheden van de overheid heeft een nieuw platform gelanceerd dat is ontworpen om de beveiliging en inzetbaarheid van AI-toepassingen te evalueren. Naar verluidt behoren de vroege gebruikers van het systeem tot de Amerikaanse luchtmacht en het Department of Homeland Security.

Het platform heet VESPR, van CalypsoAI, opgericht in 2018, met hoofdkantoren in Silicon Valley, Dublin en een officieel ‘niet-openbaar’ vestiging in Virginia – het grondgebied van de CIA in Langley.

VESPR is een model‑risk‑management (MRM) systeem dat is ontworpen om een federale‑conforme accreditatieprocedure voor geïmplementeerde algoritmen te vergemakkelijken. Het biedt zowel een gebruiksvriendelijke dashboard‑achtige GUI‑omgeving als een CLI‑interface voor geavanceerder gebruik.

Click to enlarge.

VESPR is gebaseerd op de validatie‑, verificatie‑ en accreditatiestandaarden voor machine learning van CalypsoAI en bevat handmatig samengestelde adversarial machine‑learning bibliotheken. Het biedt bovendien geautomatiseerde stress‑test‑routines voor potentiële inzetbare algoritmen.

Nationale Kunstmatige Intelligentie Onderzoeksresource Task Force

De timing van de release kan verband houden met de lancering van gisteren door de regering‑Biden van een nieuwe National Artificial Intelligence Research Resource Task Force, een orgaan dat is opgezet als federaal adviescomité conform de National AI Initiative Act of 2020 van het Congres.

De druk neemt toe op de VS en wereldwijd voor betekenisvolle regelgevende normen voor machine‑learning systemen, met name in mission‑critical gebieden zoals kritieke infrastructuur en militair gebruik. Omdat ML‑systemen zich nog in een vormende fase bevinden en zich in een snel tempo ontwikkelen, vormen ze een relatief onstabiele en vaak controversiële bron, waarvan het nu essentieel is reproduceerbare en betrouwbare analytische algoritmen te identificeren – als dat mogelijk blijkt.

In april plaatste CalypsoAI haar steun voor de Endless Frontiers Act, een congreswet die bedoeld is de wetenschappelijke financiering te hervormen in het licht van China’s groeiende status als AI‑macht, hoewel de wet uiteindelijk in de Senaat werd afgezwakt.

Validatie voor Federale AI

Volgens het persbericht van VESPR omvatten de door het raamwerk gedekte gebieden computer vision en natural language processing (NLP).

CalypsoAI beweert dat VESPR is gecreëerd ‘met cruciale input van bestaande klanten op het gebied van nationale veiligheid en voortgekomen uit jaren van onafhankelijk gefinancierd onderzoek naar adversarial machine learning’.

Beelden van het systeem die te zien zijn in een promotievideo (zie einde van het artikel) lijken detectie‑ en/of simulatie‑routines voor data‑poisoning en noise‑injection te bevatten, waardoor simulaties van mogelijke aanvallen op geïmplementeerde systemen worden geboden.

Click to enlarge.

Het systeem lijkt historische gegevens van zowel nationale als buitenlandse acties te gebruiken. De getoonde doelklassen omvatten ‘Protests’ en ‘Riots’, naast de minder duidelijke ‘Strategic developments’. Nationale terroristische incidenten lijken ook te zijn opgenomen in de referentiedatabases van het systeem, met ‘Violence against civilians’ als een andere beschikbare doelklasse. Andere beschikbare doelklassen omvatten ‘Battles’ en ‘Explosions/Remote Violence’.

Click to enlarge.

Het systeem lijkt bescherming van kenmerken toe te staan in een ‘BIAS management’-sectie van de configuratie, vermoedelijk bedoeld om overfitting tegen te gaan of om het ongewenste verwijderen van kleine uitschieters die van belang kunnen zijn voor een analytische routine te voorkomen. In de video verwerkt VESPR tabelgegevens uit het verleden over ‘Ukraine’.

Voorbij deze eerste promotionele campagne is het onwaarschijnlijk (mogelijk opzettelijk) dat we veel meer zullen horen over dit overheidsgerichte SaaS‑product, hoe het ook presteert; het deelt zijn naam met een koffiebarketen, een sociale dating‑app en een streaming‑album, en wordt onophoudelijk ingehaald in gerangschikte resultaten door het VSEPR‑chemisch model.

CalypsoAI ontving $13 miljoen in Series‑A‑financiering van Paladin Capital Venture Group in juli 2020. Andere investeerders waren onder meer 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners en Pallas Ventures.

In een blogpost op de bedrijfswebsite stelt CalypsoAI‑oprichter Neil Serebryany, die in 2018 ongespecificeerd onderzoek deed bij het Department of Defense, dat het bedrijf is opgericht als een mogelijke oplossing voor de angst van overheden om geavanceerde algoritmische systemen in een ongereguleerde omgeving in te zetten:

‘De voornaamste reden voor deze angst voor AI‑projecten, die ertoe leidt dat ze binnen de overheid worden opgegeven, klinkt prozaïsch, maar is eigenlijk behoorlijk complex. Ze werden opgegeven vanwege een gebrek aan kwaliteitsborging […] AI‑modellen kunnen niet op dezelfde manier worden beoordeeld als traditionele softwaremodellen. Dit komt door de onderliggende aard van de modelstructuur en de sterk complexe manieren waarop ze kunnen falen. Door het ontbreken van een mechanisme om deze niet‑deterministische systemen op een deterministische, controleerbare manier te beoordelen, konden organisaties binnen de overheid de zogenoemde ‘kwaliteit’ van AI‑modellen niet afzetten tegen een benchmark. Dit leidde tot de angst dat ze zouden kunnen falen, defect raken of door een tegenstander gehackt kunnen worden op het moment dat ze het hardst nodig zijn, bijvoorbeeld in gevechten, tijdens de vlucht, of tijdens een complexe medische procedure.’

Adviesraad

Een maand vóór de investeringsronde richtte het bedrijf een National Security Advisory Board op, met onder meer Tony DeMartino, een voormalig assistent van defensie­secretaris Jim Mattis en nu mede‑oprichter van het in Washington gevestigde strategisch adviesbureau Pallas Advisors; voormalig Principal Deputy Under Secretary of Defense for Intelligence (onder president Trump) Kari Bingen; voormalig Associate Deputy Director for CIA Digital Innovation Sean Roche, een voormalig cyber‑intelligentiespecialist binnen die organisatie; en Michael Molino, voormalig Executive Vice President corporate development bij ASRC Federal, dat advies, onderzoek en technische migratie‑capaciteiten biedt voor een reeks kritieke federale diensten.

Volgens de persrelease:

‘VESPR biedt geavanceerde AI‑testmogelijkheden met een gestroomlijnde workflow om te waarborgen dat elk machine‑learning‑algoritme dat in productie wordt genomen, veilig is geverifieerd. VESPR levert ongeëvenaarde beveiliging en zekerheid voor diverse AI‑systemen, van computer vision tot natural language processing. Het VESPR‑proces waarborgt testing, evaluation, verification, and validation (TEVV) gedurende de volledige veilige machine‑learning‑levenscyclus (SMLC), van de onderzoeks‑ en ontwikkelingsfase tot aan model‑implementatie. Het eindresultaat is AI‑systemen die nauwkeurige en uitgebreide monitoring en rapportage bieden over modelcapaciteiten, kwetsbaarheden en prestaties.’

Bijgewerkt 11:07 AM EST om weer te geven dat Michael Molino niet langer bij ASRC Federal werkt, een errata in het oorspronkelijke artikel.

Bijgewerkt 28 januari 2024 om de defecte YouTube‑video te verwijderen.