Amerikaanse federale en militaire AI: nieuw platform biedt algoritmevalidatie en accreditatie

Een startup met een adviesraad van voormalige militairen van de regering heeft een nieuw platform uitgebracht dat is ontworpen om de veiligheid en inzetbaarheid van AI-toepassingen te evalueren. Early adopters van het systeem zouden onder meer de Amerikaanse luchtmacht en het Department of Homeland Security zijn.

Het platform heet VESPR, van CalypsoAI, opgericht in 2018, met het hoofdkantoor in Silicon Valley, Dublin, en een officieel 'niet bekendgemaakte' locatie in Virginia – vaste grond voor de CIA in Langley.

VESPR is een modelrisicobeheersysteem (MRM) dat is ontworpen om een ​​federaal conform accreditatiesysteem voor ingezette algoritmen mogelijk te maken. Het biedt zowel een gebruiksvriendelijke GUI-omgeving in dashboardstijl als een CLI-interface voor meer geavanceerd gebruik.

Klik om te vergroten. Bron: https://www.youtube.com/watch?v=lMhS6j7t2pI

VESPR is gebaseerd op CalypsoAI's validatie-, verificatie- en accreditatienormen voor machinaal leren en beschikt over handgemaakte vijandige machine learning-bibliotheken. Het biedt ook geautomatiseerde stresstestroutines voor potentieel inzetbare algoritmen.

Nationale taskforce voor onderzoek naar kunstmatige intelligentie

De timing van de release kan betrekking hebben op die van gisteren lancering door de Biden-administratie van een nieuwe National Artificial Intelligence Research Resource Task Force, een orgaan dat is ontworpen om te dienen als een federale adviescommissie in overeenstemming met het Congres Nationale AI-initiatiefwet van 2020.

De druk op de VS en de rest van de wereld is toegenomen voor zinvolle regelgevende normen voor machine learning-systemen, niet in de laatste plaats op missiekritieke gebieden zoals belangrijke infrastructuur en militair gebruik. Aangezien ML-systemen zich nog steeds in een ontwikkelingsfase bevinden en snel vooruitgang boeken, vertegenwoordigen ze een relatief onstabiele en vaak controversiële toevlucht van waaruit het nu essentieel is om repliceerbare en betrouwbare analytische algoritmen te identificeren - als dit mogelijk blijkt te zijn.

In april plaatste CalypsoAI haar steun aan de Eindeloze Grenzen Wet, een wetsvoorstel van het congres om de financiering van wetenschap te hervormen in het licht van China's groeiende vooraanstaande positie als AI-macht, hoewel de wet uiteindelijk afgezwakt in de senaatsfase.

Validatie voor federale AI

Volgens het VESPR-persbericht omvatten de gebieden die onder het raamwerk vallen onder meer computervisie en natuurlijke taalverwerking (NLP).

CalypsoAI beweert dat VESPR is gemaakt 'met kritische input van bestaande nationale veiligheidsklanten en voortgekomen uit jarenlang onafhankelijk gefinancierd onderzoek naar tegenstrijdig machine learning'.

Afbeeldingen van het systeem die te zien zijn in een promotievideo (zie einde van het artikel) lijken detectie- en/of simulatieroutines te bevatten voor datavergiftiging en geluidsinjectie, die simulaties bieden voor de acties van potentiële aanvallers op ingezette systemen.

Klik om te vergroten.

Het systeem lijkt gebruik te maken van historische gegevens van zowel nationale als buitenlandse acties. Tot de doelklassen behoren 'Protesten' en 'Rellen', naast de minder duidelijke 'Strategische ontwikkelingen'. Nationale terrorisme-incidenten lijken ook te zijn opgenomen in de referentiedatabases van het systeem, met 'Geweld tegen burgers' een andere beschikbare doelklasse. Andere beschikbare doelklassen zijn 'Battles' en 'Explosions/Remote Violence'.

Klik om te vergroten.

Het systeem lijkt de bescherming mogelijk te maken van functies in een 'BIAS-beheer'-sectie van de configuratie, blijkbaar ontworpen om overfitting tegen te gaan of om de ongewenste eliminatie van kleine uitbijtergebeurtenissen die van belang kunnen zijn in een analytische routine te voorkomen. In de video verwerkt VESPR historische gegevens in tabelvorm over 'Oekraïne'.

Afgezien van deze eerste promotionele blitz, is het niet waarschijnlijk (misschien door ontwerp) dat we veel meer zullen horen over dit op de overheid gerichte SaaS-product, hoe het ook gaat; het deelt zijn naam met een koffiebarfranchise, een sociale dating-app en een streamingalbum, en wordt meedogenloos teruggeslagen in gerangschikte resultaten door het VSEPR-chemiemodel.

Calypso AI ontvangen $ 13 miljoen in Serie A fondsenwerving van Paladin Capital Venture Group in juli 0f 2020. Andere investeerders inclusief 8VC, Lockheed Martin Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners en Pallas Ventures.

In een blogpost op de bedrijfssite stelt de oprichter van CalypsoAI, Neil Serebryany, die in 2018 niet-gespecificeerd onderzoek deed bij het ministerie van Defensie, dat het bedrijf is opgericht als een mogelijke oplossing voor de angst van regeringen om geavanceerde algoritmische systemen in te zetten in een niet-gereguleerd klimaat. :

'De belangrijkste reden voor deze angst voor AI-projecten, die ertoe leidt dat ze binnen de overheid worden opgegeven, klinkt prozaïsch, maar is eigenlijk best ingewikkeld. Ze werden verlaten vanwege een gebrek aan kwaliteitsborging […] AI-modellen kunnen niet op dezelfde manier worden beoordeeld als traditionele softwaremodellen. Dit komt door de onderliggende aard van de modelstructuur en de zeer complexe manieren waarop ze kunnen falen. Bij gebrek aan een mechanisme om deze niet-deterministische systemen op een deterministische, controleerbare manier te beoordelen, waren organisaties binnen de overheid niet in staat om de zogenaamde 'kwaliteit' van AI-modellen te beoordelen aan de hand van een benchmark. Dit leidde tot de angst dat ze zouden kunnen falen, defect zouden kunnen raken of zouden kunnen worden gehackt door een tegenstander op het moment dat ze het meest nodig zijn, bijvoorbeeld tijdens gevechten, tijdens de vlucht of tijdens een complexe medische procedure. '

Raad van Advies

Een maand voorafgaand aan de investeringsronde richtte het bedrijf onder meer een National Security Advisory Board op Tony De Martino, een voormalige assistent van minister van Defensie Jim Mattis, en nu een van de oprichters van het in Washington gevestigde strategische adviesbureau Pallas Advisors; voormalig adjunct-secretaris van Defensie voor Inlichtingen (onder president Trump) Kari Bingen; voormalig adjunct-adjunct-directeur voor CIA Digital Innovation Sean Roche, een voormalige cyberinlichtingenspecialist in die organisatie; En Michaël Molino, voormalig Executive Vice President van bedrijfsontwikkeling bij ASRC Federal, dat advies, onderzoek en technische migratiemogelijkheden biedt voor een reeks kritieke federale diensten.

Volgens de uitgave:

'VESPR biedt geavanceerde AI-testmogelijkheden met een gestroomlijnde workflow om ervoor te zorgen dat elk algoritme voor machine learning dat in productie is genomen, veilig is geverifieerd. VESPR biedt ongeëvenaarde beveiliging en zekerheid voor een verscheidenheid aan AI-systemen, van computervisie tot natuurlijke taalverwerking. Het VESPR-proces zorgt voor testen, evalueren, verifiëren en valideren (TEVV) gedurende de hele levenscyclus van veilig machinaal leren (SMLC), van de onderzoeks- en ontwikkelingsfase tot en met de implementatie van het model. Het eindresultaat zijn AI-systemen die nauwkeurige en uitgebreide monitoring en rapportage bieden over modelmogelijkheden, kwetsbaarheden en prestaties.'

Bijgewerkt om 11:07 AM EST om aan te geven dat Michael Molino niet langer werkt bij ASRC Federal, een errata in het originele artikel.

Bijgewerkt op 1 januari 28 om kapotte YouTube-video te verwijderen.