USAs føderale og militære AI: Ny plattform tilbyr algoritmevalidering og akkreditering

En startup som har et rådgivende styre bestående av tidligere regjerings- og militære ledere, har lansert en ny plattform designet for å evaluere sikkerheten og deployerbarheten av AI-applikasjoner. Tidlige brukere av systemet inkluderer USAs flyvåpen og Departementet for nasjonal sikkerhet.

Plattformen heter VESPR, fra CalypsoAI, grunnlagt i 2018, med hovedkontor i Silicon Valley, Dublin og en offisielt “ikke avslørt” lokasjon i Virginia – et territorium for CIA i Langley.

VESPR er et system for modellrisikostyring (MRM) designet for å fremme et føderalt godkjent system for akkreditering av deployede algoritmer. Det tilbyr både et brukervennlig dashboard-stil GUI-miljø og et CLI-grensesnitt for mer avansert bruk.

Klikk for å forstørre. Kilde: https://www.youtube.com/watch?v=lMhS6j7t2pI

VESPR er basert på CalypsoAIs maskinlæringsvalidering, verifisering og akkrediteringsstandarder, og inkluderer håndlagde adversarial maskinlæringsbiblioteker. Det tilbyr også automatiserte stress-testrutiner for potensielle deploybare algoritmer.

Nasjonal kunstig intelligens forskningsressursoppgave

Tidspunktet for lanseringen kan være relatert til gårsdagens lansering av Biden-administrasjonen av en ny Nasjonal kunstig intelligens forskningsressursoppgave, en komité designet for å fungere som en føderal rådgivende komité i henhold til Kongressens Nasjonale AI-initiativloven fra 2020.

Det har vært økende press på USA og verden for å etablere meningsfulle reguleringer for maskinlæringsystemer, ikke minst i kritiske områder som nøkkelinfrastruktur og militær bruk. Ettersom ML-systemer fortsatt er i en formingsfase og har en rask utviklingstakt, representerer de en relativt ustabil og ofte kontroversiell ressurs som det nå er essensielt å identifisere replikerbare og pålitelige analytiske algoritmer – hvis dette viser seg å være mulig.

I april kunngjorde CalypsoAI sin støtte til Endless Frontiers Act, en kongresslov designet for å reformere vitenskapsfinansieringen i møte med Kinas voksende innflytelse som en AI-makt, selv om loven til slutt ble vannet ned på Senatets stadium.

Validering for føderal AI

Ifølge VESPR-pressemeddelelsen omfatter områdene som dekkes av rammen datavisning og naturlig språkbehandling (NLP).

CalypsoAI hevder at VESPR ble skapt ‘med kritisk innspill fra eksisterende nasjonale sikkerhetskunder og født ut av år med uavhengig finansiert forskning i adversarial maskinlæring’.

Bilder av systemet sett i en promotivideo (se slutten av artikkelen) ser ut til å inkludere deteksjons- og/eller simuleringsrutiner for dataforgiftning og støyinjeksjon, og tilbyr simuleringsmuligheter for handlinger fra potensielle angripere mot deployede systemer.

Klikk for å forstørre.

Systemet ser ut til å bruke historiske data fra både nasjonale og utenlandske kilder. Målklassene som er inkludert, inkluderer ‘Protester’ og ‘Opptøyer’, i tillegg til den mindre klare ‘Strategiske utviklinger’. Nasjonale terrorangrep ser også ut til å være inkludert i systemets referansedatabaser, med ‘Vold mot sivile’ som en annen tilgjengelig målklasse. Andre tilgjengelige målklasser inkluderer ‘Slag’ og ‘Eksplosjoner/Fjernvold’.

Klikk for å forstørre.

Systemet ser ut til å tillate beskyttelse av funksjoner i en “BIAS-håndtering”-del av konfigurasjonen, som åpenbart er designet for å bekjempe overfitting eller unngå uønsket eliminering av mindre outlier-hendelser som kan være av interesse i en analytisk rutine. I videoen, behandler VESPR tabellformet historisk data om ‘Ukraine’.

Forbi denne initielle promotekampanjen, er det ikke sannsynlig (kanskje med vilje) at vi kommer til å høre mye mer om dette regjeringsrettede SaaS-produktet, uansett hvordan det går; det deler navn med en kaffebar-kjede, en sosial dating-app og en strømmingsalbum, og blir jevnt og godt slått tilbake i rangerte resultater av VSEPR-kjemimodellen.

CalypsoAI mottok $13 million i Series A-finansiering fra Paladin Capital Venture Group i juli 2020. Andre investorer inkluderte 8VC, Lockheed Martin Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners og Pallas Ventures.

I en blogginnlegg på selskapets nettsted, sier CalypsoAIs grunnlegger Neil Serebryany, som utførte uoppgitte forskningsarbeid ved Forsvarsdepartementet i 2018, at selskapet ble grunnlagt som en mulig løsning på regjeringens frykt for å deployere avanserte algoritme-systemer i en uregulert klima:

‘Hovedårsaken til denne frykten for AI-prosjekter, som fører til at de blir forkastet innen regjeringen, høres prosaisk ut, men er faktisk ganske kompleks. De ble forkastet på grunn av mangelen på kvalitetssikring […] AI-modeller kan ikke vurderes på samme måte som tradisjonell programvare. Dette skyldes den underliggende naturen til modellstrukturen og de svært komplekse måtene de kan feile på. Uten en mekanisme for å vurdere disse ikke-deterministiske systemer på en deterministisk, auditerbar måte, var organisasjonene innen regjeringen ikke i stand til å vurdere såkalt “kvalitet” på AI-modeller mot en benchmark. Dette ledet til frykt for at de kunne feile, kunne feile eller kunne bli hakket av en motpart på tidspunktet de trengs mest, for eksempel i kamp, i fly eller under en kompleks medisinsk prosedyre. ‘

Rådgivende styre

En måned før investeringsrunden, opprettet selskapet et Nasjonalt sikkerhetsrådgivende styre som inkluderte Tony DeMartino, en tidligere medarbeider til Forsvarsminister Jim Mattis, og nå en grunnleggende partner i det Washington-baserte strategiske rådgivningsselskapet Pallas Advisors; tidligere viseundersekretær for Forsvar for etterretning (under President Trump) Kari Bingen; tidligere assisterende direktør for CIA Digital Innovasjon Sean Roche, en tidligere cyber-intelligence-ekspert i den organisasjonen; og Michael Molino, tidligere eksekutiv visepresident for bedriftsutvikling i ASRC Federal, som tilbyr rådgivning, forskning og teknisk migrasjonsevner over en rekke kritiske føderale tjenester.

Ifølge pressemeldingen:

‘VESPR tilbyr avanserte AI-testevner med en strømlinjeformet arbeidsflyt for å sikre at hver enkelt maskinlæringsalgoritme som settes i produksjon har blitt verifisert som sikker. VESPR tilbyr ubesvarte sikkerhet og sikkerhet til en rekke AI-systemer, fra datavisning til naturlig språkbehandling. VESPR-prosessen sikrer testing, evaluering, verifisering og validering (TEVV) gjennom hele den sikre maskinlæringslivssyklusen (SMLC), fra forsknings- og utviklingsfasen til modell-deployering. Resultatet er AI-systemer som gir nøyaktig og omfattende overvåking og rapportering om modellens evner, sårbarheter og ytelse.’

Oppdatert 11:07 EST for å reflektere at Michael Molino ikke lenger arbeider i ASRC Federal, en feil i den opprinnelige artikkelen.

Oppdatert 1. januar 2024 for å fjerne en feil YouTube-video.