US-føderal og militær AI: Ny plattform tilbyr algoritmevalidering og akkreditering

En oppstartsbedrift med et rådgivende styre bestående av tidligere militære fremtredende personer fra regjeringen har lansert en ny plattform som er designet for å vurdere sikkerheten og distribuerbarheten til AI‑applikasjoner. Tidlige brukere av systemet skal inkludere det amerikanske luftforsvaret og Department of Homeland Security.

Plattformen heter VESPR, fra CalypsoAI, grunnlagt i 2018, med hovedkontor i Silicon Valley, Dublin, og en offisielt ‘ikke oppgitt’ lokasjon i Virginia – terra firma for CIA i Langley.

VESPR er et modellrisikostyringssystem (MRM) som er designet for å legge til rette for et føderalt kompatibelt akkrediteringssystem for distribuerte algoritmer. Det tilbyr både et brukervennlig dashbord‑basert GUI‑miljø og et CLI‑grensesnitt for mer avansert bruk.

Click to enlarge.

VESPR er bygget på CalypsoAIs standarder for validering, verifisering og akkreditering av maskinlæring, og inneholder håndlagde biblioteker for adversarial maskinlæring. Den tilbyr også automatiserte stresstest‑rutiner for potensielt distribuerbare algoritmer.

Nasjonalt forskningsressurs‑arbeidsgruppe for kunstig intelligens

Tidspunktet for lanseringen kan ha sammenheng med gårsdagens lansering av den nye nasjonale forskningsressurs‑arbeidsgruppen for kunstig intelligens av Biden‑administrasjonen, et organ som er ment å fungere som et føderalt rådgivende komité i henhold til Kongressens National AI Initiative Act of 2020.

Presset har økt på USA, og globalt, for meningsfulle regulatoriske standarder for maskinlæringssystemer, spesielt innen kritiske oppdrag som viktig infrastruktur og militær bruk. Ettersom ML‑systemer fortsatt befinner seg i en formativ fase med rask utvikling, er de relativt ustabile og ofte kontroversielle, og det er nå viktig å identifisere reproduserbare og pålitelige analytiske algoritmer – dersom dette er mulig.

I april publiserte CalypsoAI sin støtte til Endless Frontiers Act, et kongressforslag som er utformet for å reformere vitenskapsfinansiering i møte med Kinas økende fremtredende rolle som AI‑makt, selv om lovforslaget til slutt ble fortynnet i Senatets fase.

Validering for føderal AI

Ifølge VESPR‑pressemeldingen omfatter områdene som dekkes av rammeverket datamaskinsyn og naturlig språkbehandling (NLP).

CalypsoAI hevder at VESPR ble skapt ‘med kritisk innspill fra eksisterende nasjonale sikkerhetskunder og født ut av år med uavhengig finansiert forskning på adversarial maskinlæring’.

Bilder av systemet som vises i en promoteringvideo (se slutten av artikkelen) ser ut til å inkludere deteksjons‑ og/eller simuleringsrutiner for dataforgiftning og støyinjektering, som gir simuleringer av potensielle angriperes handlinger mot distribuerte systemer.

Click to enlarge.

Systemet ser ut til å bruke historiske data fra både nasjonale og utenlandske handlinger. Målklassene som er inkludert omfatter ‘Protester’ og ‘Opprør’, i tillegg til den mindre tydelige ‘Strategiske utviklinger’. Nasjonale terrorhendelser ser også ut til å være med i systemets referansedatabaser, med ‘Vold mot sivile’ som en annen tilgjengelig målklasse. Andre tilgjengelige målklasser inkluderer ‘Kamp’ og ‘Eksplosjoner/Fjernvold’.

Click to enlarge.

Systemet ser ut til å tillate beskyttelse av funksjoner i en “BIAS management”‑seksjon av konfigurasjonen, tilsynelatende designet for å bekjempe overtilpasning eller unngå uønsket fjerning av mindre avvikshendelser som kan være av interesse i en analytisk rutine. I videoen behandler VESPR tabulære historiske data om ‘Ukraina’.

Utover denne innledende promoteringen er det sannsynligvis ikke (kanskje med vilje) at vi vil høre mye mer om dette regjering‑rettede SaaS‑produktet, uansett hvordan det presterer; det deler navn med en kaffebar‑kjede, en sosial dating‑app og et streaming‑album, og blir stadig slått ned i rangerte resultater av VSEPR‑kjemimodellen.

CalypsoAI mottok $13 million i Series‑A‑finansiering fra Paladin Capital Venture Group i juli 2020. Andre investorer inkluderte 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners og Pallas Ventures.

I et blogginnlegg på selskapets nettsted uttaler CalypsoAI‑grunnleggeren Neil Serebryany, som utførte uspesifisert forskningsarbeid ved Department of Defense i 2018, at selskapet ble grunnlagt som en mulig løsning på regjeringers frykt for å distribuere avanserte algoritmesystemer i et uregulert klima:

‘Den primære årsaken til denne frykten for AI‑prosjekter, som fører til at de blir forlatt innenfor regjeringen, høres prosaisk ut, men er faktisk ganske kompleks. De ble forlatt på grunn av mangel på kvalitetssikring […] AI‑modeller kan ikke vurderes på samme måte som tradisjonelle programvaremodeller. Dette skyldes den underliggende strukturen til modellene og de svært komplekse måtene de kan feile på. Manglende mekanisme for å vurdere disse ikke‑deterministiske systemene på en deterministisk, reviderbar måte, gjorde at organisasjoner i regjeringen ikke kunne vurdere den såkalte ‘kvaliteten’ på AI‑modeller mot en referanse. Dette førte til frykt for at de kunne svikte, kunne fungere feil, eller kunne bli hacket av en motstander akkurat når de trengs mest, for eksempel i kamp, i flyging eller under en kompleks medisinsk prosedyre.’

Rådgivende styre

En måned før investeringsrunden opprettet selskapet et nasjonalt sikkerhetsrådgivende styre som inkluderte Tony DeMartino, en tidligere assistent til forsvarsminister Jim Mattis, og nå medgrunnlegger av det Washington‑baserte strategiske rådgivningsfirmaet Pallas Advisors; tidligere Principal Deputy Under Secretary of Defense for Intelligence (under president Trump) Kari Bingen; tidligere Associate Deputy Director for CIA Digital Innovation Sean Roche, en tidligere cybersikkerhetsspesialist i den organisasjonen; og Michael Molino, tidligere Executive Vice President for bedriftsutvikling i ASRC Federal, som leverer rådgivning, forskning og teknisk migrasjonskapasitet på tvers av en rekke kritiske føderale tjenester.

Ifølge kunngjøringen:

‘VESPR gir avanserte AI‑testmuligheter med en strømlinjeformet arbeidsflyt for å sikre at hver maskinlæringsalgoritme som settes i produksjon er verifisert som sikker. VESPR gir enestående sikkerhet og trygghet til en rekke AI‑systemer, fra datamaskinsyn til naturlig språkbehandling. VESPR‑prosessen sikrer testing, evaluering, verifisering og validering (TEVV) gjennom hele den sikre maskinlæringslivssyklusen (SMLC), fra forsknings‑ og utviklingsfasen til modellimplementering. Resultatet er AI‑systemer som gir nøyaktig og omfattende overvåking og rapportering av modellens evner, sårbarheter og ytelse.’

Oppdatert 11:07 AM EST for å reflektere at Michael Molino ikke lenger jobber i ASRC Federal, en errata i den opprinnelige artikkelen.

Oppdatert 1January 28, 2024 for å fjerne ødelagt YouTube‑video.