USA:s federala och militära AI: Ny plattform erbjuder algoritmvalidering och ackreditering

En startup med ett rådgivande råd bestående av tidigare framstående militärpersoner från regeringen har lanserat en ny plattform avsedd att utvärdera säkerheten och driftsättningsmöjligheten för AI‑applikationer. Tidiga användare av systemet sägs inkludera USA:s luftstyrka och Department of Homeland Security.

Plattformen heter VESPR, från CalypsoAI, grundat 2018, med huvudkontor i Silicon Valley, Dublin och en officiellt ‘icke offentliggjord’ plats i Virginia – terra firma för CIA i Langley.

VESPR är ett modellriskhanteringssystem (MRM) utformat för att underlätta ett federalt kompatibelt ackrediteringssystem för distribuerade algoritmer. Det erbjuder både en användarvänlig instrumentpanel‑stil GUI‑miljö och ett CLI‑gränssnitt för mer avancerad användning.

Click to enlarge.

VESPR bygger på CalypsoAI:s standarder för validering, verifiering och ackreditering av maskininlärning, och innehåller handgjorda adversariella maskininlärningsbibliotek. Det erbjuder också automatiserade stresstest‑rutiner för potentiellt driftsättbara algoritmer.

Nationell forskningsresurs för artificiell intelligens – arbetsgrupp

Timing av lanseringen kan ha samband med gårdagens lansering av Biden‑administrationen av en ny Nationell forskningsresurs för artificiell intelligens‑arbetsgrupp, en enhet avsedd att fungera som ett federalt rådgivande kommitté enligt Kongressens National AI Initiative Act 2020.

Trycket har ökat på USA och världen för meningsfulla regulatoriska standarder för maskininlärningssystem, särskilt inom kritiska områden som nyckelinfrastruktur och militär användning. Eftersom ML‑system fortfarande befinner sig i ett formativt stadium och utvecklas snabbt, är de relativt instabila och ofta kontroversiella, vilket gör det nödvändigt att identifiera reproducerbara och pålitliga analytiska algoritmer – om detta visar sig vara möjligt.

I april publicerade CalypsoAI sitt stöd för Endless Frontiers Act, ett kongressförslag avsett att reformera forskningsfinansiering i ljuset av Kinas växande framträdande som AI‑makt, men lagen försvagades så småningom i senatstadiet.

Validering för federal AI

Enligt VESPR:s pressmeddelande omfattar ramverket områdena datorseende och naturlig språkbehandling (NLP).

CalypsoAI påstår att VESPR skapades ‘med kritisk input från befintliga kunder inom nationell säkerhet och föddes ur år av oberoende finansierad forskning om adversariell maskininlärning’.

Bilder av systemet som ses i en marknadsföringsvideo (se slutet av artikeln) verkar inkludera detekterings‑ och/eller simuleringsrutiner för dataförgiftning och brusinjicering, vilket ger simuleringar av potentiella angripares handlingar mot distribuerade system.

Click to enlarge.

Systemet verkar använda historiska data från både nationella och utländska händelser. De målklasser som visas inkluderar ‘Protester’ och ‘Uppror’, samt den mindre tydliga ‘Strategiska utvecklingar’. Nationella terrorincidenter verkar också vara med i systemets referensdatabaser, med ‘Våld mot civila’ som en annan tillgänglig målklass. Andra tillgängliga målklasser inkluderar ‘Strider’ och ‘Explosioner/Fjärrvåld’.

Click to enlarge.

Systemet verkar möjliggöra skydd av funktioner i en “BIAS management”‑sektion i konfigurationen, troligen avsedd att motverka överanpassning eller undvika oönskad eliminering av mindre avvikande händelser som kan vara av intresse i en analytisk rutin. I videon bearbetar VESPR tabulära historiska data om ‘Ukraina’.

Bortsett från denna initiala marknadsföringskampanj är det sannolikt (kanske avsiktligt) att vi inte kommer att höra mycket mer om denna myndighetsinriktade SaaS‑produkt, oavsett hur den presterar; den delar namn med en kaffebar‑kedja, en social dejtingapp och ett streaming‑album, och slås oavbrutet tillbaka i rankade resultat av VSEPR‑kemimodellen.

CalypsoAI fick $13 miljoner i Series‑A‑finansiering från Paladin Capital Venture Group i juli 2020. Andra investerare inkluderade 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners och Pallas Ventures.

I ett blogginlägg på företagets webbplats säger CalypsoAI:s grundare Neil Serebryany, som utförde ospecificerat forskningsarbete vid Department of Defense 2018, att företaget grundades som en möjlig lösning på regeringarnas rädsla för att distribuera avancerade algoritmsystem i ett oreglerat klimat:

‘Den främsta orsaken till denna rädsla för AI‑projekt, som leder till att de överges inom regeringen, låter prosaisk men är faktiskt ganska komplex. De övergavs på grund av brist på kvalitetssäkring […] AI‑modeller kan inte utvärderas på samma sätt som traditionella mjukvarumodeller. Detta beror på modellens underliggande struktur och de mycket komplexa sätt på vilka de kan misslyckas. Avsaknad av en mekanism för att bedöma dessa icke‑deterministiska system på ett deterministiskt, auditabelt sätt gjorde att organisationer inom regeringen inte kunde bedöma den så kallade ‘kvaliteten’ på AI‑modeller mot en referensram. Detta ledde till rädsla för att de skulle misslyckas, kunna gå sönder eller bli hackade av en motståndare när de behövs som mest, exempelvis i strid, under flygning eller under en komplex medicinsk procedur.’

Rådgivande råd

En månad före investeringsrundan skapade företaget en National Security Advisory Board som inkluderade Tony DeMartino, en tidigare assistent till försvarsminister Jim Mattis och nu grundande partner i det Washington‑baserade strategiska rådgivningsföretaget Pallas Advisors; tidigare Principal Deputy Under Secretary of Defense for Intelligence (under president Trump) Kari Bingen; tidigare Associate Deputy Director för CIA Digital Innovation Sean Roche, en tidigare cybersäkerhets‑intelligensspecialist i den organisationen; och Michael Molino, tidigare Executive Vice President för företagsutveckling på ASRC Federal, som tillhandahåller rådgivning, forskning och teknisk migrationskapacitet över ett brett spektrum av kritiska federala tjänster.

Enligt pressmeddelandet:

‘VESPR tillhandahåller avancerade AI‑testningsmöjligheter med ett strömlinjeformat arbetsflöde för att säkerställa att varje maskininlärningsalgoritm som tas i produktion har verifierats som säker. VESPR ger oöverträffad säkerhet och trygghet till en mängd AI‑system, från datorseende till naturlig språkbehandling. VESPR‑processen säkerställer testning, utvärdering, verifiering och validering (TEVV) genom hela den säkra maskininlärningslivscykeln (SMLC), från forsknings‑ och utvecklingsfasen till modellimplementering. Slutresultatet är AI‑system som ger exakt och heltäckande övervakning och rapportering av modellens kapabiliteter, sårbarheter och prestanda.’

Uppdaterad 11:07 AM EST för att återspegla att Michael Molino inte längre arbetar på ASRC Federal, ett fel i originalartikeln.

Uppdaterad 28 januari 2024 för att ta bort trasig YouTube‑video.