AI pro federální a vojenské účely v USA: Nová platforma nabízí validaci a akreditaci algoritmů

Startup, který má poradní radu složenou z bývalých vládních a vojenských osobností, vydal novou platformu určenou k hodnocení bezpečnosti a nasaditelnosti AI aplikací. Mezi prvními uživateli systému jsou údajně uvedeny americké letectvo a Ministerstvo vnitřní bezpečnosti.

Platforma se jmenuje VESPR, pochází od společnosti CalypsoAI, založené v roce 2018, s ústředím v Silicon Valley, Dublinu a oficiálně „neuváděnou“ lokalitou ve Virginii – území CIA v Langley.

VESPR je systém pro řízení rizik modelů (MRM), navržený tak, aby usnadnil federálně souladný systém akreditace nasazených algoritmů. Nabízí jak uživatelsky přívětivé prostředí typu dashboard s grafickým rozhraním, tak i rozhraní CLI pro pokročilejší použití.

Klikněte pro zvětšení.

VESPR je postaven na standardech CalypsoAI pro validaci, verifikaci a akreditaci strojového učení a obsahuje ručně vytvořené knihovny pro adversariální strojové učení. Také nabízí automatizované rutiny zátěžových testů pro potenciálně nasaditelné algoritmy.

National Artificial Intelligence Research Resource Task Force

Časování vydání může souviset s včerejším spuštěním nového Národního výzkumného úkolového týmu pro umělou inteligenci administrativou prezidenta Bidena, orgánu určeného sloužit jako federální poradní výbor podle Národního zákona o iniciativě AI z roku 2020.

Na USA i po celém světě roste tlak na zavedení smysluplných regulačních standardů pro systémy strojového učení, zejména v kritických oblastech, jako je klíčová infrastruktura a vojenské využití. Vzhledem k tomu, že systémy ML jsou stále ve vývojové fázi a rychle se vyvíjejí, představují relativně nestabilní a často kontroverzní prostředek, ze kterého je nyní nezbytné identifikovat opakovatelné a spolehlivé analytické algoritmy – pokud je to možné.

V dubnu CalypsoAI vyjádřila podporu zákonu Endless Frontiers Act, zákonu Kongresu zaměřenému na reformu financování vědy tváří v tvář rostoucí dominanci Číny jako AI mocnosti, ačkoliv byl zákon nakonec v Senátu oslaben.

Validation For Federal AI

Podle tiskové zprávy VESPR zahrnuje rámec oblasti jako počítačové vidění a zpracování přirozeného jazyka (NLP).

CalypsoAI tvrdí, že VESPR byl vytvořen „s klíčovým vstupem od stávajících zákazníků v oblasti národní bezpečnosti a vznikl z let nezávislého financovaného výzkumu adversariálního strojového učení“.

Obrázky systému, které jsou vidět v propagačním videu (viz konec článku), se zdají zahrnovat detekční a/nebo simulační rutiny pro otravu dat a injekci šumu, poskytující simulace akcí potenciálních útočníků na nasazené systémy.

Klikněte pro zvětšení.

Systém se zdá využívat historická data národních i zahraničních akcí. Cílové třídy zahrnují „Protesty“ a „Povstání“, kromě méně jasných „Strategických vývojů“. Národní teroristické incidenty jsou také zahrnuty v referenčních databázích systému, s „Násilím proti civilistům“ jako dalším dostupným cílem. Další dostupné cílové třídy zahrnují „Bitvy“ a „Explozí/Vzdálené násilí“.

Klikněte pro zvětšení.

Systém se zdá umožňovat ochranu funkcí v sekci „BIAS management“ konfigurace, pravděpodobně navržené k boji proti přeučení nebo k zabránění nechtěnému odstranění menších odlehlých událostí, které mohou být v analytické rutině zajímavé. Ve videu VESPR zpracovává tabulková historická data o „Ukrajině“.

Mimo tuto úvodní propagační kampaň není pravděpodobné (možná úmyslně), že se o tomto SaaS produktu zaměřeném na vládu dozvíme mnohem více, ať už se mu daří jakkoli; sdílí své jméno s franšízou kavárenských barů, sociální seznamovací aplikací a streamingovým albem a je neúnavně přehlížen ve výsledcích hodnocení ve prospěch chemického modelu VSEPR.

CalypsoAI získala 13 milionů dolarů v rámci Series A financování od Paladin Capital Venture Group v červenci 2020. Mezi další investory patřily 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners a Pallas Ventures.

V blogovém příspěvku na webu společnosti CalypsoAI zakladatel Neil Serebryany, který v roce 2018 prováděl neupřesněný výzkum na Ministerstvu obrany, uvádí, že společnost byla založena jako možná řešení obav vlád z nasazení pokročilých algoritmických systémů v neregulovaném prostředí:

‘Primárním důvodem této obavy z AI projektů, která vede k jejich opouštění ve vládě, zní prostě, ale ve skutečnosti je poměrně složitý. Byly opouštěny kvůli nedostatku zajištění kvality […] Modely AI nelze posuzovat stejným způsobem jako tradiční softwarové modely. Je to způsobeno podstatou struktury modelu a vysoce složitými způsoby, jakými mohou selhat. Vzhledem k nedostatku mechanismu pro hodnocení těchto nedeterministických systémů deterministickým, auditovatelným způsobem nebyly vládní organizace schopny posoudit takzvanou „kvalitu“ AI modelů vůči referenčnímu bodu. To vedlo k obavám, že mohou selhat, mohou mít poruchu nebo mohou být napadeny protivníkem v okamžiku, kdy jsou nejvíce potřeba, například v boji, při letu nebo během složitého lékařského zákroku.’

Advisory Board

Měsíc před investičním kolem společnost vytvořila Národní bezpečnostní poradní radu, která zahrnuje Tonyho DeMartina, bývalého asistenta ministra obrany Jima Mattise a nyní zakládajícího partnera strategické poradenské firmy Pallas Advisors se sídlem ve Washingtonu; bývalou hlavní zástupkyni podsecretáře obrany pro zpravodajství (za prezidenta Trumpa) Kari Bingen; bývalého asociovaného zástupce ředitele pro digitální inovace CIA Seana Roche, bývalého specialistu na kybernetickou zpravodajskou činnost v této organizaci; a Michaela Molino, bývalého výkonného viceprezidenta pro firemní rozvoj v ASRC Federal, která poskytuje poradenské, výzkumné a technické migrační schopnosti napříč řadou kritických federálních služeb.

Podle tiskové zprávy:

‘VESPR poskytuje pokročilé testovací schopnosti AI s optimalizovaným pracovním tokem, aby bylo zajištěno, že každý algoritmus strojového učení nasazený do produkce byl ověřen jako bezpečný. VESPR poskytuje bezkonkurenční bezpečnost a záruku pro různé AI systémy, od počítačového vidění po zpracování přirozeného jazyka. Proces VESPR zajišťuje testování, hodnocení, verifikaci a validaci (TEVV) po celém bezpečném životním cyklu strojového učení (SMLC), od fáze výzkumu a vývoje až po nasazení modelu. Výsledkem jsou AI systémy, které poskytují přesné a komplexní monitorování a zprávy o schopnostech modelu, zranitelnostech a výkonnosti.’

Aktualizováno 11:07 AM EST, aby odráželo, že Michael Molino již nepracuje v ASRC Federal, oprava v původním článku.

Aktualizováno 1January 28, 2024, aby byl odstraněn nefunkční video na YouTube.