AI США у федеральному та військовому секторах: нова платформа пропонує валідацію та акредитацію алгоритмів

Стартап, у якому є консультативна рада колишніх військових зірок уряду, випустив нову платформу, розроблену для оцінки безпеки та придатності до розгортання AI‑застосувань. На початкових етапах система, за повідомленнями, використовується ВПС США та Департаментом безпеки США.

Платформа називається VESPR, розроблена CalypsoAI, заснованою у 2018 році, з головними офісами в Силіконовій долині, Дубліні та офіційно «не розголошуваним» розташуванням у Вірджинії — території ЦРУ у Ленглі.

VESPR — це система управління ризиками моделей (MRM), створена для спрощення федерально‑сумісної системи акредитації розгорнутих алгоритмів. Вона пропонує як зручне графічне середовище у вигляді панелі інструментів, так і інтерфейс командного рядка для більш досвідчених користувачів.

Клацніть, щоб збільшити.

VESPR базується на стандартах валідації, верифікації та акредитації машинного навчання CalypsoAI і включає власноруч створені бібліотеки протидії ворожим алгоритмам. Він також пропонує автоматизовані процедури стрес‑тестування потенційно придатних до розгортання алгоритмів.

Національна робоча група з ресурсів досліджень штучного інтелекту

Час випуску може бути пов’язаний із вчорашнім запуском нової Національної робочої групи з ресурсів досліджень штучного інтелекту адміністрацією Байдена, органу, створеного як федеральна консультативна комісія відповідно до Закону про ініціативу у сфері ШІ 2020 року, прийнятого Конгресом.

Тиск на США та решту світу зростає щодо впровадження суттєвих регулятивних стандартів для систем машинного навчання, особливо у критичних для місії сферах, таких як ключова інфраструктура та військове застосування. Оскільки системи ML ще перебувають у формувальному етапі та швидко розвиваються, вони залишаються відносно нестабільними та часто викликають суперечки, і тепер важливо виявити відтворювані та надійні аналітичні алгоритми — якщо це можливо.

У квітні CalypsoAI висловила підтримку Закону про безмежні кордони (Endless Frontiers Act), законопроекту Конгресу, спрямованого на реформу фінансування науки у зв’язку зі зростаючою роллю Китаю як потужності у сфері ШІ, хоча закон в кінцевому підсумку був послаблений на етапі Сенату.

Валідація для федерального ШІ

За даними прес‑релізу VESPR, у межах цієї структури охоплюються області комп’ютерного зору та обробки природної мови (NLP).

CalypsoAI стверджує, що VESPR був створений «з критичним внеском існуючих клієнтів у сфері національної безпеки та на підставі багаторічних незалежних досліджень у галузі ворожого машинного навчання».

Зображення системи, показані у рекламному відео (див. кінець статті), схоже включають процедури виявлення та/або симуляції отруєння даних та ін’єкції шуму, надаючи моделювання дій потенційних атакувальників на розгорнуті системи.

Клацніть, щоб збільшити.

Система, схоже, використовує історичні дані як національних, так і іноземних дій. До класів цілей, що включені, належать «Протести» та «Бунти», а також менш зрозумілий «Стратегічний розвиток». У базах даних системи, ймовірно, також присутні випадки національного тероризму, з «Насильством проти цивільних» як ще одним доступним класом цілей. Інші доступні класи цілей включають «Битви» та «Вибухи/Дистанційне насильство».

Клацніть, щоб збільшити.

Система, здається, дозволяє захистити функції у розділі «Керування упередженістю» конфігурації, який, ймовірно, призначений для боротьби з перенавчанням або уникнення небажаного видалення незначних аномальних подій, які можуть бути цікавими в аналітичному процесі. У відео VESPR обробляє табличні історичні дані про «Україну».

Поза цим початковим рекламним натиском, ймовірно (можливо, навмисно), ми не почуємо багато про цей SaaS‑продукт, орієнтований на уряд, незалежно від його успішності; його назва збігається з назвою мережі кав’ярень, соціального додатку для знайомств і стрімінгового альбому, і він постійно поступається у рейтингових результатах хімічній моделі VSEPR.

CalypsoAI отримала 13 млн доларів у рамках раунду Series A від Paladin Capital Venture Group у липні 2020 року. Інші інвестори включали 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners та Pallas Ventures.

У блозі на сайті компанії засновник CalypsoAI Ніл Середбряні, який у 2018 році виконував невизначені дослідницькі роботи у Департаменті оборони, заявив, що компанія була створена як можливе рішення страху урядів щодо розгортання передових алгоритмічних систем у нерегульованому середовищі:

‘Основна причина цього страху перед AI‑проєктами, який призводить до їх відкидання в уряді, звучить простим, але насправді досить складна. Вони відкидались через відсутність забезпечення якості […] AI‑моделі не можна оцінювати так само, як традиційні програмні моделі. Це зумовлено фундаментальною природою структури моделей та надзвичайно складними шляхами їх можливих відмов. Через відсутність механізму оцінки цих недетермінованих систем у детермінований, аудиторський спосіб, урядові організації не могли оцінити так звану «якість» AI‑моделей за еталоном. Це викликало страх, що вони можуть зазнати збою, не працювати належним чином або бути зламаними противником у той момент, коли вони потрібні найбільше, наприклад у бойових діях, під час польоту або під час складної медичної процедури.’

Консультативна рада

За місяць до раунду інвестування компанія створила Національну консультативну раду з безпеки, до якої входять Тоні ДеМартино, колишній помічник міністра оборони Джима Меттіса, нині співзасновник стратегічної консультативної фірми Pallas Advisors у Вашингтоні; колишній головний заступник підсекретаря оборони з розвідки (за президентства Трампа) Карі Бінген; колишній заступник директора з цифрових інновацій ЦРУ Шон Рош, колишній спеціаліст з кіберрозвідки в цій організації; та Майкл Моліно, колишній виконавчий віце‑президент з корпоративного розвитку в ASRC Federal, яка надає консультаційні, дослідницькі та технічні можливості міграції у різних критичних федеральних службах.

За випуском:

‘VESPR забезпечує передові можливості тестування ШІ з оптимізованим робочим процесом, щоб гарантувати, що кожен алгоритм машинного навчання, впроваджений у виробництво, пройшов перевірку безпеки. VESPR надає неперевершену безпеку та впевненість різноманітним системам ШІ, від комп’ютерного зору до обробки природної мови. Процес VESPR забезпечує тестування, оцінку, верифікацію та валідацію (TEVV) протягом усього безпечного життєвого циклу машинного навчання (SMLC), від етапу досліджень і розробки до розгортання моделі. Результатом є системи ШІ, які забезпечують точний та всебічний моніторинг і звітування про можливості моделей, їх уразливості та продуктивність.’

Оновлено 11:07 AM EST, щоб зазначити, що Майкл Моліно більше не працює в ASRC Federal, виправлення в оригінальній статті.

Оновлено 1January 28, 2024, щоб видалити недоступне відео YouTube.