AI США в федеральных и военных структурах: новая платформа предлагает проверку алгоритмов и аккредитацию

Стартап, в советнике которого находятся бывшие военные деятели правительства, выпустил новую платформу, предназначенную для оценки безопасности и возможности развертывания AI‑приложений. По сообщениям, ранними пользователями системы являются ВВС США и Министерство внутренней безопасности.

Платформа называется VESPR, от CalypsoAI, основанной в 2018 году, с головными офисами в Силиконовой долине, Дублине и официально «неразглашённым» местоположением в Вирджинии — территории ЦРУ в Ленгли.

VESPR — это система управления рисками моделей (MRM), предназначенная для облегчения федерально‑совместимой системы аккредитации развернутых алгоритмов. Она предлагает как удобный графический интерфейс в виде панели управления, так и интерфейс командной строки для более продвинутого использования.

Click to enlarge.

VESPR основан на стандартах валидации, верификации и аккредитации машинного обучения CalypsoAI и включает вручную созданные библиотеки противостояния машинному обучению. Он также предоставляет автоматизированные процедуры стресс‑тестирования потенциальных развертываемых алгоритмов.

Национальная рабочая группа по ресурсам исследований искусственного интеллекта

Время выпуска может быть связано со вчерашним анонсом администрации Байдена новой Национальной рабочей группы по ресурсам исследований искусственного интеллекта, органа, предназначенного служить федеральным консультативным комитетом в соответствии с Законом о национальной инициативе в области ИИ 2020 года.

Давление на США и во всём мире растёт в отношении внедрения значимых нормативных стандартов для систем машинного обучения, особенно в критически важных областях, таких как ключевая инфраструктура и военное применение. Поскольку системы МЛ находятся всё ещё на формирующейся стадии и быстро развиваются, они представляют собой относительно нестабильный и часто спорный ресурс, из которого теперь необходимо выявлять воспроизводимые и надёжные аналитические алгоритмы — если это возможно.

В апреле CalypsoAI выразила поддержку закона Endless Frontiers Act, законопроекта Конгресса, направленного на реформу финансирования науки в условиях растущего влияния Китая как силы в области ИИ, хотя закон в конечном итоге был ослаблен на этапе Сената.

Валидация для федерального ИИ

Согласно пресс‑релизу VESPR, в рамки системы входят области компьютерного зрения и обработки естественного языка (NLP).

CalypsoAI утверждает, что VESPR был создан «с критическим участием существующих клиентов в сфере национальной безопасности и возник в результате многолетних независимых исследований в области противостояния машинному обучению».

Изображения системы, представленные в рекламном видео (см. конец статьи), по‑видимому, включают процедуры обнаружения и/или моделирования отравления данных и внедрения шума, предоставляя симуляции действий потенциальных атакующих на развернутые системы.

Click to enlarge.

Система, по‑видимому, использует исторические данные как национальных, так и зарубежных действий. В числе целевых классов находятся «Протесты» и «Беспорядки», а также менее определённый «Стратегические разработки». В справочных базах системы, кажется, включены инциденты национального терроризма, с «Насилием против гражданского населения» как ещё одним доступным целевым классом. Другие доступные целевые классы включают «Бои» и «Взрывы/удалённое насилие».

Click to enlarge.

Система, по‑видимому, позволяет защищать функции в разделе «Управление предвзятостью» конфигурации, явно предназначенном для борьбы с переобучением или предотвращения нежелательного исключения небольших аутлайеров, которые могут быть интересны в аналитическом процессе. В видео VESPR обрабатывает табличные исторические данные о «Украине».

Помимо этой начальной рекламной кампании, вряд ли (возможно, намеренно) мы услышим гораздо больше о этом SaaS‑продукте, ориентированном на правительство, независимо от его качества; он делит название с сетью кофе‑баров, социальным приложением для знакомств и стриминговым альбомом, и постоянно оттесняется в рейтинговых результатах моделью химии VSEPR.

CalypsoAI получила $13 million в раунде Series A от Paladin Capital Venture Group в июле 2020 года. Другие инвесторы включали 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners и Pallas Ventures.

В блоге на сайте компании основатель CalypsoAI Нил Серебряный, который в 2018 году проводил неуточнённые исследовательские работы в Министерстве обороны, заявляет, что компания была основана как возможное решение страха правительств перед развертыванием продвинутых алгоритмических систем в нерегулируемом климате:

‘Основная причина этого страха перед AI‑проектами, приводящего к их отказу внутри правительства, звучит просто, но на самом деле довольно сложна. Они откладывались из‑за отсутствия контроля качества […] Модели ИИ нельзя оценивать так же, как традиционные программные модели. Это связано с фундаментальной природой структуры модели и чрезвычайно сложными способами, которыми они могут давать сбои. При отсутствии механизма оценки этих недетерминированных систем в детерминированной, проверяемой форме, организации внутри правительства не могли оценить так называемое «качество» моделей ИИ относительно эталона. Это породило страх, что они могут выйти из строя, дать сбой или быть взломаны противником в тот момент, когда они наиболее необходимы, например, в бою, в полёте или во время сложной медицинской процедуры.’

Консультативный совет

За месяц до раунда инвестиций компания создала Национальный совет по безопасности, включающий Tony DeMartino, бывшего помощника министра обороны Джима Мэттиса, ныне соучредителя стратегической консультационной фирмы Pallas Advisors, базирующейся в Вашингтоне; бывшего заместителя помощника подсекретаря обороны по разведке при президенте Трампе Kari Bingen; бывшего заместителя директора по цифровым инновациям ЦРУ Sean Roche, ранее специалиста по киберразведке в этой организации; и Michael Molino, бывшего исполнительного вице‑президента по корпоративному развитию в ASRC Federal, предоставляющей консультационные, исследовательские и технические услуги миграции в ряде критически важных федеральных сервисов.

Согласно релизу:

‘VESPR предоставляет расширенные возможности тестирования ИИ с упрощённым рабочим процессом, чтобы гарантировать, что каждый алгоритм машинного обучения, выводимый в эксплуатацию, прошёл проверку безопасности. VESPR обеспечивает беспрецедентную безопасность и надёжность для различных систем ИИ, от компьютерного зрения до обработки естественного языка. Процесс VESPR гарантирует тестирование, оценку, верификацию и валидацию (TEVV) на протяжении всего безопасного жизненного цикла машинного обучения (SMLC), от этапа исследований и разработок до развертывания модели. В результате получаются системы ИИ, которые предоставляют точный и всесторонний мониторинг и отчётность о возможностях модели, уязвимостях и производительности.’

Обновлено 11:07 AM EST, чтобы отразить, что Майкл Молино больше не работает в ASRC Federal, исправление в оригинальной статье.

Обновлено 1January 28, 2024, чтобы удалить неработающее видео YouTube.