Федеральное и военное ИИ США: новая платформа предлагает проверку и аккредитацию алгоритмов

Стартап, в состав которого входит консультативный совет из бывших высокопоставленных лиц правительства и военных, выпустил новую платформу, предназначенную для оценки безопасности и развертывания приложений ИИ. Среди первых пользователей системы – ВВС США и Министерство внутренней безопасности.

Платформа называется VESPR, от CalypsoAI, основанной в 2018 году, с штаб-квартирами в Кремниевой долине, Дублине и официально не указанном месте в штате Вирджиния – местонахождении ЦРУ в Лэнгли.

VESPR – это система управления рисками моделей (MRM), предназначенная для облегчения федерально-комплаентной системы аккредитации развернутых алгоритмов. Она предлагает как удобную среду GUI в стиле панели управления, так и интерфейс CLI для более продвинутого использования.

Нажмите, чтобы увеличить. Source: https://www.youtube.com/watch?v=lMhS6j7t2pI

VESPR основана на стандартах проверки, верификации и аккредитации машинного обучения CalypsoAI и оснащена手工-разработанными библиотеками адверсарного машинного обучения. Она также предлагает автоматические процедуры стресс-тестирования для потенциально развертываемых алгоритмов.

Национальная задача исследования ресурсов искусственного интеллекта

Время выпуска может быть связано с вчерашним запуском администрацией Байдена новой Национальной задачи исследования ресурсов искусственного интеллекта, органом, предназначенным для службы в качестве федерального консультативного комитета в соответствии с Национальным законом об инициативе ИИ 2020 года.

Давление на США и во всем мире возросло в отношении осмысленных нормативных стандартов для систем машинного обучения, особенно в таких критических областях, как ключевая инфраструктура и военное использование. Поскольку системы МО все еще находятся на формировании и быстро прогрессируют, они представляют собой относительно нестабильный и часто противоречивый ресурс, из которого теперь необходимо выявить повторяемые и надежные аналитические алгоритмы – если это возможно.

В апреле CalypsoAI объявила о поддержке закона о безграничных фронтирах, конгресса, предназначенного для реформы финансирования науки в связи с растущим влиянием Китая как державы ИИ, хотя законопроект был в конечном итоге ослаблен на сенатской стадии.

Проверка для федерального ИИ

Согласно пресс-релизу VESPR, области, охватываемые этой платформой, включают компьютерное зрение и обработку естественного языка (NLP).

CalypsoAI утверждает, что VESPR была создана “с критическим вкладом существующих национальных заказчиков безопасности и родилась из лет независимо финансируемых исследований по адверсарному машинному обучению”.

Изображения системы, видимые в промо-видео (см. конец статьи),似乎 включают обнаружение и/или симуляционные процедуры для отравления данных и шумового внедрения, обеспечивая симуляции действий потенциальных атакующих на развернутые системы.

Нажмите, чтобы увеличить.

Система, кажется, использует исторические данные национальных, а также иностранных действий. Целевые классы включают ‘Протесты’ и ‘Беспорядки’, а также менее понятные ‘Стратегические разработки’. Национальные террористические инциденты также, кажется, включены в справочные базы данных системы, с ‘Насилием против граждан’ еще одним доступным целевым классом. Другие доступные целевые классы включают ‘Битвы’ и ‘Взрывы/Удаленное насилие’.

Нажмите, чтобы увеличить.

Система, кажется, позволяет защищать функции в разделе ‘Управление предвзятостью’ конфигурации, видимо, предназначенном для борьбы с переобучением или для избежания нежелательного исключения незначительных аномалий, которые могут быть интересны в аналитической процедуре. В видео VESPR обрабатывает табличные исторические данные о ‘Украине’.

За пределами этой первоначальной промо-акции вряд ли мы услышим больше об этом продукте SaaS, ориентированном на правительство, как бы он ни развивался; он разделяет свое название с кофейной барной франшизой, социальным приложением для знакомств и потоковым альбомом и безжалостно отбрасывается в рейтинговых результатах моделью химии VSEPR.

CalypsoAI получила 13 миллионов долларов в рамках финансирования серии А от Paladin Capital Venture Group в июле 2020 года. Другими инвесторами были 8VC, Lockheed Martin Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners и Pallas Ventures.

В блоге на сайте компании основатель CalypsoAI Нил Серебряный, который проводил неуказанные исследования в Министерстве обороны в 2018 году, заявляет, что компания была основана как возможное решение проблем правительства с развертыванием передовых алгоритмических систем в нерегулируемой среде:

‘Основная причина этого страха перед проектами ИИ, что приводит к их отказу внутри правительства, звучит банально, но на самом деле довольно сложно. Они были брошены из-за отсутствия гарантии качества […] Модели ИИ не могут быть оценены так же, как традиционные программные модели. Это связано с основной природой структуры модели и высоко-сложными способами, которыми они могут потерпеть неудачу. Не имея механизма для оценки этих неопределенных систем в определённой, аудиторской форме, организации внутри правительства не могли оценить так называемое ‘качество’ моделей ИИ по эталону. Это привело к страху, что они могут потерпеть неудачу, могут выйти из строя или могут быть взломаны противником в то время, когда они наиболее необходимы, например, в бою, в полете или во время сложной медицинской процедуры. ‘

Консультативный совет

За месяц до раунда инвестиций компания создала Национальный консультативный совет по безопасности, в который вошли Тони ДеМартіно, бывший помощник министра обороны Джима Мэттиса, и теперь основатель партнера стратегического консультативного агентства Pallas Advisors; бывший заместитель министра обороны по разведке (при президенте Трампе) Карі Бінген; бывший ассоциированный заместитель директора ЦРУ по цифровым инновациям Шон Роуч, бывший специалист по кибер-разведке в этой организации; и Майкл Моліно, бывший исполнительный вице-президент корпоративного развития в ASRC Federal, который предоставляет консультативные, исследовательские и технические миграционные возможности по ряду критических федеральных услуг.

Согласно релизу:

‘VESPR предоставляет передовые возможности тестирования ИИ с упрощенным рабочим процессом для обеспечения того, что каждый алгоритм машинного обучения, поставленный в производство, был проверен на безопасность. VESPR предоставляет беспрецедентную безопасность и гарантию различных систем ИИ, от компьютерного зрения до обработки естественного языка. Процесс VESPR обеспечивает тестирование, оценку, верификацию и проверку (TEVV) на протяжении всего безопасного жизненного цикла машинного обучения (SMLC), от фазы исследования и разработки до развертывания модели. Результатом являются системы ИИ, которые предоставляют точный и всесторонний мониторинг и отчетность о возможностях модели, уязвимостях и производительности.’

Обновлено 11:07 утра по восточному времени, чтобы отразить, что Майкл Моліно больше не работает в ASRC Federal, ошибка в исходной статье.

Обновлено 1 января 2024 года, чтобы удалить сломанное видео на YouTube.