Исследовательская группа стремится создать объяснимый ИИ для ядерного нераспространения и физической ядерной безопасности

Исследователи из Тихоокеанской северо-западной национальной лаборатории (PNNL) пытаются сделать ИИ объяснимым для целей ядерного нераспространения и национальной безопасности. Цель состоит в том, чтобы сделать решения, возвращаемые моделями ИИ, прозрачными для любого решения, касающегося ядерной безопасности.

Сейчас больше внимания, чем когда-либо, уделяется важности объяснимых моделей ИИ в попытке решить проблему «черного ящика» машинного обучения. Моделям ИИ часто доверяют принятие сложных решений, даже если лица, ответственные за их выполнение, не понимают обоснования этих решений. Чем выше вероятность катастрофы и опасности, в которой принимаются эти решения, тем важнее, чтобы обоснование этих решений было прозрачным.

Возможно, нет необходимости понимать причины классификации, если приложение ИИ делает что-то столь же простое, как категоризация изображений фруктов, но в случаях, связанных с ядерным оружием или производством ядерных материалов, лучше открыть черный ящик, лежащий в основе ИИ, используемого в этих целях. сценарии.

Ученые PNNL работают над тем, чтобы сделать ИИ объяснимым, используя множество новых методов. Эти исследователи работают вместе с Управлением по исследованиям и разработкам в области ядерного нераспространения (DNN R&D) Министерства энергетики США. DNN R&D отвечает за надзор за способностью Соединенных Штатов отслеживать и обнаруживать производство ядерного материала, разработку ядерного оружия и взрывы ядерного оружия по всему миру.

Учитывая, насколько высоки риски, когда речь идет о вопросах, связанных с нераспространением ядерного оружия, очень важно знать, как система ИИ делает выводы по этим вопросам. Энджи Шеффилд — старший менеджер программы в DNN R&D. По словам Шеффилда, часто бывает сложно включить новые технологии, такие как модели ИИ, в традиционные научные методы и структуры, но процесс включения ИИ в эти системы можно упростить, разработав новые способы более эффективного взаимодействия с этими системами. Шеффилд утверждает, что исследователи должны создавать инструменты, которые позволят разработчикам понять, как работают эти сложные методы.

Относительная нехватка данных, касающихся ядерных взрывов и разработки ядерного оружия, означает, что объяснимый ИИ еще более важен. Обучение моделей ИИ в этом пространстве приводит к моделям, которые могут быть менее надежными из-за относительно небольшого объема данных по сравнению с такой задачей, как распознавание лиц. В результате каждый шаг процесса, используемого моделью для принятия решения, должен быть контролируемым.

Марк Гривз, исследователь из PNNL, объяснил, что риски, связанные с распространением ядерного оружия, требуют наличия системы, которая может информировать людей о том, почему был выбран тот или иной ответ.

Как объяснил Гривз через EurekaAlert:

«Если система ИИ выдаёт ошибочную вероятность наличия у страны ядерного оружия, это проблема совершенно другого масштаба. Поэтому наша система должна как минимум предоставлять объяснения, чтобы люди могли проверить её выводы и, используя собственный опыт, исправить пробелы в обучении ИИ, вызванные скудностью данных».

Как объяснил Шеффилд, у PNNL есть две сильные стороны, которые помогут им решить эту проблему. Во-первых, PNNL имеет значительный опыт в области искусственного интеллекта. Кроме того, команда обладает значительными знаниями в предметной области, когда речь идет о ядерных материалах и оружии. Команда PNNL разбирается в таких вопросах, как обработка плутония и типы сигналов, уникальные для разработки ядерного оружия. Сочетание опыта ИИ, опыта национальной безопасности и знаний в ядерной области означает, что PNNL уникально подходит для решения вопросов ядерной национальной безопасности и ИИ.