Исследовательская группа стремится создать объяснимый ИИ для ядерного нераспространения и ядерной безопасности

Исследователи из Pacific Northwest National Laboratory (PNNL) пытаются сделать ИИ объяснимым для целей ядерного нераспространения и национальной безопасности. Цель состоит в том, чтобы сделать решения, выдаваемые моделями ИИ, прозрачными для любого решения, связанного с ядерной безопасностью.

Больше внимания, чем когда-либо, уделяется важности объяснимых моделей ИИ, в попытке решить проблему “черного ящика” машинного обучения. Модели ИИ часто доверяют принятие сложных решений, даже когда те, кто отвечает за выполнение этих решений, не понимают обоснование этих решений. Чем выше потенциал катастрофы и опасности, тем более важно, чтобы обоснование этих решений было прозрачным.

Может быть не нужно понимать обоснование классификаций, если приложение ИИ делает что-то так простое, как категоризация изображений фруктов, но для случаев, связанных с ядерными вооружениями или производством ядерного материала, лучше открыть “черный ящик”, лежащий в основе ИИ, используемого в этих сценариях.

Ученые PNNL работают над созданием объяснимого ИИ, используя различные новые методы. Эти исследователи работают вместе с Управлением обороны ядерного нераспространения исследований и разработок (DNN R&D) Национального управления ядерной безопасности Министерства энергетики США. DNN R&D отвечает за надзор за возможностями США по мониторингу и обнаружению производства ядерного материала, разработки ядерных вооружений и взрыва ядерных вооружений по всему миру.

Учитывая, насколько высоки риски, связанные с вопросами ядерного нераспространения, крайне важно знать, как система ИИ приходит к своим выводам по этим вопросам. Энджи Шеффилд – старший менеджер программ в DNN R&D. Согласно Шеффилд, часто бывает сложно включать новые технологии, такие как модели ИИ, в традиционные научные методы и рамки, но процесс включения ИИ в эти системы может быть облегчен путем разработки новых способов более эффективного взаимодействия с этими системами. Шеффилд утверждает, что исследователи должны создавать инструменты, которые позволяют разработчикам понять, как работают эти сложные методы.

Относительная нехватка данных, связанных с ядерными взрывами и разработкой ядерных вооружений, означает, что объяснимый ИИ еще более важен. Обучение моделей ИИ в этой области приводит к моделям, которые могут быть менее надежными из-за относительно небольшого количества данных по сравнению с задачей, такой как распознавание лиц. Следовательно, каждый шаг процесса, используемого моделью для принятия решения, должен быть проверяемым.

Марк Грейвз, исследователь в PNNL, объяснил, что риски, присущие ядерному распространению, диктуют необходимость системы, которая может проинформировать людей о том, почему был выбран определенный ответ.

Как объяснил Грейвз через EurekaAlert:

«Если система ИИ дает ошибочную вероятность наличия ядерного оружия у нации, это проблема совершенно другого масштаба. Итак, наша система должна хотя бы производить объяснения, чтобы люди могли проверить ее выводы и использовать свою собственную экспертизу, чтобы исправить пробелы в обучении ИИ, вызванные скудостью данных».

Как объяснила Шеффилд, в PNNL есть две сильные стороны, которые помогут им решить эту проблему. Во-первых, в PNNL есть значительный опыт в области ИИ. Кроме того, у команды есть значительные знания в области ядерных материалов и вооружений. Команда PNNL понимает вопросы, такие как обработка плутония и типы сигналов, уникальных для разработки ядерных вооружений. Комбинация опыта ИИ, опыта национальной безопасности и знаний в области ядерной сферы означает, что PNNL уникально подходит для решения вопросов ядерной национальной безопасности и ИИ.