Вахид Бехзадан, директор лаборатории SAIL (Secure and Assured Intelligent Learning) – Серия интервью

Вахид является помощником профессора компьютерных наук и науки о данных в Университете Нью-Хэвена. Он также является директором лаборатории Secure and Assured Intelligent Learning (SAIL) Lab. Его исследовательские интересы включают безопасность и безопасность интеллектуальных систем, психологическое моделирование проблем безопасности ИИ, безопасность сложных адаптивных систем, теорию игр, многоагентные системы и кибербезопасность. У вас обширный опыт в области кибербезопасности и безопасности ИИ. Можете ли вы рассказать о своем пути и о том, как вы стали привлечены к этим областям? Моя исследовательская траектория была обусловлена двумя основными интересами: выяснить, как вещи ломаются, и узнать о механике человеческого разума. Я активно занимаюсь кибербезопасностью с раннего подросткового возраста и, как следствие, построил свою раннюю исследовательскую программу вокруг классических проблем этой области. Через несколько лет после начала моих аспирантских исследований у меня появилась редкая возможность изменить направление моих исследований. В то время я только что ознакомился с ранними работами Сзегеди и Гудфеллоу на тему атак на примерах, и мне показалась интригующей идея атаки на машинное обучение. Когда я глубже изучил эту проблему, я узнал о более общем поле безопасности и безопасности ИИ и обнаружил, что оно охватывает многие из моих основных интересов, таких как кибербезопасность, когнитивные науки, экономика и философия. Я также пришел к убеждению, что исследования в этой области не только fasciniruyuschie, но и vitalны для обеспечения долгосрочных выгод и безопасности революции ИИ. Вы являетесь директором лаборатории SAIL, которая работает над созданием конкретных основ для безопасности и безопасности интеллектуальных машин. Можете ли вы рассказать о некоторых деталях работы, проводимой в SAIL? В SAIL мои студенты и я работаем над проблемами, которые лежат на пересечении безопасности, ИИ и сложных систем. Основной фокус наших исследований – изучение безопасности и безопасности интеллектуальных систем, с теоретической и прикладной точек зрения. С теоретической стороны, мы в настоящее время исследуем проблему согласования ценностей в многоагентных средах и разрабатываем математические инструменты для оценки и оптимизации целей ИИ-агентов в отношении стабильности и устойчивых согласований. С практической стороны, некоторые из наших проектов исследуют уязвимости безопасности передовых технологий ИИ, таких как автономные транспортные средства и алгоритмическая торговля, и направлены на разработку методов для оценки и улучшения устойчивости таких технологий к атакам. Мы также работаем над применением машинного обучения в кибербезопасности, такой как автоматизированное тестирование на проникновение, раннее обнаружение попыток вторжения и автоматизированная сбор и анализ угроз из открытых источников данных, таких как социальные сети. Вы недавно возглавили усилия по предложению моделирования проблем безопасности ИИ как психопатологических расстройств. Можете ли вы объяснить, что это такое? Этот проект решает проблему быстро растущей сложности ИИ-агентов и систем: уже очень сложно диагностировать, предсказать и контролировать небезопасное поведение агентов обучения с подкреплением в нетривиальных условиях, просто глядя на их низкоуровневые конфигурации. В этой работе мы подчеркиваем необходимость более высокоуровневых абстракций при изучении таких проблем. Вдохновленные научными подходами к поведенческим проблемам у людей, мы предлагаем психопатологию как полезную высокоуровневую абстракцию для моделирования и анализа возникающих вредных поведений в ИИ и СИ. Как доказательство концепции, мы изучаем проблему безопасности ИИ – взлома вознаграждения в агенте ИИ, обучающемся играть в классическую игру Змея. Мы показываем, что если мы добавим “лекарство” в среду, агент учится субоптимальному поведению, которое можно описать с помощью нейробиологических моделей зависимости. Эта работа также предлагает методы контроля на основе подходов, используемых в психиатрии. Например, мы предлагаем использовать искусственно сгенерированные сигналы вознаграждения как аналоги медикаментозной терапии для изменения вредного поведения агентов. У вас есть опасения по поводу безопасности ИИ при автономных транспортных средствах? Автономные транспортные средства становятся все более заметными примерами развертывания ИИ в киберфизических системах. Учитывая фундаментальную восприимчивость текущих технологий машинного обучения к ошибкам и атакам, я глубоко обеспокоен безопасностью и безопасностью даже полуавтономных транспортных средств. Кроме того, область автономного вождения страдает от серьезного缺ства стандартов безопасности и протоколов оценки. Однако я остаюсь оптимистом. Как и природный интеллект, ИИ также будет склонен к ошибкам. Тем не менее, цель автономных транспортных средств все еще может быть удовлетворена, если частота и влияние таких ошибок будут ниже, чем у человеческих водителей. Мы свидетели растущих усилий по решению этих проблем в промышленности и академии, а также в правительствах. Взлом дорожных знаков с помощью наклеек или других средств может запутать модуль компьютерного зрения автономного транспортного средства. Насколько большая проблема, по вашему мнению, это? Эти наклейки и примеры атак в целом создают фундаментальные проблемы с устойчивостью моделей машинного обучения. Чтобы процитировать Джорджа Э. П. Бокса, “все модели неправильны, но некоторые из них полезны”. Примеры атак используют эту “неправильность” моделей, которая обусловлена их абстрактной природой, а также ограничениями выборочных данных, на которых они обучены. Недавние усилия в области атак на машинное обучение привели к огромным шагам в сторону увеличения устойчивости глубоких моделей обучения к таким атакам. С точки зрения безопасности, всегда будет способ обмануть модели машинного обучения. Однако практическая цель безопасности моделей машинного обучения – увеличить стоимость реализации таких атак до точки экономической нецелесообразности. Ваш фокус на безопасности и функциях безопасности глубокого обучения и глубокого обучения с подкреплением. Почему это так важно? Обучение с подкреплением (RL) – это основной метод применения машинного обучения к задачам управления, которые по определению предполагают манипулирование их средой. Поэтому я считаю, что системы, основанные на RL, имеют значительно более высокие риски причинения значительного ущерба в реальном мире по сравнению с другими методами машинного обучения, такими как классификация. Эта проблема еще больше усугубляется интеграцией глубокого обучения в RL, что позволяет использовать RL в высоко сложных условиях. Кроме того, я считаю, что рамки RL тесно связаны с основными механизмами когнитивных процессов в человеческом интеллекте, и изучение безопасности и уязвимостей RL может привести к лучшему пониманию пределов принятия решений в нашем разуме. Считаете ли вы, что мы близки к достижению искусственного общего интеллекта (ИОИ)? Это очень трудный вопрос, на который можно ответить. Я считаю, что у нас в настоящее время есть строительные блоки некоторых архитектур, которые могут способствовать возникновению ИОИ. Однако может потребоваться несколько лет или десятилетий, чтобы улучшить эти архитектуры и повысить эффективность их обучения и поддержки. В ближайшие годы наши агенты будут становиться все более интеллектуальными с быстро растущей скоростью. Я не думаю, что возникновение ИОИ будет объявлено в форме научно обоснованного заголовка, а скорее в результате постепенного прогресса. Кроме того, я считаю, что у нас все еще нет широко принятой методологии для тестирования и обнаружения существования ИОИ, и это может задержать наше осознание первых экземпляров ИОИ. Как мы можем поддерживать безопасность в системе ИОИ, способной думать самостоятельно и, скорее всего, намного более интеллектуальной, чем люди? Я считаю, что единой теорией интеллектуального поведения является экономика и изучение того, как агенты действуют и взаимодействуют, чтобы достичь того, чего они хотят. Решения и действия людей определяются их целями, информацией и доступными ресурсами. Общества и совместные усилия возникают из их преимуществ для отдельных членов таких групп. Другой пример – уголовный кодекс, который сдерживает определенные решения, присваивая высокую стоимость действиям, которые могут нанести вред обществу. Аналогично, я считаю, что контроль над стимулами и ресурсами может позволить возникновение состояния равновесия между людьми и экземплярами ИОИ. В настоящее время сообщество безопасности ИИ исследует эту тезу под эгидой проблем согласования ценностей. Одна из областей, которой вы внимательно следите, – это контртерроризм. У вас есть опасения по поводу того, что террористы могут захватить системы ИИ или ИОИ? Существует много опасений по поводу злоупотребления технологиями ИИ. В случае террористических операций основной проблемой является легкость, с которой террористы могут разработать и провести автономные атаки. Растущее число моих коллег активно предупреждает о рисках разработки автономных вооружений (см. https://autonomousweapons.org/ ). Одна из основных проблем с вооружением на основе ИИ заключается в трудности контроля надlying технологией: ИИ находится на переднем крае открытых исследований, и любой, кто имеет доступ к интернету и потребительскому оборудованию, может разработать вредоносные системы ИИ. Я подозреваю, что возникновение автономных вооружений неизбежно, и считаю, что скоро возникнет необходимость в новых технологических решениях для противодействия таким вооружениям. Это может привести к циклу “кошки и мышки”, который будет стимулировать эволюцию вооружений на основе ИИ, что может привести к серьезным экзистенциальным рискам в долгосрочной перспективе. Что мы можем сделать, чтобы сохранить системы ИИ в безопасности от этих враждебных агентов? Первым и основным шагом является образование: все инженеры и практики ИИ должны узнать о уязвимостях технологий ИИ и учитывать соответствующие риски при проектировании и реализации своих систем. Что касается более технических рекомендаций, есть различные предложения и концепции решений, которые можно использовать. Например, обучение агентов машинного обучения в условиях атак может повысить их устойчивость и надежность против атак на уклонение и манипуляцию политикой (например, см. мою статью под названием “Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger“). Другим решением является прямой учет риска атак в архитектуре агента (например, байесовские подходы к моделированию риска). Однако существует значущая лакуна в этой области, и это необходимость в универсальных метриках и методологиях для оценки устойчивости систем ИИ к атакам. Текущие решения в основном являются ад hoc и не обеспечивают общих мер надежности против всех типов атак. Есть ли что-то еще, что вы хотели бы поделиться по любой из этих тем? В 2014 году Скалли и др. опубликовали статью на конференции NeurIPS с очень просвещающей темой: “Machine Learning: The High-Interest Credit Card of Technical Debt“. Даже с учетом всех достижений в этой области за последние несколько лет, это утверждение еще не потеряло свою актуальность. Текущее состояние ИИ и машинного обучения не является чем-то удивительным, но мы еще не заполнили значительное количество основных пробелов в фундаментальных и инженерных измерениях ИИ. Этот факт, на мой взгляд, является наиболее важным выводом из нашего разговора. Я, конечно, не хочу отговаривать от коммерческого внедрения технологий ИИ, но только хочу позволить инженерному сообществу учитывать риски и ограничения текущих технологий ИИ в своих решениях. Мне действительно понравилось узнать о проблемах безопасности и безопасности различных типов систем ИИ. Это действительно то, о чем должны знать люди, корпорации и правительства. Читатели, которые хотят узнать больше, должны посетить Secure and Assured Intelligent Learning (SAIL) Lab.