Ярон Сингер, генеральный директор Robust Intelligence и профессор компьютерных наук в Гарвардском университете – Серия интервью

Ярон Сингер является генеральным директором Robust Intelligence и профессором компьютерных наук и прикладной математики в Гарварде. Ярон известен своими прорывными результатами в области машинного обучения, алгоритмов и оптимизации. Ранее Ярон работал в Google Research и получил степень PhD в UC Berkeley.

Что изначально привлекло вас к области компьютерных наук и машинного обучения?

Мое путешествие началось с математики, которая привела меня к компьютерным наукам, а затем к машинному обучению. Математика изначально привлекла мое внимание, поскольку ее аксиоматическая система дала мне возможность создавать новые миры. С компьютерными науками я узнал об экзистенциальных доказательствах, а также об алгоритмах, лежащих в их основе. С творческой точки зрения, компьютерные науки – это рисование границ между тем, что мы можем и не можем сделать.

Мой интерес к машинному обучению всегда был основан на интересе к реальным данным, почти физической стороне этого. Извлечение вещей из реального мира и моделирование их для создания чего-то осмысленного. Мы могли буквально создать лучший мир через осмысленное моделирование. Итак, математика дала мне основу для доказательств, компьютерные науки помогают мне видеть, что можно и не можно сделать, а машинное обучение позволяет мне моделировать эти концепции в мире.

До недавнего времени вы были профессором компьютерных наук и прикладной математики в Гарвардском университете, какие были некоторые из ваших ключевых выводов из этого опыта?

Мой самый большой вывод из опыта работы в качестве преподавателя в Гарварде заключается в том, что это развивает аппетит к решению больших задач. Гарвард традиционно имеет небольшой преподавательский состав, и от преподавателей ожидается решение больших проблем и создание новых областей. Вам необходимо быть смелым. Это, в конечном итоге, оказывается отличной подготовкой к запуску стартапа, создающего новую категорию и определяющего новое пространство. Я не обязательно рекомендую проходить через систему Гарварда сначала, но если вы выживете, построение стартапа будет проще.

Можете ли вы описать свой момент “ага”, когда вы поняли, что сложные системы ИИ уязвимы для плохих данных, с некоторыми потенциально далеко идущими последствиями?

Когда я был аспирантом в UC Berkeley, я взял перерыв, чтобы создать стартап, который строил модели машинного обучения для маркетинга в социальных сетях. Это было в 2010 году. У нас было огромное количество данных из социальных сетей, и мы написали все модели с нуля. Финансовые последствия для ритейлеров были довольно значительными, поэтому мы внимательно следили за производительностью моделей. Поскольку мы использовали данные из социальных сетей, там были много ошибок в входных данных, а также дрейф. Мы увидели, что очень небольшие ошибки привели к большим изменениям в выходных данных модели и могли привести к плохим финансовым результатам для ритейлеров, использующих продукт.

Когда я перешел к работе над Google+ (для тех, кто помнит), я увидел точно такие же эффекты. Более драматично, в системах, таких как AdWords, которые делали прогнозы о вероятности кликов на рекламу для ключевых слов, мы заметили, что небольшие ошибки в входных данных привели к очень плохим прогнозам. Когда вы сталкиваетесь с этой проблемой в масштабе Google, вы понимаете, что проблема универсальна.

Эти переживания сильно повлияли на мою исследовательскую направленность, и я провел свое время в Гарварде, изучая, почему модели ИИ делают ошибки и, что важно, как проектировать алгоритмы, которые могут предотвратить ошибки моделей. Это, конечно, привело к еще большему количеству моментов “ага” и, в конечном итоге, к созданию Robust Intelligence.

Можете ли вы поделиться историей создания Robust Intelligence?

Robust Intelligence началась с исследования того, что изначально было теоретической проблемой: какие гарантии мы можем иметь для решений, принимаемых с помощью моделей ИИ. Kojin был студентом в Гарварде, и мы работали вместе, изначально написав исследовательские статьи. Итак, все начинается с написания статей, которые очерчивают, что фундаментально возможно и невозможно, теоретически. Эти результаты позже продолжились в программу для проектирования алгоритмов и моделей, которые являются устойчивыми к сбоям ИИ. Затем мы построили системы, которые могут запускать эти алгоритмы на практике. После этого запуск компании, где организации могли бы использовать такую систему, был естественным следующим шагом.

Многие из проблем, которые решает Robust Intelligence, – это скрытые ошибки, что это такое и что делает их так опасными?

Прежде чем дать техническое определение скрытых ошибок, стоит сделать шаг назад и понять, почему мы должны заботиться о том, что модели ИИ делают ошибки. Причина, по которой мы заботимся о том, что модели ИИ делают ошибки, заключается в последствиях этих ошибок. Наш мир использует ИИ для автоматизации критических решений: кто получает бизнес-кредит и под какой процент, кто получает медицинское страхование и под какой процент, в какие кварталы должны патрулировать полиция, кто является наиболее вероятным кандидатом на работу, как следует организовать безопасность аэропорта и так далее. Тот факт, что модели ИИ чрезвычайно склонны к ошибкам, означает, что при автоматизации этих критических решений мы наследуем большое количество риска. В Robust Intelligence мы называем это “Риск ИИ” и нашей миссией в компании является устранение риска ИИ.

Скрытые ошибки – это ошибки моделей ИИ, при которых модель ИИ получает входные данные и производит прогноз или решение, которое является неправильным или предвзятым. Итак, на поверхности все кажется нормальным, поскольку модель ИИ делает то, что она должна делать с функциональной точки зрения. Но прогноз или решение является ошибочным. Эти ошибки являются скрытыми, поскольку система не знает, что есть ошибка. Это может быть хуже, чем случай, когда модель ИИ не производит выходных данных, поскольку может потребоваться много времени, чтобы организации поняли, что их система ИИ неисправна. Затем риск ИИ становится сбоями ИИ, которые могут иметь катастрофические последствия.

Robust Intelligence по сути спроектировала брандмауэр ИИ, идею, которая ранее считалась невозможной. Почему это такая техническая проблема?

Одной из причин, по которой брандмауэр ИИ является такой проблемой, является то, что он идет против парадигмы, которую имела община ИИ. Предыдущая парадигма общины ИИ заключалась в том, что для устранения ошибок необходимо подать больше данных, включая плохие данные, в модели. Делая это, модели будут обучаться сами и учиться исправлять ошибки. Проблема с этим подходом заключается в том, что он приводит к резкому снижению точности модели. Наиболее известные результаты для изображений, например, приводят к снижению точности модели ИИ с 98,5% до примерно 37%.

Брандмауэр ИИ предлагает другое решение. Мы отделяем проблему выявления ошибки от роли создания прогноза, что означает, что брандмауэр может сосредоточиться на одной конкретной задаче: определить, будет ли данная точка данных производить ошибочный прогноз.

Это была сама по себе сложная задача из-за трудности сделать прогноз на отдельной точке данных. Есть много причин, по которым модели делают ошибки, поэтому построение технологии, которая может предсказать эти ошибки, не было легкой задачей. Мы очень удачливы, что имеем таких инженеров, какими мы их имеем.

Как система может помочь предотвратить предвзятость ИИ?

Предвзятость модели возникает из-за расхождения между данными, на которых была обучена модель, и данными, которые она использует для принятия решений. Вернувшись к риску ИИ, предвзятость является серьезной проблемой, связанной со скрытыми ошибками. Например, это часто является проблемой с недостаточно представленными популяциями. Модель может иметь предвзятость, поскольку она видела меньше данных из этой популяции, что существенно повлияет на производительность модели и точность ее прогнозов. Брандмауэр ИИ может предупредить организации об этих расхождениях в данных и помочь модели принимать правильные решения.

Какие еще риски для организаций помогают предотвратить брандмауэр ИИ?

Любая компания, использующая ИИ для автоматизации решений, особенно критических решений, автоматически вводит риск. Плохие данные могут быть таковы, как ввод нуля вместо единицы, и все равно привести к значительным последствиям. Будь то неправильные медицинские прогнозы или ложные прогнозы о кредитовании, брандмауэр ИИ помогает организациям предотвратить риск вообще.

Есть ли что-то еще, что вы хотели бы поделиться о Robust Intelligence?

Robust Intelligence быстро растет, и мы получаем много отличных кандидатов на вакансии. Но то, что я действительно хочу подчеркнуть для людей, рассматривающих возможность подачи заявления, заключается в том, что наиболее важным качеством, которое мы ищем в кандидатах, является их страсть к миссии. Мы встречаем много кандидатов, которые сильны технически, поэтому все сводится к пониманию того, действительно ли они страстно увлечены устранением риска ИИ, чтобы сделать мир более безопасным и лучше.

В мире, к которому мы движемся, многие решения, которые в настоящее время принимаются людьми, будут автоматизированы. Нравится нам это или нет, это факт. Учитывая это, все мы в Robust Intelligence хотим, чтобы автоматизированные решения принимались ответственно. Итак, любой, кто взволнован возможностью оказать влияние, кто понимает, как это может повлиять на жизнь людей, является кандидатом, которого мы ищем, чтобы присоединиться к Robust Intelligence. Мы ищем эту страсть. Мы ищем людей, которые создадут эту технологию, которую весь мир будет использовать.

Спасибо за отличное интервью, мне было интересно узнать о ваших взглядах на предотвращение предвзятости ИИ и о необходимости брандмауэра ИИ, читатели, которые хотят узнать больше, должны посетить Robust Intelligence.