Ярон Сингер, генеральный директор Robust Intelligence и профессор компьютерных наук в Гарвардском университете – Интервью

Ярон Сингер является генеральным директором Robust Intelligence и профессором компьютерных наук и прикладной математики в Гарварде. Ярон известен своими прорывными результатами в области машинного обучения, алгоритмов и оптимизации. Ранее Ярон работал в Google (GOOGL ) Research и получил степень PhD в Университете Калифорнии в Беркли.

Что изначально привлекло вас к области компьютерных наук и машинного обучения?

Мое путешествие началось с математики, которая привела меня к компьютерным наукам, а затем к машинному обучению. Математика изначально привлекла мое внимание, поскольку ее аксиоматическая система давала мне возможность создавать новые миры. С компьютерными науками я узнал об экзистенциальных доказательствах, но также об алгоритмах, лежащих в их основе. С творческой точки зрения, компьютерные науки – это рисование границ между тем, что мы можем и не можем сделать.

Мой интерес к машинному обучению всегда был основан на интересе к реальным данным, почти физической стороне этого. Брать вещи из реального мира и моделировать их, чтобы сделать что-то осмысленное. Мы могли бы буквально создать лучший мир через осмысленное моделирование. Итак, математика дала мне основу для доказательства вещей, компьютерные науки помогают мне видеть, что можно и не можно сделать, а машинное обучение позволяет мне моделировать эти понятия в мире.

До недавнего времени вы были профессором компьютерных наук и прикладной математики в Гарвардском университете, какие были некоторые из ваших ключевых выводов из этого опыта?

Мой самый большой вывод из того, что я был членом факультета Гарварда, заключается в том, что это развивает аппетит к решению больших проблем. Гарвард традиционно имеет небольшой преподавательский состав, и ожидание от преподавателей – решать большие проблемы и создавать новые области. Вам нужно быть смелым. Это оказывается отличной подготовкой к запуску стартапа, создающего новую категорию и определяющего новое пространство. Я не обязательно рекомендую проходить через систему Гарварда сначала, но если вы выживете, построение стартапа становится проще.

Можете ли вы описать ваш момент “ага”, когда вы поняли, что сложные системы ИИ уязвимы для плохих данных, с некоторыми потенциально далеко идущими последствиями?

Когда я был аспирантом в Университете Калифорнии в Беркли, я взял перерыв, чтобы создать стартап, который строил модели машинного обучения для маркетинга в социальных сетях. Это было в 2010 году. У нас были огромные объемы данных из социальных сетей, и мы написали все модели с нуля. Финансовые последствия для ритейлеров были довольно значительными, поэтому мы внимательно следили за производительностью моделей. Поскольку мы использовали данные из социальных сетей, были много ошибок в входных данных, а также дрейф. Мы увидели, что очень маленькие ошибки приводили к большим изменениям в выходных данных модели и могли привести к плохим финансовым результатам для ритейлеров, использующих продукт.

Когда я перешел на работу в Google+ (для тех из нас, кто помнит), я увидел тот же самый эффект. Более драматично, в системах, таких как AdWords, которые делали прогнозы о вероятности того, что люди кликнут на рекламу для ключевых слов, мы заметили, что маленькие ошибки в входных данных приводили к очень плохим прогнозам. Когда вы видите эту проблему в масштабе Google, вы понимаете, что проблема универсальна.

Эти переживания сильно повлияли на мой исследовательский фокус, и я провел свое время в Гарварде, исследуя, почему модели ИИ совершают ошибки и, что важно, как проектировать алгоритмы, которые могут предотвратить ошибки моделей. Это, конечно, привело к еще большему количеству моментов “ага” и, в конечном итоге, к созданию Robust Intelligence.

Можете ли вы рассказать историю о создании Robust Intelligence?

Robust Intelligence началось с исследования того, что изначально было теоретической проблемой: какие гарантии мы можем иметь для решений, принимаемых с помощью моделей ИИ. Кожин был студентом в Гарварде, и мы работали вместе, изначально написав исследовательские статьи. Итак, все начинается с написания статей, которые очерчивают, что фундаментально возможно и невозможно, теоретически. Эти результаты позже продолжились в программу для проектирования алгоритмов и моделей, которые являются устойчивыми к сбоям ИИ. Затем мы построили системы, которые могут запускать эти алгоритмы на практике. После этого запуск компании, где организации могли бы использовать такую систему, был логическим следующим шагом.

Многие из проблем, которые решает Robust Intelligence, являются скрытыми ошибками, что это такое и что делает их так опасными?

Прежде чем дать техническое определение скрытых ошибок, стоит сделать шаг назад и понять, почему мы должны заботиться о том, что модели ИИ совершают ошибки. Причина, по которой мы заботимся о том, что модели ИИ совершают ошибки, заключается в последствиях этих ошибок. Наш мир использует ИИ для автоматизации критических решений: кто получает бизнес-кредит и под какой процент, кто получает медицинское страхование и под какой процент, какие кварталы должны патрулировать полицейские, кто является наиболее вероятным кандидатом на работу, как следует организовать безопасность аэропорта и т. д. Тот факт, что модели ИИ чрезвычайно склонны к ошибкам, означает, что при автоматизации этих критических решений мы наследуем большой риск. В Robust Intelligence мы называем это “Риск ИИ” и нашей миссией является устранение риска ИИ.

Скрытые ошибки – это ошибки моделей ИИ, при которых модель ИИ получает входные данные и производит прогноз или решение, которое является неправильным или предвзятым. Итак, на поверхности все кажется нормальным, поскольку модель ИИ делает то, что она должна делать с функциональной точки зрения. Но прогноз или решение является ошибочным. Эти ошибки являются скрытыми, поскольку система не знает, что есть ошибка. Это может быть хуже, чем случай, в котором модель ИИ не производит выходных данных, поскольку может потребоваться много времени, чтобы организации поняли, что их система ИИ неисправна. Затем риск ИИ становится сбоями ИИ, которые могут иметь катастрофические последствия.

Robust Intelligence по сути разработала брандмауэр ИИ, идею, которая ранее считалась невозможной. Почему это такая техническая проблема?

Одна из причин, по которой брандмауэр ИИ является такой проблемой, заключается в том, что он идет против парадигмы, которой обладало сообщество ИИ. Предыдущая парадигма сообщества ИИ заключалась в том, что для искоренения ошибок необходимо подать больше данных, включая плохие данные, в модели. Таким образом, модели будут обучаться и учиться исправлять ошибки самостоятельно. Проблема с этим подходом заключается в том, что он приводит к резкому снижению точности модели. Наиболее известные результаты для изображений, например, приводят к снижению точности модели ИИ с 98,5% до примерно 37%.

Брандмауэр ИИ предлагает другое решение. Мы отделяем проблему выявления ошибки от роли создания прогноза, что означает, что брандмауэр может сосредоточиться на одной конкретной задаче: определить, приведет ли точка данных к ошибочному прогнозу.

Это была проблема сама по себе из-за трудности прогнозирования ошибок для отдельных точек данных. Есть много причин, по которым модели совершают ошибки, поэтому построение технологии, которая могла бы предсказать эти ошибки, не было легкой задачей. Нам повезло иметь таких инженеров, какими мы их имеем.

Как система может помочь предотвратить предвзятость ИИ?

Предвзятость модели возникает из-за расхождения между данными, на которых была обучена модель, и данными, которые она использует для прогнозирования. Вернувшись к риску ИИ, предвзятость является основной проблемой, связанной со скрытыми ошибками. Например, это часто проблема с недопредставленными популяциями. Модель может иметь предвзятость, поскольку она видела меньше данных из этой популяции, что существенно повлияет на производительность модели и точность ее прогнозов. Брандмауэр ИИ может предупредить организации об этих расхождениях в данных и помочь модели принимать правильные решения.

Какие еще риски существуют для организаций, которые брандмауэр ИИ помогает предотвратить?

Любая компания, использующая ИИ для автоматизации решений, особенно критических решений, автоматически вводит риск. Плохие данные могут быть такими незначительными, как ввод нуля вместо единицы, и все равно привести к значительным последствиям. Будь то неправильные медицинские прогнозы или ложные прогнозы о кредитовании, брандмауэр ИИ помогает организациям предотвратить риск вообще.

Есть ли что-то еще, что вы хотели бы поделиться о Robust Intelligence?

Robust Intelligence быстро растет, и мы получаем много отличных кандидатов на вакансии. Но то, что я действительно хочу подчеркнуть для людей, которые рассматривают возможность подачи заявления, заключается в том, что наиболее важным качеством, которое мы ищем в кандидатах, является их страсть к нашей миссии. Мы встречаем много кандидатов, которые технически сильны, поэтому все сводится к пониманию того, действительно ли они страстно хотят устранить риск ИИ, чтобы сделать мир более безопасным и лучше. В мире, к которому мы движемся, многие решения, которые сейчас принимаются людьми, будут автоматизированы. Нравится нам это или нет, это факт. Учитывая это, все мы в Robust Intelligence хотим, чтобы автоматизированные решения принимались ответственно. Итак, любой, кто взволнован созданием влияния, кто понимает, как это может повлиять на жизнь людей, является кандидатом, которого мы ищем, чтобы присоединиться к Robust Intelligence. Мы ищем эту страсть. Мы ищем людей, которые создадут эту технологию, которую весь мир будет использовать.

Спасибо за отличное интервью, мне было интересно узнать о ваших взглядах на предотвращение предвзятости ИИ и на необходимость брандмауэра ИИ, читателям, которые хотят узнать больше, следует посетить Robust Intelligence.