Ярон Сингер, генеральный директор Robust Intelligence и профессор компьютерных наук Гарвардского университета — серия интервью

Ярон Сингер — генеральный директор Надежный интеллект и профессор компьютерных наук и прикладной математики в Гарварде. Ярон известен своими революционными результатами в области машинного обучения, алгоритмов и оптимизации. Ранее Ярон работал в Google Research и получил докторскую степень в Калифорнийском университете в Беркли.

Что изначально привлекло вас в области информатики и машинного обучения?

Мое путешествие началось с математики, которая привела меня к информатике, которая поставила меня на путь машинного обучения. Математика поначалу привлекла мой интерес, потому что ее аксиоматическая система дала мне возможность создавать новые миры. Благодаря информатике я узнал о экзистенциальных доказательствах, а также о лежащих в их основе алгоритмах. С творческой точки зрения информатика — это проведение границ между тем, что мы можем и не можем делать.

Мой интерес к машинному обучению всегда основывался на интересе к реальным данным, почти к их физическому аспекту. Берем вещи из реального мира и моделируем их, чтобы сделать что-то значимое. Мы могли бы буквально спроектировать лучший мир с помощью осмысленного моделирования. Таким образом, математика дала мне основу для доказательств, информатика помогает мне увидеть, что можно и что нельзя сделать, а машинное обучение позволяет мне моделировать эти концепции в мире.

До недавнего времени вы были профессором компьютерных наук и прикладной математики в Гарвардском университете. Какие основные выводы вы сделали из этого опыта?

Мой самый большой вывод из работы преподавателем в Гарварде заключается в том, что у человека появляется аппетит к большим делам. В Гарварде традиционно небольшой преподавательский состав, и от постоянных преподавателей ожидают решения больших проблем и создания новых областей. Вы должны быть смелыми. В конечном итоге это отличная подготовка к запуску стартапа по созданию категорий, определяющего новое пространство. Я не обязательно рекомендую сначала пройти курс обучения в Гарварде, но если вы его выдержите, создать стартап будет проще.

Не могли бы вы описать свой момент «ага», когда вы поняли, что сложные системы ИИ уязвимы для неверных данных с некоторыми потенциально далеко идущими последствиями?

Когда я был аспирантом Калифорнийского университета в Беркли, я взял отпуск, чтобы создать стартап, который создавал модели машинного обучения для маркетинга в социальных сетях. Это было в 2010 году. У нас было огромное количество данных из социальных сетей, и мы кодировали все модели с нуля. Финансовые последствия для розничных продавцов были весьма значительны, поэтому мы внимательно следили за работой моделей. Поскольку мы использовали данные из социальных сетей, при вводе было много ошибок, а также дрейф. Мы увидели, что даже небольшие ошибки приводили к значительным изменениям в выходных данных модели и могли привести к плохим финансовым результатам для розничных продавцов, использующих продукт.

Когда я перешел на работу в Google+ (для тех из нас, кто помнит), я увидел точно такие же результаты. Более того, в таких системах, как AdWords, которые прогнозировали вероятность того, что люди нажмут на рекламу по ключевым словам, мы заметили, что небольшие ошибки во входных данных модели приводят к очень плохим прогнозам. Когда вы наблюдаете эту проблему в масштабах Google, вы понимаете, что проблема универсальна.

Этот опыт сильно повлиял на мою исследовательскую направленность, и я провел время в Гарварде, исследуя, почему модели ИИ допускают ошибки и, что важно, как разработать алгоритмы, которые могут предотвратить ошибки моделей. Это, конечно, привело к большему количеству моментов «ага» и, в конечном итоге, к созданию Robust Intelligence.

Не могли бы вы поделиться историей возникновения Robust Intelligence?

Надежный интеллект начался с исследования того, что изначально было теоретической проблемой: какие гарантии мы можем иметь для решений, принимаемых с использованием моделей ИИ. Коджин был студентом Гарварда, и мы работали вместе, сначала писали исследовательские работы. Итак, все начинается с написания статей, в которых описывается, что теоретически возможно и невозможно в принципе. Позже эти результаты были использованы в программе разработки алгоритмов и моделей, устойчивых к сбоям ИИ. Затем мы создаем системы, которые могут запускать эти алгоритмы на практике. После этого создание компании, в которой организации могли бы использовать подобную систему, было естественным следующим шагом.

Многие из проблем, которые решает Robust Intelligence, являются скрытыми ошибками, что это такое и что делает их такими опасными?

Прежде чем дать техническое определение скрытых ошибок, стоит сделать шаг назад и понять, почему мы должны заботиться об ошибках ИИ в первую очередь. Причина, по которой мы заботимся о том, чтобы модели ИИ допускали ошибки, — это последствия этих ошибок. Наш мир использует ИИ для автоматизации важных решений: кто получает бизнес-кредит и по какой процентной ставке, кто получает медицинскую страховку и по какой ставке, какие районы должна патрулировать полиция, кто, скорее всего, будет лучшим кандидатом на работу, как нам организовать безопасность в аэропорту и так далее. Тот факт, что модели ИИ чрезвычайно подвержены ошибкам, означает, что при автоматизации этих важных решений мы наследуем большой риск. В Robust Intelligence мы называем это «риском ИИ», и наша миссия в компании — устранить риск ИИ.

Тихие ошибки — это ошибки моделей ИИ, когда модель ИИ получает входные данные и на выходе выдает неверный или предвзятый прогноз или решение. Итак, на первый взгляд, все в системе выглядит нормально, поскольку модель ИИ делает то, что должна делать с функциональной точки зрения. Но предсказание или решение ошибочно. Эти ошибки молчат, потому что система не знает об ошибке. Это может быть намного хуже, чем случай, когда модель ИИ не дает результатов, потому что организациям может потребоваться много времени, чтобы понять, что их система ИИ неисправна. Затем риск ИИ превращается в сбои ИИ, которые могут иметь ужасные последствия.

Robust Intelligence, по сути, разработал брандмауэр AI Firewall, идея, которая ранее считалась невозможной. Почему это такая техническая проблема?

Одна из причин, по которой брандмауэр AI представляет собой такую ​​проблему, заключается в том, что он идет вразрез с парадигмой сообщества ML. Предыдущая парадигма сообщества машинного обучения заключалась в том, что для устранения ошибок необходимо передавать больше данных, включая неверные данные, в модели. Делая это, модели будут тренироваться и учиться самостоятельно исправлять ошибки. Проблема с этим подходом заключается в том, что он приводит к резкому падению точности модели. Например, самые известные результаты для изображений приводят к снижению точности модели AI с 98.5% до примерно 37%.

AI Firewall предлагает другое решение. Мы отделяем проблему идентификации ошибки от роли создания прогноза, а это означает, что брандмауэр может сосредоточиться на одной конкретной задаче: определить, будет ли точка данных давать ошибочный прогноз.

Это само по себе было проблемой из-за сложности прогнозирования по одной точке данных. Существует множество причин, по которым модели допускают ошибки, поэтому создание технологии, способной предсказывать эти ошибки, было непростой задачей. Нам очень повезло, что у нас есть такие инженеры.

Как система может помочь предотвратить предвзятость ИИ?

Смещение модели возникает из-за несоответствия между данными, на которых была обучена модель, и данными, которые она использует для прогнозирования. Возвращаясь к риску ИИ, предвзятость — серьезная проблема, связанная с скрытыми ошибками. Например, это часто проблема недостаточно представленного населения. Модель может иметь смещение, потому что она видела меньше данных из этой совокупности, что резко повлияет на производительность этой модели и точность ее прогнозов. AI Firewall может предупреждать организации об этих несоответствиях данных и помогать модели принимать правильные решения.

Каковы другие риски для организаций, которые помогает предотвратить брандмауэр AI?

Любая компания, использующая ИИ для автоматизации принятия решений, особенно важных, автоматически вводит риск. Плохие данные могут быть такими незначительными, как ввод нуля вместо единицы, и все же привести к серьезным последствиям. Независимо от того, является ли риск неправильным медицинским прогнозом или ложным прогнозом кредитования, AI Firewall помогает организациям полностью предотвратить риск.

Есть ли что-нибудь еще, чем вы хотели бы поделиться о Robust Intelligence?

Robust Intelligence быстро растет, и мы получаем много отличных кандидатов, претендующих на должности. Но что я действительно хочу подчеркнуть для людей, которые рассматривают возможность подачи заявления, так это то, что самое важное качество, которое мы ищем в кандидатах, — это их страсть к миссии. Мы встречаем много кандидатов, которые технически сильны, поэтому все сводится к пониманию того, действительно ли они увлечены устранением риска ИИ, чтобы сделать мир безопаснее и лучше.

В мире, к которому мы движемся, многие решения, которые в настоящее время принимаются людьми, будут автоматизированы. Нравится нам это или нет, но это факт. Учитывая это, все мы в Robust Intelligence хотим, чтобы автоматические решения принимались ответственно. Таким образом, любой, кто хочет оказать влияние, кто понимает, как это может повлиять на жизнь людей, является кандидатом, которого мы ищем, чтобы присоединиться к Robust Intelligence. Мы ищем эту страсть. Мы ищем людей, которые создадут эту технологию, которой будет пользоваться весь мир.

Спасибо за отличное интервью, мне было приятно узнать о ваших взглядах на предотвращение предвзятости ИИ и на необходимость брандмауэра ИИ, читатели, которые хотят узнать больше, должны посетить Надежный интеллект.