Алисса Симпсон Рочвергер, соавтор книги “Реальный мир ИИ” – Интервью

Алисса Рочвергер – лидер продукта, ориентированный на клиентов, посвященный созданию продуктов, которые решают сложные проблемы для реальных людей. Она занимала различные руководящие должности в организациях, занимающихся машинным обучением. Она работала вице-президентом по продукту в компании Figure Eight (приобретенной компанией Appen), вице-президентом по ИИ и данным в компании Appen, и директором по продукту в IBM Watson. Недавно она покинула эту область, чтобы преследовать свою мечту использовать технологии для улучшения здравоохранения. В настоящее время она работает директором по продукту в компании Blue Shield of California, где она окружена большим количеством данных, сложными проблемами и множеством возможностей для положительного влияния.

Мы обсуждаем ее новую книгу: Реальный мир ИИ: Практическое руководство по ответственным машинным обучениям

В введении книги вы описываете, как в качестве менеджера продукта IBM вы впервые столкнулись с проблемой предвзятости ИИ, когда алгоритм классифицировал изображение человека в инвалидном кресле как “неудачника”. Насколько это было для вас сигналом тревоги по поводу предвзятости ИИ?

Я бы не назвала это сигналом тревоги, а скорее моим первым опытом создания продукта на основе машинного обучения (я была только несколько месяцев на этой должности) и я еще не знала достаточно о том, как эта технология работает, чтобы правильно установить охраны и активно смягчить нежелательную предвзятость. Это был открывающий опыт, который обострил мое внимание к этой проблеме – и сделал меня остро осведомленной о том, что легко для системной социальной предвзятости закодировать в продукты на основе машинного обучения, если команда не активно смягчает ее. Я была счастлива работать в учреждении, которое глубоко заботится об равенстве и вкладывает ресурсы в смягчение.

Что вы лично узнали, исследуя и пиша эту книгу?

Лично – мне пришлось вырезать время для написания этой книги, одновременно меняя работу, имея 1-летнего ребенка и ориентируясь в COVID. Я узнала, как вырезать время, чтобы сделать это приоритетом, и как просить о помощи у своей семьи, которая дала мне время, чтобы уделить внимание написанию книги.

Профессионально – было замечательно иметь так много участников, которые добровольно и благородно поделились своими историями с нами для публикации. Профессионалы машинного обучения, по моему опыту, – невероятно вдумчивая и благородная группа людей – готовая помочь другим и поделиться ошибками и уроками. К сожалению, многие из этих историй об ошибках не были включены в эту книгу или были значительно анонимизированы, из-за опасений по поводу публичного раскрытия информации, которая могла бы поставить компанию или человека в невыгодное положение, если ее неправильно истолковать. Хотя это, безусловно, нормально, лично я считаю, что это плохо – я являюсь большим сторонником обучения и роста из прошлого опыта и ошибок, если они могут быть полезны для других.

Какие из наиболее важных уроков, которые вы надеетесь, что люди возьмут из чтения этой книги?

Я надеюсь, что люди узнают, что машинное обучение не так уж и страшно или трудно понять. Это мощная, но иногда хрупкая технология, которая нуждается в руководстве и структуре, чтобы успешно решать сложные проблемы. Также что ответственное и этическое использование этой технологии имеет решающее значение для зрелости и успеха – и что сосредоточение внимания на смягчении вредной предвзятости на ранней стадии является ключом к бизнес-успеху.

Один из примеров предвзятости ИИ по гендеру, изображенный в книге, – это выпуск кредитных карт Apple (AAPL ) с более низкими кредитными лимитами для женщин, чем для мужчин. Этот пример показал, что без учета гендера в качестве опции невозможно было выяснить, что результат был предвзятым, пока не был выпущен окончательный продукт. Какие типы входных данных, по вашему мнению, никогда не следует опускать, чтобы избежать предвзятости против гендера или меньшинств?

Нет жесткого и быстрого правила – каждый набор данных, случай использования и ситуация различны. Я бы посоветовала практикам углубиться в детали и нюансы проблемы, которую алгоритм машинного обучения применяется для решения, – и какой вредной предвзятости может быть закодирована в это решение.

В книге описывается, как основная ответственность при общении с командой ИИ – точно определить результаты, которые важны для бизнеса. Насколько часто, по вашему мнению, компании не справляются с этой задачей?

Я бы сказала, что в моем опыте большинство времени результаты либо не определены, либо определены только на свободном или высоком уровне. Углубление в детали о конкретных результатах – это простой способ установить команду для успеха с самого начала.

Книга говорит об важности понимания того, что система ИИ не является “Установи и забудь” типом системы. Не могли бы вы кратко обсудить это?

Это классическая ошибка, которую большинство компаний совершают при запуске новой системы машинного обучения в производство. Реальность меняется – время проходит, то, что было правдой вчера (тренировочные данные), может не быть правдой завтра. Это зависит от ваших обстоятельств, но в большинстве случаев важно иметь возможность учиться и корректировать и принимать лучшие решения с течением времени на основе более свежей информации.

Продукты на основе машинного обучения по сути являются принимающими решения. Чтобы сравнить это с человеческим примером – это как судья в высокорискованной футбольной игре. Многие разы, если это хорошо обученный судья с опытом, судья принимает хорошее решение, и игра продолжается – но иногда этот судья либо принимает плохое решение – либо не уверен, какое решение принять – и нуждается в том, чтобы вернуться и просмотреть видео – спросить несколько других людей, чтобы принять решение о конкретном розыгрыше. Аналогично – продукты машинного обучения нуждаются в обратной связи, обучении, и иногда они не уверены. Им нужны варианты резервного плана, чтобы вернуться к ним, а также новая информация, чтобы учиться и улучшаться с течением времени. Хороший судья будет учиться и улучшать свои суждения с течением времени.

Не могли бы вы рассказать об важности создания межфункциональной команды, которая может определить, какие проблемы лучше всего решать с помощью ИИ?

Технология машинного обучения обычно хорошо подходит для очень сложных и конкретных проблем, которые не решаются другими подходами. Любая сложная проблема – для этого требуется команда, чтобы быть успешной. Когда компании новички в ИИ – часто существует ложный нарратив, что один ученый-исследователь машинного обучения или даже команда машинного обучения могут решить проблему самостоятельно. Я никогда не находила, чтобы это было правдой. Для этого требуется команда с разными фоновыми и подходами, чтобы решить сложную проблему – и, безусловно, чтобы развернуть технологию машинного обучения успешно в производство.

Спасибо за отличное интервью, для читателей (и особенно бизнес-исполнителей), которые заинтересованы в том, чтобы узнать больше, я рекомендую прочитать книгу Реальный мир ИИ: Практическое руководство по ответственным машинным обучениям.