Доктор Джудит Бишоп, старший директор специалистов по ИИ в Appen – Интервью

Доктор Джудит Бишоп – старший директор специалистов по ИИ для региона Азиатско-Тихоокеанского и американского региона в Appen. Она руководит и развивает команду высококвалифицированных и опытных лингвистов, вычислительных лингвистов и экспертов во всех формах человеческого общения (речь, письмо и жест), чтобы предоставлять данные для обучения ИИ с непревзойденным сочетанием качества и скорости.

Что изначально привлекло вас к лингвистике?

Я впервые услышала о лингвистике от любимого учителя английского языка в школе. Я была одним из тех детей, которые одинаково привлечены к иностранным языкам и гуманитарным предметам, и математике и научным предметам. Лингвистика – это наука о том, как работает язык, поэтому она объединила мои интересы. Как и многие люди, как только я узнала об этом, я была полностью увлечена. Что может быть более интересным, чем то, как мы общаемся своими мыслями и чувствами друг с другом? Лингвистика исследует языковые структуры, которые, несмотря на все различия в звуках и системах письма, часто похожи под поверхностью, поскольку все они являются продуктом нашей общей человеческой существования.

Можете ли вы рассказать историю о том, как вы оказались работать в области ИИ?

Я работаю в Appen с 2004 года, поддерживая разработку языковых технологий и услуг. За это время ИИ стал комплексной основой, миссией и видением технологий для имитации и расширения человеческих возможностей общения, рассуждения и восприятия. В 2019 году моя команда переименовала себя в специалистов по ИИ, признав, что наши лингвистические и языковые знания имеют решающее значение для предприятия ИИ. Наши аннотированные данные предоставляют необходимую поддержку для успеха человеческого взаимодействия с продуктами и услугами ИИ.

Вы работаете в области ИИ более 16 лет, какие из самых больших изменений вы видели?

Основным изменением стала диверсификация внимания от разработки ядра технологий к длинному хвосту случаев использования и приложений. На протяжении большей части моей карьеры внимание языково-ориентированного ИИ было сосредоточено на разработке и совершенствовании основного набора моделей, имитирующих человеческое восприятие и производство речи, а именно, распознавание речи, синтез речи и обработка естественного языка. Дatasets обычно соответствовали общим стандартам маркировки и выборки данных, таким как те, которые были разработаны консорциумом Speecon (Speech-Driven Interfaces for Consumer Devices). Эти стандарты позволили разработчикам ядра технологий оценить свою производительность на общих структурах данных и поддержали быстрое развитие ИИ.

Однако повсеместное расширение случаев использования ИИ в последние годы привело к признанию того, что основные, общие модели ИИ, построенные с помощью этих данных, не работают достаточно хорошо на более специализированных типах данных без дополнительной настройки. Кроме того, поскольку эти модели были разработаны на данных, которые были намеренно чистыми и “стандартными”, они теперь должны быть обучены или обновлены, чтобы понять и ответить на все разнообразие человеческих входных данных: все диалекты, все акценты, все этнические группы, все пола и все другие измерения человеческих различий.

Можете ли вы обсудить важность беспристрастных данных в машинном обучении?

Модели машинного обучения, будь то обучение с учителем, без учителя или обучение с подкреплением, будут отражать предубеждения, присутствующие в данных, на которых они обучаются. Alyssa Simpson Rochwerger и Wilson Pang предоставляют несколько отличных примеров этой проблемы в своей недавней книге “Real World AI”. Если для сегмента населения недостаточно обучающих данных, модель ИИ будет менее точной для этого сегмента.

В другом распространенном случае представление населения может быть достаточным, но если обучающие данные содержат корреляции между точками данных, отражающие фактические, но нежелательные условия в мире (например, более низкий уровень полной занятости для женщин или более высокий уровень заключения под стражу для афроамериканцев), полученные приложения ИИ могут укрепить и увековечить эти условия.

Ассоциации, присутствующие в языке в целом, могут создавать предубеждения в приложениях NLP, которые полагаются на статистические отношения, известные как word embeddings. Если “она” и “медсестра” более часто ассоциируются в выбранных обучающих данных, чем “они” или “он” и “медсестра”, то полученное приложение будет использовать “она”, когда будет вынуждено выбрать единственное местоимение для обозначения медсестры. Чтобы решить эту конкретную проблему, исследователи недавно разработали гендерно-нейтральную вариацию часто используемого алгоритма word embeddings, GN-GloVe.

В чувствительных приложениях проблемы предубеждений, такие как эти, могут иметь разрушительное воздействие на пользователей и могут уничтожить бизнес-инвестиции. Хорошая новость заключается в том, что, помимо разработки новых, более прозрачных и инклюзивных наборов данных, растущее число приложений науки о данных разрабатывается для проверки наличия предубеждений в существующих обучающих наборах данных и приложениях ИИ.

Appen недавно запустила новые разнообразные обучающие наборы данных для инициатив NLP. Можете ли вы рассказать некоторые подробности о том, как эти наборы данных позволят конечным пользователям получать одинаковый опыт, независимо от языкового разнообразия, диалекта, этнолекта, акцента, расы или пола?

По вышеупомянутым причинам необходимы наборы данных для исправления существующих предубеждений в производственных системах ИИ, а также более инклюзивные наборы данных для обучения будущих систем. Наборы данных Appen, о которых вы упомянули, будут поддерживать исправление предубеждений, связанных с этнической принадлежностью и связанными с ней этнолектами, такими как афроамериканский разговорный английский. Они будут предоставлять дополнительные обучающие данные для повышения представительства этого населения в моделях языка ИИ.

Этническая принадлежность становится критическим демографическим измерением для явной маркировки в данных ИИ. Лингвисты называют языковые разновидности, связанные с конкретными этническими группами, “этнолектами”. Поставщики данных ИИ, такие как Appen, теперь признают, что если ключевые разнообразные и меньшинственные популяции не представлены явно в обучающих наборах данных ИИ, мы не можем гарантировать, что полученные системы будут работать одинаково хорошо для этих популяций.

Равная производительность означает, что система распознает с одинаковой точностью слова и намерения пользователя (их значения или действия, которые они хотят совершить) и в некоторых случаях настроение; и что она реагирует способами, которые одинаково удовлетворяют потребностям пользователя, и не производит более негативного воздействия на конкретную популяцию пользователей, либо практически, либо психологически.

Долгое время подход к сбору данных заключался в том, чтобы сосредоточиться на географически и диалектно представительном выборе в базах данных – предполагая, что это обеспечит обобщение технологий на все население говорящих на языке. Однако относительно худшая производительность языковых технологий, недавно задокументированная для говорящих на афроамериканском разговорном английском, показала, что это не так. Популяции, разнообразные по этнической принадлежности, расе, полу и акценту, среди других измерений, должны быть проактивно включены в обучающие наборы данных, чтобы обеспечить, что их голоса будут услышаны и поняты продуктами и услугами ИИ. Наборы данных Appen для обучения ИИ решают эту проблему.

Вне ИИ вы также являетесь поэтом, и некоторые из ваших стихов выиграли различные отраслевые награды. Каково ваше мнение о будущем ИИ, обладающем таким же творчеством, включая написание стихов?

Это fascинirующий вопрос. Поэзия и другие формы человеческого творчества опираются на все наши человеческие ресурсы памяти, восприятия, ощущения и эмоций, а также на структуры и нюансы языка и изображения, чтобы произвести идеи, которые резонируют с современными проблемами. Эмили Дикинсон написала: “Если я читаю книгу и она делает мое тело холодным, как никакой огонь не может меня согреть, я знаю, что это поэзия. Если я чувствую физически, как будто верх моей головы снят, я знаю, что это поэзия”. Там должен быть элемент перцептивного, сенсорного или эмоционального признания, но также и настоящее удивление.

Продвинутые модели ИИ, такие как GPT-3, статистически моделируют вероятность появления слов вместе в разных жанрах, включая поэзию. Это означает, что они могут производить что-то, что мы распознаем как “поэтический” язык, такой как использование повышенной лексики, рифмы и неожиданных или сюрреалистических комбинаций слов. Но эти генеративные языковые модели лишены большинства ресурсов, упомянутых выше, которые необходимы для создания произведения искусства, которое проливает свет на то, что значит быть человеком в настоящее время.

Что я нахожу убедительным в ИИ в творческом контексте, так это его потенциал производить совершенно новые идеи – идеи, которые отличаются по виду и находятся за пределами досягаемости любого человеческого разума, даже самого полиматического или глубоко прочитанного и опытного человеческого разума. Как только ИИ будет иметь постоянный доступ к сенсорным и перцептивным данным для анализа в широком диапазоне человеческих областей (визуальной, тактильной, слуховой, физиологической, эмоциональной), нет никакого понятия, что мы узнаем о себе и мире. Аналитические возможности ИИ могут произвести плодородную новую почву для творческого человеческого исследования.

У вас была феноменальная карьера до сих пор, что, по вашему мнению, мешает большему количеству женщин присоединиться к STEM и, в частности, к ИИ?

Отсутствие образцов для подражания может быть мощным фактором (и порочным кругом). Существует реальная трудность – культурная, социальная и практическая – в том, чтобы проникнуть в области, где женщины и люди других разнообразных гендеров еще не имеют глубоко укоренившегося присутствия, и где уважение к тому, что мы можем внести, слишком часто отсутствует. Мой собственный опыт как лидера показал мне время от времени, как устойчивые, творческие и успешные команды могут быть, когда они включают разнообразные опыт и ориентации. Лидерам необходимо быть авантюрными в найме и смелыми в своей уверенности, что они могут справиться с проблемами для своего образа мышления, которые разнообразные перспективы приносят, зная, что эта смелость также была показана как сильная корреляция с финансовым и корпоративным успехом.

Есть ли что-то еще, что вы хотели бы поделиться об Appen или ИИ в целом?

Поставщики данных, такие как Appen, имеют мощный потенциал для положительного влияния на результаты ИИ, предоставляя инклюзивные обучающие данные.

Однако достижение цели инклюзивного ИИ потребует участия всех. Покупатели данных также должны признать свою ответственность за явную просьбу – и оплату – инклюзивных данных, которые будут обеспечивать оптимальную производительность их систем для всех пользователей в реальном мире. И те, кто из разнообразных сообществ поставляет свои данные для разработки ИИ, должны быть в состоянии доверять использованию, которое будет сделано из них. Построение этого доверия потребует сильной прозрачности и этических практик со стороны всех, кто работает с чувствительными данными.

Спасибо за отличное интервью, мне было интересно узнать больше о ваших взглядах на ИИ и лингвистику. Читателям, которые хотят узнать больше, следует посетить Appen.