Доктор Джудит Бишоп, старший директор специалистов по ИИ в Appen – Интервью

Доктор Джудит Бишоп является старшим директором специалистов по ИИ для региона APAC/US в Appen. Она руководит и развивает команду высококвалифицированных и опытных лингвистов, компьютерных лингвистов и экспертов во всех видах человеческого общения (речь, письмо и жест), чтобы предоставлять данные для обучения ИИ с непревзойденным сочетанием качества и скорости.

Что изначально привлекло вас к лингвистике?

Я впервые услышала о лингвистике от любимого учителя английского языка в школе. Я была одним из тех детей, которые одинаково привлечены к иностранным языкам и гуманитарным наукам, и математике и естественным наукам. Лингвистика – это наука о том, как работает язык, поэтому она объединила мои интересы. Как и многие люди, когда я узнала об этом, я стала полностью увлечена. Что может быть более fascинующим, чем то, как мы общаемся свои мысли и чувства друг с другом? Лингвистика исследует языковые структуры, которые, несмотря на все различия в звуках и системах письма, часто похожи под поверхностью, поскольку все они являются продуктом нашей общей человеческой существования.

Можете ли вы рассказать историю о том, как вы оказались работать в области ИИ?

Я работаю в Appen с 2004 года, поддерживая разработку языковых технологий и услуг. За это время ИИ стал комплексной основой, миссией и видением технологий для имитации и расширения человеческих возможностей общения, рассуждения и восприятия. В 2019 году моя команда переименовала себя в специалистов по ИИ, признавая, что наши лингвистические и языковые знания являются критически важными для предприятия ИИ. Наши аннотированные данные предоставляют необходимую поддержку для успеха взаимодействия человека с продуктами и услугами ИИ.

Вы работаете в области ИИ уже более 16 лет, какие из самых больших изменений вы видели?

Основным сдвигом стало расширение фокуса с разработки основной технологии на длинный хвост случаев использования и приложений. На протяжении большей части моей карьеры основным направлением языково-ориентированного ИИ было разработка и совершенствование основного набора моделей, имитирующих человеческое восприятие и производство речи, а именно, распознавание речи, синтез речи и обработка естественного языка. Дatasets обычно соответствовали общим стандартам маркировки и выборки данных, таким как те, которые были разработаны консорциумом Speecon (Speech-Driven Interfaces for Consumer Devices). Эти стандарты позволили разработчикам основной технологии оценивать свою производительность на общих структурах данных и поддерживали быстрое развитие ИИ.

Распространенное расширение случаев использования ИИ в последние годы, однако, привело к признанию того, что основные, общие модели ИИ, построенные с помощью этих данных, не работают достаточно хорошо на более специализированных типах данных без дополнительной настройки. Кроме того, поскольку эти модели были разработаны на данных, которые были намеренно чистыми и “стандартными”, они теперь должны быть обучены или обновлены, чтобы понять и ответить на все разнообразие человеческих входных данных: все диалекты, все акценты, все этнические группы, все пола и все другие измерения человеческих различий.

Можете ли вы обсудить важность не偏ированных данных в машинном обучении?

Модели машинного обучения, будь то модели обучения с учителем, без учителя или с подкреплением, будут отражать предвзятости, присутствующие в данных, на которых они обучены. Alyssa Simpson Rochwerger и Wilson Pang предоставляют несколько отличных примеров этой проблемы в своей недавней книге Real World AI. Если существует недостаточно данных для обучения для сегмента населения, модель ИИ будет менее точной для этого сегмента.

В другом распространенном случае представление населения может быть достаточным, но если данные для обучения содержат корреляции между точками данных, которые отражают фактические, но нежелательные, условия в мире (например, более низкий уровень полной занятости для женщин или более высокий уровень заключения под стражу для афроамериканцев), полученные приложения ИИ могут укреплять и увековечивать эти условия.

Ассоциации, присутствующие в языке в целом, могут создавать предвзятости в приложениях NLP, которые полагаются на статистические отношения, известные как word embeddings. Если “она” и “медсестра” более часто ассоциируются в выбранных данных для обучения, чем “они” или “он” и “медсестра”, то полученное приложение будет использовать “она”, когда будет вынуждено выбрать единственное местоимение для обозначения медсестры. Чтобы решить эту конкретную проблему, исследователи недавно разработали гендерно-нейтральную вариацию часто используемого алгоритма word embeddings, GN-GloVe.

В чувствительных приложениях проблемы предвзятости, такие как эти, могут иметь разрушительное воздействие на пользователей и могут уничтожить бизнес-инвестиции. Хорошая новость заключается в том, что, помимо разработки новых, более прозрачных и инклюзивных наборов данных, растущее число приложений data science разрабатывается для проверки наличия предвзятости в существующих наборах данных для обучения и приложениях ИИ.

Appen недавно запустила новые разнообразные наборы данных для инициатив по обработке естественного языка (NLP). Можете ли вы рассказать некоторые подробности о том, как эти наборы данных позволят конечным пользователям получать одинаковый опыт, независимо от языкового разнообразия, диалекта, этнолекта, акцента, расы или пола?

По причинам, упомянутым выше, необходимы наборы данных для исправления существующих предвзятостей в производственных системах ИИ, а также более инклюзивные наборы данных для обучения будущих систем. Наборы данных Appen, о которых вы упомянули, будут поддерживать исправление предвзятостей, связанных с этнической принадлежностью и связанными с ней этнолектами, такими как афроамериканский разговорный английский. Они будут предоставлять дополнительные данные для обучения, чтобы повысить представленность этого населения в языковых моделях ИИ.

Этническая принадлежность становится критически важным демографическим измерением для явной маркировки в данных ИИ. Лингвисты называют языковые разновидности, связанные с конкретными этническими группами, “этнолектами”. Поставщики данных ИИ, такие как Appen, теперь признают, что если ключевые разнообразные и меньшинственные популяции не представлены явно в наборах данных для обучения ИИ, мы не можем гарантировать, что полученные системы будут работать одинаково хорошо для этих популяций.

Равная производительность означает, что система распознает с одинаковой точностью слова и намерения пользователя (их значения или действия, которые они хотят совершить) и в некоторых случаях, настроение; и что она реагирует способами, которые одинаково удовлетворяют потребностям пользователя и не производят более негативного воздействия на конкретную популяцию пользователей, либо практически, либо психологически.

Долгое время подход к сбору данных заключался в том, чтобы сосредоточиться на географически и диалектально представительных выборках в базах данных – предполагая, что это обеспечит обобщение технологий на все население говорящих на языке. Однако относительно худшая производительность языковых технологий, недавно задокументированная для говорящих на афроамериканском разговорном английском, показала, что это не так. Популяции, разнообразные по этнической принадлежности, расе, полу и акценту, среди других измерений, должны быть проактивно включены в наборы данных для обучения, чтобы обеспечить, что их голоса будут услышаны и поняты продуктами и услугами ИИ. Разнообразные наборы данных ИИ Appen решают эту проблему.

За пределами ИИ вы также являетесь поэтом с несколькими вашими стихами, выигравшими различные награды в отрасли. Каково ваше мнение о будущем ИИ, демонстрирующем этот тип творчества, включая написание стихов?

Это fascинующий вопрос. Поэзия и другие формы человеческого творчества опираются на все наши человеческие ресурсы памяти, восприятия, ощущения и эмоций, а также структуры и нюансы языка и образа, чтобы произвести прозрения, которые резонируют с современными проблемами. Эмили Дикинсон написала: “Если я читаю книгу и она делает мое тело таким холодным, что никакой огонь не может меня согреть, я знаю, что это поэзия. Если я чувствую физически, как будто верхняя часть моей головы снята, я знаю, что это поэзия”. Там должен быть элемент перцептивного, сенсорного или эмоционального признания, но также настоящее удивление.

Передовые модели ИИ, такие как GPT-3, статистически моделируют вероятность появления слов вместе в разных жанрах, включая поэзию. Это означает, что они могут произвести что-то, что мы признаем как “поэтический” язык, такой как использование повышенного словарного запаса, рифмы и неожиданных или сюрреалистических комбинаций слов. Но эти генеративные модели языка не имеют большинства ресурсов, упомянутых выше, которые необходимы для производства произведения искусства, которое проливает свет на то, что значит быть человеком в настоящее время.

Что я нахожу убедительным в ИИ в творческом контексте, так это его потенциал произвести совершенно новые прозрения – прозрения, которые отличаются по виду и находятся за пределами досягаемости любого человеческого разума, даже самого полиматического или глубоко прочитанного и опытного человеческого разума. Как только ИИ будет иметь постоянный доступ к сенсорным и перцептивным данным для анализа в широком диапазоне человеческих областей (визуальной, тактильной, слуховой, физиологической, эмоциональной), нет знающего, что мы узнаем о себе и мире. Аналитические возможности ИИ могут произвести плодородные новые основы для творческого человеческого исследования.

У вас была феноменальная карьера до сих пор, в вашем мнении, что мешает больше женщинам присоединиться к STEM и, в частности, к ИИ?

Отсутствие образцов для подражания может быть мощным фактором (и порочным кругом). Существует настоящая трудность – культурная, социальная и практическая – в том, чтобы пробиться в области, где женщины и люди других разнообразных полов еще не имеют глубоко укоренившегося присутствия, и где уважение к тому, что мы можем внести, слишком часто отсутствует. Мой собственный опыт лидера показал мне снова и снова, как устойчивые, творческие и успешные команды могут быть, когда они включают разнообразные опыт и ориентации. Лидерам необходимо быть авантюрными в их найме и смелыми в своей уверенности в том, что они могут справиться с проблемами для своего образа мышления, которые разнообразные перспективы приносят, зная, что эта смелость также была показана как сильная корреляция с финансовым и корпоративным успехом.

Есть ли что-то еще, что вы хотели бы поделиться об Appen или ИИ в целом?

Поставщики данных, такие как Appen, имеют мощный потенциал для влияния на результаты ИИ в лучшую сторону, предоставляя инклюзивные данные для обучения.

Однако достижение цели инклюзивного ИИ потребует участия всех. Покупатели данных также должны признать свою ответственность за явную просьбу – и оплату – инклюзивных данных, которые будут обеспечивать оптимальную производительность их систем для всех пользователей в реальном мире. И те, кто из разнообразных сообществ поставляет свои данные для разработки ИИ, должны иметь возможность доверять тому, для чего они будут использованы. Построение этого доверия потребует сильной прозрачности и этических практик со стороны всех, кто обрабатывает чувствительные данные.

Спасибо за отличное интервью, мне было интересно узнать больше о ваших взглядах на ИИ и лингвистику. Читатели, которые хотят узнать больше, должны посетить Appen.