Нора Петрова, инженер машинного обучения и консультант по ИИ в Prolific – Интервью

Нора Петрова – инженер машинного обучения и консультант по ИИ в Prolific. Prolific была основана в 2014 году и уже сотрудничает с такими организациями, как Google, Стэнфордский университет, Оксфордский университет, Королевский колледж Лондона и Европейская комиссия, используя свою сеть участников для тестирования новых продуктов, обучения систем ИИ в таких областях, как отслеживание глаз, и определения того, работают ли их приложения ИИ, ориентированные на человека, так, как их создатели намеревались.

Не могли бы вы рассказать немного о своем прошлом в Prolific и своей карьере на данный момент? Что вас заинтересовало в ИИ?

Моя роль в Prolific разделена между советами по случаям и возможностям ИИ, и более практической работой инженера машинного обучения. Я начала свою карьеру в области программной инженерии и постепенно перешла к машинному обучению. В течение последних 5 лет я сосредоточилась на случаях и проблемах обработки естественного языка.

То, что изначально заинтересовало меня в ИИ, – это способность учиться на данных и связь с тем, как мы, люди, учимся и как устроен наш мозг. Я думаю, что машинное обучение и нейробиология могут дополнить друг друга и помочь нам глубже понять, как строить системы ИИ, которые могут ориентироваться в мире, проявлять творчество и приносить пользу обществу.

Какие из самых больших проблем предвзятости ИИ вы лично знаете?

Предвзятость присуща данным, которые мы подаем в модели ИИ, и полностью исключить ее очень сложно. Однако важно, чтобы мы были осведомлены о предвзятостях, присутствующих в данных, и находили способы смягчить вредные виды предвзятости, прежде чем доверять модели важными задачами в обществе. Самые большие проблемы, с которыми мы сталкиваемся, – это модели, которые увековечивают вредные стереотипы, системные предубеждения и несправедливости в обществе. Нам следует быть внимательными к тому, как эти модели ИИ будут использоваться и какое влияние они окажут на своих пользователей, и обеспечить, чтобы они были безопасными, прежде чем одобрять их для чувствительных случаев использования.

Некоторые заметные области, где модели ИИ проявили вредные предвзятости, включают дискриминацию мало представленных групп в школах и университетах и гендерные стереотипы, негативно влияющие на набор женщин. Не только это, но и алгоритм уголовного правосудия был признан ошибочно помечающим афроамериканских обвиняемых как “высокорисковые” почти в два раза чаще, чем белых обвиняемых в США, а технология распознавания лиц все еще страдает от высоких ошибок для меньшинств из-за отсутствия представительных тренировочных данных.

Приведенные выше примеры охватывают лишь небольшую часть предвзятостей, продемонстрированных моделями ИИ, и мы можем предвидеть более серьезные проблемы, которые возникнут в будущем, если мы не сосредоточимся на смягчении предвзятости сейчас. Важно помнить, что модели ИИ учатся на данных, которые содержат эти предвзятости из-за принятия решений человеком, под влиянием непроверенных и бессознательных предвзятостей. Во многих случаях обращение к человеческому решению может не исключить предвзятость.真正 смягчение предвзятостей будет включать понимание того, как они присутствуют в данных, которые мы используем для обучения моделей, изоляцию факторов, которые способствуют предвзятым прогнозам, и коллективное решение о том, на чем мы хотим основывать важные решения. Разработка набора стандартов, чтобы мы могли оценить модели на безопасность, прежде чем они будут использоваться для чувствительных случаев использования, будет важным шагом вперед.

Галлюцинации ИИ – это огромная проблема с любым типом генеративного ИИ. Не могли бы вы обсудить, как обучение с человеком в цикле (HITL) может смягчить эти проблемы?

Галлюцинации в моделях ИИ проблематичны в определенных случаях использования генеративного ИИ, но важно отметить, что они сами по себе не являются проблемой. В определенных творческих использованиях генеративного ИИ галлюцинации желательны и способствуют более творческому и интересному ответу.

Они могут быть проблематичными в случаях использования, где зависимость от фактической информации высока. Например, в здравоохранении, где надежное принятие решений является ключевым, предоставление медицинским работникам надежной фактической информации имеет первостепенное значение.

HITL относится к системам, которые позволяют людям предоставлять прямую обратную связь модели для прогнозов, которые находятся ниже определенного уровня уверенности. В контексте галлюцинаций HITL можно использовать, чтобы помочь моделям научиться уровню уверенности, который они должны иметь для разных случаев использования, прежде чем выводить ответ. Эти пороги будут варьироваться в зависимости от случая использования и обучение моделей различиям в требуемой тщательности для ответов на вопросы из разных случаев использования будет ключевым шагом к смягчению проблематичных видов галлюцинаций. Например, в юридическом случае люди могут продемонстрировать моделям ИИ, что проверка фактов является необходимым шагом при ответе на вопросы, основанные на сложных юридических документах с множеством пунктов и условий.

Как работники ИИ, такие как аннотаторы данных, помогают уменьшить потенциальные проблемы предвзятости?

Работники ИИ могут, прежде всего, помочь в выявлении предвзятостей, присутствующих в данных. Как только предвзятость выявлена, становится проще разработать стратегии смягчения. Аннотаторы данных также могут помочь в разработке способов уменьшить предвзятость. Например, для задач обработки естественного языка они могут помочь, предоставив альтернативные способы формулирования проблематичных фрагментов текста, чтобы уменьшить предвзятость, присутствующую в языке. Кроме того, разнообразие среди работников ИИ может помочь смягчить проблемы с предвзятостью в маркировке.

Как вы обеспечиваете, чтобы работники ИИ не непреднамеренно вносили свои собственные человеческие предвзятости в систему ИИ?

Это определенно сложная проблема, которая требует тщательного рассмотрения. Исключение человеческих предвзятостей почти невозможно, и работники ИИ могут непреднамеренно вносить свои предвзятости в модели ИИ, поэтому важно разработать процессы, которые направляют работников к лучшим практикам.

Некоторые шаги, которые можно предпринять, чтобы минимизировать человеческие предвзятости, включают:

• Комплексную подготовку работников ИИ по бессознательным предвзятостям и предоставление им инструментов для выявления и управления своими собственными предвзятостями во время маркировки.
• Чек-листы, которые напоминают работникам ИИ проверить свои собственные ответы, прежде чем отправить их.
• Проведение оценки, которая проверяет уровень понимания, который имеют работники ИИ, где им показывают примеры ответов по-разному предвзятостям, и просят выбрать наименее предвзятый ответ.

Регуляторы по всему миру намерены регулировать вывод ИИ, что, по вашему мнению, регуляторы неправильно понимают, и что они делают правильно?

Важно начать с того, что это действительно сложная проблема, которую никто еще не решил. Общество и ИИ будут эволюционировать и влиять друг на друга способами, которые очень трудно предвидеть. Часть эффективной стратегии поиска прочных и полезных практик регулирования заключается в внимании к тому, что происходит в ИИ, как люди реагируют на него и каковы его последствия для разных отраслей.

Я думаю, что значительным препятствием для эффективного регулирования ИИ является отсутствие понимания того, что могут и не могут делать модели ИИ, и как они работают. Это, в свою очередь, делает более трудным точное предсказание последствий, которые эти модели будут иметь на разных секторах и срезах общества. Другой областью, где не хватает мыслительного лидерства, – это то, как выравнивать модели ИИ с человеческими ценностями и что означает безопасность в более конкретных терминах.

Регуляторы обратились за сотрудничеством с экспертами в области ИИ, были осторожны, чтобы не задушить инновации слишком строгими правилами вокруг ИИ, и начали учитывать последствия ИИ для вытеснения рабочих мест, которые являются очень важными областями внимания. Важно действовать осторожно, пока наши мысли об регулировании ИИ уточняются со временем, и вовлечь как можно больше людей, чтобы подойти к этой проблеме демократическим образом.

Как решения Prolific могут помочь предприятиям уменьшить предвзятость ИИ и другие проблемы, которые мы обсудили?

Сбор данных для проектов ИИ не всегда был тщательным или обдуманным процессом. Мы ранее видели скрейпинг, аутсорсинг и другие методы, которые были распространены. Однако то, как мы обучаем ИИ, имеет решающее значение, и модели следующего поколения будут нуждаться в намеренно собранных, высококачественных данных, от реальных людей и от тех, с кем у вас есть прямой контакт. Именно здесь Prolific делает свой след.

Другие области, такие как опросы, маркетинговые исследования или научные исследования, узнали об этом давно. Аудитория, которую вы опрашиваете, имеет большое влияние на результаты, которые вы получаете. ИИ начинает догонять, и мы сейчас стоим на перекрестке.

Теперь самое время начать заботиться о использовании лучших выборок и работать с более представительными группами для обучения и совершенствования ИИ. Оба этих аспекта имеют решающее значение для разработки безопасных, непредвзятых и выровненных моделей.

Prolific может помочь предоставить правильные инструменты для предприятий, чтобы проводить эксперименты с ИИ в безопасном порядке и собирать данные от участников, где предвзятость проверяется и смягчается на протяжении всего процесса. Мы можем помочь предоставить рекомендации по лучшим практикам вокруг сбора, выбора, компенсации и справедливого обращения с участниками.

Каково ваше мнение о прозрачности ИИ, должны ли пользователи иметь возможность видеть, на каких данных обучена модель ИИ?

Я думаю, что есть плюсы и минусы прозрачности, и хорошая середина еще не найдена. Компании скрывают информацию о данных, которые они использовали для обучения своих моделей ИИ, из-за страха перед судебными исками. Другие работали над тем, чтобы сделать свои модели ИИ публично доступными и выпустили всю информацию о данных, которые они использовали. Полная прозрачность открывает много возможностей для эксплуатации уязвимостей этих моделей. Полная секретность не помогает в построении доверия и вовлечении общества в разработку безопасного ИИ. Хорошая середина обеспечит достаточно прозрачности, чтобы внушить доверие, что модели ИИ были обучены на качественных, релевантных данных, на которые мы дали согласие. Нам нужно внимательно следить за тем, как ИИ влияет на разные отрасли, и вести открытые диалоги с затронутыми сторонами, чтобы убедиться, что мы разрабатываем практики, которые работают для всех.

Я также думаю, что важно учитывать, что пользователи найдут удовлетворительным в плане объяснимости. Если они хотят понять, почему модель производит определенный ответ, предоставление им сырых данных, на которых была обучена модель, вряд ли поможет ответить на их вопрос. Таким образом, построение хороших инструментов объяснимости и интерпретируемости имеет важное значение.

Исследования по выравниванию ИИ направлены на то, чтобы направлять системы ИИ к намеченным человеком целям, предпочтениям или этическим принципам. Не могли бы вы обсудить, как работники ИИ обучаются и как это используется для обеспечения того, чтобы ИИ был выровнен как можно лучше?

Это активная область исследований, и пока нет консенсуса о том, какие стратегии мы должны использовать для выравнивания моделей ИИ с человеческими ценностями или даже каких ценностей мы должны стремиться выровнять их.

Работники ИИ обычно просят аутентично представлять свои предпочтения и отвечать на вопросы о своих предпочтениях правдиво, а также следовать принципам безопасности, отсутствия предвзятости, безвредности и полезности.

Что касается выравнивания по целям, этическим принципам или ценностям, есть несколько подходов, которые выглядят перспективными. Одним из заметных примеров является работа Института выравнивания смысла по демократическому тонкому настройке. Есть отличный пост, вводящий эту идею здесь.

Спасибо за отличное интервью и за то, что поделились своим мнением об предвзятости ИИ, читатели, которые хотят узнать больше, должны посетить Prolific.