Нора Петрова, инженер машинного обучения и консультант по ИИ в Prolific – Интервью

Нора Петрова является инженером машинного обучения и консультантом по ИИ в Prolific. Prolific была основана в 2014 году и уже имеет среди своих клиентов такие организации, как Google, Стэнфордский университет, Оксфордский университет, Королевский колледж Лондона и Европейская комиссия, которые используют сеть участников для тестирования новых продуктов, обучения систем ИИ в таких областях, как отслеживание глаз, и определения того, работают ли их приложения ИИ, ориентированные на человека, так, как их создатели намеревались.

Не могли бы вы рассказать немного о своем прошлом в Prolific и своей карьере на данный момент? Что вас заинтересовало в ИИ?

Моя роль в Prolific разделена между консультированием по вопросам использования ИИ и возможностям, и более практической работой инженера машинного обучения. Я начала свою карьеру в области программной инженерии и постепенно перешла к машинному обучению. В течение последних 5 лет я в основном занималась задачами и проблемами, связанными с обработкой естественного языка.

То, что изначально заинтересовало меня в ИИ, – это способность учиться на данных и связь с тем, как мы, люди, учимся и как устроен наш мозг. Я считаю, что машинное обучение и нейробиология могут дополнить друг друга и помочь нам глубже понять, как строить системы ИИ, способные ориентироваться в мире, проявлять творчество и приносить пользу обществу.

Какие из самых больших проблем предвзятости ИИ вы лично знаете?

Предвзятость присуща данным, которые мы подаем в модели ИИ, и полностью исключить ее очень сложно. Однако важно осознавать предвзятости, присутствующие в данных, и находить способы смягчения вредных видов предвзятости, прежде чем мы доверяем модели важными задачами в обществе. Самые большие проблемы, с которыми мы сталкиваемся, – это модели, которые увековечивают вредные стереотипы, системные предубеждения и несправедливости в обществе. Нам следует быть осведомленными о том, как эти модели ИИ будут использоваться и о влиянии, которое они окажут на своих пользователей, и обеспечить их безопасность, прежде чем одобрять их для чувствительных случаев.

Некоторые заметные области, где модели ИИ проявили вредные предвзятости, включают дискриминацию мало представленных групп в приеме в школы и университеты, а также гендерные стереотипы, негативно влияющие на набор женщин на работу. Кроме того, алгоритм уголовного правосудия был признан ошибочно помечающим афроамериканских обвиняемых как “высокорисковые” почти в два раза чаще, чем белых обвиняемых в США, а технология распознавания лиц все еще страдает от высоких показателей ошибок для меньшинств из-за отсутствия представительных тренировочных данных.

Приведенные выше примеры охватывают лишь небольшую часть предвзятостей, продемонстрированных моделями ИИ, и мы можем предвидеть более серьезные проблемы в будущем, если не сосредоточимся на смягчении предвзятости сейчас. Важно помнить, что модели ИИ учатся на данных, содержащих эти предвзятости, из-за принятия решений человеком, под влиянием неосознанных предубеждений. Во многих случаях обращение к человеческому решению может не исключить предвзятость.真正 смягчение предвзятости потребует понимания того, как они присутствуют в данных, которые мы используем для обучения моделей, изоляции факторов, которые способствуют предвзятым прогнозам, и коллективного решения того, на чем мы хотим основывать важные решения. Разработка набора стандартов, чтобы мы могли оценить модели на безопасность, прежде чем они будут использоваться для чувствительных случаев, станет важным шагом вперед.

Галлюцинации ИИ – это огромная проблема с любым типом генеративного ИИ. Не могли бы вы обсудить, как обучение с помощью человека в цикле (HITL) может смягчить эти проблемы?

Галлюцинации в моделях ИИ проблематичны в определенных случаях генеративного ИИ, но важно отметить, что они сами по себе не являются проблемой. В определенных творческих применениях генеративного ИИ галлюцинации желательны и способствуют более творческому и интересному ответу.

Они могут быть проблематичными в случаях, где сильно зависит от фактической информации. Например, в здравоохранении, где принятие решений является ключевым, предоставление медицинским работникам надежной фактической информации имеет решающее значение.

HITL относится к системам, которые позволяют людям предоставлять прямую обратную связь модели для прогнозов, которые находятся ниже определенного уровня уверенности. В контексте галлюцинаций HITL можно использовать для того, чтобы помочь моделям научиться уровню уверенности, который они должны иметь для разных случаев использования, прежде чем выдавать ответ. Эти пороги будут варьироваться в зависимости от случая использования, и обучение моделей различиям в требуемой тщательности для ответов на вопросы из разных случаев использования будет ключевым шагом к смягчению проблематичных видов галлюцинаций. Например, в юридическом случае люди могут продемонстрировать ИИ-моделям, что проверка фактов является необходимым шагом при ответе на вопросы, основанные на сложных юридических документах с множеством пунктов и условий.

Как работники ИИ, такие как аннотаторы данных, помогают уменьшить потенциальные проблемы предвзятости?

Работники ИИ могут прежде всего помочь с выявлением предвзятостей, присутствующих в данных. Как только предвзятость выявлена, становится проще разработать стратегии смягчения. Аннотаторы данных также могут помочь с разработкой способов уменьшить предвзятость. Например, для задач обработки естественного языка они могут помочь, предоставив альтернативные способы формулирования проблемных фрагментов текста, чтобы уменьшить предвзятость, присутствующую в языке. Кроме того, разнообразие среди работников ИИ может помочь смягчить проблемы с предвзятостью в маркировке.

Как вы обеспечиваете, чтобы работники ИИ не непреднамеренно внедряли свои собственные человеческие предвзятости в систему ИИ?

Это определенно сложная проблема, которая требует тщательного рассмотрения. Исключение человеческих предубеждений почти невозможно, и работники ИИ могут непреднамеренно внедрять свои предубеждения в ИИ-модели, поэтому важно разработать процессы, которые направляют работников к лучшим практикам.

Некоторые шаги, которые можно предпринять, чтобы минимизировать человеческие предубеждения, включают:

• Комплексную подготовку работников ИИ по неосознанным предубеждениям и предоставление им инструментов для выявления и управления своими собственными предубеждениями во время маркировки.
• Чек-листы, которые напоминают работникам ИИ проверять свои собственные ответы, прежде чем отправлять их.
• Проведение оценки, которая проверяет уровень понимания, который имеют работники ИИ, где им показывают примеры ответов на различные виды предубеждений и просят выбрать наименее предвзятый ответ.

Регуляторы по всему миру намерены регулировать вывод ИИ, что, по вашему мнению, регуляторы не понимают, а что они делают правильно?

Важно начать с того, что это очень сложная проблема, которую никто еще не решил. Общество и ИИ будут эволюционировать и влиять друг на друга способами, которые очень трудно предвидеть. Часть эффективной стратегии поиска прочных и полезных практик регулирования заключается в том, чтобы обращать внимание на то, что происходит в ИИ, как люди реагируют на него и какие последствия он имеет для различных отраслей.

Я считаю, что значительным препятствием для эффективного регулирования ИИ является отсутствие понимания того, что могут и не могут делать модели ИИ, и как они работают. Это, в свою очередь, делает более трудным точное предсказание последствий, которые эти модели будут иметь для различных секторов и слоев общества. Другой областью, где не хватает лидерства, – это то, как выровнять модели ИИ с человеческими ценностями и что такое безопасность в более конкретных терминах.

Регуляторы обратились за сотрудничеством к экспертам в области ИИ, были осторожны, чтобы не задушить инновации слишком строгими правилами вокруг ИИ, и начали учитывать последствия ИИ для замены рабочих мест, что являются очень важными областями внимания. Важно быть осторожным, когда наши мысли о регулировании ИИ проясняются со временем, и вовлечь как можно больше людей, чтобы подойти к этой проблеме демократическим образом.

Как решения Prolific могут помочь предприятиям уменьшить предвзятость ИИ и другие проблемы, которые мы обсудили?

Сбор данных для проектов ИИ не всегда был вдумчивым и обдуманным процессом. Мы ранее видели скрейпинг, аутсорсинг и другие методы, которые были распространены. Однако то, как мы обучаем ИИ, имеет решающее значение, и модели следующего поколения будут нуждаться в намеренно собранных, высококачественных данных, от реальных людей и от тех, с кем у вас есть прямой контакт. Именно здесь Prolific делает свой след.

Другие области, такие как опросы, маркетинговые исследования или научные исследования, узнали об этом давно. Аудитория, которую вы опрашиваете, имеет большое влияние на результаты, которые вы получаете. ИИ начинает догонять, и мы сейчас находимся на перекрестке.

Теперь самое время начать заботиться о использовании лучших выборок и работать с более представительными группами для обучения и совершенствования ИИ. Оба этих аспекта имеют решающее значение для разработки безопасных, не предвзятых и выровненных моделей.

Prolific может помочь предоставить правильные инструменты для предприятий, чтобы проводить эксперименты с ИИ в безопасном порядке и собирать данные от участников, где предвзятость проверяется и смягчается на протяжении всего процесса. Мы можем помочь предоставить рекомендации по лучшим практикам сбора и выбора данных, а также компенсации и справедливому обращению с участниками.

Что вы думаете о прозрачности ИИ, должны ли пользователи иметь возможность видеть, на каких данных обучена модель ИИ?

Я считаю, что есть плюсы и минусы прозрачности, и хорошая середина еще не найдена. Компании скрывают информацию о данных, которые они использовали для обучения своих моделей ИИ, из-за страха перед судебными исками. Другие работали над тем, чтобы сделать свои модели ИИ общедоступными, и выпустили всю информацию о данных, которые они использовали. Полная прозрачность открывает много возможностей для эксплуатации уязвимостей этих моделей. Полная секретность не помогает в построении доверия и вовлечении общества в создание безопасного ИИ. Хорошая середина обеспечит достаточно прозрачности, чтобы внушить нам доверие, что модели ИИ были обучены на хорошем качестве актуальных данных, на которые мы дали согласие. Нам нужно внимательно следить за тем, как ИИ влияет на различные отрасли, и вести открытый диалог с заинтересованными сторонами, чтобы убедиться, что мы разрабатываем практики, которые работают для всех.

Я также считаю, что важно учитывать, что пользователи найдут удовлетворительным в плане объяснимости. Если они хотят понять, почему модель дает определенный ответ, предоставление им сырых данных, на которых была обучена модель, вряд ли поможет ответить на их вопрос. Таким образом, создание хороших инструментов объяснимости и интерпретируемости имеет важное значение.

Исследования выравнивания ИИ направлены на то, чтобы направлять системы ИИ к намеченным человеком целям, предпочтениям или этическим принципам. Не могли бы вы обсудить, как работники ИИ обучаются и как это используется для обеспечения того, чтобы ИИ был выровнен так хорошо, как это возможно?

Это активная область исследований, и пока нет консенсуса о том, какие стратегии мы должны использовать для выравнивания моделей ИИ с человеческими ценностями или даже какого набора ценностей мы должны стремиться выровнять их.

Работники ИИ обычно просят аутентично представлять свои предпочтения и отвечать на вопросы о своих предпочтениях правдиво, а также следовать принципам безопасности, отсутствия предвзятости, безвредности и полезности.

Что касается выравнивания по целям, этическим принципам или ценностям, есть несколько подходов, которые кажутся перспективными. Одним из заметных примеров является работа Института выравнивания смысла по демократическому тонкому настройке. Есть отличный пост, вводящий эту идею здесь.

Спасибо за отличное интервью и за то, что поделились своими взглядами на предвзятость ИИ. Читателям, которые хотят узнать больше, следует посетить Prolific.