Нора Петрова, инженер машинного обучения и консультант по ИИ в Prolific – Интервью

Нора Петрова – инженер машинного обучения и консультант по ИИ в Prolific. Prolific была основана в 2014 году и уже сотрудничает с организациями như Google (GOOGL ), Стэнфордский университет, Оксфордский университет, Королевский колледж Лондона и Европейская комиссия, используя свою сеть участников для тестирования новых продуктов, обучения моделей ИИ в таких областях, как отслеживание глаз, и определения того, работают ли их приложения ИИ, ориентированные на человека, так, как их создатели намеревались.

Не могли бы вы рассказать немного о своем прошлом в Prolific и своей карьере на данный момент? Что вас заинтересовало в ИИ?

Моя роль в Prolific разделена между консультированием по вопросам использования ИИ и возможностям, и более практической работой в качестве инженера машинного обучения. Я начала свою карьеру в области программной инженерии и постепенно перешла к машинному обучению. В последние 5 лет я в основном занималась задачами обработки естественного языка.

То, что изначально заинтересовало меня в ИИ, – это способность учиться на данных и связь с тем, как мы, люди, учимся и как устроен наш мозг. Я думаю, что машинное обучение и нейробиология могут дополнять друг друга и помогать нам лучше понять, как строить системы ИИ, которые могут ориентироваться в мире, проявлять творчество и приносить пользу обществу.

Какие из самых больших проблем предвзятости ИИ вы лично знаете?

Предвзятость встроена в данные, которые мы подаем моделям ИИ, и полностью удалить ее очень сложно. Однако важно, чтобы мы были осведомлены о предвзятостях, присутствующих в данных, и находили способы смягчить вредные виды предвзятости, прежде чем мы доверим модели важными задачами в обществе. Самые большие проблемы, с которыми мы сталкиваемся, – это модели, которые увековечивают вредные стереотипы, системные предубеждения и несправедливости в обществе. Нам следует быть осведомленными о том, как эти модели ИИ будут использоваться и какое влияние они будут оказывать на своих пользователей, и обеспечить, чтобы они были безопасными, прежде чем одобрить их для чувствительных случаев использования.

Некоторые заметные области, где модели ИИ продемонстрировали вредные предвзятости, включают дискриминацию недопредставленных групп в приеме в школы и университеты, а также негативное влияние гендерных стереотипов на набор женщин на работу. Кроме того, алгоритм системы правосудия был признан ошибочно маркировавшим афроамериканских обвиняемых как “высокорисковые” почти в два раза чаще, чем белых обвиняемых в США, а технология распознавания лиц все еще страдает от высоких ошибок для меньшинств из-за отсутствия представительных тренировочных данных.

Примеры выше охватывают лишь небольшую часть предвзятостей, продемонстрированных моделями ИИ, и мы можем предвидеть более крупные проблемы, возникающие в будущем, если мы не сосредоточимся на смягчении предвзятости сейчас. Важно помнить, что модели ИИ учатся на данных, которые содержат эти предвзятости из-за принятия решений человеком, под влиянием непроверенных и бессознательных предвзятостей. Во многих случаях обращение к человеческому решению может не устранить предвзятость.真正 смягчение предвзятостей будет включать понимание того, как они присутствуют в данных, которые мы используем для обучения моделей, изоляцию факторов, которые способствуют предвзятым прогнозам, и коллективное решение о том, на чем мы хотим основывать важные решения. Разработка набора стандартов, чтобы мы могли оценить модели на безопасность, прежде чем они будут использоваться для чувствительных случаев использования, станет важным шагом вперед.

Галлюцинации ИИ – это огромная проблема для любого типа генеративного ИИ. Не могли бы вы обсудить, как обучение с помощью человека в цикле (Human-in-the-Loop, HITL) может смягчить эти проблемы?

Галлюцинации в моделях ИИ проблематичны в определенных случаях использования генеративного ИИ, но важно отметить, что они не являются проблемой сами по себе. В определенных творческих использованиях генеративного ИИ галлюцинации желательны и способствуют более творческому и интересному ответу.

Они могут быть проблематичными в случаях использования, где зависимость от фактической информации высока. Например, в здравоохранении, где принятие решений имеет решающее значение, предоставление медицинским работникам надежной фактической информации имеет важное значение.

HITL относится к системам, которые позволяют людям предоставлять прямую обратную связь модели для прогнозов, которые находятся ниже определенного уровня уверенности. В контексте галлюцинаций HITL может быть использован для того, чтобы помочь моделям научиться уровню уверенности, который они должны иметь для разных случаев использования, прежде чем выдавать ответ. Эти пороги будут варьироваться в зависимости от случая использования, и обучение моделей различиям в требуемой тщательности для ответов на вопросы из разных случаев использования будет важным шагом в смягчении проблематичных видов галлюцинаций. Например, в юридическом случае люди могут продемонстрировать моделям ИИ, что проверка фактов является необходимым шагом при ответе на вопросы, основанные на сложных юридических документах с множеством пунктов и условий.

Как работники ИИ, такие как аннотаторы данных, помогают уменьшить потенциальные проблемы предвзятости?

Работники ИИ могут, прежде всего, помочь в выявлении предвзятостей, присутствующих в данных. Как только предвзятость выявлена, становится легче разработать стратегии смягчения. Аннотаторы данных также могут помочь в разработке способов уменьшить предвзятость. Например, для задач обработки естественного языка они могут помочь, предоставив альтернативные способы формулирования проблемных фрагментов текста, чтобы уменьшить предвзятость, присутствующую в языке. Кроме того, разнообразие среди работников ИИ может помочь смягчить проблемы с предвзятостью в маркировке.

Как вы обеспечиваете, чтобы работники ИИ не непреднамеренно вносили свои собственные человеческие предвзятости в систему ИИ?

Это определенно сложная проблема, требующая тщательного рассмотрения. Устранение человеческих предвзятостей почти невозможно, и работники ИИ могут непреднамеренно вносить свои предвзятости в модели ИИ, поэтому важно разработать процессы, которые направляют работников к лучшим практикам.

Некоторые шаги, которые можно предпринять, чтобы минимизировать человеческие предвзятости, включают:

• Комплексную подготовку работников ИИ по бессознательным предвзятостям и предоставление им инструментов для выявления и управления своими предвзятостями во время маркировки.
• Чек-листы, которые напоминают работникам ИИ проверять свои собственные ответы, прежде чем отправлять их.
• Проведение оценки, которая проверяет уровень понимания, который имеют работники ИИ, где им показывают примеры ответов по разным типам предвзятостей и просят выбрать наименее предвзятый ответ.

Регуляторы по всему миру намерены регулировать вывод ИИ, что, по вашему мнению, регуляторы неправильно понимают, а что они правильно понимают?

Важно начать с того, что это очень сложная проблема, которую никто еще не решил. Общество и ИИ будут эволюционировать и влиять друг на друга способами, которые очень трудно предвидеть. Часть эффективной стратегии поиска прочных и полезных практик регулирования заключается в том, чтобы обращать внимание на то, что происходит в ИИ, как люди реагируют на него и какие эффекты он оказывает на разные отрасли.

Я думаю, что значительным препятствием для эффективного регулирования ИИ является отсутствие понимания того, что могут и не могут делать модели ИИ, и как они работают. Это, в свою очередь, делает более трудным точное предсказание последствий, которые эти модели будут иметь на разных секторах и слоях общества. Другой областью, где есть пробел, – это лидерство в мыслях о том, как выравнивать модели ИИ с человеческими ценностями и что такое безопасность в более конкретных терминах.

Регуляторы ищут сотрудничество с экспертами в области ИИ, были осторожны, чтобы не задушить инновации слишком строгими правилами вокруг ИИ, и начали рассматривать последствия ИИ для замены рабочих мест, которые являются очень важными областями внимания. Важно действовать осторожно, пока наши мысли о регулировании ИИ уточняются со временем, и вовлекать как можно больше людей, чтобы подойти к этой проблеме демократическим образом.

Как решения Prolific могут помочь предприятиям уменьшить предвзятость ИИ и другие проблемы, которые мы обсудили?

Сбор данных для проектов ИИ не всегда был тщательно продуманным или обдуманным процессом. Мы ранее видели скрейпинг, аутсорсинг и другие методы, которые были распространены. Однако то, как мы обучаем ИИ, имеет решающее значение, и модели следующего поколения будут построены на намеренно собранных, высококачественных данных, от реальных людей и от тех, с кем у нас есть прямой контакт. Это то, где Prolific делает свой вклад.

Другие области, такие как опросы, маркетинговые исследования или научные исследования, узнали это давно. Аудитория, которую вы выборочно анализируете, имеет большое влияние на результаты, которые вы получаете. ИИ начинает догонять, и мы достигаем перекрестка сейчас.

Теперь самое время начать заботиться о использовании лучших выборок и работать с более представительными группами для обучения и совершенствования ИИ. Оба этих аспекта имеют решающее значение для разработки безопасных, непредвзятых и выровненных моделей.

Prolific может помочь предоставить правильные инструменты для предприятий, чтобы проводить эксперименты с ИИ в безопасном порядке, и собирать данные от участников, где предвзятость проверяется и смягчается на протяжении всего процесса. Мы можем помочь предоставить рекомендации по лучшим практикам сбора и выбора данных, а также компенсации и справедливого обращения с участниками.

Каково ваше мнение о прозрачности ИИ, должны ли пользователи иметь возможность видеть, на каких данных обучена модель ИИ?

Я думаю, что есть плюсы и минусы прозрачности, и хорошая середина еще не найдена. Компании скрывают информацию о данных, которые они использовали для обучения своих моделей ИИ, из-за страха перед судебными исками. Другие работали над тем, чтобы сделать свои модели ИИ публично доступными и выпустили всю информацию о данных, которые они использовали. Полная прозрачность открывает много возможностей для эксплуатации уязвимостей этих моделей. Полная секретность не помогает в построении доверия и вовлечении общества в создание безопасного ИИ. Хорошая середина обеспечит достаточно прозрачности, чтобы внушить доверие, что модели ИИ были обучены на хорошем качестве актуальных данных, на которые мы дали согласие. Нам нужно внимательно следить за тем, как ИИ влияет на разные отрасли, и вести открытые диалоги с затронутыми сторонами, чтобы обеспечить разработку практик, которые работают для всех.

Я также думаю, что важно учитывать, что пользователи найдут удовлетворительным в плане объяснимости. Если они хотят понять, почему модель выдает определенный ответ, предоставление им сырых данных, на которых была обучена модель, вряд ли поможет ответить на их вопрос. Таким образом, построение хороших инструментов объяснимости и интерпретируемости имеет важное значение.

Исследования по выравниванию ИИ направлены на то, чтобы направлять системы ИИ к намеченным целям, предпочтениям или этическим принципам человека. Не могли бы вы обсудить, как работники ИИ обучаются и как это используется для обеспечения того, что ИИ выровнен так хорошо, как это возможно?

Это активная область исследований, и еще нет консенсуса по поводу того, какие стратегии мы должны использовать для выравнивания моделей ИИ с человеческими ценностями или даже какого набора ценностей мы должны стремиться выровнять их с.

Работники ИИ обычно просят аутентично представлять свои предпочтения и отвечать на вопросы о своих предпочтениях честно, а также следовать принципам безопасности, отсутствия предвзятости, безвредности и полезности.

Что касается выравнивания по целям, этическим принципам или ценностям, есть несколько подходов, которые выглядят перспективными. Одним из заметных примеров является работа Института выравнивания смысла по демократической тонкой настройке. Есть отличный пост, вводящий эту идею здесь.

Спасибо за отличное интервью и за то, что поделились своими взглядами на предвзятость ИИ, читателям, которые хотят узнать больше, следует посетить Prolific.