Эндрю Гордон, Старший Исследовательский Консультант, Prolific – Интервью

Эндрю Гордон использует свой обширный опыт в области психологии и нейробиологии, чтобы раскрыть новые знания в качестве исследователя. С дипломом бакалавра по психологии, магистра по нейропсихологии и доктором философии по когнитивной нейробиологии, Эндрю использует научные принципы, чтобы понять мотивацию потребителей, поведение и принятие решений.

Prolific была создана исследователями для исследователей, с целью предложить лучший метод сбора высококачественных человеческих данных и обратной связи для передовых исследований. Сегодня более 35 000 исследователей из академии и промышленности полагаются на Prolific AI для сбора окончательных человеческих данных и обратной связи. Платформа известна своими надежными, вовлеченными и честно обращающимися с участниками, с новым исследованием, запускаемым каждые три минуты.

Как вы используете свой опыт в области когнитивной нейробиологии, чтобы помочь исследователям, которые занимаются проектами, связанными с ИИ?

Хорошей отправной точкой является определение того, что представляет собой когнитивная нейробиология. По сути, когнитивная нейробиология исследует биологические основы когнитивных процессов. Она сочетает принципы нейробиологии и психологии, и иногда компьютерных наук, что помогает нам понять, как наш мозг обеспечивает различные психические функции. По сути, любой, кто занимается исследованием когнитивной нейробиологии, должен иметь прочное понимание методов исследования и хорошее понимание того, как люди думают и ведут себя. Эти два аспекта имеют решающее значение и могут быть объединены для разработки и проведения высококачественных исследований ИИ. Одним из предупреждений, однако, является то, что исследования ИИ – это широкий термин; он может включать все, от обучения фундаментальных моделей и аннотации данных до понимания того, как люди взаимодействуют с системами ИИ. Проведение исследовательских проектов с ИИ не отличается от проведения исследовательских проектов вне ИИ; вам все равно нужно иметь хорошее понимание методов, разработать исследования для создания лучших данных, правильно отобрать образцы, чтобы избежать предвзятости, и затем использовать эти данные в эффективных анализах, чтобы ответить на любые исследовательские вопросы, которые вы решаете.

Prolific подчеркивает этичное обращение и справедливую компенсацию для своих участников. Не могли бы вы поделиться своими мыслями о проблемах и решениях по поддержанию этих стандартов?

Наша модель компенсации разработана для того, чтобы участники чувствовали себя ценными и вознаграждаемыми, а значит, они чувствовали бы себя значимой частью исследовательской машины (потому что они являются). Мы считаем, что справедливое обращение с участниками и предоставление им справедливой ставки оплаты мотивирует их более глубоко взаимодействовать с исследованиями и, следовательно, предоставлять лучшие данные.

К сожалению, большинство онлайн-платформ выборки не соблюдают эти принципы этического оплаты и обращения. В результате получается пул участников, которые мотивированы не взаимодействовать с исследованиями, а пробежать через них как можно быстрее, чтобы максимизировать свой заработок, что приводит к низкокачественным данным. Поддержание позиции, которую мы занимаем в Prolific, является сложной; мы по сути боремся против течения. Статус-кво в исследованиях ИИ и других формах онлайн-исследований не был сосредоточен на обращении с участниками или их благополучии, а rather на максимизации количества данных, которые можно собрать за наименьшую стоимость.

Сделать так, чтобы более широкое исследовательское сообщество понимало, почему мы выбрали этот подход и какие преимущества они получат от использования нас, а не конкурирующей платформы, представляет собой значительную проблему. Другой проблемой, с логистической точки зрения, является выделение значительного количества времени для ответа на проблемы, запросы или жалобы наших участников или исследователей в своевременной и справедливой манере. Мы посвящаем много времени этому, потому что это сохраняет пользователей на обеих сторонах – участников и исследователей – счастливыми, поощряя их продолжать возвращаться к Prolific. Однако мы также сильно полагаемся на исследователей, которые используют нашу платформу, чтобы придерживаться наших высоких стандартов обращения и компенсации, когда участники направляются к задаче или опросу исследователя и, следовательно, покидают экосистему Prolific. То, что происходит вне нашей платформы, действительно находится под контролем исследовательской команды, поэтому мы полагаемся не только на участников, которые сообщают нам о проблемах, но и на наших исследователей, которые соблюдают самые высокие возможные стандарты. Мы пытаемся предоставить как можно больше руководства, чтобы обеспечить, что это происходит.

Учитывая бизнес-модель Prolific, какие ваши мысли о важной роли человеческой обратной связи в разработке ИИ, особенно в таких областях, как обнаружение предвзятости и улучшение социального рассуждения?

Человеческая обратная связь в разработке ИИ имеет решающее значение. Без человеческого участия мы рискуем увековечить предвзятости, упустить из виду нюансы человеческого социального взаимодействия и не решить некоторые из негативных этических соображений, связанных с ИИ. Это может помешать нашему прогрессу в создании ответственных, эффективных и этических систем ИИ. В плане обнаружения предвзятости включение человеческой обратной связи на этапе разработки имеет решающее значение, потому что мы должны стремиться разработать ИИ, который отражает как можно более широкий спектр взглядов и ценностей, не отдавая предпочтение одному над другим. Разные демографические группы, происхождение и культуры все имеют бессознательные предвзятости, которые, хотя и не обязательно отрицательные, могут все же отражать точку зрения, которая не будет широко распространена. Совместное исследование между Prolific и Университетом Мичигана подчеркнуло, как происхождение разных аннотаторов может существенно повлиять на то, как они оценивают такие аспекты, как токсичность речи или вежливость. Чтобы решить эту проблему, участие участников из разных культур, происхождения и перспектив может предотвратить закрепление этих предвзятостей в разрабатываемых системах ИИ. Кроме того, человеческая обратная связь позволяет исследователям ИИ обнаружить более тонкие формы предвзятости, которые могут не быть обнаружены автоматическими методами. Это предоставляет возможность решить предвзятости посредством корректировки алгоритмов, основных моделей или методов предварительной обработки данных.

Ситуация с социальным рассуждением по сути та же. ИИ часто испытывает трудности с задачами, требующими социального рассуждения, потому что, по своей природе, он не является социальным существом, в то время как люди являются. Обнаружение контекста, когда задается вопрос, понимание сарказма или распознавание эмоциональных сигналов требует человеческого социального рассуждения, которое ИИ не может выучить самостоятельно. Мы, как люди, учимся социально, поэтому единственный способ научить систему ИИ эти виды рассуждений – это использовать фактическую человеческую обратную связь для обучения ИИ интерпретировать и реагировать на различные социальные сигналы. В Prolific мы разработали набор данных социального рассуждения, специально разработанный для обучения моделей ИИ этому важному навыку.

По сути, человеческая обратная связь не только помогает выявить области, где системы ИИ отлично справляются или терпят неудачу, но также позволяет разработчикам вносить необходимые улучшения и корректировки в алгоритмы. Практическим примером этого является то, как работает ChatGPT. Когда вы задаете вопрос, иногда ChatGPT представляет два ответа и просит вас оценить, какой из них лучше. Этот подход используется потому, что модель всегда учится, и разработчики понимают важность человеческого ввода для определения лучших ответов, а не полагаются исключительно на другую модель.

Prolific сыграла решающую роль в соединении исследователей с участниками для обучения и исследований ИИ. Не могли бы вы поделиться некоторыми историями успеха или значительными достижениями в области ИИ, которые стали возможными благодаря вашей платформе?

Из-за коммерческой природы большей части нашей работы по ИИ, особенно в неакадемических пространствах, большинство проектов, в которых мы участвуем, находятся под строгими соглашениями о неразглашении. Это в основном для обеспечения конфиденциальности методов или методов, защиты их от повторения. Однако один проект, который мы можем обсудить, – это наш партнерство с Remesh, платформой ИИ, предоставляющей информацию. Мы сотрудничали с OpenAI и Remesh для разработки системы, которая использует представительные образцы населения США. В этом проекте тысячи людей из представительного образца участвовали в обсуждениях по политикам, связанным с ИИ, через систему Remesh, что позволило разработать политику ИИ, отражающую широкую волю общества, а не избранную демографию, благодаря способности Prolific предоставить такой разнообразный образец.

Оглядываясь вперед, каково ваше видение будущего этичного развития ИИ, и как Prolific планирует внести свой вклад в достижение этой цели?

Моя надежда на будущее ИИ и его развитие основана на признании того, что ИИ будет только так хорош, как данные, на которых он обучен. Важность качества данных не может быть переоценена для систем ИИ. Обучение системы ИИ на низкокачественных данных неизбежно приводит к системе ИИ, которая является низкокачественной. Единственный способ обеспечить высококачественные данные – это обеспечить набор участников, разнообразный и мотивированный, чтобы предоставить лучшие данные. В Prolific наш подход и руководящие принципы направлены на то, чтобы создать именно это. Создавая индивидуальный, тщательно проверенный и заслуживающий доверия пул участников, мы ожидаем, что исследователи будут использовать этот ресурс для разработки более эффективных, надежных и заслуживающих доверия систем ИИ в будущем.

Какие из самых больших проблем вы сталкиваетесь при сборе высококачественных, человеческих данных для обучения ИИ, и как Prolific преодолевает эти препятствия?

Самой значительной проблемой, безусловно, является качество данных. Не только плохие данные бесполезны, но они также могут привести к вредным последствиям, особенно когда системы ИИ используются в критических областях, таких как финансовые рынки или военные операции. Эта проблема подчеркивает важность принципа “мусор на входе, мусор на выходе”. Если входные данные плохого качества, система ИИ будет по своей природе низкокачественной или бесполезной. Большинство онлайн-образцов, как правило, производят данные худшего качества, чем оптимальные для разработки ИИ. Есть много причин для этого, но одним из ключевых факторов, который решает Prolific, является общее обращение с онлайн-участниками. Часто эти люди рассматриваются как расходный материал, получая низкую компенсацию, плохое обращение и мало уважения от исследователей. Обязуясь этично относиться к участникам, Prolific выращивает пул мотивированных, вовлеченных, вдумчивых, честных и внимательных участников. Следовательно, когда данные собираются через Prolific, их высокое качество гарантировано, что лежит в основе надежных и заслуживающих доверия моделей ИИ.

Другой проблемой, с которой мы сталкиваемся при сборе данных для обучения ИИ, является обеспечение разнообразия в образце. Хотя онлайн-образцы значительно расширили объем и разнообразие людей, которых мы можем изучать по сравнению с методами личного общения, они, как правило, ограничены людьми из западных стран. Эти образцы часто смещаются в сторону более молодых, компьютерно-грамотных, высокообразованных и более левых демографических групп. Это не полностью представляет глобальное население. Чтобы решить эту проблему, Prolific имеет участников из более чем 38 стран мира. Мы также предоставляем нашим исследователям инструменты для указания точного демографического состава их образца заранее. Кроме того, мы предлагаем представительное выборочное обследование через шаблоны, совпадающие с переписью, такие как возраст, пол и этническая принадлежность, или даже по политической принадлежности. Это обеспечивает, что исследования, задачи аннотации или другие проекты получают разнообразный спектр участников и, следовательно, широкий спектр информации.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Prolific.