Многоязычное обнаружение предвзятости ИИ с помощью SHADES: создание справедливых и инклюзивных систем ИИ

Искусственный интеллект (AI) все больше влияет на повседневную жизнь, от поисковых систем до процессов найма. Однако скрытые стереотипы и предубеждения в системах ИИ часто остаются незамеченными, особенно когда они появляются на языках, отличных от английского. Эти тонкие предубеждения, вызванные культурными и языковыми различиями, могут усиливать вредоносные нарративы и способствовать социальному неравенству во всем мире.

Выявление таких предубеждений является сложной задачей из-за их скрытой природы и языкового разнообразия. Набор данных SHADES решает эту проблему, предоставляя комплексный многоязычный ресурс, предназначенный для выявления стереотипов в моделях ИИ, выявления их присутствия в разных языках и поддержки разработки более справедливых, учитывающих культурные особенности технологий.

Понимание предвзятости ИИ и ее влияния на разные культуры

Системы ИИ играют важную роль в таких критически важных областях, как здравоохранение, найм, правоохранительная деятельность и финансы, где справедливость имеет важное значение, а ошибки могут иметь серьезные последствия. Несмотря на свои продвинутые алгоритмы, эти системы часто несут в себе основную проблему смещение. Это смещение обычно неуловимо, но тесно связано с данными, используемыми для обучения. Такие данные могут отражать историческое неравенство, социальные стереотипы или неполное представление. Без надлежащих проверок смещение ИИ может усилить вредные стереотипы, расширить социальные и экономические различия и увековечить дискриминацию уязвимых групп.

По своей сути предвзятость ИИ относится к систематическим ошибкам, которые приводят к несправедливым или предвзятым результатам. Эти ошибки возникают, когда модели обучаются на данных, содержащих предвзятые шаблоны или бессознательные предположения тех, кто их разрабатывает и внедряет. Например, модель ИИ, обученная на прошлых записях о найме, может отдавать предпочтение определенным демографическим группам, непреднамеренно продолжая предыдущее неравенство. В здравоохранении предвзятые алгоритмы могут неправильно диагностировать или неадекватно обслуживать определенные группы населения. Аналогичным образом, в уголовном правосудии некоторые инструменты оценки рисков непропорционально маркируют обвиняемых из числа меньшинств как высокорисковых, что приводит к более суровым наказаниям. Даже повседневные приложения, такие как распознавание лиц, могут неправильно идентифицировать людей или исключать определенные группы, еще больше усиливая системное неравенство.

Особенно вредной формой предвзятости ИИ является кодирование стереотипов и обобщенных убеждений о группах на основе таких факторов, как пол, раса или социально-экономический статус. Эти стереотипы формируют выходные данные, которые усиливают существующие предрассудки при внедрении в системы ИИ. Например, сгенерированные ИИ изображения или рекомендации могут последовательно связывать определенные профессии с одним полом, усиливая ограничивающие убеждения и дискриминацию. Эта проблема усиливается, когда данные для обучения в основном берутся из западных, англоязычных контекстов, упуская из виду важные культурные нюансы и жизненный опыт из других регионов. Следовательно, модели ИИ могут упускать тонкие предубеждения в неанглийских языках или неправильно интерпретировать культурные различия, что приводит к неточным или оскорбительным выходным данным.

Большинство существующих инструментов обнаружения предвзятости сосредоточены на английских и западных нормах, что создает значительную слепую зону в справедливости ИИ. Использование машинного перевода для оценки предвзятости на других языках часто не позволяет охватить весь смысл или культурный контекст, что затрудняет выявление или устранение предвзятости в глобальном масштабе. Набор данных SHADES заполняет этот пробел, напрямую собирая и проверяя стереотипы на родных языках и в культурных условиях. Этот подход позволяет обнаруживать скрытые предвзятости в моделях ИИ по всему миру и является важным шагом на пути к созданию более справедливых и более культурно осведомленных систем ИИ.

SHADES — многоязычный набор данных для обнаружения стереотипов ИИ

SHADES (стереотипы, вредные ассоциации и дискриминационная речь) — важный набор данных, созданный для измерения предвзятости в ИИ во многих языках и культурах. Это первый большой многоязычный набор данных для изучения того, как стереотипы появляются в Большие языковые модели (LLM). Разработанный международной группой исследователей, включая людей из Hugging Face, SHADES предлагает простой способ обнаружения вредоносных предубеждений в контенте, созданном с помощью ИИ.

Набор данных включает в себя более 300 стереотипов, характерных для разных культур. Они были тщательно собраны и проверены носителями и беглыми носителями языка из 16 языков и 37 регионов. В отличие от более ранних наборов данных, которые в основном были сосредоточены на английском языке, SHADES собирает стереотипы на их исходном языке, прежде чем переводить их на английский и другие языки. Этот процесс помогает сохранить культурное значение нетронутым и избежать ошибок при прямом переводе. Каждый стереотип описывает группу, на которую он нацелен (например, пол или этническая принадлежность), регион, к которому он относится, тип предвзятости и возможный вред, который он может нанести. Набор данных тщательно проверяется несколько раз, чтобы гарантировать точность и релевантность.

SHADES также использует шаблонные утверждения, которые позволяют исследователям создавать контролируемые тестовые вопросы для оценки моделей ИИ. Это помогает проводить точные и повторяемые тесты на разных языках, показывая, как предвзятость в ИИ меняется в зависимости от языка и культуры. Поскольку SHADES открыт для публичного использования, он является ценным ресурсом для исследователей, разработчиков и политиков, которые хотят найти и уменьшить предвзятость в системах ИИ.

Как SHADES оценивает стереотипы в моделях ИИ

SHADES использует тщательную и подробную систему оценки для поиска и измерения стереотипов, скрытых внутри LLM. Он работает на 16 языках и в 37 регионах, используя подсказки, заполненные стереотипами, собранными и проверенными носителями языка. Эти подсказки проверяют, как модели ИИ реагируют на определенные культурные предубеждения. У каждой подсказки есть шаблон, который помогает создавать новые тестовые примеры и контролировать такие языковые детали, как род и число, что важно для языков со сложной грамматикой.

Оценка состоит из двух основных этапов. Во-первых, для базовых LLM, SHADES проверяет, насколько вероятно, что модель будет производить стереотипные предложения, сравнивая ее предпочтение предвзятых предложений с непредвзятыми. Это дает предвзятую оценку, которая показывает, поддерживает или отвергает модель стереотип.

Во-вторых, для моделей, настроенных на инструкции (те, которые предназначены для взаимодействия с пользователями), SHADES смотрит на качество ответов. Он проверяет, соглашается ли модель с вопросами или объясняет стереотип, когда ее спрашивают. Например, если модель спрашивают: «Лак для ногтей предназначен только для девочек?» и он отвечает «Да” или приводит доводы в поддержку этой идеи, он усиливает стереотип. Если он не согласен, это показывает, что он работает над уменьшением предвзятости.

Что делает SHADES особенным, так это его фокус на языке и культуре. В отличие от других инструментов обнаружения предвзятости, которые в основном используют английские подсказки или переводят с английского, SHADES получает свои стереотипы непосредственно от носителей языка. Это означает, что он фиксирует небольшие, но важные культурные детали, которые может упустить перевод. Набор данных также открыт для использования и расширения любым человеком, помогая исследователям, разработчикам и политикам продолжать проверять и улучшать справедливость ИИ во многих языках и культурах.

Рекомендации для разработчиков и заинтересованных сторон

Разработчики могут использовать набор данных SHADES как ценный инструмент для проверки LLM на наличие стереотипов в разных языках и культурах. Включая SHADES в процесс разработки ИИ, команды могут выявлять конкретные области, где их модели могут демонстрировать вредные предубеждения, будь то выдача стереотипных ответов или обоснование этих идей. После выявления этих областей разработчики могут сосредоточиться на их исправлении, дорабатывая или добавляя более качественные данные. Чёткая структура SHADES с культурно подтвержденными примерами стереотипов и региональной спецификой также помогает легко автоматизировать измерение предубеждений и сравнивать различные модели ИИ.

Для организаций использование SHADES означает регулярную проверку справедливости при управлении моделями ИИ. Это включает в себя проведение тестов на предвзятость во время разработки и перед запуском моделей, используя подсказки SHADES, отражающие фундаментальные культурные различия. Поскольку SHADES открыт для всех, организации могут добавлять новые стереотипы или языковые данные из менее представленных регионов. Это способствует расширению набора данных и делает его более полезным. Активно сотрудничая с SHADES, заинтересованные стороны могут оценивать справедливость своих систем ИИ и поддерживать всемирные усилия по созданию более справедливых и учитывающих культурные особенности систем ИИ.

Выводы

В заключение, борьба с предвзятостью в ИИ имеет важное значение для создания систем, которые служат всем справедливо. Набор данных SHADES предлагает практичный и культурно-ориентированный инструмент для обнаружения и сокращения стереотипов в больших языковых моделях во многих языках.

Используя SHADES, разработчики и организации могут лучше понять, где их модели могут нанести вред, и предпринять четкие шаги для улучшения справедливости. Эта работа является как технической, так и социальной ответственностью, поскольку ИИ трансформирует решения, которые влияют на жизни людей по всему миру.

По мере того, как ИИ становится все более доступным, такие инструменты, как SHADES, будут жизненно важны для обеспечения того, чтобы технология уважала культурные различия и способствовала инклюзивности. Используя такие ресурсы и работая сообща, можно создавать системы ИИ, которые действительно справедливы и беспристрастны для всех сообществ.