Новое исследование показывает, что люди могут научиться распознавать машинно-генерируемый текст

Возрастающая сложность и доступность искусственного интеллекта (ИИ) вызывают давние опасения по поводу его влияния на общество. Последнее поколение чат-ботов только усугубило эти опасения, опасаясь целостности рынка труда и распространения фейковых новостей и дезинформации. В свете этих опасений группа исследователей из Школы инженерии и прикладных наук Пенсильванского университета стремилась предоставить техническим пользователям возможность снизить эти риски.

Тренируйтесь распознавать текст AI

Их рецензируемая статья, представленный на собрании Ассоциации по развитию искусственного интеллекта в феврале 2023 года, свидетельствует о том, что люди могут научиться замечать разницу между текстом, созданным машиной, и текстом, написанным человеком.

Исследование, проведенное Крисом Каллисон-Берчем, доцентом кафедры компьютерных и информационных наук (CIS), вместе с доктором философии. Студенты Лиам Дуган и Дафна Ипполито демонстрируют, что текст, сгенерированный ИИ, можно обнаружить.

«Мы показали, что люди могут научиться распознавать машинно-генерируемые тексты», — говорит Кэллисон-Берч. «Люди изначально имеют определённый набор предположений о том, какие ошибки может допустить машина, но эти предположения не обязательно верны. Со временем, получив достаточно примеров и чёткие инструкции, мы можем научиться определять типы ошибок, которые машины допускают в настоящее время».

В исследовании используются данные, собранные с помощью оригинальной обучающей онлайн-игры «Real or Fake Text?». Эта обучающая игра превращает стандартный экспериментальный метод исследования обнаружения в более точное воссоздание того, как люди используют ИИ для генерации текста.

В стандартных методах участников просят ответить да или нет, создала ли машина данный текст. Модель Пенна превращает стандартное исследование обнаружения в эффективную учебную задачу, показывая примеры, которые все начинаются как написанные человеком. Затем каждый пример переходит в сгенерированный текст, и участников просят отметить, где, по их мнению, начинается этот переход. Обучаемые определяют и описывают особенности текста, указывающие на ошибку, и получают оценку.

Результаты исследования

Результаты исследования показывают, что участники набрали значительно больше очков, чем случайный случай, что свидетельствует о том, что текст, созданный ИИ, в некоторой степени поддается обнаружению. Исследование не только описывает обнадеживающее и даже захватывающее будущее наших отношений с ИИ, но также предоставляет доказательства того, что люди могут научиться распознавать машинно-генерируемый текст.

«Люди обеспокоены ИИ по вполне понятным причинам», — говорит Кэллисон-Берч. «Наше исследование приводит доказательства, которые развеивают эти опасения. Как только мы сможем использовать наш оптимизм в отношении текстовых генераторов на основе ИИ, мы сможем обратить внимание на способность этих инструментов помогать нам писать более изобретательные и интересные тексты».

Дуган добавляет: «Есть захватывающие положительные направления, в которых вы можете продвигать эту технологию. Люди зациклены на тревожных примерах, таких как плагиат и фальшивые новости, но теперь мы знаем, что можем научиться лучше читать и писать».

Исследование представляет собой важный первый шаг в снижении рисков, связанных с машинно-генерируемым текстом. По мере того, как ИИ продолжает развиваться, должна развиваться и наша способность обнаруживать его воздействие и управлять им. Приучив себя распознавать разницу между текстом, написанным человеком, и текстом, сгенерированным машиной, мы сможем использовать возможности ИИ для поддержки наших творческих процессов, одновременно снижая связанные с этим риски.