Новое исследование показывает, что люди могут научиться распознавать текст, сгенерированный машиной

Растущая сложность и доступность искусственного интеллекта (ИИ) вызвали давние опасения по поводу его влияния на общество. Последнее поколение чат-ботов только усугубило эти опасения, с опасениями о честности рынка труда и распространении фейковых новостей и дезинформации. В свете этих опасений команда исследователей из Университета Пенсильвании, Школы инженерии и прикладных наук, попыталась дать пользователям технологий возможность смягчить эти риски.

Обучение себя распознавать текст ИИ

Их рецензируемая статья, представленная на февральской встрече 2023 года Ассоциации по развитию искусственного интеллекта, предоставляет доказательства того, что люди могут научиться различать текст, сгенерированный машиной, и написанный человеком.

Исследование, возглавляемое Крисом Каллисоном-Берчем, доцентом кафедры компьютерных и информационных наук (CIS), вместе с аспирантами Лиамом Дуганом и Дафной Ипполито, демонстрирует, что текст, сгенерированный ИИ, можно обнаружить.

“Мы показали, что люди могут обучить себя распознавать текст, сгенерированный машиной”, – говорит Каллисон-Берч. “Люди начинают с определенного набора предположений о том, какие ошибки может совершить машина, но эти предположения не обязательно верны. Со временем, при наличии достаточного количества примеров и явных инструкций, мы можем научиться распознавать типы ошибок, которые машины сейчас совершают.”

Исследование использует данные, собранные с помощью веб-игры “Реальный или фальшивый текст?”. Эта игра преобразует стандартный экспериментальный метод для обнаружения в более точную реконструкцию того, как люди используют ИИ для генерации текста.

В стандартных методах участникам предлагается указать в виде “да” или “нет”, сгенерировала ли машина данный текст. Модель Пенсильвании совершенствует стандартное обнаружение, превращая его в эффективную задачу обучения, показывая примеры, которые начинаются как написанные человеком. Каждый пример затем переходит в сгенерированный текст, и участникам предлагается отметить, где, по их мнению, начинается этот переход. Участники определяют и описывают особенности текста, указывающие на ошибку, и получают оценку.

Результаты исследования

Результаты исследования показывают, что участники набрали значительно лучше, чем случайно, предоставив доказательства того, что текст, созданный ИИ, в некоторой степени обнаружим. Исследование не только очерчивает обнадеживающее, даже волнующее будущее наших отношений с ИИ, но также предоставляет доказательства того, что люди могут обучить себя обнаруживать текст, сгенерированный машиной.

“Люди беспокоятся об ИИ по справедливым причинам”, – говорит Каллисон-Берч. “Наше исследование дает основания для смягчения этих опасений. Как только мы сможем использовать наш оптимизм по поводу генераторов текста ИИ, мы сможем уделять внимание их способности помогать нам писать более воображаемые, более интересные тексты.”

Дуган добавляет: “Есть интересные положительные направления, в которых можно развивать эту технологию. Люди сосредоточены на тревожных примерах, таких как плагиат и фейковые новости, но мы теперь знаем, что мы можем обучать себя быть лучше читателями и писателями.”

Исследование предоставляет важный первый шаг в смягчении рисков, связанных с текстом, сгенерированным машиной. По мере того, как ИИ продолжает развиваться, так же должно развиваться и наше способность обнаруживать и ориентироваться в его влиянии. Обучая себя распознавать разницу между текстом, написанным человеком, и текстом, сгенерированным машиной, мы можем использовать силу ИИ для поддержки наших творческих процессов, смягчая при этом его риски.