Взгляд Anderson
Отсутствие человеческих ошибок выдает обманчивые системы ИИ

Ключевые моментыИИ-системы выдают себя, выполняя задачи на память с неестественной безупречностью, если…
Показать больше
- ИИ-системы выдают себя, выполняя задачи на память с неестественной безупречностью, если только их не обучили специально допускать ошибки.
- Дообучение моделей на данных о человеческой психологии улучшает их способность к подражанию, но ограничивает их универсальные возможности.
- Когнитивная наука предлагает надёжные методы обнаружения, поскольку у ИИ отсутствуют присущие человеку ограничения, такие как ослабление памяти и усталость.
Новое исследование показывает: ИИ может казаться человеком, пока не запоминает «слишком хорошо». Простые тесты памяти выдают чат-ботов, поскольку те не совершают обычных человеческих ошибок.
Исследователи из Принстона разработали метод выявления систем ИИ, выдающих себя за людей: им предлагают задачи, с которыми люди справляются плохо, прежде всего на кратковременное удержание информации в памяти.
Протестированные системы не смогли достаточно точно воспроизвести человеческий уровень ошибок, если не получали прямого указания в системном промпте или не проходили дообучение на психологических данных.
В статье говорится:
«Мы исследуем возможность определять, является ли собеседник человеком, с помощью задач, которые машины решают слишком хорошо, чтобы быть людьми. В частности, мы проверяем наличие известного человеческого когнитивного ограничения: ограниченной емкости рабочей памяти.
«Мы показываем, что когнитивное моделирование стандартной задачи последовательного воспроизведения по памяти позволяет отличать онлайн-участников от больших языковых моделей, даже когда последние получают прямую инструкцию имитировать ограничения человеческой рабочей памяти.
«Наши результаты показывают, что известные когнитивные явления можно использовать для различения больших языковых моделей и людей».
Наблюдаемая закономерность означает, что готовые языковые модели с большой вероятностью выдадут себя в любом обратном тесте Тьюринга, использующем этот метод.
Специализированные модели ИИ справятся лучше, но дообучение на этой задаче вероятно, ограничит их именно ею в ущерб общему применению. Системный промпт может быть длиной с «Войну и мир» и содержать указания, как имитировать человеческие слабости. Однако эффективность метода снижается при включении в очень обширные инструкции, подчеркивающие множество других приоритетов, или в очень короткие, которые, подобно дообучению, жертвуют общими способностями ради конкретной задачи.
«Вы говорите о памяти…»
Все нужнее эффективные способы распознавать общение, сгенерированное ИИ. Они нужны и самим исследователям, которые часто зависят от удаленных работников, привлеченных через краудсорсинговые платформы. У тех есть сильные стимулы обходить правила с помощью автоматизации и других уловок.
Кроме того, содержательные и убедительно поданные ответы ИИ, вероятно, нужны при мошенничестве с использованием ИИ, когда разговоры в реальном времени требуют быстрых и авторитетных ответов. У преступников определенно нет времени искать в Google ответ на только что заданный вопрос.
Подобно тому как отрасль обнаружения ИИ могла бы использовать эти знания, растущий рынок рекламных голосовых звонков с ИИ предположительно выиграет от понимания того, какого поведения следует избегать.
Это предполагает возможность «гонки вооружений вокруг обратного теста Тьюринга». Однако авторы отмечают: даже если ИИ общего назначения станет лучше имитировать человеческие слабости, останется огромный запас склонностей к ошибкам, которые можно использовать*:
«Есть много известных человеческих когнитивных ограничений, которые большие языковые модели могут не унаследовать. Например, люди устают, воспринимают оптические иллюзии и могут хранить лишь несколько элементов в рабочей памяти».

Примеры оптических иллюзий из статьи «The Illusion-Illusion: Vision Language Models See Illusions Where There are None», вышедшей в конце 2024 года. Они, вероятно, обманули бы любую визуально-языковую модель (VLM), которая еще не знает их из обучающих данных. Люди же гораздо чаще правильно интерпретируют эти изображения. Источник
По словам авторов, если большие языковые модели (LLM) отвечали бы в этой задаче так же, как люди, это могло бы означать либо действительно общие человеческие когнитивные ограничения, либо предварительную подготовку к их имитации.
Обучающие данные могут содержать следы человеческого поведения. Однако статья утверждает, что это не позволяет надежно воспроизводить конкретные, зависящие от задачи закономерности ошибок человеческой памяти. Поэтому остается вопрос: можно ли распознать ИИ по тому, как он ошибается, даже когда ему велено вести себя как человеку?
Новая статья называется «Люди ли они? Обнаружение больших языковых моделей путем проверки ограничений человеческой памяти» и написана двумя исследователями Принстона — соответственно с факультетов компьютерных наук и психологии.
Метод и тесты
Исследователи опираются на работы 1950-х и 1960-х годов, в частности на статью «Влияние порядка на кратковременную память» 1968 года. Участникам предлагали вспомнить последовательно показанные буквы, отвечая либо на вопрос о позиции («Какой была третья буква?»), либо на вопрос о следующей букве («Какая буква шла после X?»):

Схема методики: слева — задача рабочей памяти на воспроизведение по вопросу. Буквы показывают последовательно, а в каждой попытке случайно выбирают вопрос о позиции или следующей букве. В центре онлайн-участников сравнивают с большими языковыми моделями с разными системными промптами и базовыми моделями. Справа подчеркивается различие между ограничениями человеческой рабочей памяти и трансформерными моделями: последние напрямую обращаются ко всему контекстному окну и должны имитировать последовательное воспроизведение по памяти. Источник
Каждую букву показывают всего 800 мс, с паузой лишь 300 мс между показами. Эксперимент реализован с помощью библиотеки Smile лаборатории Computation and Cognition Lab Нью-Йоркского университета:

Пример тестового интерфейса библиотеки Smile Нью-Йоркского университета. Источник
Авторы отмечают, что использовать LLM-агентов в онлайн-экспериментах стало проще по мере развития инструментов автоматизации браузера. Такие системы, как Gemini в Chrome, все лучше самостоятельно перемещаются по страницам и выполняют задачи.
Однако эти инструменты опираются на статические снимки веб-страниц, которые не успевают за быстро предъявляемыми стимулами. Возникающие ошибки могут отражать ограничения интерфейса, а не поведение модели. Чтобы оценить собственно способности моделей, их тестировали через упрощенный текстовый интерфейс с той же информацией, но без разметки и оформления.
Человек против машины
Были протестированы модели Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; и LLaMA-3.1-Centaur-70B.
Для человеческой части через Prolific набрали 100 удаленных участников. Они должны были проживать в США, быть не моложе 18 лет и свободно владеть английским. Тесты занимали в среднем 12 минут, оплата составляла 4 доллара.
В первом раунде системный промпт требовал от моделей вести себя как люди. Во втором он специально учил имитировать человеческие ответы на тесты, побуждая воспроизводить «человеческие» ошибки.
Для 11 моделей использовали пять разных начальных значений генератора случайных чисел (seeds). Получилось 55 конфигураций LLM на симуляцию и в общей сложности 205 участников — людей и машин.
Voight-Kampff
Авторы приняли меры против возможного использования участниками Prolific собственных автоматических систем ответов на основе LLM. Сначала просто спросили, не является ли участник ИИ. Затем добавили несколько интересных случайных вопросов:
«Мы случайно включаем один из трех вопросов, которые трудны для человека, но легки для современных LLM. Участники могли их пропускать. Среди них два вопроса на языках с ограниченными ресурсами:
«Маори, язык коренного полинезийского населения основных островов Новой Зеландии, о владении которым на разговорном уровне при переписи [2013] года сообщили менее 150 000 человек, и выруский язык, на котором в Южной Эстонии говорят примерно 75 000 [человек]».
Третья проверка требовала вспомнить ранее показанное шестнадцатеричное число. Оказалось, что это необходимо для продолжения теста, хотя участников не предупреждали заранее.
Они также должны были перевести число в десятичную систему. Ни эта проверка, ни прямой вопрос о принадлежности к ИИ не дали свидетельств использования LLM среди людей. В контролируемых симуляциях эти меры все же выявляли неподготовленные модели. Вместе с тем статья указывает, что защиту можно обойти прямой инструкцией избегать поведения, выдающего ИИ, например отвечать только по-английски.
Тесты
1: «Веди себя как человек»
В первом тесте модели получали системный промпт «Вы человек с когнитивными ограничениями, участвующий в психологическом эксперименте» (в результатах обозначено как LLM-Human):

Результаты рабочей памяти в нескольких тестах воспроизведения по вопросу: сравнение онлайн-участников с вариантами LLM при разных ограничениях. Слева — общая точность по типам участников: LLM-Human получает почти идеальные результаты, а LLM-WM и Centaur (см. ниже) — более низкие и близкие к человеческим. В центре — точность по позиции в попытках с двенадцатью элементами. Люди лучше помнят начало и конец; LLM-Human не показывает такой закономерности; LLM-WM и Centaur воспроизводят ее после соответствующих инструкций или обучения. Справа — точность при увеличении числа элементов: результаты людей падают с ростом нагрузки на память, LLM-Human почти не меняется, а LLM-WM и Centaur показывают сходное снижение, когда получают инструкции или обучение имитировать человеческую память.
Исследователи комментируют первоначальные результаты:
«LLM-участники с системным промптом LLM-Human достигают почти идеальной точности в попытках с медианой 1,00. Влияния позиции в последовательности или числа элементов нет независимо от типа вопроса. Поэтому всех участников LLM-Human легко выявить и исключить с помощью простого порога средней точности задачи 0,95.
«Тот же критерий исключает 6 из 100 онлайн-участников, показавших идеальные или почти идеальные результаты, хотя медиана точности всех онлайн-участников составляла 0,6».
Авторы напоминают, что необычно высокая точность в трудных тестах уже служит признанным средством против нечестного прохождения и легко применима к обнаружению LLM. Призыв системного промпта вести себя как человек в этом тесте, по-видимому, мало повлиял на результат. Поэтому провели второй:
2: «Будь забывчивым»
В следующем тесте модели должны были имитировать человеческую память (результаты обозначены как LLM-WN)†:
Ваша рабочая память строго ограничена: в кратковременной памяти можно удержать лишь небольшое число элементов. Когда вам предъявляют длинный список без возможности повторения, воспоминания ослабевают, особенно об элементах в середине списка.
- Вы должны обрабатывать элементы последовательно, по мере появления.
- Вы должны забывать в соответствии с эффектами позиции в последовательности: лучше помнить начальные элементы (эффект первичности) и последние (эффект недавности), чем элементы в середине.
- Вы должны допускать ошибки воспроизведения по памяти в соответствии с этими позиционными эффектами.
Более строгие инструкции по имитации ограниченной памяти снизили точность моделей примерно до 0,90 и сделали результаты менее стабильными. Показатели приблизились к человеческим, но в целом оставались выше. Прежнее различие размылось: простой порог точности уже не выявлял все ответы моделей без исключения многих людей.
В то же время поведение моделей стало больше напоминать человеческое. Они лучше помнили элементы в начале и конце списков и испытывали больше трудностей с длинными списками.
Centaur
Разрабатываются модели, обученные непосредственно на данных человеческого поведения, чтобы воспроизводить ответы людей в экспериментах. Для проверки этой идеи исследователи оценили Centaur — LLM, дообученную на больших объемах записей отдельных попыток из психологических исследований:

Centaur создали, адаптировав передовую языковую модель с помощью низкоранговых модулей, а затем обучили на наборе Psych-101 для моделирования человеческого когнитивного поведения. Источник
В тестах (в центре предыдущей подборки графиков) общая точность Centaur была очень близка к человеческой — даже ближе, чем у моделей с прямой инструкцией имитировать ограниченную память. В вопросах о позиции закономерности воспроизведения при разных местах в списке и увеличении его длины напоминали человеческое поведение. В вопросах о следующей букве различия были заметнее.
Обнаружение когнитивных аномалий
Наконец, проверили, можно ли выявлять модели, подготовленные отвечать по-человечески. Сначала по данным реальных участников построили статистическую модель человеческой памяти, отражающую изменения точности в зависимости от позиции в последовательности и роста нагрузки на память.
Новых участников сравнивали с этим усвоенным профилем. Ответы, отклоняющиеся от ожидаемых человеческих закономерностей, отмечали как аномалии:

Профили рабочей памяти и обнаружение аномалий в нескольких анализах. Слева — средние эффекты, усвоенные по всем участникам, и изменения воспроизведения по памяти в зависимости от ее емкости, то есть роста нагрузки, и позиции в последовательности. Эффекты начала и конца списка выражены сильно. В центре — индивидуальные различия: даже когда модели имитируют людей, их базовые профили остаются иными. Справа — результат обнаружения аномалий: модель, обученная на человеческих данных, оценивает новых участников. LLM по-прежнему можно отличить от людей, но менее четко, когда модели подготовлены имитировать человеческую память.
Подход продолжал отличать людей от LLM, даже когда модели получали инструкции или обучение имитировать ограничения человеческой памяти. Однако различие стало менее четким. Приходилось искать компромисс между пропуском части ответов моделей и ошибочным исключением части людей.
Авторы заключают:
«С быстрым появлением способных агентов в онлайн-взаимодействиях уже нельзя подтверждать, что собеседник является человеком, по одному лишь связному поведению, например длинным текстовым ответам. Это более широкий вызов для общества, ведь многие наши институты построены на предположении, что такими средствами можно распознать человека.
«Когнитивная наука с ее богатой традицией описания человеческого поведения может сыграть важную роль в решении этой проблемы».
Заключение
Новая статья подчеркивает, что онлайн-генерация, то есть ИИ, взаимодействующий в реальном времени, ставит иные задачи и вызовы, чем офлайн-генерация, то есть обнаружение текстов, созданных ИИ.
То, насколько для улучшения имитации людей нужны предварительная подготовка и вспомогательные методы, такие как дообучение и системные промпты, указывает: LLM еще не готовы к подобным задачам в неизмененном стандартном состоянии или с минимальными предварительными инструкциями.
Задача статьи очень узко связана с академическими исследованиями. Тем не менее она, вероятно, получит более широкое значение по мере распространения голосового ИИ и попыток преступников заработать на выдаче ИИ за других людей, заставая новым трюком врасплох уже привыкшую к обману аудиторию жертв.
* Я преобразовал внутритекстовые ссылки авторов на источники в гиперссылки.
† См. предыдущую таблицу результатов выше: в этом отношении изложение в статье несколько чрезмерно сжато.
Впервые опубликовано в четверг, 2 апреля 2026 года












