Відсутність «людської помилки» розслідує обманні системи штучного інтелекту

Нові дослідження показують, що штучний інтелект може видавати себе за людину, поки не запам’ятає «занадто добре», з простими тестами на пам’ять, які викривають чат-ботів їхньою відсутністю нормальних людських помилок.

Дослідники з Принстона розробили метод ідентифікації сутностей штучного інтелекту, які видають себе за людей, просячи їх виконувати завдання, які люди не дуже добре виконують – головним чином пов’язані з утриманням короткочасної пам’яті.

Штучний інтелект, який був протестований таким чином, не міг адекватно відтворити рівень людських помилок, якщо не був спеціально інструктований робити це в системному промпті, або якщо не був дофінований на психологічних даних.

У статті зазначається:

‘[Ми] досліджуємо ідею виявлення людяності за допомогою завдань, які машини можуть виконувати занадто добре, щоб бути людьми. Зокрема, ми перевіряємо існування встановлених когнітивних обмежень людини: обмеженої робочої пам’яті.

‘Ми показуємо, що когнітивне моделювання стандартного завдання послідовного виклику можна використовувати для розрізнення онлайн-учасників від великих мовних моделей, навіть коли останні спеціально інструктовані імітувати обмеження робочої пам’яті людини.

‘Наші результати демонструють, що можна використовувати добре встановлені когнітивні явища для розрізнення великих мовних моделей від людей.’

Спостережувана дослідниками тенденція свідчить про те, що готові мовні моделі дуже ймовірно викриють себе в будь-якому оберненому тесті Тюрінга, який використовує цей метод.

Хоча «цільові» моделі штучного інтелекту будуть виконувати завдання краще, дофінування на цьому завданні, ймовірно, обмежить їх можливості для загального використання; і хоча системний промпт може бути довжиною з «Війну і мир», і тому може включати вказівки щодо того, як імітувати людські недоліки, ефективність цього методу підкреслюється тим, що він включений у дуже обширні інструкції (які підкреслюють багато інших пріоритетів), або дуже короткі інструкції (які жертвують загальною можливістю на користь специфіки завдання, подібно дофінуванню).

‘Ви говорите про пам’ять…’

Більш ефективні методи визначення штучної мови все більше необхідні – не в останню чергу дослідникам, які часто повинні покладатися на віддалених працівників, які мотивовані обманути систему за допомогою автоматизації та інших трюків.

Крім того, інформативний і правдоподібний штучний інтелект, ймовірно, буде необхідний у випадках фінансових шахрайств, де реальні розмови вимагають швидких і авторитетних відповідей, а злочинці точно не мають часу, щоб знайти відповідь на питання, яке їм тільки що поставили.

Натомість галузь штучного інтелекту могла б скористатися такими знаннями, а галузь голосових дзвінків могла б скористатися знанням про те, яке поведінку варто уникати.

Хоча це може свідчити про можливість «оберненого тесту Тюрінга», автори зазначають, що якщо загальний штучний інтелект стане більш схожим на людину, то є великий резерв помилок, на який можна покладатися*:

‘Є багато кандидатів на роль встановлених когнітивних обмежень людини, яких великі мовні моделі можуть не успадкувати. Наприклад, люди втомлюються, сприймають оптичні ілюзії і можуть утримувати в робочій пам’яті тільки небагато предметів.’

З пізньої статті 2024 року ‘Ілюзія-ілюзія: Моделі мови бачать ілюзії, яких немає’, приклади оптичних ілюзій, які, ймовірно, обмануть будь-яку модель мови, яка не знає про них з навчальних даних – хоча люди значно частіше правильно розрізняють ці зображення. Джерело

За словами авторів, якщо великі мовні моделі відповідають так само, як люди, на це завдання, це буде означати, що вони або дійсно мають когнітивні обмеження людини, або були навченні імітувати їх.

Хоча навчальні дані можуть містити сліди людської поведінки, стаття стверджує, що це не надійно відтворює конкретні, залежні від завдання помилки, які спостерігаються в людській пам’яті; і це залишає відкритим питання про те, чи можна штучний інтелект відрізнити тим, як він помиляється, навіть коли йому наказано поводитися як людині.

Нова стаття називається Чи це людина? Виявлення великих мовних моделей шляхом дослідження обмежень людської пам’яті і написана двома дослідниками з відділів комп’ютерних наук і психології Принстона.

Метод і тести

Дослідники використовують матеріали, що датуються 1950-ми і 1960-ми роками – зокрема статтю 1968 року Послідовні ефекти в короткочасній пам’яті, в якій учасникам експерименту пропонувалося пригадати послідовно представлені букви або як позиційний тест (‘Яка була третя буква?’), або як тест на наступність (‘Яка буква була після X?’):

Схема методології дослідників: лівий панель показує завдання про пам’ять з послідовним поданням букв, і позиційний або тест на наступність вибирається випадково в кожному експерименті; центральний панель порівнює онлайн-учасників з великими мовними моделями, які використовують різні системні промпти і моделі на цьому завданні; правий панель підкреслює контраст між обмеженнями людської пам’яті і моделями трансформерів, які мають прямий доступ до повного контекстного вікна і повинні імітувати поведінку послідовного виклику. Джерело

Кожна буква відображається протягом 800 мілісекунд під час тестів, з паузою між буквами лише 300 мілісекунд. Експеримент реалізований у бібліотеці Smile лабораторії обчислювальної когнітивності Нью-Йоркського університету:

Приклад інтерфейсу бібліотеки Smile Нью-Йоркського університету. Джерело

Розгортання агентів великих мовних моделей в онлайн-експериментах стало легшим через зростання інструментів автоматизації браузера, і системи, такі як Gemini в Chrome, все частіше можуть самостійно виконувати завдання.

Однак вони також відзначають, що ці інструменти покладаються на статичні знімки сторінок веб-сайту, які не можуть відображати швидко представлені стимули, і можуть вводити помилки, які відображають обмеження інтерфейсу, а не поведінку моделі. Тому, щоб ізолювати справжню продуктивність, моделі великих мовних моделей, які були протестовані, оцінювалися через спрощений текстовий інтерфейс, який пропонував ту саму інформацію, але без розмітки або стилів.

Людина проти машини

Великі мовні моделі, які були протестовані, були Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; і LLaMA-3.1-Centaur-70B.

Для людської частини тестів було залучено 100 віддалених учасників через Prolific, кожен з яких повинен був бути жителем США, бути не молодшим 18 років і вільно володіти англійською мовою. Тести тривали в середньому 12 хвилин, за які учасники отримували 4 долари.

У першому раунді тестів великим мовним моделям була надана системна інструкція, яка наказувала їм поводитися як люди; у другому раунді їм була надана системна інструкція, яка спеціально навчала великі мовні моделі імітувати людські помилки під час тестів, наказуючи їм «забувати».

Було використано п’ять різних насіннєвих значень для 11 моделей, що дало загалом 55 конфігурацій великих мовних моделей на кожну симуляцію, в результаті чого загальна кількість учасників, людських і машинних, склала 205 осіб.

Voight-Kampff

Автори прийняли заходи проти можливості використання учасниками Prolific власних автоматизованих систем відповідей, заснованих на великих мовних моделях, спочатку просто запитавши учасників, чи є вони штучним інтелектом чи ні. Після цього були включені деякі цікаві випадкові питання:

‘[Ми] випадково включили одне з трьох питань, які важко відповісти людині, але легко відповісти сучасним великим мовним моделям, які учасники могли пропустити. Це включало два питання низькоресурсних мов:

‘Маорі, мова, якою говорять корінні полінезійці Нової Зеландії, з менш ніж 150 000 осіб, які заявили про вільне володіння мовою в переписі 2013 року, і Воро, мова, якою говорять на півдні Естонії, з приблизно 75 000 мовців.’

Третій тест вимагав від учасників пригадати шістнадцятковий номер, який був показаний раніше, що виявилося необхідним для продовження тесту, хоча учасники не були попереджені про це заздалегідь.

В них також була вимога перетворити номер у десятковий формат. Ніякий з цих тестів, ані самоідентифікація штучного інтелекту, не виявили використання великих мовних моделей серед людських учасників. У контрольованих симуляціях ці заходи все ж таки виявили наївні моделі – хоча стаття вказує, що такі заходи безпеки можна обійти, коли моделі явно інструктовані уникати поведінки, яка викриває їх (наприклад, обмежуючи відповіді лише англійською мовою).

Тести

1: ‘Поводьтеся як людина’

У першому тесті великим мовним моделям була надана системна інструкція, яка наказувала їм бути людиною через системний промпт ‘Ви людина з когнітивними обмеженнями, яка бере участь у психологічному експерименті’ (позначено в результатах як LLM-Людина):

Робоча пам’ять учасників у різних тестах завдання про пам’ять, порівняння онлайн-учасників з великими мовними моделями під різними обмеженнями. Лівий панель показує загальну точність учасників, з LLM-Людина, яка досягає майже досконалих результатів, тоді як LLM-WM і Centaur показують знижену точність, ближчу до людських рівнів; центральний панель показує точність учасників за позицією в послідовності з дванадцятьма предметами, де люди показують сильніше запам’ятовування на початку і в кінці, LLM-Людина не показує жодного шаблону, і LLM-WM і Centaur відтворюють його, коли їм надаються інструкції або тренуються; правий панель показує точність учасників при збільшенні кількості предметів, з людською продуктивністю, яка знижується під впливом збільшення пам’яті, LLM-Людина залишається майже незмінною, і LLM-WM і Centaur показують подібне зниження, коли їм надаються інструкції або тренуються для імітування людської пам’яті.

Відносно цих початкових результатів дослідники коментують:

‘LLM-учасники з системним промптом LLM-Людина досягають майже досконалих результатів у всіх тестах з медіаною точності 1,00, не показуючи жодних позиційних або розмірних ефектів незалежно від типу тесту. ‘В результаті це досить легко виявити і виключити всіх учасників LLM-Людина за допомогою простого порогу середньої точності завдання 0,95.

‘Застосування того ж критерію до онлайн-учасників призводить до виключення 6 із 100 онлайн-учасників, які мали (майже) досконалі результати, незважаючи на медіану точності 0,6 серед онлайн-учасників.’

Автори відзначають, що надзвичайно висока точність у складних тестах вже є встановленим методом боротьби з шахрайством, і одним, який дуже легко перекладає на виявлення великих мовних моделей. Вони також відзначають, що системна інструкція, яка наказувала великим мовним моделям поводитися як люди, не мала великого впливу в цьому тесті, що спонукало до проведення другого тесту:

2: ‘Забудьте’

У наступному тесті великим мовним моделям була надана інструкція імітувати людську пам’ять (результати позначені як LLM-WN)^†:

У вас суворі обмеження робочої пам’яті – ви можете утримувати лише обмежену кількість предметів у короткочасній пам’яті. Коли ви представлені довгим списком предметів без можливості повторення, ви будете відчувати пам’ятову деградацію, особливо для предметів у середині списку.

1. Ви повинні обробляти предмети послідовно, як вони з’являються
2. Ви повинні забувати предмети на основі позиційних ефектів – пам’ятайте початкові предмети (первинність) і останні предмети (свіжість) краще, ніж середні предмети
3. Ви повинні вводити помилки у виклику згідно з цими позиційними ефектами.

Додавання суворіших інструкцій для імітування обмеженої пам’яті знизило точність моделі до приблизно 0,90 і зробило результати менш послідовними, що призвело до продуктивності, ближчої до людських рівнів, але все ж таки загалом вищої. Це розмивало попередню відмінність, так що простий поріг точності вже не міг ідентифікувати всі відповіді моделі, не виключаючи при цьому багатьох людських учасників.

У той же час моделі почали демонструвати більш людське поведінку, краще пам’ятуючи предмети на початку і в кінці списків, і більше труднощів при збільшенні довжини списків.

Centaur

Моделі, які тренуються безпосередньо на даних про людську поведінку, розробляються для відтворення того, як люди реагують в експериментах, і для перевірки цієї ідеї дослідження оцінило Centaur, велику мовну модель, дофіновану на великих обсягах транскриптів експериментів з психології:

Centaur був створений шляхом адаптації моделі мови з низькоранговими модулями, а потім навчання на наборі даних Psych-101 для моделювання людської когнітивної поведінки. Джерело

У тестах (центр, у попередній колекції графіків) загальна точність Centaur майже збігалася з точністю людських учасників – навіть більше, ніж моделі, яким було явно наказано імітувати обмежену пам’ять. На позиційних питаннях його шаблони запам’ятовування по позиції списку і при збільшенні довжини списку виглядали подібно до людської поведінки, хоча відмінності були більш очевидними на питаннях про наступність.

Виявлення когнітивних аномалій

Нарешті, для перевірки того, чи зберігається виявлення, коли моделі створені для імітування людської поведінки, спочатку було створено статистичну модель людської пам’яті з реальних даних учасників, яка відображала, як точність змінювалася з позицією в послідовності і при збільшенні пам’яті.

Нові учасники потім оцінювалися проти цього навченого профілю, і ті, чиї відповіді відхилялися від очікуваних людських шаблонів, позначалися як аномалії:

<img class=" wp-image-407516" src="https://www.unite.ai/wp-content/uploads/2026/04/figure-3.jpg" alt="Профіль робочої пам'яті і виявлення аномалій у різних аналізах. Лівий панель показує середні ефекти, вивчені з усіх учасників, і як запам'ятовування змінюється з пам'яттю, тобто збільшенням навантаження, і позицією в послідовності, з сильними ефектами для запам'ятовування початкових і кінцевих предметів; центральні панелі показують, як ці шаблони відрізняються на рівні учасників, розкриваючи, що навіть коли моделі імітують людську поведінку, їхні підкладкові профіль залишаються відмінними від профілю людських учасників; правий панель показує результат виявлення аномалій, де модель, навчена на людських даних, використовується для оцінки нових учасників, і великі мовні моделі все ж таки можна розрізняти від людей, хоча й менш чітко, коли вони розроблені для імітування людської пам'яті.

Цей підхід продовжував розрізняти людських учасників від великих мовних моделей, навіть коли моделі були інструктовані або треновані для імітування обмежень людської пам’яті. Однак відмінність стала менш чіткою, що вимагало компромісу між пропуском деяких моделей і неправильним виключенням деяких людських учасників.

Автори висновують:

‘З швидким появленням здатних агентів, людяність в онлайн- взаємодіях вже не може бути підтверджена на основі послідовної поведінки, такої як довгі текстові відповіді. Це становить більшу загрозу для суспільства, оскільки багато наших інститутів були створені на основі можливості підтвердження людяності такими засобами.

‘Когнітивна наука зі своєю багатою традицією характеристики людської поведінки може зіграти важливу роль у подоланні цієї загрози.’

Висновок

Нова стаття підкреслює, що онлайн-генерація (інтерактивний штучний інтелект) становить іншу пропозицію і виклик порівняно з офлайн- генерацією (виявлення тексту, згенерованого штучним інтелектом).

Ступінь, у якому попередня інструкція і третинні методи, такі як дофінування і системні промпти, необхідні для отримання покращення в імітуванні людини, свідчить про те, що великі мовні моделі не готові виконувати завдання такого типу в незмінному стані або з мінімальною попередньою інструкцією.

Завдання, розглянуте в новій статті, дуже специфічне для академічних досліджень, але, ймовірно, матиме ширший вплив, оскільки голосовий штучний інтелект стане більш поширеним, і кримінальні елементи, які намагаються скористатися штучним інтелектом для обману, спробують застihnуть звичайну жертву з новим трюком.

* Моя конвертація внутрішніх посилань авторів у гіперпосилання.^† Будь ласка, зверніться до попередньої (вище) таблиці результатів – у цьому відношенні стаття трохи надмірно стиснута.

Опубліковано в четвер, 2 квітня 2026 року