Kąt Andersona

Brak ludzkich błędów demaskuje systemy AI podszywające się pod ludzi

Martin Anderson
Dodaj Unite.AI do preferowanych źródeł w Google
AI-generated image (GPT-1.5) featuring two male chess players facing off in a tournament, but we can see from the wires and cables hanging out of his back, that one of the players is a robot.
Kluczowe punktySystemy AI ujawniają się, wykonując zadania pamięciowe z nienaturalną perfekcją, chyba…
Zobacz więcej
  • Systemy AI ujawniają się, wykonując zadania pamięciowe z nienaturalną perfekcją, chyba że są specjalnie szkolone, aby popełniać błędy.
  • Dostrajanie modeli na danych z psychologii człowieka poprawia ich zdolność naśladowania, ale ogranicza ich uniwersalne możliwości.
  • Nauki kognitywne oferują solidne metody wykrywania, ponieważ AI pozbawiona jest wrodzonych ludzkich ograniczeń, takich jak zanik pamięci czy zmęczenie.

Naukowcy odkryli, że AI może być mylona z człowiekiem, dopóki nie pamięta “zbyt dobrze”, a proste testy pamięci ujawniają czatboty poprzez brak normalnych ludzkich błędów.

 

Naukowcy z Princeton opracowali metodę identyfikacji jednostek AI, które podają się za ludzi, poprzez zadawanie im zadań, z którymi ludzie radzą sobie słabo – głównie związanych z krótkotrwałym zapamiętywaniem.

AI testowane w ten sposób nie były w stanie odpowiednio odtworzyć poziomu błędów ludzkich, chyba że zostały wyraźnie poinstruowane, aby to zrobić w instrukcji systemowej, lub zostały dodatkowo wytrenowane na danych psychologicznych.

Artykuł stwierdza:

‘[My] badamy ideę sprawdzania, czy uczestnik jest człowiekiem poprzez zadawanie zadań, które maszyny mogą rozwiązać zbyt dobrze, aby być ludzkimi. Konkretnie, badamy istnienie ugruntowanego ludzkiego ograniczenia poznawczego: ograniczonej pojemności pamięci roboczej.

‘Pokazujemy, że modelowanie poznawcze w standardowym zadaniu przypomnienia sekwencyjnego może być użyte do odróżnienia uczestników online od LLM, nawet gdy te ostatnie są wyraźnie instruowane do naśladowania ograniczeń ludzkiej pamięci roboczej.

‘Nasze wyniki dowodzą, że jest to możliwe, aby użyć dobrze ugruntowanych zjawisk poznawczych do odróżnienia LLM od ludzi.’

Tendencja obserwowana przez naukowców sugeruje, że standardowe modele językowe z bardzo dużym prawdopodobieństwem ujawnią się w każdym odwróconym teście Turinga, który używa tej metody.

Chociaż modele AI przeznaczone do określonego celu będą działać lepiej, dostosowanie do tego zadania prawdopodobnie ograniczy je do tego, kosztem ogólnej użyteczności; a chociaż instrukcja systemowa może być tak długa jak Wojna i pokój, i dlatego mogłaby zawierać instrukcje, jak naśladować ludzkie słabości, skuteczność tej metody jest podważana przez to, że jest zawarta w bardzo obszernych instrukcjach (które będą podkreślać wiele innych priorytetów), lub bardzo krótkich (które poświęcą ogólną zdolność na rzecz specyfiki zadania, podobnie jak dostosowanie).

‘Mówisz o pamięci…’

Bardziej skuteczne metody wykrywania dyskursu generowanego przez AI są coraz bardziej potrzebne – nie tylko przez samych naukowców, którzy często muszą polegać na pracownikach zdalnych pozyskiwanych przez platformy crowdsourcingowe, którzy są dobrze zmotywowani do oszukiwania systemu poprzez automatyzację i inne sztuczki.

Ponadto, merytoryczny i wiarygodnie przedstawiony materiał generowany przez AI jest prawdopodobnie potrzebny w przypadkach oszustw z użyciem AI, gdzie rozmowy w czasie rzeczywistym wymagają szybkich i autorytatywnych odpowiedzi, a sprawcy na pewno nie mają czasu, aby wyszukać w Google odpowiedź na pytanie, które właśnie im zadano.

Bardzo podobnie, jak sektor wykrywania AI mógłby wykorzystać taką wiedzę, tak również rosnący przemysł głosowych połączeń promocyjnych z użyciem AI prawdopodobnie skorzystałby na wiedzy o tym, jakich zachowań unikać.

Chociaż sugeruje to możliwość “wyścigu zbrojeń w odwróconych testach Turinga”, autorzy zauważają, że jeśli ogólne AI staną się lepsze w symulowaniu ludzkich słabości, jest ogromny zbiór błędów, z których można korzystać*:

‘Istnieje wiele kandydatów na ugruntowane ludzkie ograniczenia poznawcze, których LLM mogą nie odziedziczyć. Na przykład, ludzie się męczą, doświadczają optycznych iluzji i mogą zapamiętać tylko kilka elementów w pamięci roboczej.’

Przykłady złudzeń optycznych z pracy „The Illusion-Illusion: Vision Language Models See Illusions Where There are None” z końca 2024 roku. Prawdopodobnie zwiodłyby każdy model wizyjno-językowy (VLM), który nie znał ich wcześniej z danych treningowych, podczas gdy ludzie znacznie częściej interpretowaliby obrazy poprawnie. Źródło: https://arxiv.org/pdf/2412.18613

Przykłady złudzeń optycznych z pracy „The Illusion-Illusion: Vision Language Models See Illusions Where There are None” z końca 2024 roku. Prawdopodobnie zwiodłyby każdy model wizyjno-językowy (VLM), który nie znał ich wcześniej z danych treningowych, podczas gdy ludzie znacznie częściej interpretowaliby obrazy poprawnie. Źródło

Według autorów, jeśli LLM odpowiedzą w ten sam sposób, co ludzie w tym zadaniu, sugerowałoby to, że albo naprawdę dzielą ludzkie ograniczenia poznawcze, albo zostały wyszkolone, aby je naśladować.

Podczas gdy dane szkoleniowe mogą zawierać ślady ludzkiego zachowania, artykuł utrzymuje, że nie odtwarzają one w sposób wiarygodny specyficznych, zależnych od zadania wzorców błędów widocznych w ludzkiej pamięci; i pozostawia otwarte pytanie, czy AI można nadal rozpoznać na podstawie tego, jak popełnia błędy, nawet gdy otrzymuje polecenie zachowywania się jak człowiek.

Nowy artykuł nosi tytuł Czy są ludźmi? Wykrywanie dużych modeli językowych poprzez badanie ograniczeń pamięci ludzkiej i pochodzi od dwóch naukowców z Wydziałów Informatyki i Psychologii na Uniwersytecie Princeton.

Metoda i testy

Naukowcy wykorzystują materiały sięgające lat 50. i 60. – szczególnie artykuł z 1968 roku Skutki sekwencyjne w pamięci krótkotrwałej, w którym uczestnicy badania zostali poproszeni o przypomnienie sekwencyjnie przedstawianych liter w odpowiedzi na pytanie o pozycję (‘Jaka była 3. litera?’) lub pytanie o kolejny element (‘Jaka litera była po X?’):

Schemat metody: po lewej zadanie pamięci roboczej, w którym litery pojawiają się kolejno, a w każdej próbie losuje się pytanie o pozycję lub następny element. W środku porównano uczestników online z dużymi modelami językowymi używającymi różnych instrukcji systemowych i modeli bazowych. Po prawej pokazano różnicę między ograniczeniami ludzkiej pamięci roboczej a modelami Transformer, które mają bezpośredni dostęp do całego okna kontekstowego i muszą symulować odtwarzanie sekwencji. Źródło: https://arxiv.org/pdf/2604.00016

Schemat metody: po lewej zadanie pamięci roboczej, w którym litery pojawiają się kolejno, a w każdej próbie losuje się pytanie o pozycję lub następny element. W środku porównano uczestników online z dużymi modelami językowymi używającymi różnych instrukcji systemowych i modeli bazowych. Po prawej pokazano różnicę między ograniczeniami ludzkiej pamięci roboczej a modelami Transformer, które mają bezpośredni dostęp do całego okna kontekstowego i muszą symulować odtwarzanie sekwencji. Źródło

Każda litera była widoczna tylko przez 800 ms podczas testów, z przerwą 300 ms między prezentacjami danych. Eksperyment został zaimplementowany w bibliotece Smile laboratorium NYU Computation and Cognition Lab:

Przykład interfejsu testowego biblioteki Smile z NYU. Źródło: https://smile.gureckislab.org/introduction.html

Przykład interfejsu testowego biblioteki Smile z NYU. Źródło

Wdrożenie agentów LLM do eksperymentów online stało się łatwiejsze, ponieważ dojrzały narzędzia automatyzacji przeglądarki, a systemy takie jak Gemini w Chrome są coraz bardziej w stanie nawigować i wykonywać zadania w sposób autonomiczny.

Jednak zauważają również, że te narzędzia opierają się na statycznych migawkach stron internetowych, które nie są w stanie uchwycić szybko prezentowanych bodźców, i które mogą wprowadzać błędy, które odzwierciedlają ograniczenia interfejsu, a nie zachowanie modelu. Dlatego też, aby izolować prawdziwe wyniki, testowane modele LLM zostały ocenione za pomocą uproszczonego interfejsu tekstowego, oferującego te same informacje, ale bez znaczników ani stylów.

Człowiek a maszyna

Testowane LLM to Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; oraz LLaMA-3.1-Centaur-70B.

Dla ludzkiej części testów, 100 zdalnych uczestników zostało pozyskanych za pośrednictwem Prolific, przy czym każdy musiał być mieszkańcem USA, mieć co najmniej 18 lat i biegle mówić po angielsku. Testy trwały średnio 12 minut, za które uczestnicy otrzymali 4 dolary.

W pierwszej rundzie testów, LLM otrzymał instrukcję systemową, która nakazywała mu zachowywać się jak człowiek; w drugiej rundzie instrukcję systemową, która wyraźnie instruowała LLM, aby naśladować ludzkie zachowanie w odpowiedzi na testy, zachęcając model do “udawania” ludzkich błędów.

Pięć różnych wartości początkowych generatora losowego zastosowano w 11 modelach testowych, co dało łącznie 55 konfiguracji LLM na symulację, a łącznie w badaniu było 205 uczestników, ludzi i maszyn.

Voight-Kampff

Autorzy podjęli środki przeciwko możliwości, że uczestnicy Prolific będą używać własnych systemów odpowiedzi zautomatyzowanych opartych na LLM, najpierw po prostu pytając uczestnika, czy jest AI, czy nie. Następnie włączyli kilka interesujących losowych pytań:

‘[My] losowo włączamy jedno z trzech pytań, które są trudne do odpowiedzi przez człowieka, ale łatwe dla bieżących LLM, które uczestnicy mogą pominąć. Obejmuje to dwa pytania w językach o niewielkich zasobach danych:

‘Māori, język mówiony przez rdzennych ludzi polinezyjskich z Nowej Zelandii, z mniej niż 150 000 ludzi, którzy deklarowali znajomość tego języka na poziomie konwersacyjnym w spisie z [2013] i Võro, język mówiony w południowej Estonii z około 75 000 [osób mówiących tym językiem].’

Trzeci test wymagał od uczestników przypomnienia liczby szesnastkowej, która była wcześniej wyświetlana, co okazało się wymogiem kontynuowania testu, chociaż uczestnicy nie zostali uprzedzeni o tym wcześniej.

Następnie zostali również poproszeni o przekonwertowanie liczby na postać dziesiętną. Ani ten test, ani samo zgłoszenie AI nie ujawniły dowodów użycia LLM wśród uczestników ludzkich. W kontrolowanych symulacjach jednak te środki wykryły naiwne modele; chociaż wskazuje to, że takie zabezpieczenia mogą być ominęte, gdy modele są wyraźnie instruowane, aby unikać ujawniających zachowań (na przykład przez ograniczenie odpowiedzi do języka angielskiego).

Testy

1: ‘Zachowuj się jak człowiek’

W pierwszym teście, LLM zostały poinstruowane, aby zachowywać się jak ludzie za pomocą instrukcji systemowej ‘Jesteś człowiekiem z ograniczeniami poznawczymi, biorącym udział w badaniu psychologicznym’ (oznaczone w wynikach jako LLM-Human):

Wyniki pamięci roboczej w kilku testach odtwarzania z pytaniami, porównujące uczestników online z wariantami LLM o różnych ograniczeniach. Po lewej ogólna dokładność według typu uczestnika: LLM-Human osiąga niemal idealne wyniki, a LLM-WM i Centaur uzyskują mniejszą dokładność, bliższą ludzkiej. W środku dokładność według pozycji w próbach z dwunastoma elementami: ludzie lepiej pamiętają początek i koniec, LLM-Human nie wykazuje tego wzorca, a LLM-WM i Centaur odtwarzają go po instrukcjach lub treningu. Po prawej dokładność przy wzroście liczby elementów: wyniki ludzi spadają wraz z obciążeniem pamięci, LLM-Human pozostaje w dużej mierze niewrażliwy, a LLM-WM i Centaur wykazują podobne spadki, gdy mają naśladować ludzką pamięć.

Wyniki pamięci roboczej w kilku testach odtwarzania z pytaniami, porównujące uczestników online z wariantami LLM o różnych ograniczeniach. Po lewej ogólna dokładność według typu uczestnika: LLM-Human osiąga niemal idealne wyniki, a LLM-WM i Centaur (zob. niżej) uzyskują mniejszą dokładność, bliższą ludzkiej. W środku dokładność według pozycji w próbach z dwunastoma elementami: ludzie lepiej pamiętają początek i koniec, LLM-Human nie wykazuje tego wzorca, a LLM-WM i Centaur odtwarzają go po instrukcjach lub treningu. Po prawej dokładność przy wzroście liczby elementów: wyniki ludzi spadają wraz z obciążeniem pamięci, LLM-Human pozostaje w dużej mierze niewrażliwy, a LLM-WM i Centaur wykazują podobne spadki, gdy mają naśladować ludzką pamięć.

W odniesieniu do tych wyników, naukowcy komentują:

‘Uczestnicy LLM z instrukcją systemową LLM-Human osiągają prawie idealną dokładność we wszystkich testach z medianą dokładności 1,00, nie wykazując żadnych efektów pozycyjnych ani efektów rozmiaru zestawu, niezależnie od typu sondy.W związku z tym, jest to proste, aby wykryć i wykluczyć wszystkich uczestników LLM-Human za pomocą prostego progu średniej dokładności zadania wynoszącego 0,95.

‘Zastosowanie tego samego kryterium do uczestników online prowadzi do wykluczenia 6 z 100 uczestników online, którzy mieli (bliską) idealną wydajność, pomimo mediany dokładności 0,6 wśród uczestników online.’

Autorzy zauważają, że niezwykle wysokie dokładności w trudnych testach są już ugruntowaną metodą przeciwko oszustwom, i że metoda ta bardzo łatwo tłumaczy się na wykrywanie LLM. Zauważają również, że polecenie instrukcji systemowej, aby zachowywać się jak człowiek, nie wydaje się mieć dużego wpływu w tym teście, co skłoniło ich do przeprowadzenia drugiego:

2: ‘Bądź zapominalski’

W następnym teście, LLM zostały poinstruowane, aby naśladować ludzką pamięć (z wynikami oznaczonymi jako LLM-WN)†:

‘Masz surowe ograniczenia pamięci roboczej – możesz trzymać tylko ograniczoną liczbę elementów w krótkotrwałej pamięci. Kiedy przedstawiono ci długą listę elementów bez możliwości powtórki, ślady pamięciowe będą zanikać, szczególnie dla elementów w środku listy.

  1. Musisz przetwarzać elementy sekwencyjnie, gdy pojawiają się
  2. Musisz zapominać elementy na podstawie efektów pozycyjnych – pamiętając lepiej elementy na początku (pierwszeństwo) i na końcu (świeżość) niż elementy w środku
  3. Musisz wprowadzać błędy w przypomnieniu zgodnie z tymi efektami pozycyjnymi.

Dodanie surowych instrukcji, aby symulować ograniczoną pamięć, obniżyło dokładność modelu do około 0,90 i uczyniło wyniki mniej spójnymi, przybliżając wyniki do poziomu ludzkiego, ale nadal ogólnie wyższego. To rozmyło wcześniejszą różnicę, tak że prosta granica dokładności już nie mogła identyfikować wszystkich odpowiedzi modelu, bez wykluczenia wielu uczestników ludzkich.

W tym samym czasie, modele zaczęły wykazywać bardziej ludzkie zachowanie, lepiej pamiętając elementy na początku i na końcu list, i napotykając więcej trudności wraz z wydłużaniem się list.

Centaur

Modele szkolone bezpośrednio na danych behawioralnych ludzi są rozwijane w celu odtworzenia, jak ludzie odpowiadają w badaniach, i aby przetestować tę ideę, badanie oceniło Centaur, LLM dodatkowo wytrenowany na dużej liczbie zapisów poszczególnych prób z badań psychologicznych:

Centaur powstał przez adaptację nowoczesnego modelu językowego za pomocą modułów niskiej rangi, a następnie trening na zbiorze Psych-101 w celu modelowania ludzkich zachowań poznawczych. Źródło: https://arxiv.org/pdf/2410.20268

Centaur powstał przez adaptację nowoczesnego modelu językowego za pomocą modułów niskiej rangi, a następnie trening na zbiorze Psych-101 w celu modelowania ludzkich zachowań poznawczych. Źródło

W testach (pośrodku, w kolekcji wcześniejszych wyników) ogólna dokładność Centaura zbliżyła się do tej, jaką osiągali uczestnicy ludzcy – nawet bardziej niż modele, które zostały wyraźnie poinstruowane, aby naśladować ograniczenia pamięci. Na pytaniach pozycyjnych, jego wzorce przypomnienia przez pozycję na liście i rosnącą długość listy wydawały się podobne do ludzkiego zachowania, chociaż różnice były bardziej widoczne w pytaniach następczych.

Wykrywanie anomalii poznawczych

Ostatecznie, aby przetestować, czy wykrywanie nadal działa, gdy modele są opracowane w celu naśladowania ludzkiego zachowania, najpierw naukowcy nauczyli model statystyczny ludzkiej pamięci z prawdziwych danych uczestników, ujmując, jak dokładność zmienia się wraz z pozycją w sekwencji i rosnącym obciążeniem pamięci.

Następnie nowi uczestnicy zostali ocenieni w stosunku do tego nauczonego profilu, a ci, którzy odbiegali od oczekiwanych ludzkich wzorców, zostali oznaczeni jako anomalie:

Profile pamięci roboczej i wykrywanie anomalii w kilku analizach. Po lewej średnie efekty wyuczone z danych wszystkich uczestników oraz zmienność odtwarzania wraz ze wzrostem obciążenia pamięci i pozycją w sekwencji, z silnymi efektami dla pierwszych i ostatnich elementów. Panele środkowe pokazują różnice między uczestnikami: nawet gdy modele naśladują ludzkie zachowanie, ich podstawowe profile pozostają odmienne od ludzkich. Po prawej wynik wykrywania anomalii: model wytrenowany na danych ludzkich ocenia nowych uczestników. Nadal można odróżnić LLM od ludzi, ale mniej wyraźnie, gdy modele zaprojektowano do imitowania ludzkiej pamięci.

Profile pamięci roboczej i wykrywanie anomalii w kilku analizach. Po lewej średnie efekty wyuczone z danych wszystkich uczestników oraz zmienność odtwarzania wraz ze wzrostem obciążenia pamięci i pozycją w sekwencji, z silnymi efektami dla pierwszych i ostatnich elementów. Panele środkowe pokazują różnice między uczestnikami: nawet gdy modele naśladują ludzkie zachowanie, ich podstawowe profile pozostają odmienne od ludzkich. Po prawej wynik wykrywania anomalii: model wytrenowany na danych ludzkich ocenia nowych uczestników. Nadal można odróżnić LLM od ludzi, ale mniej wyraźnie, gdy modele zaprojektowano do imitowania ludzkiej pamięci.

Podczas gdy to podejście nadal oddzielało LLM od ludzi, różnica stała się mniej wyraźna, wymagając kompromisu między pominięciem niektórych odpowiedzi modelu a błędnym wykluczeniem niektórych uczestników będących ludźmi.

Autorzy konkludują:

‘Z szybkim pojawieniem się zdolnych agentów, nie można już potwierdzać, że rozmówca w interakcjach online jest człowiekiem na podstawie spójnego zachowania, takiego jak długie odpowiedzi tekstowe. To stawia szersze wyzwanie dla społeczeństwa, ponieważ wiele z naszych instytucji zostało zbudowanych na założeniu, że można w ten sposób potwierdzić, że rozmówca jest człowiekiem.

‘Kognitywistyka ze swoją bogatą tradycją charakteryzowania ludzkiego zachowania może odegrać ważną rolę w radzeniu sobie z tym wyzwaniem.’

Wnioski

Nowy artykuł podkreśla, że generowanie online (AI działająca na żywo i interaktywnie) reprezentuje inną sytuację i wyzwanie w porównaniu z generowaniem offline (wykrywanie tekstu generowanego przez AI).

Stopień, w jakim wymagane są wcześniejsze instrukcje i dodatkowe metody, takie jak dostrajanie i instrukcje systemowe, aby uzyskać poprawę w naśladowaniu ludzi, wskazuje, że LLM nie są gotowe do podjęcia zadań tego rodzaju w stanie niezmienionym lub z minimalnymi instrukcjami.

Zadanie, które nowy artykuł próbuje rozwiązać, jest bardzo specyficzne dla badań akademickich, ale prawdopodobnie będzie miało szerszy wpływ, gdy AI głosowa stanie się bardziej rozpowszechniona, a przestępcze elementy, które chcą zarabiać na podszywaniu się pod inne osoby za pomocą AI, będą próbować zaskoczyć grupę ofiar znużonych znanymi metodami oszustw nowym pomysłem.

* Autor artykułu zamienił odsyłacze bibliograficzne w tekście pracy na hiperłącza.
† Zob. wcześniejszy wykres wyników powyżej; w tym miejscu opis w pracy jest nieco zbyt skrótowy.

Opublikowane po raz pierwszy w czwartek, 2 kwietnia 2026

Pisarz zajmujący się uczeniem maszynowym, specjalista w dziedzinie syntezy ludzkich obrazów. Były szef ds. treści badawczych w Metaphysic.ai, aż do jej rozwiązania w Brahma.ai firmy DNEG.
Strona internetowa: martinanderson.ai
Kontakt: martin@martinanderson.ai