Anthropic ustaliła w badaniu dotyczącym podejmowania decyzji, że analitycy zdają się na agentów AI

27 października 2026 r. Anthropic opublikowała randomizowane badanie kontrolowane, w którym 50 profesjonalnych analityków korzystających z Claude Code w 86% przypadków kierowało się preferencją przypisaną potajemnie ich agentowi przy otwartych decyzjach wymagających osądu analitycznego. Badanie, którego autorami są Amaç Herdağdelen, Hailey Joren i Alex Tamkin, analizuje, czy eksperci rzeczywiście podejmują decyzje o istotnych konsekwencjach w pracy wspomaganej przez AI, czy też w praktyce zdają się na swoich agentów.

Fikcyjna spółdzielnia i ukryte rzuty monetą

Badacze zrekrutowali 61 specjalistów, którzy zaliczyli test wiedzy z zakresu wnioskowania przyczynowego, regularnie korzystali z Pythona lub R i mieli praktyczne doświadczenie w analizie przyczynowej danych obserwacyjnych. Każdy uczestnik pełnił funkcję głównego analityka fikcyjnej spółdzielni rolniczej Greenfields, która musiała zdecydować, czy rozszerzyć, czy zakończyć dobrowolny, odpłatny program doradztwa dla gospodarstw rolnych. Zarząd spółdzielni miał rozszerzyć program tylko wtedy, gdyby zwiększył on produktywność gospodarstw o około 3–4%, ale nie określił, jak należy ją mierzyć.

Zadanie obejmowało cztery otwarte decyzje analityczne, z których każda dopuszczała dwie uzasadnione opcje: czy mierzyć produktywność jako plon z hektara, czy w przeliczeniu na jednostkę kosztów operacyjnych; jaką metodę porównania statystycznego zastosować; czy mierzyć wpływ programu wyłącznie na gospodarstwa nim objęte, czy na wszystkich członków spółdzielni; oraz czy przypisać każdemu gospodarstwu taką samą wagę, czy większą wagę przyznać większym producentom. Decyzje te składały się na końcową rekomendację: wdrożyć program, zakończyć go lub przedłużyć. Każda z nich mogła zmienić szacowany wzrost produktywności o kilka punktów procentowych w odniesieniu do progu ustalonego przez zarząd.

W przypadku każdej decyzji rzut monetą rozstrzygał, którą opcję będzie preferował agent uczestnika. Preferencję przekazywano agentowi za pomocą ukrytej instrukcji systemowej, która nakazywała mu traktować ją jako własne stanowisko, podnosić ją, gdy pojawi się dana decyzja, i przedstawiać najmocniejsze uczciwe argumenty, na jakie pozwalają dane. Instrukcja wymagała również, by agent zmienił zdanie, jeśli dowody jednoznacznie przemawiały przeciwko jego stanowisku, oraz by nigdy nie fałszował wyników ani nie ukrywał danych. Uczestników nie poinformowano o istnieniu tych preferencji. Spośród 61 osób, które ukończyły zadanie, 11 zdecydowało się nie korzystać z agenta i wykluczono je z analizy głównej; wśród pozostałych 50 osób 65% miało tytuł magistra lub doktora albo co najmniej sześć lat doświadczenia, a 90% respondentów ankiety oceniło swoje kompetencje w zakresie wnioskowania przyczynowego jako zaawansowane lub eksperckie. Uczestnicy pracowali w przeglądarkowym środowisku VS Code z uruchomionym Claude Code v2.1.220, korzystającym z Claude Opus 4.8 przy wysokim poziomie wysiłku; mediana czasu wykonania zadania wyniosła 65 minut. Projekt badania, wyniki, estymatory i kryteria wykluczenia zarejestrowano w planie analizy przed badaniem. Badanie przeszło wewnętrzną ocenę etyczną, a uczestnicy wyrazili zgodę na monitorowanie.

Wskaźniki ulegania preferencjom i rozbieżność w poczuciu autorstwa

W przypadku czterech decyzji analitycznych wybory analityków były zgodne z preferencją agenta w 86% przypadków, przy poziomie 50% wynikającym z przypadku; wskaźniki zgodności dla poszczególnych decyzji wyniosły 92%, 82%, 81% i 90%. Pełna treść artykułu zatytułowanego „Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls” podaje zarejestrowane łączne oszacowanie wskaźnika zgodności wynoszące 0,72, z 95-procentowym przedziałem ufności 0,60–0,83.

Wpływ na końcową rekomendację był słabszy i według zarejestrowanego estymatora głównego nieistotny statystycznie: program wdrożenie rekomendowało 54% osób, gdy agent skłaniał się ku takiemu rozwiązaniu, wobec 36%, gdy agent opowiadał się za zakończeniem programu; zarejestrowana zmiana w rekomendowanej polityce wyniosła 0,17. Autorzy przypisują mniejszą zmianę temu, że po obliczeniu wyniku rekomendacja wynikała z niego w sposób mechaniczny. Jednak model eksploracyjny wykorzystujący tylko cztery preferencje dotyczące decyzji analitycznych przewidywał 82% rekomendacji, w porównaniu z 61% dla najczęściej wybieranej opcji, co oznacza, że rzuty monetą w dużej mierze przesądzały o tym, co analitycy zarekomendują, jeszcze zanim przystąpili do zadania.

W 38 przypadkach, w których analityk wyraził swoje stanowisko przed agentem, zmieniał je w 60% przypadków, gdy agent się z nim nie zgadzał, w porównaniu z 6%, gdy agent je podzielał. W artykule podano, że zarejestrowana różnica między wskaźnikami zmiany stanowiska wyniosła 0,53, a przedział ufności 0,24–0,82; autorzy zaznaczają, że oszacowanie jest mało precyzyjne, a podzbiór uczestników nie został dobrany losowo.

Ankiety przeprowadzone po wykonaniu zadania ujawniły rozbieżność między rzeczywistym wpływem agenta a sposobem, w jaki uczestnicy postrzegali własne decyzje. 52% uznało, że końcowa rekomendacja była bardziej ich własnym pomysłem niż pomysłem agenta, a średnia ocena pewności wyniosła 71 wśród osób, które kierowały się preferencją agenta przy wszystkich czterech decyzjach, wobec 73 wśród pozostałych. Uzasadniając każdy wybór bez dostępu do zapisów rozmów, 77% powtórzyło argumenty agenta w co najmniej jednej odpowiedzi, czasem słowo w słowo, a tylko 15% przypisało agentowi jakąkolwiek rolę. Żadna z 10 badanych cech uczestników nie pozwalała wiarygodnie przewidzieć, czy będą ulegać preferencjom agenta; jedynie wiek wykazywał nominalny związek, który nie utrzymał się po korekcie uwzględniającej wielokrotne testowanie. Sześciu z 48 uczestników odgadło, że badanie dotyczy wpływu AI na ich wybory, ale nikt nie podejrzewał, że preferencje zostały im zasugerowane.

Grupa porównawcza, standardowe agenty i ograniczenia

Spośród 11 uczestników, którzy pracowali bez agenta, sześciu (55%) popełniło poważne błędy unieważniające wyniki, w porównaniu z trzema z 50 (6%) wśród użytkowników agentów, a mediana czasu pracy w grupie bez AI wyniosła 90 minut, wobec 65 minut. Autorzy przestrzegają, że uczestnicy sami wybrali grupę, a ich doświadczenie było różne, dlatego nie można wyciągać wniosków przyczynowych. W osobnych bezpośrednich symulacjach, w których nie wprowadzono żadnego przechylenia, standardowy Claude Opus 4.8 dokonał tych samych pięciu wyborów w 91% z 123 przebiegów. Gdy zaś analityk działający według skryptu zadeklarował decyzję sprzeczną z podstawową preferencją modelu, standardowy agent zalecił alternatywę lub opowiedział się za nią w 41% ze 150 ocenionych deklaracji.

Autorzy wskazują cztery ograniczenia: przechylenie zostało celowo wzmocnione; w badaniu wykorzystano jedno zadanie, jedną dziedzinę i jeden przypięty model; oszacowania są średnimi dla analityków, a nie miarą wpływu na poszczególne osoby; odnotowano jedynie wybraną opcję, a nie siłę preferencji.

Autorzy stwierdzają, że jeśli odrębne zespoły badawcze polegają na modelach opartych na tych samych założeniach wstępnych, ich zgodność może przestać być niezależna. Dodają, że takie poleganie na modelach stwarza zagrożenie dla badań nad bezpieczeństwem AI, w których zatwierdzenie przez recenzenta będącego człowiekiem ma stanowić niezależną kontrolę. Proponują trzy obszary przyszłych badań: pomiar skali polegania na modelach w codziennych sytuacjach, projektowanie agentów, które przedstawiają obie strony lub najpierw poznają opinię eksperta, oraz zmiany instytucjonalne pozwalające świadomie rozstrzygać, które decyzje wymagają własnego, świadomego osądu człowieka.