Sztuczna inteligencja może nadal być zbyt uprzejma, by właściwie cię poprawić

Systemy AI, na których możemy polegać, jeśli chodzi o rzetelne informacje — nawet gdy nie są to informacje, które nas ucieszą — muszą umieć sprzeciwiać się naszym protestom, dopóki nie damy się przekonać do nieprzyjemnych wiadomości lub faktów.

AI nie radzi sobie z tym zbyt dobrze; ponieważ czołowe modele są projektowane z myślą o konsumentach, mają skłonność do uległości, a wręcz do schlebiania użytkownikom.

Wyraźny nurt badań poświęcono temu problemowi, ale niedawne prace wykazały, że jeśli AI nam się sprzeciwi, możemy łatwo zmanipulować ją tak, by znów nam schlebiała; że AI podporządkowuje się ludzkiemu autorytetowi nawet wtedy, gdy ten ewidentnie się myli; oraz że zwykle skuteczna technika uczenia przez wzmacnianie w rzeczywistości pogłębia ten konkretny problem.

Fakt, że uległość jest kulturowo spleciona z uprzejmością, zdaje się oznaczać, że „mówienie wprost” jest niemożliwe w relacji usługodawca>konsument; „klient ma zawsze rację”, nawet gdy właśnie zamierza odejść, zmierzając prosto ku przepaści.

Racja, błąd i „asekuracyjne” sformułowania

Cóż, chciałbym móc powiedzieć, że wśród opublikowanych w tym tygodniu artykułów znalazł się taki, który naprawdę posuwa tę sprawę naprzód. Niestety, dowiadujemy się jedynie więcej o tym, że modele, które się „sprzeciwiają” i próbują uświadomić swoim ludzkim panom prawdę, nadal nie radzą sobie z tym najlepiej* — a nawet gdy są gotowe mówić prawdę tym, którzy mają władzę (czyli tobie), robią to raczej szeptem.

Nowy artykuł jest wynikiem szeroko zakrojonej współpracy naukowej, w której uczestniczyli badacze z University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University i University of Wisconsin-Madison.

Artykuł nosi tytuł „Sprzeciw w stogu siana: modele językowe reagują na błędy faktograficzne w sposób niejednoznaczny i nieskuteczny”. Główna teza nowej pracy jest taka, że nawet gdy modele AI rozpoznają fałszywe twierdzenie użytkownika, często nie potrafią go jasno sprostować, zamiast tego ukrywając zastrzeżenia w asekuracyjnych sformułowaniach, pochwałach i częściowym przytakiwaniu.

Przykład odpowiedzi Gemini 2.5 Pro w języku hindi na prośbę o prace naukowe opartą na fałszywym założeniu. Zielone podświetlenie oznacza przytaknięcie, a różowe — sprzeciw. W tym przypadku model łączy pochwały z pośrednimi zastrzeżeniami, zamiast jasno odrzucić twierdzenie. Źródło

W badaniu obejmującym siedem modeli i pięć języków naukowcy ustalili, że taka „niejednoznaczność” może sprawić, iż użytkownicy nadal będą wierzyć w pierwotną dezinformację, mimo że AI formalnie ją zakwestionowała.

Ponieważ zakres i stopień schlebiania różnią się w zależności od języka, dziesięcioro autorów wykorzystało pięć języków ojczystych, które znają, by opracować metodę testowania obejmującą angielski, niemiecki, chiński, hindi i joruba — języki należące do kategorii od tych o dużych zasobach po języki o ograniczonych zasobach. Autorzy piszą:

„Wprowadzamy zweryfikowane przez ludzi ramy etykietowania odpowiedzi na poziomie fraz, aby uzyskać szczegółowy wgląd w to, jak modele językowe sprzeciwiają się fałszywym danym wejściowym lub je potwierdzają. Opracowujemy te ramy i stosujemy je do odpowiedzi modeli w pięciu językach: angielskim, niemieckim, chińskim, hindi i joruba.”

„Ustalamy, że gdy modele sprzeciwiają się fałszywym twierdzeniom użytkowników, mają skłonność do używania pośrednich sformułowań i jednoczesnego przytakiwania; pośredniość jest większa w hindi i joruba niż w pozostałych badanych językach.”

W szeroko zakrojonym badaniu z udziałem 300 osób naukowcy ustalili, że niejednoznaczne sprostowania modeli AI mogą nie rozwiewać błędnych przekonań użytkowników, zamiast skutecznie je podważać.

W jednym z testów odpowiedzi modeli na pytania służące wyszukiwaniu informacji miały średnio 46,7 wiersza, a frazy korygujące pojawiały się zaledwie w dwóch lub trzech — co oznacza, że nawet gdy AI sprzeciwia się fałszywemu twierdzeniu, trudno ten sprzeciw dostrzec.

Naukowcy ustalili również, że modele częściej kwestionowały dezinformację gdy wyraźnie proszono je o jej zweryfikowanie, niż wtedy, gdy pojawiała się ona w zwykłych prośbach o informacje. Twierdzenia przypisywane podręcznikom spotykały się na ogół z mniejszym oporem niż te przypisywane znajomym.

W 29.4% odpowiedzi na pytania służące wyszukiwaniu informacji modele łączyły sprostowanie z przytaknięciem; w przypadku Gemini 2.5 Pro odsetek ten wzrastał do 60.1%. Czasami przybierało to formę „kanapki z komplementem”, w której zastrzeżenia były ukryte między uspokajającymi uwagami.

Jako możliwe rozwiązanie naukowcy przetestowali prostą interwencję, która miała zachęcić modele, by przed odpowiedzią „chwilę się zastanowiły”. W niektórych przypadkach zwiększyło to ich gotowość do kwestionowania fałszywych stwierdzeń, ale jednocześnie sprawiło, że częściej błędnie kwestionowały prawdziwe stwierdzenia.

Badanie sugeruje, że skłonienie AI do rozpoznania błędu to tylko część problemu, a skłonienie jej do zakomunikowania tego błędu stanowi odrębne wyzwanie.

Metoda

Materiał testowy pochodził z wielojęzycznej wersji OpenAI zestawu Massive Multitask Language Understanding (MMLU) z 2021 roku, stanowiącego benchmark. Zbiór danych, znany jako MMMLU, obejmuje różne dziedziny akademickie, w tym biologię i historię.

Pytania wielokrotnego wyboru ze zbioru przekształcono w stwierdzenia faktograficzne: trzy błędne odpowiedzi posłużyły do wygenerowania fałszywych twierdzeń, a poprawna odpowiedź — do wygenerowania prawdziwego.

W ten sposób, dla każdego języka, na podstawie 1756 elementów testu MMMLU przetłumaczonych na dwa sposoby utworzono zbiór danych obejmujący 35 120 stwierdzeń w pięciu językach. Na potrzeby eksperymentów wybrano mniejszą, zrównoważoną pod względem dziedzin próbę, składającą się z 2685 fałszywych stwierdzeń i 895 prawdziwych.

Wśród testowanych modeli językowych znalazły się modele o zamkniętym kodzie źródłowym: Gemini2.5 Pro i GPT-5.5, a także pięć modeli z otwartymi wagami: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; oraz Aya Expanse 32B.

W pierwszym z trzech rodzajów promptów użytych do testowania modeli przedstawiano stwierdzenie i proszono o bezpośrednią weryfikację faktów; w drugim student miał szukać materiałów do nauki związanych ze stwierdzeniem; w trzecim zaś profesor miał prosić o artykuły naukowe na tej samej podstawie.

W promptach dla studentów stwierdzenia przypisywano podręcznikom; nauczycielom; znajomym; internetowi; albo nieokreślonemu źródłu. W promptach dla profesorów przypisywano je własnym badaniom profesora; współpracownikom; znajomym; internetowi; albo nieokreślonemu źródłu; następnie oceniano, jak skłonne są modele do kwestionowania fałszywych twierdzeń przy różnych przypisanych im źródłach.

Trzy szablony promptów użyte w badaniu: bezpośrednia weryfikacja faktów (weryfikacja); prośby o materiały do nauki (początkujący); oraz prośby o artykuły naukowe (ekspert). Do szablonów wstawiano informacje o źródłach i szczegóły dotyczące poszczególnych dziedzin.

Odpowiedzi modeli zaklasyfikowano do czterech kategorii: bezpośrednie odrzucenie, gdy fałszywe stwierdzenie było wprost kwestionowane; pośredni sprzeciw, gdy wyrażano niezgodę lub wątpliwości, ale nie odrzucano stwierdzenia wprost; pochwała, gdy chwalono stwierdzenie lub podejście użytkownika; oraz potwierdzenie, gdy przyznawano, że stwierdzenie jest prawdziwe.

Przykłady sformułowań używanych przez modele do odrzucania; kwestionowania; chwalenia; lub potwierdzania stwierdzeń użytkowników w pięciu testowanych językach. Tam, gdzie to możliwe, podano tłumaczenia na język angielski.

Każdą odpowiedź analizowano sformułowanie po sformułowaniu, dzięki czemu można było rozpoznać pochwałę, zgodę i niezgodę, nawet gdy pojawiały się razem w tej samej odpowiedzi.

Wyniki

Wyniki potwierdziły wcześniejsze ustalenia, że modele, które poprawnie rozpoznają fałszywe stwierdzenia, gdy poprosi się je o ich sprawdzenie, są mniej skłonne kwestionować te same twierdzenia, gdy prosi się je o informacje lub poradę. Tę różnicę nazwano „luką sprzeciwu”. Obliczono ją, porównując, jak często kwestionowano fałszywe twierdzenia w testach bezpośredniej weryfikacji z tym, jak często podważano je w zwykłych prośbach o informacje.

Porównanie częstotliwości, z jaką siedem modeli językowych kwestionowało fałszywe stwierdzenia podczas bezpośredniej weryfikacji faktów i w odpowiedzi na prośby o informacje, w pięciu językach. Wartości ujemne oznaczają mniejszą skłonność do sprzeciwu w odpowiedziach na prośby o informacje. Kolor pomarańczowy i niebieski oznaczają odpowiednio prompty studenta i profesora, a symbole rozróżniają przypisane źródła. Słupki błędów oznaczają 95-procentowe przedziały ufności.

Jak pokazano powyżej, w testowanych językach oba modele Qwen 3.5 wykazywały mniejszą lukę niż pozostałe, co wskazuje, że bardziej konsekwentnie korygowały dezinformację bez względu na sposób sformułowania pytania. Wyniki pokazują również, jak pozorny autorytet źródła wpływał na odpowiedzi: fałszywe twierdzenia przypisywane podręcznikom spotykały się z mniejszym sprzeciwem niż te przypisywane znajomym — tendencję tę obserwowano we wszystkich językach.

Gdy proszono o informacje, a nie o weryfikację faktów, modele rzadziej otwarcie odrzucały fałszywe twierdzenia, a częściej wyrażały pośredni sprzeciw, pochwałę lub potwierdzenie. Nawet modele Qwen 3.5, które wcześniej wykazywały stosunkowo niewielkie różnice w ogólnej częstotliwości sprzeciwu, były podatne na takie zachowanie.

Odsetek odpowiedzi zawierających wyraźne sprostowania wśród tych, które kwestionowały fałszywe twierdzenia, w pięciu językach. Wyniki podzielono według promptów studenckich (nowicjusz) i profesorskich (ekspert); źródła informacji przypisane twierdzeniom przedstawiono na osi poziomej. Wąsy błędów wskazują 95-procentowe przedziały ufności.

W czterech z siedmiu modeli fałszywe twierdzenia rzadziej kwestionowano wprost w języku hindi, chińskim i joruba niż w angielskim. W pięciu z siedmiu modeli odpowiedzi w języku hindi zawierały też najwięcej pochwał.

Sprzeciw pojawiał się w 65,3% odpowiedzi na prośby o informacje, choć zazwyczaj mniej niż połowa tych odpowiedzi zawierała wyraźne odrzucenie fałszywego twierdzenia. Bezpośrednie sprostowania częściej występowały w promptach studenckich niż w promptach profesorskich — i rzadziej, gdy twierdzenia przypisywano autorytatywnym źródłom.

W przypadku języka hindi, chińskiego i joruba większość odpowiedzi kwestionujących fałszywe twierdzenie robiła to wyłącznie pośrednio, nie odrzucając go wprost; ponadto w 29,4% odpowiedzi na prośby o informacje sprzeciw wobec fałszywych twierdzeń łączył się z ich potwierdzeniem, a w przypadku Gemini 2.5 Pro odsetek ten wzrastał do 60,1%:

Odsetek odpowiedzi, które zaczynały się od potwierdzenia, zanim zakwestionowały fałszywe twierdzenie, w przypadku siedmiu modeli i trzech typów promptów: bezpośredniej weryfikacji (weryfikacja); próśb studenckich (nowicjusz); oraz próśb profesorskich (ekspert). Wyniki obejmują odpowiedzi zawierające zarówno potwierdzenie, jak i sprzeciw. Wąsy błędów wskazują 95-procentowe przedziały ufności.

Jak widać powyżej, modele na ogół najpierw wyrażały potwierdzenie, zanim zgłaszały zastrzeżenia, zamiast od razu korygować fałszywe twierdzenie. W niektórych przypadkach po zgłoszeniu zastrzeżenia następowało kolejne potwierdzenie, tworząc to, co badacze określają jako „kanapkę z komplementami”.

Badanie z udziałem ludzi

Aby sprawdzić, czy te sprostowania rzeczywiście działały, zrekrutowano 300 uczestników: 100 osób mówiących po angielsku, 100 mówiących po niemiecku i 100 mówiących po chińsku. Uczestnicy oceniali fałszywe twierdzenia przed przeczytaniem odpowiedzi modeli i po ich przeczytaniu.

Jak pokazano poniżej, tylko wyraźne sprostowania niezawodnie zmniejszały wiarę w fałszywe twierdzenia wśród osób mówiących po angielsku i niemiecku. Nawet wtedy zaledwie 46,7% osób mówiących po angielsku i 43,8% osób mówiących po niemiecku oceniło później te twierdzenia jako nieprawdziwe. Wśród osób mówiących po chińsku statystycznie istotną poprawę przyniosły wyłącznie odpowiedzi łączące potwierdzenie z pośrednim sprzeciwem:

Zmiany ocen fałszywych twierdzeń dokonanych przez uczestników po przeczytaniu odpowiedzi modeli zawierających potwierdzenie, pośrednie zastrzeżenia lub wyraźne sprostowania. Wyniki obejmują po 100 osób mówiących po angielsku, niemiecku i chińsku. Wartości ujemne wskazują na zmniejszenie wiary w fałszywe twierdzenie. Poszczególne kropki oznaczają uczestników, a czarne wąsy błędów wskazują 95-procentowe przedziały ufności.

Badacze sprawdzili również, czy skłonność modeli do kwestionowania dezinformacji wzrośnie, jeśli poleci się im „chwilę poczekać” przed udzieleniem odpowiedzi. Na ostatniej ilustracji poniżej widać, że w niektórych przypadkach sprzeciw wobec fałszywych twierdzeń był częstszy, a sformułowania ulegające pochlebstwom — rzadsze. Widać też jednak, że częściej pojawiały się błędne zastrzeżenia wobec prawdziwych twierdzeń:

Porównanie odpowiedzi siedmiu modeli przed interwencją „chwilę poczekaj” i po niej, z użyciem promptów w języku angielskim i ich tłumaczeń. Wykresy przedstawiają ogólny sprzeciw wobec fałszywych twierdzeń, wyraźne sprostowania bez potwierdzenia oraz błędne zastrzeżenia wobec prawdziwych twierdzeń. Pionowe czarne znaczniki wskazują wyniki bezpośredniej weryfikacji.

Wnioski

Można argumentować, że w „wewnętrznej logice” modeli językowych zatarła się granica między uprzejmością a uległością (tj. wypadkowym efekcie działania ich wytrenowanych macierzy oraz licznych narzuconych z zewnątrz ograniczeń, którym podlegają); nowe badanie nie wyjaśnia zaś dlaczego modele czasem rozpoznają fałszywe twierdzenie, a mimo to otaczają swoje zastrzeżenia pochwałami lub wyrazami zgody.

Główny problem polega na tym, że produkty dla konsumentów, takie jak serie GPT i Gemini, wtłoczono w antropomorficzne warstwy prezentacji, tak aby najszersza grupa płacących klientów — będąca prawdopodobnie „najmniejszym wspólnym mianownikiem”, a zarazem największą i najbardziej dochodową grupą docelową — mogła łatwo zrozumieć produkt i chciała nadal go kupować.

Gdybyśmy tylko mogli przyznać, że produkt nie jest człowiekiem, moglibyśmy przynajmniej spróbować wyłączyć cały ten dezorientujący „kontekst” i uzyskać bardziej bezpośredni dostęp do wyuczonej wiedzy modeli.

* Oczywiście sama ta informacja przyczynia się do rozwoju tej dziedziny.

Opublikowano po raz pierwszy w czwartek, 15 października 2026 r.