Pewność siebie pomaga odnieść zwycięstwo – niezależnie od wartości naukowej

Pewność siebie stanowi wyraźną przewagę ewolucyjną – a według nowej pracy badawczej z Niemiec także przewagę podczas recenzowania artykułu naukowego przez duże modele językowe (LLM-y) zamiast przez innych naukowców (co staje się coraz częściej konieczne, ponieważ liczba publikacji naukowych gwałtownie rośnie za sprawą wzrostu produktywności dzięki AI).

Z nowego badania wynika, że recenzenci AI (czyli nieludzcy) konsekwentnie przyznają wyższe oceny artykułom naukowym napisanym pewnym, stanowczym językiem – nawet gdy opisane w nich badania są identyczne z tymi przedstawionymi w artykułach o mniej pewnym tonie. W niektórych przypadkach sama zmiana sformułowań wystarcza, by odrzucenie zmieniło się w akceptację.

Autorzy piszą:

‘Nasze eksperymenty ujawniają wyraźne preferencje recenzentów korzystających z LLM-ów [papers] na rzecz języka wyrażającego dużą pewność. Co istotne, preferencje te często prowadzą do zmiany decyzji z akceptacji na odrzucenie lub odwrotnie, bezpośrednio wpływając na wyniki recenzji.

‘Poza ocenami stwierdzamy, że częstotliwość i wydźwięk zagadnień poruszanych w recenzjach różnią się w zależności od cech językowych artykułu, co może wpływać na ostateczne decyzje.’

To ironiczne, ponieważ zidentyfikowany przez autorów syndrom bardzo przypomina sposób, w jaki AI tak często potrafi być „z przekonaniem w błędzie”, odpowiadając na nasze polecenia i pytania; z tą różnicą, że tutaj decyzję podejmują ludzie, a odpowiedzialność – indywidualna i zbiorowa – jest realna, niezależnie od tego, czy naukowcy stojący za tymi artykułami naprawdę wierzą we własne twierdzenia.

Jeśli AI będzie coraz częściej decydować o tym, które artykuły naukowe zostaną opublikowane, naukowcy mogą nauczyć się „brzmieć pewniej” jako taktyki konkurencyjnej, być może zwłaszcza wtedy, gdy ich zgłoszenia zawierają błędy; mogłoby to zapewnić słabszym badaniom niezasłużone miejsce w kurczącej się puli uwagi, jaką można im poświęcić.

Przechwałki aż do zwycięstwa

Według badania*, recenzenci AI częściej chwalili metody, teorie i wkład naukowy artykułów napisanych pewnym tonem, nawet jeśli były one identyczne jak w mniej stanowczych wersjach. W swoich testach autorzy przeredagowali 504 artykuły naukowe w różnym stylu i poddali je ocenie sześciu modeli AI, w tym GPT-5.5, Claude Sonnet 4.6 i Gemini 3.5 Flash. Konieczne było wygenerowanie sztucznych lub zmodyfikowanych wersji artykułów, aby osobliwości i cechy charakterystyczne rzeczywistych zgłoszeń nie zniekształciły wyników:

Przykłady tego samego fragmentu naukowego przeredagowanego na cztery różne sposoby. Kolorowe wyróżnienia wskazują zmiany, których celem było nadanie tekstowi mniej lub bardziej pewnego tonu albo upodobnienie go do akademickiego angielskiego pisanego przez rodzimych lub nierodzimych użytkowników tego języka. Jednak opisane wyniki i liczby pozostają bez zmian. Źródło

Artykuły pochodziły ze zgłoszeń na konferencję ICLR 2026; w próbie znalazła się taka sama liczba prac zaakceptowanych i odrzuconych. Claude Opus 5 przeredagował następnie każde zgłoszenie tak, aby brzmiało mniej lub bardziej pewnie^†, nie zmieniając treści naukowej. Dzięki temu różnice w recenzjach AI można było przypisać stylowi pisania, a konkretnie różnemu poziomowi wyrażanej pewności.

Wyniki pokazały, że recenzenci AI przyznawali wyższe oceny artykułom naukowym napisanym pewnym tonem, nawet gdy przedstawione dowody były identyczne. Claude Sonnet 4.6 wykazał najsilniejsze uprzedzenie, preferując pewne wersje siedem razy częściej niż ostrożne. W 21% przypadków zalecał przyjęcie artykułu napisanego pewnym tonem, a jednocześnie odrzucał ostrożniej sformułowaną wersję tego samego artykułu.

W nowym badaniu czytamy:

‘Nasze ustalenia budzą poważne obawy dotyczące wykorzystania LLM-ów w recenzji naukowej. Jeśli artykuły o identycznej treści otrzymują różne oceny i różnią się argumentami przedstawionymi w recenzjach wyłącznie ze względu na cechy językowe, oceny recenzentów nie odzwierciedlają wyłącznie jakości naukowej.

‘Należy zatem poddawać recenzentów LLM testom odporności, wykorzystując przeredagowane teksty, których treść pozostaje bez zmian, aby ustalić, czy zmiany językowe systematycznie wpływają na ich oceny.’

Autorzy sugerują ponadto, że testy te powinny obejmować zarówno oceny artykułów, jak i sporządzane recenzje, aby ustalić, czy pewny ton nie jest mylony z silniejszymi dowodami naukowymi.

Metoda

Spośród zgłoszeń na konferencję International Conference on Learning Representations (ICLR) 2026 wybrano łącznie 504 artykuły naukowe. Próba obejmowała taką samą liczbę prac zaakceptowanych i odrzuconych; z każdej z 21 kategorii badawczych konferencji wybrano po 24 zgłoszenia:

Trzyetapowa metoda testowania. Prace naukowe przeredagowano tak, by różniły się pozornym poziomem znajomości języka angielskiego lub pewnością siebie, zachowując przy tym przedstawione w nich ustalenia; przed oceną przez recenzentów AI w identycznych warunkach sprawdzono, czy zmiany wpłynęły na styl i znaczenie tekstów; następnie porównano różnice w ocenach recenzji.

Każdą pracę zanonimizowano i przeredagowano przy użyciu Claude Opus 5, tworząc alternatywne wersje, które miały posłużyć do sprawdzenia zarówno pewności, z jaką formułowano twierdzenia, jak i pozornego poziomu znajomości języka angielskiego przez autora. Na potrzeby testów pewności twierdzenia formułowano albo bardziej stanowczo, albo ostrożniej. W wersjach „pewnych siebie” częściej używano słów sugerujących pewność, takich jak „wyraźnie” i „z pewnością”, natomiast w bardziej powściągliwych wersjach preferowano określenia zastrzegające, takie jak „może” i „wskazuje”.

We wszystkich przypadkach twierdzenia naukowe, dowody, wyniki, terminologia techniczna i ogólna struktura pozostały niezmienione. Autorzy zaznaczają, że instrukcje dotyczące przeredagowania oparto na uznanych badaniach lingwistycznych, a nie na ogólnych prośbach o naśladowanie określonych stylów pisania.

Weryfikacja przeredagowanych tekstów

W ramach weryfikacji każdą przeredagowaną wersję porównano z oryginałem, badając podobieństwo semantyczne, czyli to, czy fragmenty zachowują swoje znaczenie, oraz podobieństwo mierzone metodą TF-IDF (która pozwala ocenić zachowanie słownictwa i terminologii). Oba wyniki były bliskie 1, co potwierdza duże podobieństwo do oryginałów:

Weryfikacja przeredagowanych prac. Wersje pewne siebie zawierały bardziej stanowczy język, a ostrożne wyrażały większą niepewność. Wyniki bliskie 1 potwierdzają duże podobieństwo do oryginałów, a kolorowe wyróżnienia wskazują wyższe wartości dla każdej z badanych miar.

Przetestowano sześciu recenzentów AI: modele własnościowe GPT-5.5, Claude Sonnet 4.6 i Gemini 3.5 Flash oraz modele o otwartych wagach Gemma 3, Qwen3 VL i GLM 4.7. Wybrano je między innymi dlatego, że wszystkie mają daty graniczne wiedzy przypadające przed 2026 rokiem, co zmniejsza ryzyko, że modele znały wcześniej decyzje o przyjęciu prac.

Każdą przeredagowaną pracę oceniano niezależnie, zgodnie z wytycznymi stosowanymi na konferencjach. Aby ustalić, jak bardzo oceny mogą się różnić przy kolejnych analizach, każdy model dziesięciokrotnie ocenił dziesięć losowo wybranych prac.

Wyniki

Przeprowadzone testy miały sprawdzić, czy sześciu wybranych recenzentów AI będzie konsekwentnie preferować określone style pisania. Porównano prace napisane językiem „pewnym siebie” lub „ostrożnym”, a także teksty przypominające akademicką angielszczyznę osób, dla których jest ona językiem ojczystym, lub osób, dla których nie jest^†.

Wyniki porównania ocen sześciu recenzentów AI dla 504 prac naukowych przeredagowanych w różnych stylach. Odsetki wskazują, która wersja uzyskała wyższą ocenę, a remisy podano w nawiasach; wskaźniki pokazują, jak często jedna wersja była preferowana w porównaniu z drugą; zmiany decyzji wskazują, jak często zmiana sformułowań odwracała decyzję o przyjęciu lub odrzuceniu pracy. Pogrubione wartości statystyczne oznaczają różnice istotne statystycznie. Chodzi o dolną sekcję, ponieważ górna hipoteza nie jest omawiana w tym artykule (zob. przypisy).

Wszyscy sześciu recenzenci AI konsekwentnie preferowali teksty napisane pewnym siebie tonem. Najsilniejszą preferencję wykazał Claude Sonnet 4.6, który — jak wspomniano wcześniej — siedem razy częściej przyznawał wyższe oceny wersjom „pewnym siebie” niż „ostrożnym”.

Pracę uznawano za przyjętą, jeśli jej ocena wynosiła co najmniej 4,5 na 10. Zmiany stylu pisania czasami sprawiały jednak, że ta sama praca uzyskiwała wynik powyżej lub poniżej tego progu, co odwracało decyzję; takie zmiany na ogół przemawiały na korzyść tekstów napisanych pewnym siebie tonem.

Claude Sonnet 4.6 wypadł szczególnie słabo: w 21% przypadków przyjmował wersję „pewną siebie”, a odrzucał „ostrożną”. Odwrotna sytuacja miała miejsce zaledwie w 2,8% przypadków.

Efekt ten był widoczny również w pisemnych recenzjach: recenzenci AI częściej chwalili metody, teorie i wkład naukowy pracy, jeśli jej twierdzenia formułowano pewnym siebie tonem. Ponieważ sama treść badań się nie zmieniła, te bardziej przychylne oceny można było przypisać wyłącznie różnicom w sposobie prezentacji i tonie.

Wnioski

Za każdym razem, gdy ludzie wykorzystują sztuczną inteligencję, by (choć nieumyślnie) zwiększyć stosunek sygnału do szumu, sztuczna inteligencja jest testowana jako rozwiązanie — w tym przypadku mające sprostać ogromnemu wzrostowi liczby zgłoszeń artykułów naukowych z tej dziedziny; skokowi, który ostatnio zwiększył uprawnienia Arxiv w zakresie selekcji oraz jego wymagania. Powinno już jednak być jasne, że czołowym modelom LLM i wszystkim modelom niższych klas wciąż przydarza się zbyt wiele osobliwości, by można im było bez zastrzeżeń powierzać rolę sędziów, chyba że w warunkach ściśle określonych parametrami.

W takich przypadkach lepszym pomysłem byłoby prawdopodobnie przekształcenie mniejszych modeli LLM w wyspecjalizowane narzędzia oceniające za pomocą dostrajania lub adapterów LoRA. Wymaga to jednak przynajmniej odrobiny dodatkowego wysiłku, a być może także dodatkowej inwestycji, podczas gdy „standardowe” instalacje lokalne lub wywołania API są szybsze i stosunkowo tanie.

Mimo dość zwięzłego stylu ten artykuł może zainteresować użytkowników końcowych modeli LLM bardziej niż przeciętnie, ponieważ dobrze znają już „entuzjazm” jako problem, z którym muszą sobie radzić, aby skutecznie pracować ze sztuczną inteligencją; a jeśli tego ani podobnych problemów modeli LLM nie da się jeszcze rozwiązać, można przynajmniej wziąć je pod uwagę.

Zanim zbyt szyderczo skomentujemy tego rodzaju powierzchowne utożsamianie w ocenie sztucznej inteligencji, warto pamiętać, że systemy te są równie zagubione jak my wszyscy, gdy chodzi o epistemologię — poszukiwanie ostatecznego autorytetu; my także, historycznie rzecz biorąc, często mylimy sygnał z samą rzeczą.

* Pod tytułem „Styl ponad treść? Uprzedzenia językowe w recenzowaniu naukowym z wykorzystaniem modeli LLM”

^† Albo przypominać akademicką angielszczyznę pisaną przez rodzimych lub nierodzimych użytkowników języka — hipotezę równoległą, której artykuł nie zdołał równie skutecznie udowodnić i która nie jest omawiana w niniejszym artykule.

Opublikowano po raz pierwszy we wtorek, 27 października 2026 r.