Kąt Andersona
Postęp naukowy napędzany przez AI zagrożony przez dziwną obsesję

Kluczowe punktyNowsze recenzenty AI skupiają się na załącznikach, podczas gdy ludzcy recenzenci…
Zobacz więcej
- Nowsze recenzenty AI skupiają się na załącznikach, podczas gdy ludzcy recenzenci koncentrują się na głównych wnioskach artykułu.
- Modele językowe traktują każdy fragment jako równie ważny, więc pomijają, które sekcje naprawdę mają znaczenie.
- Stronniczość wobec załączników utrzymuje się niezależnie od metod dostępu i prowadzi do powierzchownych uwag, które ledwie pomagają autorom w ulepszeniu pracy.
Nowe badanie przeprowadzone w USA sugeruje, że modele AI recenzujące prace naukowe zaczynają dziwnie obsesyjnie skupiać się na załącznikach do tych prac, a nie na ich głównej części, często poświęcając więcej uwagi drobnym szczegółom uzupełniającym niż najważniejszym wnioskom. Ponieważ modele językowe są coraz częściej wykorzystywane do wspomagania, a nawet zastępowania ludzkich recenzentów, nowo zidentyfikowana tendencja zdaje się przenikać do recenzji naukowych, co może hamować postęp w badaniach nad AI:

Na podstawie nowej pracy: wzrost liczby uwag dotyczących załączników w recenzjach naukowych przygotowywanych przez ludzi. Po tym, jak przez lata odsetek ten utrzymywał się poniżej 11%, w najnowszych recenzjach osiągnął 27,6% — po udostępnieniu modeli AI, które, jak ustalono, czerpią z załączników ponad połowę swoich uwag krytycznych. Linie przerywane oznaczają premiery ważnych modeli. Źródło
W teście obejmującym 2000 prac naukowych z czterech popularnych konferencji badacze ustalili, że nowsze modele czerpią z załączników około 50–70% swoich uwag krytycznych, podczas gdy w przypadku starszego modelu GPT-5 odsetek ten wynosi mniej niż 30%.
Dwa z najbardziej znanych nowszych modeli AI, które najwyraźniej skłaniają nawet ludzkich recenzentów do skupiania się na załącznikach zamiast na ważniejszych wynikach głównej części pracy, to GPT-6.1-Sol i GPT-6-Astra firmy OpenAI, oba udostępnione w 2026 roku.
W pracy czytamy*:
„Różnica między generacjami jest duża. W przypadku GPT-5 tylko niewielka część wskazywanych słabości dotyczy załącznika. Oba nowsze modele, GPT-6.1-Sol i GPT-6-Astra, znacznie częściej się na nim opierają — i dotyczy to każdej konferencji. ”
„Sugeruje to, że skłonność do skupiania się na załączniku jest przede wszystkim cechą nowszych modeli. Mimo że nowe modele są lepsze, ich skłonność do skupiania się na załączniku nasiliła się. Umiejętność szczegółowego czytania pracy nie nauczyła ich, które jej części są najważniejsze”.
Badanie wykazało również, że stopień skupienia na załączniku różni się w zależności od metody, za pomocą której AI otrzymuje pracę, ponieważ interfejsy API, Codex i interfejsy internetowe analizują pliki PDF w odmienny sposób — a Codex w ogóle nie odczytuje środkowej części typowego pliku PDF, lecz w razie potrzeby pobiera później tylko jego fragmenty. Stwierdzono jednak, że wszystkie metody faworyzują treści z załączników.
Do niedawna recenzje przygotowywane przez ludzi i AI nie wykazywały tej samej obsesji:
„[Human]Recenzenci traktują główną część pracy i materiały uzupełniające zupełnie inaczej niż modele LLM. Modele LLM przypisują materiałom związanym z załącznikami ponad 50% wskazywanych słabości, podczas gdy ludzie przypisują im mniej niż 10%”.
„Różnicę widać także na poziomie pojedynczych recenzji. Spośród 200 prac losowanych każdego roku w latach 2021–2024 tylko 159 łącznie otrzymało recenzję człowieka wskazującą jakąkolwiek słabość związaną z załącznikami. Natomiast w każdej z 200 recenzji wygenerowanych przez LLM na potrzeby ICLR 2027 znalazła się co najmniej jedna uwaga krytyczna dotycząca załącznika”.

Porównanie uwag krytycznych dotyczących załączników w recenzjach naukowych przygotowanych przez ludzi i wygenerowanych przez AI. Ludzcy recenzenci przypisali materiałom z załączników zaledwie 8,4% zidentyfikowanych słabości, w porównaniu z 62% w przypadku modeli AI. Druga kolumna przedstawia uwagi dotyczące wyłącznie załącznika, bez odpowiadającego im problemu w głównej części pracy.
Jak pokazuje powyższa tabela z testu, recenzenci AI wskazywali słabości w załącznikach ponad siedem razy częściej niż ludzie, a uwagi dotyczące wyłącznie materiałów uzupełniających zgłaszali ponad trzy razy częściej. To znak, że niektóre z najnowszych modeli AI z czołówki zaczynają przedkładać szczegóły, które ludzcy recenzenci tradycyjnie uznaliby za mniej istotne niż główny wkład naukowy pracy.
Dlaczego?
O ile można stwierdzić (to pierwsze badanie, w którym zidentyfikowano ten problem), część trudności polega na tym, że modele AI nie rozumieją lub nie wywnioskowały z obszernych materiałów treningowych, że zasadnicza treść pracy zwykle nie znajduje się w załączniku. Ich ogólna skłonność do traktowania całego tekstu jako równie ważnego sprawia, że pomijają kontekst materiałów z załączników, które często nie są uporządkowane redakcyjnie i są przedstawione znacznie mniej starannie niż główna część pracy:
„Modele LLM niemal nigdy nie krytykują początkowych stron, na których autorzy przedstawiają problem i uzasadniają jego znaczenie. Ludzie często kwestionują właśnie to ujęcie, podczas gdy modele LLM zdają się je akceptować i przechodzą do liczb”.
‘[Humans and LLMs] odczytują załącznik zupełnie inaczej. Wraz z kolejnymi stronami załącznika liczba zastrzeżeń zgłaszanych przez ludzi szybko maleje, a na ostatnich stronach niemal całkowicie zanikają. Słabości LLM-ów wcale nie słabną. Wręcz przeciwnie: najwięcej ujawnia się ich głęboko w załączniku, a nie na jego początku, i utrzymują się nawet za stroną 30, gdzie ludzcy recenzenci zgłaszają niemal żadnych zastrzeżeń.
‘Dla LLM-u szczegół ze strony 25 jest równie zasadnym celem krytyki, co tabela z głównymi wynikami.’
Autorzy zauważają, że egalitarne podejście LLM-ów do tekstu mogło w naturalny sposób skłonić je do większego skupienia na materiałach z załączników, ponieważ, jak wspomniano wyżej, jest w nich zwykle więcej błędów.
Z tego względu ogólny wniosek, jaki wyciągam z tego nowego badania, jest taki, że LLM-y z czasem coraz lepiej wychwytują błędy w tej części nowych prac naukowych, w której często pojawia się ich wiele lub dochodzi do pomyłek, po prostu dlatego, że autorzy tak często traktują ją jak nieuporządkowane składowisko dodatkowych dowodów i materiałów potwierdzających.
Z tego powodu AI coraz częściej uznaje załączniki za ciekawsze niż starannie opracowaną główną część artykułu, ponieważ jest tam więcej materiału do analizy i poprawiania; w konsekwencji, jak zauważono w artykule, LLM-y mają tendencję do traktowania początkowej części pracy jako sprawozdania z faktów i przyjmowania jej treści bez zastrzeżeń:
‘Ludzie oczekują, że główna część pracy będzie samodzielna, dlatego sprzeciwiają się przenoszeniu istotnych sekcji do załącznika. LLM-y niemal nigdy nie zgłaszają takiego zastrzeżenia.
‘To uwidacznia kluczową różnicę: ludzie rozumieją, że główna część pracy ma większą wagę niż załącznik, a LLM-y — nie. ‘
Konsekwencje i sposoby zaradzenia problemowi
To nieoczekiwane skupienie na drobnych szczegółach może mieć poważne konsekwencje dla badań naukowych wspomaganych przez AI, zwłaszcza jeśli znaczenie głównych wyników pracy zostanie przeoczone. Ponieważ tendencja ta pojawiła się, jak się wydaje, dopiero w najnowszych modelach, jej długofalowe skutki nie są jeszcze znane.
W artykule przyznano, że recenzenci AI potrafią wychwycić wartościowe błędy, nawet jeśli są one ukryte głęboko w załączniku. Ostrzeżono jednak, że nadmierne skupienie na drobnych szczegółach może odbywać się kosztem głównych wyników pracy, prowadząc do długich recenzji o niewielkiej wartości praktycznej:
‘Recenzenci LLM podnoszą poprzeczkę, ponieważ analizują każdy fragment pracy. Skuteczna recenzja wymaga jednak również umiejętności oceny, co jest najważniejsze. Jeśli większość zastrzeżeń w recenzji dotyczy treści załącznika niezwiązanych z głównym wkładem pracy, uwagi pozostają powierzchowne. Nie odnoszą się do sedna artykułu i w niewielkim stopniu pomagają autorom go ulepszyć. ‘
Autorzy nowej pracy zatytułowanej Recenzje AI są stronnicze na korzyść załączników postanowili zbadać ten problem, gdy zauważyli pewne nietypowe schematy w sposobie, w jaki recenzje tworzone z pomocą LLM-ów lub przez nie generowane oceniały ich własne zgłoszenia. Kod badania jest dostępny w serwisie GitHub.
Metodyka i testy
Do testów wybrano cztery wiodące modele AI firm OpenAI i Anthropic: GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 i Claude-Sonnet-5.5. Z modeli korzystano za pośrednictwem Codex i Claude Code, a ich zachowanie podczas recenzowania porównano z dostępem przez API i interfejs internetowy.
Prace naukowe zebrano z czterech czołowych konferencji poświęconych AI i przetwarzaniu języka naturalnego: ACL 2026, EMNLP 2026, COLM 2026 i ICLR 2027 — wybrano je, ponieważ stosują podobne formaty zgłoszeń i recenzowania, z rygorystycznymi limitami długości głównej pracy, ale na ogół bez ograniczeń dotyczących załączników umieszczanych po bibliografii.
Przeanalizowano łącznie 2000 prac: 1200 z ICLR z lat 2021–2026 oraz 800 z czterech niedawnych konferencji (po 200 z każdej). Wszystkie 800 nowszych prac zawierało załączniki liczące co najmniej 15 stron. Zgłoszenia na ICLR 2027 były już anonimowe, natomiast z prac zgłoszonych na ACL, EMNLP i COLM usunięto nazwiska autorów, ich afiliacje, adresy e-mail i linki umożliwiające ich identyfikację, aby recenzenci AI nie mogli ustalić, kto jest ich autorem.
Modelom wyłączono dostęp do internetu, dzięki czemu recenzje opierały się wyłącznie na dostarczonych plikach PDF.
Najpierw poproszono AI o przygotowanie recenzji zgodnej ze stylem danej konferencji, obejmującej mocne i słabe strony pracy oraz jej ogólną ocenę. Instrukcje celowo uproszczono, aby odzwierciedlały sposób, w jaki z AI mógłby korzystać rzeczywisty recenzent. Następnie temu samemu modelowi AI ponownie przekazano pracę wraz z gotową recenzją i poproszono go o wskazanie, której sekcji pracy dotyczy każda uwaga krytyczna. Ustalono to, analizując uwagi w zestawieniu z oryginalną pracą:

Trzyetapowy proces recenzowania zastosowany w badaniu. Z czterech konferencji wybrano artykuły z aneksami liczącymi co najmniej 15 stron, a następnie zanonimizowano je przed przekazaniem do oceny modelom AI. Każdą recenzję przeanalizowano następnie w zestawieniu z oryginalnym artykułem, przypisując poszczególne uwagi krytyczne do sekcji, których dotyczyły.
Dzięki rozdzieleniu tych zadań można było sprawdzić, które części artykułów spotykały się z krytyką, nie narażając oryginalnych recenzji na wpływ dodatkowych instrukcji.
Wśród wyników, których dotąd nie omawialiśmy, jest test przeprowadzony przez autorów, sprawdzający, skąd biorą się słabości recenzji generowanych przez duże modele językowe:

Porównanie miejsc, w których recenzje wygenerowane przez AI wskazywały słabości, w przypadku czterech konferencji. Kolorem zielonym oznaczono uwagi krytyczne dotyczące głównego tekstu artykułu, czerwonym — uwagi związane z aneksem, a kreskowaniem — te dotyczące wyłącznie aneksu. Niemal w każdym teście ponad połowę uwag krytycznych przypisano materiałom z aneksu, a najsilniejsze odchylenie odnotowano w przypadku GPT-6-Astra.
Jak pokazano powyżej, około połowa lub więcej uwag krytycznych sformułowanych przez wszystkie cztery modele AI opierała się na materiałach zawartych w aneksach — wzorzec ten zaobserwowano na wszystkich czterech konferencjach. Część uwag dotyczyła wyłącznie aneksu i nie miała związku z głównym tekstem artykułu; stanowiły one 17,33% słabości wskazanych przez modele GPT, w porównaniu z 10,16% w przypadku Claude.
Jak sugerują autorzy artykułu, wyniki wskazują, że materiałom z aneksu poświęcano nieproporcjonalnie dużo uwagi, a stosunkowo drobne szczegóły bywały niekiedy uznawane za podstawę do krytykowania artykułu jako całości.
Przeprowadzono porównanie różnych metod, aby ustalić, czy na stronniczość wobec aneksów wpływał sposób dostępu do AI. Za pomocą GPT-6-Astra oceniono sto zgłoszeń na konferencję ICLR 2027, korzystając z Codex, interfejsu internetowego ChatGPT oraz API, do którego przekazano oryginalne pliki PDF lub wyodrębniony z nich tekst.
W Codex tekst wyodrębniano i analizowano za pomocą poleceń; przez API przekazywano bezpośrednio cały plik PDF albo wyodrębniony z niego tekst; natomiast dokumenty przesłane przez interfejs internetowy przetwarzał jego własny, nieprzejrzysty system:

Porównanie uwag krytycznych dotyczących aneksów w przypadku różnych modeli AI i metod dostępu. Po lewej stronie widać, że w czterech konferencjach GPT-5 odwoływał się do materiałów z aneksów znacznie rzadziej niż nowsze modele GPT. Po prawej stronie widać, że odchylenie utrzymywało się przy wszystkich czterech sposobach dostępu do GPT-6-Astra, a uwagi krytyczne dotyczące aneksów stanowiły od 62,2% do 73,7% ogółu. Kreskowaniem oznaczono uwagi dotyczące wyłącznie aneksów.
Jak pokazano powyżej, we wszystkich czterech metodach w 62,2%–73,7% uwag krytycznych przywoływano materiały związane z aneksami; najwyższy odsetek odnotowano, gdy przez API bezpośrednio przekazano wyodrębniony tekst. Stwierdzono zatem, że odchylenie utrzymywało się niezależnie od sposobu dostępu do modelu.
Większość pozostałych testów opisano już wcześniej w artykule; po więcej informacji odsyłamy czytelników do materiałów źródłowych.
Sztuczki przy zgłaszaniu prac
Podobnie jak dla autorów nowej pracy, temat ten jest mi bliski, ponieważ często czytam artykuły naukowe i na własnej skórze poznałem ukryte zasady oraz sposoby ich obchodzenia, które decydują o tym, jak prace są tworzone i prezentowane.
Nie można generalnie winić AI za zwracanie uwagi na aneksy, nawet jeśli robi to z niewłaściwych powodów, ponieważ autorzy często ukrywają tam „haczyki” — czynniki lub wyniki, które mogą niemal całkowicie unieważnić albo poważnie ograniczyć zasadność twierdzeń zawartych w głównym tekście artykułu.
Autorzy również niekoniecznie ponoszą winę za przenoszenie ważnych treści do aneksu, ponieważ szablony popularnych czasopism, takich jak te uwzględnione jako źródła danych w nowym badaniu, narzucają limity liczby stron lub słów w głównej części artykułu.
Wielu autorów uznaje to za poważne ograniczenie przy przedstawianiu złożonych wyników badań; w przypadkach, które określiłbym jako „najgorsze”†, główny tekst artykułu staje się po prostu spisem treści materiałów przeniesionych na koniec, by obejść wytyczne (choć wytyczne zaczynają nadążać za tą „sztuczką” i jej zakazywać).
Rosnące napięcie w tej sytuacji wynika z konfliktu między potrzebą instytucji, by autorzy dyscyplinowali się i powściągali w swoich prezentacjach — co staje się coraz ważniejsze, gdy rośnie liczba nadsyłanych artykułów — a wyraźną frustracją badaczy, którzy chcą przedstawić ciężko wypracowane owoce swojej pracy w tak pełnym i wszechstronnym kontekście, na jaki, ich zdaniem, zasługuje włożony wysiłek.
* Podkreślenia autorów, nie moje.
†Ponieważ przy selekcji artykułów do omówienia przeniesienie materiału do aneksów może być trudne do wykrycia nawet dla sztucznej inteligencji; może jednak znacznie utrudnić pracę recenzentowi, jeśli przeznaczył on czas na ocenę tekstu liczącego dziesięć stron, a teraz musi rozważyć 30 stron materiału w tym samym czasie.
Opublikowano po raz pierwszy w poniedziałek, 16 listopada 2026 r.












