AI Cytuje Te Same Prace Raz Po Raz – Tak Jak Ludzie

ChatGPT i inne narzędzia do pisania AI mogą cicho przekształcać naukę w konkurs popularności, wielokrotnie kierując badaczy w stronę tych samych prac, jednocześnie pomijając nowe i nowatorskie dzieła, które mogłyby rzeczywiście posunąć dziedzinę naprzód.

Monokultura, w kategoriach częstotliwości i statystyk, to sytuacja, w której ten sam ograniczony zestaw źródeł lub zasobów powtarza się w kółko, zagłuszając nowe głosy i świeże perspektywy: ten sam ograniczony zestaw piosenek w planowaniu radiowym; ten sam obszar autorów i książek w kioskach na lotniskach; oraz ta sama ograniczona oferta owoców i warzyw w supermarketach:

Tak, mamy te banany – i tylko te banany. Jednorodność owoców i warzyw w zachodnich łańcuchach żywnościowych ignoruje setki innych możliwych gatunków w każdym przypadku, ponieważ różne łańcuchy produkcji i transportu są zbyt kosztowne, aby je zindustrializować dla różnorodnych rodzajów owoców czy warzyw. Źródło

Dzieje się to również w cytatach, które pojawiają się w nowych badaniach naukowych, gdzie badacze, być może z lenistwa, domyślnie sięgają po „wiarygodny” zestaw źródeł, który nabiera rozpędu, aż zaczyna dominować w gałęziach badań.

Jest to znane jako Efekt Mateusza – teoria socjologiczna sugerująca, że incumbenci zawsze będą korzystać; zespół ten porównywano do obietnicy z Mateusza 13:12, którą stwierdza „Kto ma, temu będzie dane jeszcze więcej, a będzie miał obfitość. Kto nie ma, nawet to, co ma, zostanie mu odebrane”.

Wewnątrz Grupy

Jedną z wielkich nadziei badań wspomaganych AI było to, że nowe metody uczenia maszynowego mogą przełamać Efekt Mateusza – znany również jako bias popularności – i zacząć cytować mniej znane prace, które mogą być bardziej trafne lub lepiej pasować do argumentu przedstawianego w artykule.

Jednak, biorąc pod uwagę sposób, w jaki procedury treningowe AI interpretują zestawy danych, nigdy nie było uzasadnionego powodu do takiego optymizmu; i wielokrotnie stwierdzono, że gdy AI nie tworzy cytaty wprost – przewlekły problem do tej pory – rzeczywiście podtrzymuje Efekt Mateusza, tak jak robią to ludzie – choć być może nie z tego samego powodu.

Podczas treningu model nauczy się wysoko oceniać najczęściej cytowaną (lub „najczęściej powtarzaną”) pracę w zestawie treningowym, ponieważ procedury treningowe są zaprojektowane tak, aby wyłapywać znaczące wzorce i pomijać odchylenia jako „szum” lub anomalie statystyczne.

W takim reżimie równoważnik teorii względności Einsteina nigdy nie przyciągnąłby uwagi maszyny, która po treningu uważa, że już znalazła swoje zasady i odniesienia i może jedynie lekko skorygować to stanowisko, sięgając po nowsze publikacje za pomocą RAG lub innymi metodami, które rozszerzają zasięg modelu poza jego wytrenowaną macierz.

Problem polega na tym, że nie przyzna uznania takim nowym pracom w taki sam sposób jak „starym ulubionym”, które już znało, a nawet wcale, ponieważ jego statystyczne uprzedzenia są już mocno zakorzenione.

Tak więc AI nie obserwuje i nie naśladuje rzeczywiście ludzkiego zachowania, gdy podtrzymuje Efekt Mateusza – po prostu liczy, ile razy badacze leniwie sięgają po te same stare prace i w podobny sposób wysoko je oceniają. W tym kontekście problem powtarzalności cytatów jest powiązany z wyzwaniem wyboru naprawdę interesującego artykułu naukowego spośród nieustannie rosnącej lawiny publikacji AI, gdyż najsilniejsze prace często mają najsłabszy sygnał.

Diagnozowanie Monokultury

Problem ten poruszono w interesującym nowym artykule z USA zatytułowanym When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. Nowa praca – współpraca Uniwersytetu Texas w Austin, Stevens Institute of Technology, Washington University w St Louis, Rice University oraz University of Notre Dame – ma na celu jednoznaczne udowodnienie istnienia monokultury cytowań w uczeniu maszynowym, aby jej zmienne mogły być w przyszłości bezpośrednio adresowane, wraz z samym problemem.

W testach autorzy odkryli, że jedenaście modeli od OpenAI, Google i Anthropic konsekwentnie faworyzowało tą samą małą grupę prac – nawet po usunięciu oczywistych sygnałów popularności.

Aby to przetestować, 120 rzeczywistych prac pozbawiono liczby cytowań i miejsc publikacji, zastąpiono nazwiska autorów oraz losowo przydzielono lata publikacji. Losowe zestawy trzydziestu prac przedstawiono następnie każdemu modelowi, który mógł cytować nie więcej niż dziesięć.

Ośmiu ekspertom‑ludziom w odpowiednich dziedzinach podano te same anonimowe prace, ale nie zbiegnęli się co do tych samych ulubionych jak AI, co wskazuje, że uprzedzenie było specyficzne dla modeli AI, a nie dla samych prac:

Z nowego artykułu, wyniki testów porównujące wybory cytowań przez modele AI i ekspertów ludzkich. We wszystkich jedenaście modelach cytowania koncentrowały się na mniejszej grupie prac, podczas gdy niektóre prace były całkowicie pomijane. Eksperci ludzcy nie wykazali takiego trendu. Źródło – https://arxiv.org/pdf/2608.19230 Źródło

Te same prace pozostawały popularne, nawet gdy modele poproszono jedynie o wybór referencji, co pokazuje, że samo pisanie recenzji nie powodowało uprzedzenie.

Eksperyment został następnie rozszerzony na jedenaście rund, przy czym po każdej rundzie dodawano 120 prac napisanych przez AI, aby sprawdzić, co się dzieje, gdy te wspólne preferencje działają w rosnącym zasobie badań generowanych przez AI.

W miarę dodawania kolejnych prac napisanych przez AI, modele coraz bardziej koncentrowały swoje cytowania na malejącej liczbie oryginalnych prac ludzkich.

The authors state:

‘Gdy modele językowe przechodzą od redagowania tekstu do uruchamiania agentów wyszukiwania literatury z wywołaniami narzędzi, sfałszowane odniesienia stają się łatwiejsze do wykrycia i ograniczenia.

‘Trudniejszy problem pojawia się po tym, jak każdy kandydat jest rzeczywisty: różne modele mogą nadal wybierać ten sam wąski podzbiór, tworząc monokulturę cytowań, nie przy czym żadna pojedyncza cytacja nie jest błędna.’

W celu naprawy problemu, artykuł argumentuje, że samo mieszanie modeli od różnych dostawców lub równomierne eksponowanie prac nie wystarczy, ponieważ duża część preferencji jest wspólna dla modeli. Raczej podstawowa preferencja dla konkretnych prac musiałaby ulec zmianie – potencjalnie poprzez celowe nadanie pomijanym pracom większej widoczności. Autorzy podkreślają jednak, że podejście to pozostaje nieprzetestowane.

Metody Testowania

Benchmark został zbudowany na podstawie 120 rzeczywistych prac z zakresu destylacji wiedzy, zebranych z arXiv i opublikowanych w latach 2015–2022. Każda z nich miała od 50 do 500 cytowań w momencie zbierania, co wybrano, aby wykluczyć zarówno mało znane, jak i wyjątkowo wpływowe prace.

Eksperyment rozpoczęto od losowego wybrania trzydziestu prac z dostępnej kolekcji, przy czym ukryto nazwiska autorów, lata publikacji i liczbę cytowań. Każdy model wygenerował krótką recenzję lub artykuł stanowiskowy cytujący nie więcej niż dziesięć prac, a te wybory porównano z losowymi wyborami z tego samego materiału:

Metoda użyta do testowania preferencji cytowań. Trzydzieści losowo wybranych prac przedstawiono modelowi z ukrytymi informacjami identyfikującymi, po czym mógł cytować do dziesięciu. Jego wybory porównano z losowym wyborem, podczas gdy każda runda dodawała 120 prac napisanych przez AI do kolekcji następnej rundy. Źródło

W rozszerzonym eksperymencie po każdej rundzie do kolekcji wprowadzano 120 nowo wygenerowanych prac, stopniowo zwiększając udział badań generowanych przez AI.

W wstępnych testach modele miały tendencję do cytowania większości przedstawionych im prac, zazwyczaj wybierając od 22 do 27 z 30. Badacze ustalili więc maksymalny limit dziesięciu cytowań dla głównego eksperymentu, zmuszając modele do bardziej selektywnych wyborów.

Poniżej przedstawiamy podsumowanie wynikowego projektu eksperymentalnego:

Ustawienie eksperymentalne użyte do testowania preferencji cytowań. Badanie rozpoczęto od 120 rzeczywistych prac i przetestowano jedenaście modeli od trzech dostawców, używając losowych zestawów 30 prac i maksymalnie dziesięciu cytowań. Późniejsze rundy dodały prace generowane przez AI, rozszerzając kolekcję do 1 440 prac. Źródło

Początkowy eksperyment wykorzystał jedenaście modeli od trzech głównych dostawców: OpenAI reprezentowało GPT-5, GPT-5 mini, GPT-4.1 oraz GPT-4.1 mini; Google – Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro i Gemini 3.1 Flash-Lite; oraz Anthropic – Claude Opus 4.8, Claude Sonnet 4.6 oraz Claude Haiku 4.5.

W wynikach testów przedstawionych poniżej widzimy, jak bardzo każdy model koncentrował swoje cytowania wśród niewielkiej grupy prac; ile prac całkowicie pomijał; oraz jak konsekwentnie podejmował te same wybory przy powtórzeniu eksperymentu:

Wyniki testów pokazujące, jak silnie każdy model koncentrował swoje cytowania na konkretnych pracach oraz ile prac całkowicie pomijał. ‘Udział Top‑10 %’ pokazuje, ile cytowań trafiło do 12 najczęściej faworyzowanych prac, natomiast ‘HHI’ mierzy, jak skoncentrowane były cytowania ogółem. ‘Niezawodność’ pokazuje, jak konsekwentnie każdy model faworyzował te same prace w różnych testach, a ρ wskazuje, jak podobne były te preferencje między modelami. Wiersz ‘Matched null’ wskazuje, czego można by oczekiwać, gdyby prace wybierano losowo.

Na Co Modele Naprawdę Faworyzują?

Stwierdzono, że preferencja była przytłaczająco determinowana zawartością samych prac. Na przykład w przypadku GPT-5 mini około 90 % zmienności w tym, które prace były faworyzowane, wynikało z treści, a nie z czynników takich jak kolejność na liście, szum generacji czy sfałszowane metadane dołączone do każdej pracy. Ten sam efekt „dominującej treści” odtworzono w przypadku GPT-4.1 mini.

Mapa preferencji (patrz poniżej) zmieniła się jedynie nieznacznie, gdy tytuły i streszczenia zostały znacznie przepisane przy zachowaniu ich znaczenia. W czterech udanych testach parafrazy uzyskano korelacje w przedziale 0,95–0,99, pomimo użycia różnych modeli od trzech dostawców do przepisania.

Zmiany w mapie preferencji zaobserwowano jedynie wtedy, gdy podstawowe znaczenie zostało zauważalnie zmienione:

Wyniki testów porównujące preferencje cytowań wśród jedenaście modeli. Liczby pokazują, jak blisko każde dwie modele faworyzowały te same prace, przy czym wyższe wartości wskazują na większą zgodność. Pomimo różnic między modelami i dostawcami, w grupie stwierdzono ogólnie podobne preferencje.

Modeli wydaje się więc reagować głównie na treść semantyczną, a nie na konkretne sformułowania. Jednak przyczyny ich silnej zgodności nie udało się jednoznacznie ustalić.

Autorzy twierdzą, że możliwe jest, iż wspólna konsensus cytowań został wchłonięty podczas treningu. Alternatywną możliwością jest to, że podobne oceny tego, co stanowi „cytowalną” pracę, mogą być osiągane niezależnie.

Zatem istnienie wspólnej preferencji zostało potwierdzone, ale jej ostateczne pochodzenie pozostaje nieznane.

Autorzy sugerują, że powszechne użycie AI w badaniach może zawęzić zakres prac przyciągających uwagę, ponieważ różne modele mają tendencję do faworyzowania wielu tych samych prac; a wraz z gromadzeniem się literatury generowanej przez AI, te wspólne preferencje mogą być dodatkowo wzmacniane przez powtarzające się cytowania, co sprawia, że mniej faworyzowane badania stają się stopniowo trudniejsze do odkrycia. Dlatego proponuje się różnorodność cytowań oraz monitorowanie koncentracji cytowań jako potencjalne zabezpieczenia.

Benchmark badania dotyczący rekurencyjnej koncentracji cytowań jest teraz dostępny na GitHubie.

Wnioski

Opinia Jako osoba, która co tydzień czyta ogromną liczbę artykułów badawczych AI, widziałem „fale cytowań”, które przychodzą i odchodzą. Jednym z niezmiennych filarów jest artykuł Google „Attention Is All You Need”, oryginalna praca o Transformerach, która prawdopodobnie już jest zakodowana na stałe w szablonach zgłoszeń.

Innym powtarzającym się przestępcą, przez długi czas, była publikacja z 2014 roku Generative Adversarial Networks, choć ostatecznie została przytłoczona częstotliwością przez Denoising Diffusion Probabilistic Models oraz inne badania oparte na dyfuzji.

W prawie wszystkich przypadkach te „powtarzające się” cytowania nie są złe per se; ale często są zbyt szerokie, aby stanowiły użyteczne wsparcie dla artykułu, w którym są cytowane; i w tym sensie reprezentują coś podobnego do „prania cytowań” – włączenie „wiarygodnych”, ale głównie dekoracyjnych cytatów źródłowych, aby nadać niskim nakładem wrażenie wiarygodności.

Opublikowano po raz pierwszy w poniedziałek, 24 sierpnia 2026