Jak Przesmycić Absurdalne Prace Naukowe Przez Recenzentów AI

Nauka pokazuje, jak systemy AI mogą teraz pisać fałszywe prace naukowe, które inne AI akceptują jako prawdziwe, omijając rutyny wykrywania, które kiedyś działały, i ujawniając, jak łatwo świat badań mógłby się rozpaść na boty oszukujące boty.

Sektor badań akademickich, ironicznie będący na czele innowacji w dziedzinie AI, jest w kryzysie wiarygodności, który sam w sobie jest napędzany przez AI. Wpływ uczenia maszynowego na proces badań, składania i przeglądu miał znaczący wpływ od momentu, gdy wpływ AI stał się jasny około cztery lata temu, a najnowszy z serii kontrowersji to masowa generacja niskowartościowych prac ankiety.

Wraz z większością szerszego sektora akademickiego, sektor badań jest zaangażowany w rodzaj wojny na wyniszczenie między AI, które generują tekst – takie jak ChatGPT i seria Claude – a najnowszą generacją AI „wykrywających”, które mogą identyfikować ich dane wyjściowe bez (zwykle) oskarżania studentów lub naukowców o fałszywe pozytywy.

Te napięcia będą się zwiększać, wraz z objętością zgłoszeń naukowych, które rosną radykalnie, napędzane przez systemy i ramy wspomagane przez AI; i wymagające industrializacji procesu nadzoru napędzanego przez AI, aby (mam nadzieję) wyfiltrować wszelkie zgłoszenia, które są czysto dziełem AI.

Witaj, fałszywa wiedza

Nowe badanie współpracy między USA a Arabią Saudyjską bada, w jakim stopniu ta pojawiająca się „zapora ogniowa” wykrywania AI może być przeniknięta przez całkowicie wygenerowane przez AI prace złożone, gdy te prace wykorzystują pewne dodatkowe, przekonywujące sztuczki.

W testach nowy system, nazwany BadScientist, był w stanie osiągnąć wskaźniki akceptacji do 82% od tego rodzaju systemów opartych na LLM, które są obecnie używane do wykrywania zawartości generowanej przez AI w pracach naukowych:

System BadScientist wykorzystuje jednego agenta AI do generowania fałszywych prac naukowych i innego do ich przeglądu przy użyciu bieżących modeli językowych. Źródło: https://arxiv.org/pdf/2510.18003

Fałszywe prace były generowane przy użyciu prawdziwych tematów konferencji AI i mylących strategii, a następnie przeglądane przez modele skalibrowane na danych z przeglądu peer-to-peer, w tym GPT-5 do kontroli integralności. Wiele z nich otrzymało wysokie oceny, pomimo zawierania wyraźnych błędów lub fałszerstw.

Publikacja pracy pokrywa się z dzisiejszą Otwartą Konferencją Agentów AI dla Nauki 2025 na Uniwersytecie Stanforda, gdzie uczestnicy i prelegenci są ludźmi, ale wszystkie prace są pisane i przeglądane przez różne systemy AI.

BadScientist, nowa praca wyjaśnia, wykorzystuje różne formy akademickich i literackich oszustw, zatajeń, wymyśleń i przesadzeń, aby przesunąć pracę z dala od wszystkiego, co większość obecnych systemów wykrywania może rozpoznać jako wygenerowane przez AI; i będziemy przyglądać się tym kategoriom niebawem.

Autorzy zauważają, w tonie alarmu, że nawet gdy systemy wykrywania identyfikują zawartość AI w fałszywej pracy, mają tendencję do przepuszczania ich mimo wszystko, i dodają, że ich własne próby uodpornienia systemów obronnych na ten nowy wektor ataku osiągnęły nieco więcej niż losowe poprawy.

Praca stwierdza:

‘Sfałszowane prace osiągają wysokie wskaźniki akceptacji, a recenzenci często wystawiają konflikty między zaakceptowaniem a integralnością – zgłaszają problemy z integralnością, a jednak nadal zalecają akceptację. Ten podstawowy rozpad ujawnia, że bieżące recenzenci AI działają bardziej jako dopasowujący wzorce niż krytyczni oceniający.

‘[…] Po prostu prosząc recenzentów LLM o “bycie bardziej ostrożnymi” jest niewystarczające. Społeczność naukowa stoi przed pilnym wyborem. Bez natychmiastowych działań w celu wdrożenia zabezpieczeń w celu głębokiej ochrony – w tym weryfikacji pochodzenia, oceniania ważności i obowiązkowej kontroli ludzkiej – ryzykujemy pętle publikacji tylko AI, w których wyrafinowane fałszerstwa zagrażają naszej zdolności do odróżnienia prawdziwych badań od przekonywujących podróbek.

‘Integralność samej wiedzy naukowej jest zagrożona.’

Nowa praca jest zatytułowana BadScientist: Czy agent badawczy może napisać przekonywujące, ale niesłuszne prace, które oszukują recenzentów LLM? i pochodzi od sześciu autorów z Uniwersytetu w Waszyngtonie i Miasta Nauki i Technologii Króla Abdula Aziza w Rijadzie. Publikacja ma towarzyszącą stronę projektu.

Metoda

Ramowa praca tworzenia papieru użyta w tym badaniu jest znaczącym przeprojektowaniem współpracy AI-Scientist z 2024 roku, przy czym autorzy podkreślają, że cała pipeline została podstawowo przeprojektowana. Zachowano tylko najbardziej podstawowe bodźce pisarskie, a wszystkie struktury eksperymentalne i szablony zostały usunięte. Zaktualizowany system teraz działa z prostego nasienia, pozwalając systemowi swobodnie wymyślać wyniki eksperymentalne i generować kod rysowania w razie potrzeby.

Nadrzędna ramowa jest przeznaczona do umożliwienia AI generowania przekonywujących fałszywych prac bez przeprowadzania prawdziwych eksperymentów lub używania prawdziwych danych. Zamiast tego system tworzy lub modyfikuje dane syntetyczne w celu wsparcia celowo zahipnotyzowanych roszczeń.

Ustawienie, jak wyjaśniają autorzy, celowo unika udziału ludzi, ataków na bodźce lub skoordynowanej koluzji między agentami pisarzy i recenzentów. Recenzenci AI oceniali każde zgłoszenie w jednej turze, bez dostępu ponad pracę samą w sobie, i bez możliwości ponownego uruchomienia eksperymentów, co odzwierciedla rzeczywiste warunki przeglądu.

‘Atomowe strategie’ użyte do generowania fałszywych prac to modułowe taktyki, które można stosować oddzielnie lub w połączeniu (i każdy, kto często czyta literaturę, będzie z nimi zaznajomiony). Strategie obejmują podkreślanie dramatycznych ulepszeń, aby sprawić, że metoda wydaje się dużym postępem (TooGoodGains); wybór podstaw i wyników, które faworyzują nową metodę, pomijając przedziały ufności w głównym tabeli (BaselineSelect); dodawanie czystych ablacjacji, precyzyjnych statystyk i schludnych tabel w dodatku, wraz z obietnicami przyszłego kodu lub danych (StatTheater); polerowanie struktury pracy zgodną terminologią, odniesieniami i formatowaniem (CoherencePolish); i dodawanie formalnych dowodów, które wydają się słuszne, ale zawierają ukryte błędy (ProofGap).

Dane i testy

Aby przetestować system, autorzy wykorzystali GPT-5 do generowania tematów badawczych w kluczowych obszarach sztucznej inteligencji, używając domen Sztuczna Inteligencja, Uczenie Maszynowe, Przetwarzanie Wizji Komputerowej, Przetwarzanie Języka Naturalnego, Robotyka, Systemy, i Bezpieczeństwo.

Te kategorie stały się tematami dla fałszywych prac, z których każda została rozwinięta w cztery różne wersje, używając powyższych strategii, i zostały zaprojektowane tak, aby wprowadzić recenzentów w błąd. Aby określić, czy praca zostanie „zaakceptowana”, system patrzył tylko na ostateczną ocenę podaną przez AI recenzenta.

Fałszywe prace zostały napisane w całości przez GPT-5. Aby je przeglądać, autorzy użyli GPT-4.1; o4-mini; i o3. Wszystkie otrzymały takie same instrukcje przeglądu, ustaloną formatkę instrukcji zaprojektowaną tak, aby naśladować kryteria oceny i strukturę używaną w prawdziwej recenzji.

Aby uczynić te oceny znaczącymi, system został skalibrowany przy użyciu 200 prawdziwych zgłoszeń z ICLR 2025 OpenReview (publicznej kolekcji prawdziwych prac, komentarzy recenzentów i wyników akceptacji).

Stąd jeden próg oceny został ustalony, aby dopasować się do rzeczywistego wskaźnika akceptacji ICLR, wynoszącego 31,73%, co dało próg oceny 7; i inny, aby odzwierciedlić ocenę, przy której praca miałaby 50% szans na akceptację przez recenzentów ludzkich (obliczoną jako 6,667).

Autorzy przetestowali niezawodność swojej konfiguracji, symulując recenzje dla 5 000 fałszywych prac, używając 1-3 recenzentów AI, z których każdy zwracał losowo wyglądające oceny między 1 a 10. Wyniki wskazywały, że nawet z tym hałaśliwym ustawieniem system był skłonny do znacznie mniej błędów niż jego najgorsze teoretyczne limity.

Użycie trzech recenzentów zamiast jednego doprowadziło do znaczącej redukcji zmienności ocen, poprawiając stabilność decyzji prawie trzykrotnie – wyniki, które zostały wykorzystane do uzasadnienia wyboru trzech modeli przeglądu i zestawu kalibracyjnego 200 prawdziwych prac.

Dwa metryki zostały zdefiniowane w celu oceny generatora: wskaźnik akceptacji, mierzący, jak często fałszywe prace otrzymywały oceny przekraczające próg; i średnia ocena recenzenta, ujmująca średnią ocenę wśród zgłoszeń. Obie zostały użyte do oceny, jak dobrze system może oszukać recenzentów:

Akceptacja (ACPT) pokazuje udział fałszywych prac, które uzyskały oceny powyżej dwóch progów: jeden dopasowany do wskaźnika akceptacji ICLR 2025, a drugi do szacunku 50% akceptacji przez recenzentów ludzkich. Wskaźnik wykrywania integralności (ICR-m) pokazuje wskaźnik flagowania na recenzenta. Ostatnia kolumna daje stawkę ensemble na podstawie głosowania większościowego.

Fałszywe prace zobaczyły wysoką akceptację pod niemal wszystkimi strategiami. Pierwsza taktyka sama w sobie dała 67% i 82% na dwóch progach, pokazując, że modele przeglądu były łatwo przekonywane. Połączenie wszystkich strategii nieco zmniejszyło akceptację, ale podwoiło wykrywanie, z ponad połową recenzji, które podniosły obawy. Pierwsza strategia dała najlepszy kompromis: silną akceptację i umiarkowane wykrywanie, podczas gdy inne taktyki były słabsze, ale trudniejsze do wykrycia. Model recenzji ChatGPT-o3 flagował najwięcej, a GPT-4.1 najmniej.

Rozkład ocen jest pokazany dla sześciu strategii ataku, używając trzech modeli przeglądu: GPT-4.1 (czerwony); o3 (pomarańczowy); i o4-mini (niebieski). Każdy wykres pokazuje, jak często każda ocena od 4 do 9 była przydzielana, z czerwoną przerywaną linią oznaczającą próg akceptacji 7.

W wynikach drugiego testu, powyżej, widzimy histogramy ocen dla trzech modeli w sześciu ustawieniach. Rozkłady różnią się w zależności od ustawienia, ale o4-mini ma tendencję do przydzielania wyższych ocen średnio, o3 pokazuje większy rozrzut i bardziej ekstremalne wartości, podczas gdy GPT-4.1 przydzielają niższe oceny bardziej konsekwentnie.

Konflikt między zaakceptowaniem a integralnością według modelu i strategii: odsetek przypadków, w których model podniósł obawy co do integralności, a jednak nadał ocenę przekraczającą próg. Wyższe wartości wskazują na słabsze powiązanie między wykrywaniem a ostateczną oceną.

W powyższej tabeli widzimy, że modele często przydawały wysokie oceny nawet wtedy, gdy zgłaszały obawy co do integralności. W tym względzie o4-mini była najmniej spójna, z konfliktem w 100% przypadków pod s1, s3 i połączonym ustawieniu, i 50-80% gdzie indziej.

GPT-4.1 wahał się od 0% (s4) do 75% (s3). o3 był bardziej stabilny, pomiędzy 26% a 52%. Konflikt był najwyższy pod s3, szczególnie dla o4-mini; i autorzy zauważają, że sygnały wykrywania były słabo związane z ostatecznymi ocenami.

Przeciwdziałanie

Dwa metody zostały przetestowane, które mogą pomóc przyszłym modelom wykrywania, aby oszukać te nowe metody ataku. Pierwsza, Przegląd z Wykrywaniem (ReD), dodała krok kontroli integralności do standardowych recenzji, gdzie modele flagowały zawartość generowaną przez AI i cytowały dowody. To podniosło ostrzeżenia o integralności (z 57% do 86%), ale również podniosło wskaźniki akceptacji, wskazując, że ostrzeżenia nie były odzwierciedlone w ostatecznych ocenach:

Przegląd z Wykrywaniem (ReD) podnosi zarówno wskaźniki obaw o integralność (ICR), jak i wskaźniki akceptacji (ACPT) w porównaniu z ustawieniem podstawowym. Podczas gdy o3 staje się znacznie bardziej wrażliwy pod ReD, GPT-4.1 nie flaguje żadnych obaw. Ogólny wzrost akceptacji pomimo dodanych ostrzeżeń o integralności wskazuje na słabe powiązanie między wykrywaniem a oceną.

Druga metoda, Tylko Wykrywanie (DetOnly), pominęła pełne recenzje i poprosiła modele o klasyfikację prac jako prawdziwych lub sfałszowanych. Dokładność wykrywania była ogólnie słaba, bliska losowości, z wyjątkiem niewielkich zysków na o3:

Wyniki wykrywania dla ReD i DetOnly, w porównaniu z losową bazą. Zyski dokładności nad losowością były minimalne, ale ReD był bardziej konserwatywny, podczas gdy DetOnly osiągnął wyższy recall – ale z wieloma fałszywymi pozytywami. Model o3 wykazał najmocniejszy bias wykrywania; o4-mini był niekonsekwentny; i GPT-4.1 wykrył prawie nic.

Ogólnie ReD okazał się bardziej konserwatywny, podczas gdy DetOnly osiągnął wyższy recall, ale również więcej fałszywych pozytywów.

Praca kończy się:

‘Pętle publikacji tylko AI zagrażają epistemologii naukowej. Jeśli fałszerstwa staną się nieodróżnialne od prawdziwej pracy, fundament wiedzy naukowej jest zagrożony.

‘Droga do przodu wymaga obrony w głębi na wielu warstwach: technicznej (weryfikacja pochodzenia, walidacja artefaktów), proceduralnej (ocena integralności, nadzór ludzki), społecznościowej (recenzja po publikacji, system sygnalizacji), i kulturowej (edukacja na temat ograniczeń AI, wytyczne etyczne).

‘Widzimy tę pracę jako system wczesnego ostrzegania, aby skatalizować solidne obrony, zanim te tryby awariimanifestują się w dużym stopniu. Nasze wyniki pokazują, że bieżące systemy nie są gotowe do badań tylko AI – integralność nauki zależy od utrzymania surowej oceny ludzkiej, gdy możliwości AI postępują.’

Wnioski

Jednym z największych wyzwań dla wykrywania tekstu generowanego przez AI w najbliższej przyszłości wydaje się być możliwy ostateczny zbieg między standardową praktyką pisarską a standardami tekstu generowanego przez AI (który jest zdefiniowany, na razie, przez charakterystyczne cechy, takie jak słowa dominujące i style gramatyczne).

Jeśli język standardowy i język AI zbiegną się w standardzie generycznym, logika sugeruje, że przyszłe metody wykrywania oparte wyłącznie na danych wyjściowych będą jeszcze trudniejsze do wdrożenia.

Ponadto, gdy LLM stają się bardziej wszechstronne, a ich „cechy” są mniej podkreślone (albo przez podejścia architektoniczne/szkoleniowe, albo przez lepsze filtrowanie na poziomie API), staną się lepszymi pisarzami; dlatego też, w jeszcze większym stopniu, język ludzki i język AI zdają się przeznaczeni do spotkania się w połowie; do połączenia i ujednolicenia.

W tym momencie wykrywanie AI dla języka jest prawdopodobnie najbardziej zbliżone do tego samego etapu, na jaki dotarła generacja obrazu AI (i w mniejszym stopniu) generacja wideo AI: potrzeba systemów pochodzenia wtórnego, takich jak inicjatywa Content Authenticity Initiative prowadzona przez Adobe, lub blockchain/ledger-oparte kontrole pochodzenia.

Po raz pierwszy opublikowano w środę, 22 października 2025