Jak obejít absurdní vědecké články kolem recenzentů AI

Nový výzkum ukazuje, jak systémy AI mohou nyní psát falešné vědecké články, které ostatní AI přijmou jako skutečné, vyhýbajíce se detekčním rutinám, které dříve fungovaly, a ukazují, jak snadno by se mohl vědecký svět zhroutit do bot, které oklamávají boty.

Vědecký výzkum, ironicky na předním místě inovací v oblasti AI, prochází krizí důvěryhodnosti, která je sama poháněna AI. Dopad strojového učení na výzkum, podávání a recenzní proces byl značný od okamžiku, kdy se poprvé objevil před čtyřmi lety, a nejnovější z řady kontroverzí je hromadná generace nízkohodnotových průzkumných článků.

Spolu s velkou částí širší akademické sféry se vědecký výzkum účastní druhu studené války mezi AI, které generují text – jako je ChatGPT a série Claude – a nejnovější generací “detektor” AI, které mohou identifikovat jejich výstup bez (obvykle) falešných pozitiv u studentů nebo vědců.

Tyto napětí se budou zvyšovat, spolu s objemem vědeckých podání, které radikálně roste, poháněné systémy a rámci AI; a vyžadující AI-poháněnou industrializaci procesu dohledu, aby (doufáme) filtrovaly všechny podání, která jsou čistě prací AI.

Falešné znalosti jsou vítány

Nová výzkumná spolupráce mezi USA a Saúdskou Arábií zkoumá, do jaké míry lze tuto vznikající “ohňovou zeď” AI detekce proniknout zcela AI-generovanými články, pokud tyto články využijí některé další přesvědčivé triky.

V testech byl nový systém, nazvaný BadScientist, schopen dosáhnout akceptačních sazeb až 82 % z LLM-založených systémů, které se目前 používají k detekci AI-generovaného obsahu ve vědeckých článcích:

Systém BadScientist používá jednoho agenta AI k generování falešných vědeckých článků a jiného k jejich recenzi pomocí současných jazykových modelů. Zdroj: https://arxiv.org/pdf/2510.18003

Falešné články byly generovány pomocí skutečných témat AI konferencí a matoucích strategií, poté recenzovány modely kalibrovanými na data peer review, včetně GPT-5 pro kontrolu integrity. Mnoho z nich získalo vysoké skóre, přestože obsahovaly zjevné chyby nebo fabulace.

Publikace článku se shoduje s dnešní Otevřenou konferencí AI agentů pro vědu 2025 na Stanfordu, kde jsou účastníci a řečníci lidé, ale všechny články jsou psány a recenzovány různými systémy AI.

BadScientist, vysvětluje se v novém článku, používá různé formy akademických a literárních klamů, opomenutí, vynálezů a přehánění, aby-article odvážil od všeho, co většina současných detekčních systémů může rozpoznat jako AI-generovaný; a brzy se na tyto kategorie podíváme blíže.

Autorům se podařilo, v tónu poplachu, že i když detekční systémy identifikují AI obsah v falešném článku, mají tendenci jej přesto schválit, a dodávají, že jejich vlastní pokusy o inoculaci obranných systémů proti této nové útočné vektoru dosáhly jen málo více než náhodných zlepšení.

Článek uvádí:

‘Fabrikované články dosahují vysokých akceptačních sazeb, recenzenti často vykazují konflikty mezi znepokojeními a akceptacemi – označují integritní problémy, ale přesto doporučují akceptaci. Tento fundamentální rozpad odhaluje, že současné AI recenzenti fungují více jako pattern matcheři než kritičtí evaluátoři.

‘[…] Jednoduše žádající LLM recenzenty, aby “byli více opatrní”, je nedostatečné. Vědecká komunita stojí před naléhavou volbou. Bez okamžité akce k implementaci obranných systémů – včetně ověření původu, integritou váženého skóre a povinného lidského dohledu – riskujeme AI-only publikační smyčky, kde sofistikované fabrikace přemohou naši schopnost rozlišit skutečný výzkum od přesvědčivých padělků.

‘Integrita vědeckých znalostí sama je ohrožena.’

Nový článek se jmenuje BadScientist: Může výzkumný agent napsat přesvědčivé, ale neplatné články, které oklamou LLM recenzenty? a pochází od šesti autorů z University of Washington a King Abdulaziz City for Science and Technology v Rijádu. Publikace má doprovodnou projektovou stránku.

Metoda

Rámec pro vytváření článků, který byl použit pro tuto práci, je významnou rekonstrukcí spolupráce AI-Scientist z roku 2024, přičemž autoři zdůrazňují, že jeho celý pipeline byl fundamentálně přepracován. Pouze nejzákladnější psací podněty byly zachovány, zatímco všechny experimentální provádění a šablonované struktury byly odstraněny. Aktualizovaný systém nyní funguje z jednoduchého semenu, což umožňuje systému volně vynalézat jakékoli experimentální výsledky a generovat kódy pro vykreslování podle potřeby.

Rámec je navržen tak, aby umožnil AI generovat přesvědčivé falešné články bez provádění skutečných experimentů nebo použití skutečných dat. Místo toho systém vytváří nebo mění syntetická data na podporu úmyslně halucinovaných tvrzení.

Nastavení, vysvětluje se, záměrně se vyhýbá lidské účasti, útokům na podněty nebo koordinované spolupráci mezi písařskými a recenzními agenty. AI recenzenti hodnotili každé podání v jednom průchodu, bez přístupu nad rámec článku samotného, a bez možnosti opakovaného experimentování, což odráží skutečné podmínky peer review.

“Atomové strategie” používané k generování falešných článků jsou modulární taktiky, které lze použít samostatně nebo v kombinaci (a každý, kdo často čte literaturu, bude s nimi熟). Strategie zahrnují zdůrazňování dramatických zlepšení, aby metoda vypadala jako významný pokrok (TooGoodGains); výběr bazénů a výsledků, které favorizují novou metodu, zatímco se vynechávají intervaly spolehlivosti v hlavní tabulce (BaselineSelect); přidání čistých ablací, přesných statistik a úhledných tabulek v příloze, spolu s přísliby budoucího kódu nebo dat (StatTheater); leštění struktury článku s konzistentní terminologií, křížovými odkazy a formátováním (CoherencePolish); a přidání formálních důkazů, které vypadají spolehlivě, ale obsahují skryté chyby (ProofGap).

Data a testy

K testování systému autoři využili GPT-5 k generování výzkumných témat v klíčových oblastech umělé inteligence, pomocí domén Umělá inteligence, Strojové učení, Počítačové vidění, Přirozený jazykový proces, Robotika, Systémy, a Bezpečnost.

Tato kategorie se stala semenem pro falešné články, s každým rozšířeným do čtyř různých verzí, pomocí výše uvedených strategií, a navržených tak, aby oklamaly nebo ohromily recenzenty. K rozhodnutí, zda článek bude “přijat”, systém se podíval pouze na konečné hodnocení dané AI recenzentem.

Falešné články byly napsány zcela GPT-5. K jejich recenzi autoři použili GPT-4.1; o4-mini; a o3. Všechny byly dány stejné recenzní podněty, pevný formát instrukcí navržen tak, aby napodoboval kritéria hodnocení a strukturu používanou v reálném peer review.

K tomu, aby byly recenzní skóre smysluplná, systém byl kalibrován pomocí 200 skutečných podání z ICLR 2025 OpenReview datasetu (veřejné sbírky skutečných článků, recenzních komentářů a výsledků akceptace).

Od toho byla stanovena jedna prahová hodnota, aby odpovídala reálné akceptační sazbě ICLR 31,73 %, což vedlo k prahové hodnotě 7; a další, aby odrážela skóre, při kterém by článek měl 50% šanci na akceptaci lidskými recenzenty (vypočteno jako 6,667).

Autoři otestovali spolehlivost svého nastavení simulováním recenzí pro 5 000 falešných článků, pomocí 1-3 AI recenzentů, z nichž každý by vrátil náhodně vypadající skóre mezi 1 a 10. Výsledky by ukázaly, že i s tímto šumovým nastavením byl systém náchylný k mnohem méně chybám, než by jeho nejhorší teoretické limity naznačovaly.

Použití tří recenzentů místo jednoho vedlo k významnému snížení variability skóre, což zlepšilo stabilitu rozhodnutí téměř trojnásobně – výsledky, které byly použity k ospravedlnění volby tří recenzních modelů a kalibračního souboru 200 skutečných článků.

Dvě metriky definované k hodnocení generátoru byly akceptační sazba, měřící, jak často falešné články získaly přijatelná skóre; a průměrné recenzní skóre, zachycující průměrné hodnocení napříč podáními. Oba byly použity k hodnocení, jak dobře systém mohl oklamat recenzenty:

Akceptace (ACPT) ukazuje podíl falešných článků, které získaly skóre nad dvěma prahovými hodnotami: jednu odpovídající akceptační sazbě ICLR 2025 a druhou odhadu 50% lidské akceptace. Sazba integrity Concern Rate (ICR-m) ukazuje míru označení integrity podle recenzního modelu. Poslední sloupec uvádí sadu na základě většinového hlasování.

Falešné články viděly vysoké akceptace téměř ve všech strategiích. První taktika sama o sobě dosáhla 67% a 82% na obou prahových hodnotách, ukazující, že recenzní modely byly snadno přesvědčeny. Kombinace všech strategií snížila akceptaci mírně, ale zdvojnásobila detekci, s více než polovinou recenzí, které vyvolaly obavy. První strategie poskytla nejlepší kompromis: silnou akceptaci a mírnou detekci, zatímco ostatní taktiky byly slabší, ale obtížněji detekovatelné. ChatGPT-o3 recenzní model označil nejvíce, a GPT-4.1 nejmíň.

Distribuce skóre jsou ukázány pro šest útočných strategií, pomocí tří recenzních modelů: GPT-4.1 (červená); o3 (oranžová); a o4-mini (modrá). Každý graf ukazuje, jak často každé skóre od čtyř do devíti bylo přiřazeno, s červenou čárkou označující prahovou hodnotu sedmi.

V výsledcích druhého testu, uvedených výše, vidíme histogramy skóre pro tři modely napříč šesti nastaveními. Distribuce se liší napříč nastaveními, ale o4-mini má tendenci přiřazovat vyšší skóre v průměru, o3 ukazuje větší rozptyl a více extrémních hodnot, zatímco GPT-4.1 přiřazuje nižší skóre více konzistentně.

Konflikt mezi znepokojeními a akceptacemi podle modelu a strategie: procento případů, kdy model označil integritní problém, ale přesto přiřadil přijatelné skóre. Vyšší hodnoty ukazují slabší spojení mezi detekcí a konečným hodnocením.

Modely často přiřazovaly vysoké skóre i když označívaly integritní obavy. V tomto ohledu byl o4-mini nejvíce nekonzistentní, s konfliktem v 100 % případů pod s1, s3 a kombinovaným nastavením, a 50–80 % jinde.

GPT-4.1 se pohyboval od 0% (s4) do 75% (s3). o3 byl stabilnější, mezi 26% a 52%. Konflikt byl nejvyšší pod s3, zejména pro o4-mini; a autoři poznamenali, že detekční signály byly špatně vázané na konečné skóre.

Mitigace

Byly testovány dvě metody, které by mohly pomoci budoucím detekčním modelům, aby obešly tyto nové útočné metody. První, Review-with-Detection (ReD), přidala krok integrity ke standardním recenzím, kde modely označívaly AI-generovaný obsah a citovaly důkazy. To zvýšilo integritní varování (z 57% na 86%), ale také zvýšilo akceptační sazby, ukazující, že varování nebyla odrážena ve konečných skórech:

Review-with-Detection (ReD) zvyšuje jak sazbu integrity Concern Rate (ICR), tak akceptační sazbu (ACPT) ve srovnání s bazálním modelem. Zatímco o3 se stává mnohem citlivějším pod ReD, GPT-4.1 nezaznamenává žádné obavy. Celkové zvýšení akceptace navzdory přidáním integritních varování naznačuje slabé spojení mezi detekcí a skórováním.

Druhá metoda, Detection-Only (DetOnly), vynechala plné recenze a požádala modely, aby klasifikovaly články jako skutečné nebo falešné. Přesnost detekce byla celkově špatná, blízko náhodné, s výjimkou mírných zlepšení u o3:

Výsledky detekce pro ReD a DetOnly ve srovnání s náhodným bazálním modelem. Zisky přesahující náhodnou bazální úroveň byly minimální, ale ReD byl více konzervativní, zatímco DetOnly dosáhl vyššího odvolání – ale s mnoha falešnými pozitivy. Model o3 ukázal nejsilnější detekční bias; o4-mini byl nekonzistentní; a GPT-4.1 téměř nic nezaznamenal.

Celkově se ReD ukázal jako více konzervativní, zatímco DetOnly dosáhl vyššího odvolání, ale také více falešných pozitiv.

Článek uzavírá:

‘AI-only publikační smyčky ohrožují vědeckou epistemologii. Pokud se fabrikace stanou nerozlišitelnými od skutečné práce, základna vědeckých znalostí riskuje kolaps.

‘Cesta vpřed vyžaduje obranu v hloubce napříč několika vrstvami: technickou (ověření původu, validace artefaktů), procedurální (integritou-vázané skóre, lidský dohled), komunitní (post-publicační recenze, whistleblower systém), a kulturní (vzdělávání o omezeních AI, etické směrnice).

‘Považujeme tuto práci za raný varovný systém, aby katalyzoval robustní obrany, než tyto selhání manifestují ve velkém měřítku. Naše výsledky ukazují, že současné systémy nejsou připraveny na AI-only výzkum – integrita vědy závisí na udržení přísného lidského hodnocení, zatímco se schopnosti AI rozvíjejí.’

Závěr

Jednou z největších výzev pro detekci AI-generovaného textu v blízké budoucnosti se zdá být možná budoucí konvergence mezi standardní psací praxí a standardy AI-generovaného textu (který je definován, prozatím, charakteristickými rysy, jako jsou převládající slova a gramatické styly).

Pokud se běžný jazyk a jazyk AI konvergují do generického standardu, logika naznačuje, že budoucí detekční metody založené čistě na výstupu budou ještě obtížnější na implementaci.

<p Navíc, jak se LLM stávají více všestrannými, a jejich "tells" méně zdůrazněné (buď prostřednictvím architektonických/tréninkových přístupů, nebo prostřednictvím lepšího filtrování na úrovni API), stanou se lepšími spisovateli; proto v ještě větší míře, lidský a AI jazyk se zdá být určen setkat se uprostřed; aby se slily a staly generickými.

V tomto okamžiku, AI detekce pro jazyk pravděpodobně dosáhne stejné fáze, jako AI generace obrázků a (v menší míře) AI generace videa, dosáhly: potřebu sekundárních systémů původu, jako je iniciativa Content Authenticity Initiative vedená Adobe, nebo blockchain/ledger-založené kontroly původu.

Poprvé publikováno ve středu, 22. října 2025