Umělá inteligence generuje jazyk, který znečišťuje vědeckou literaturu

Vědci z Francie a Ruska zveřejnili studii, která ukazuje, že použití umělých inteligencí založených na pravděpodobnostních generátorech textu, jako je GPT-3, zavádí “mučený jazyk”, citace neexistující literatury a neoprávněné použití obrazů do dříve respektovaných kanálů pro publikaci nových vědeckých prací.

Možná nejvíce znepokojivý je fakt, že studie také obsahují vědecky nepřesné nebo neopakovatelné obsahy, prezentované jako výsledky objektivní a systematické výzkumu, což naznačuje, že generativní modely jazyka jsou používány nejen k zlepšení omezených anglických dovedností autorů, ale také k provedení skutečné práce, a to často špatně.

Zpráva, nazvaná Mučené fráze: Pochybný styl psaní ve vědě, byla sestavena vědci z Computer Science Department na University of Toulouse a Yandex researcherem Alexanderem Magazinovem,目前 na Tel Aviv University.

Studie se zaměřuje zejména na růst nesmyslných vědeckých publikací generovaných umělou inteligencí v časopise Elsevier Microprocessors and Microsystems.

Jiným jménem

Autoregresivní jazykové modely, jako je GPT-3, jsou trénovány na velkém množství dat a jsou navrženy tak, aby parafrázovaly, shrnovaly, kombinovaly a interpretují přispívající data do kohesivních generativních modelů jazyka, které jsou schopny reprodukovat přirozené vzorce řeči a psaní, zatímco zachovávají původní záměr trénovacích dat.

Protože takové rámce jsou často trestány během fáze trénování modelu za přímou a “neabsorbovanou” reprodukci původních dat, inevitabilně hledají synonyma – dokonce i pro dobře zavedené fráze.

Zdá se, že vědecké příspěvky vytvořené nebo podporované umělou inteligencí odhalené vědci zahrnují výjimečně velký počet neúspěšných pokusů o kreativní synonyma pro známé fráze v oblasti strojového učení:

hluboká neuronová síť: ‘profound neuronová organizace’
umělá neuronová síť: ‘‘(falešná | padělaná) neuronová organizace’
mobilní síť: ‘‘univerzální organizace’
útok na síť: ‘organizace (přepad | útok)’
připojení k síti: ‘organizace asociace’
velká data: ‘(obrovská | obrovská | enormní | kolosální) informace’
sklad dat: ‘informace (sklad | distribuční centrum)’
umělá inteligence (AI): ‘(falešná | člověkem vytvořená) vědomí’
výkonné počítačové zpracování: ‘elitní výpočet’
počítačové zpracování v mlze/mžiku/oblaku: ‘počítačové zpracování v mlze’
grafický procesor (GPU): ‘jednotka pro přípravu návrhů’
centrální procesor (CPU): ‘střední jednotka pro přípravu’
motor pracovního postupu: ‘motor pracovního procesu’
rozpoznání obličeje: ‘rozpoznání obličeje’
rozpoznání hlasu: ‘rozpoznání řeči’
průměrná čtvercová chyba: ‘průměrná čtvercová (chyba | omyl)’
průměrná absolutní chyba: ‘průměrná (absolutní | nejvyšší) (chyba | omyl)’
signál k šumu: ‘(pohyb | vlajka | ukazatel | signál | signál) k (hlučnost | rozruch | šum)’
globální parametry: ‘celosvětové parametry’
náhodný přístup: ‘(náhodný | nepravidelný) přístup’
náhodný les: ‘(náhodný | nepravidelný) (les | lesní území | hustá krajina)’
náhodná hodnota: ‘(náhodná | nepravidelná) hodnota’
kolonie mravenců: ‘podzemní hmyz (stát | provincie | oblast | region | osada)’
kolonie mravenců: ‘podzemní hmyz (stát | provincie | oblast | region | osada)’
zbytková energie: ‘zbytková energie’
kinetická energie: ‘motorická energie’
naivní Bayes: ‘(naivní | nevinný | důvěřivý) Bayes’
osobní digitální asistent (PDA): ‘osobní počítačový spolupracovník’

V květnu 2021 vědci dotazovali akademickou vyhledávací službu Dimensions na hledání tohoto typu zkomoleného, automatizovaného jazyka, přičemž se snažili vyloučit legitimitní fráze, jako je “obrovská informace” (která je platnou frází a nikoli neúspěšným synonymem pro “velká data”).

V současné době je stále možné získat (archivní snímek, 15/07/2021) řadu vědeckých prací pro nonsensické fráze ‘profound neuronová organizace’ (tj. ‘hluboká neuronová síť’), a další položky z výše uvedeného seznamu poskytují podobné výsledky.

Výsledky vyhledávání pro ‘profound neuronová organizace’ (‘hluboká neuronová síť’) v Dimensions. Zdroj: https://app.dimensions.ai/

Časopis Microprocessors byl založen v roce 1976 a přejmenován na Microprocessors and Microsystems o dva roky později.

Růst nesmyslného jazyka

Vědci studovali období od února 2018 do června 2021 a pozorovali prudký nárůst objemu příspěvků za posledních dva roky, a zejména za posledních 6-8 měsíců.

Korelace nebo kauzalita? Nárůst příspěvků do časopisu Microprocessors and Microsystems se zdá být současný s růstem ‘nesmyslného’ textu a synonym v apparentně respektovaných příspěvcích. Zdroj: https://arxiv.org/pdf/2107.06751.pdf

Konečná datová sada shromážděná spolupracovníky obsahuje 1 078 plných článků získaných prostřednictvím předplatného Elsevier na University of Toulouse.

Snížení redakční kontroly pro čínské vědecké články

Studie pozoruje, že doba přidělená pro redakční hodnocení označených příspěvků se radikálně zkracuje v roce 2021, klesající na méně než 40 dní; šestinásobné snížení standardní doby pro peer review, patrné od února 2021.

Největší počet označených článků pochází od autorů s afiliacemi k pevninské Číně: z 404 článků přijatých do 30 dnů je 97,5 % spojeno s Čínou. Naopak, v případech, kdy redakční proces přesáhl 40 dnů (615 článků), články spojené s Čínou představovaly pouze 9,5 % této kategorie – desetinásobný nesoulad.

Zpráva přisuzuje infiltrace označených článků nedostatkům v redakčním procesu a možným nedostatkům zdrojů vzhledem k rostoucímu počtu příspěvků.

Vědci předpokládají, že GPT-styl generativní modely a podobné typy rámců generování jazyka byly použity k výrobě většiny textu v označených článcích; nicméně, způsob, jakým generativní model abstrahuje své zdroje, činí toto obtížně prokazatelným, a hlavní důkaz spočívá v běžném hodnocení chudých a zbytečných synonym a v pečlivém zkoumání logické koherence příspěvku.

Vědci dále pozorují, že generativní jazykové modely, o kterých se domnívají, že přispívají k tomuto přílivu nesmyslu, jsou schopny nejen vytvářet problémové texty, ale také je rozpoznávat a označovat systematicky, stejně jako vědci sami provedli ručně. Práce podrobně popisuje takovou implementaci, využívající GPT-2, a nabízí rámec pro budoucí systémy k identifikaci problémových vědeckých příspěvků.

Incidence “znečištěných” příspěvků je mnohem vyšší v časopise Elsevier (72,1 %) ve srovnání s ostatními studovanými časopisy (13,6 % maximum).

Nejenom semantika

Vědci zdůrazňují, že mnohé z těchto časopisů nejsou pouze používány nesprávným jazykem, ale také obsahují vědecky nepřesné prohlášení, což naznačuje, že generativní modely jazyka nejsou používány pouze ke zlepšení omezených jazykových dovedností přispívajících vědců, ale mohou být také používány k formulaci alespoň některých základních teorií a dat v článku.

V jiných případech vědci předpokládají účinnou “resyntézu” nebo “přetvoření” abstrahovaného (a lepšího) předchozího díla, aby splnili tlak “publikovat nebo zemřít” akademické výzkumné kultury, a možná i ke zlepšení národních žebříčků pro globální excelenci ve výzkumu umělé inteligence, prostřednictvím pouhého objemu.

Nesmyslný obsah v odeslaném článku. V tomto případě vědci zjistili, že text byl odvozen ad hoc z článku EDN, odkud je také doprovodná ilustrace bez uvedení zdroje. Přepis původního obsahu je tak extrémní, že se stává bezvýznamným.

Analyzujíce několik odeslaných článků Elsevier, vědci našli věty, pro které se jim nepodařilo určit žádný význam; odkazy na neexistující literaturu; odkazy na proměnné a teorie ve formuli, které ve skutečnosti nejsou obsaženy v podpůrném materiálu (což naznačuje abstrakci založenou na jazyku nebo “halucinaci” zdánlivě faktických dat); a opětovné použití obrázků bez uvedení zdroje (což vědci kritizují nejen z hlediska autorských práv, ale také jako ukazatel nedostatečné vědecké přísnosti).

Neúspěchy citací

Cituje se v mnoha z označených příkladů, že citace určené k podpoře argumentů ve vědeckém článku jsou “buď rozbité nebo vedou k nesouvisejícím publikacím”.

Kromě toho odkazy na “související práci” často zahrnují autory, o kterých se vědci domnívají, že byli “halucinováni” systémem GPT.

Bloudění pozornosti

Další slabinou even state-of-the-art jazykových modelů, jako je GPT-3, je jejich tendence ztrácet se v dlouhém diskurzu. Vědci zjistili, že označené články často zavedou téma na začátku článku, které je nikdy nevrátí poté, co je poprvé zmíněno v předběžných poznámkách nebo jinde.

Také teorizují, že některé z nejhorších příkladů vznikají prostřednictvím více cest zdrojového textu prostřednictvím série překladových strojů, přičemž každá z nich dále zkresluje význam.

Zdroje a důvody

Při pokusu o určení, co je za tímto jevem, autoři studie navrhují několik možností: že obsah z “paper mills” je používán jako zdrojový materiál, zavádějící nesprávnosti velmi brzy v procesu, který nevyhnutelně povede k dalšímu zkreslení; že nástroje pro spinning článků, jako je Spinbot, jsou používány k maskování plagiátu; a že enormní tlak na pravidelnou publikaci vede nedostatečně vybavené výzkumníky k použití systémů GPT-3 ke zlepšení nebo kompletnímu vygenerování nových akademických článků.

Vědci uzavírají výzvou k akci pro větší dohled a zlepšení standardů v oblasti akademického publikování, která se zdá být, zřejmě, sama se stává potravou pro svůj vlastní předmět – systémy umělé inteligence. Také apelují na Elsevier a další vydavatele, aby zavedli přísnější screening a recenzní postupy, a široce kritizují současné standardy a postupy v tomto ohledu, naznačujíce, že “klamání syntetickými texty ohrožuje integritu vědecké literatury”.