Detekce AI nápadů, ne AI textu

Co kdyby existoval detektor AI textu, který by dokázal rozpoznat, že jste něco napsali na základě nápadu, který vám AI poskytl – i když veškeré skutečné psaní (tj. text) bylo vaším vlastním originálním dílem?

Všichni známe AI detektory textu, které zahanbily celebrity a politiky, mezi jinými – algoritmy, které studovaly charakteristiky AI‑vytvořeného textu a dokážou rozpoznat tyto vzorce, když se objeví.

Tato situace představuje jednoduché přenesení komunikační úlohy, kde jazykové modely jako ChatGPT a Google Gemini předpovídají další pravděpodobný token v odpovědi na uživatelův podnět – nikoli tím, že by se krok zpět podívaly na širší kontext problému nebo návrhu, ale jen hádáním dalšího nejpravděpodobnějšího slova.

Přesto tento patchwork predikcí nakonec vytváří podkladovou strukturu, podle nedávného výzkumu: potřeba, aby sousední textové úseky byly koherentní a relevantní k sobě, způsobuje vznik jedinečného podpisu v ‘osnově’ nebo vyšší dimenzionalitě díla – taký, který dokáže rozpoznat přítomnost AI, i když je text rozsáhle přepracován, aby byl ‘humanizován’:

Jedinečný vyšší‑dimenzionální ‘tvar’ psaní pod různými LLM a – vlevo – čisté lidské psaní. Zdroj

Cílená AI ideace

Nová akademická spolupráce vedená University of Maryland jde o krok dál tím, že nabízí metodiku, která dokáže zjistit, zda samotné nápady pocházejí z AI, bez ohledu na to, kdo nakonec slova napsal.

Přístup, nazvaný IdeaLens a trénovaný na jednom miliónu osnov extrahovaných z webových dokumentů, se zaměřuje na zredukování každého dokumentu na osnovu, která zachovává jeho nápady a odstraňuje formulaci – a je doplněn o online ukázku:

Vlevo jeden z mých vlastních článků projde jako lidský v online ukázce, zatímco další článek, který jsem odeslal (napsaný jiným autorem), se zdá mít značný vstup AI. Zdroj

Jak je vidět ve vzorových výsledcích demo výše, použité detekční metody dokážou rozlišovat mezi lidskými nápady a lidskou prózou a AI nápady a AI prózou a hodnotit je podrobně a odlišně – i když oba detektory byly trénovány na stejných dokumentech, štítcích a základní architektuře modelu, přičemž byly navrženy k detekci v podstatě opačných věcí: původu nápadů a původu prózy.

Tento druh detekčního záběru, jak se předpokládá, by mohl vyvolat nervozitu u řady kategorií autorů, od politických řečníků po románské autory a sloupce, kromě dalších, kteří doposud oceňovali svůj vlastní styl psaní, ale dovolili AI napájet jejich témata.

Jedním z důvodů, proč LLM pravděpodobně generují rozpoznatelné (a tedy sledovatelné) nápady, není jen to, že určité koncepty a texty statisticky dominovaly nedostatečně kurátorsky vybraným tréninkovým datům modelu, což je činí pravděpodobnějšími, že se objeví v širším spektru požadavků; ale také proto, že LLM mají tajemné a opakující se posedlosti, které se ani nezdají souviset s konkrétními tréninkovými daty, a přesto se často objevují nevyžádaně.

Autoři uvádějí*:

‘Zatímco moderní AI detektory identifikují kdo napsal slova, nově vznikající politiky používání AI se stále častěji opírají o jinou otázku: kdo přišel s nápady? Představujeme IdeaLens, detektor, který určuje, zda nápady v dokumentu pocházejí od člověka nebo AI (původ nápadů), bez ohledu na to, kdo napsal jeho slova.

‘Zaměřit IdeaLens na nápady spíše než na prózu, představujeme dokumenty jako osnovy: seznamy položek, z nichž každá spojuje roli diskurzu s krátkým, parafrázovaným popisem obsahu, čímž minimalizuje překryv na úrovni slov s původním textem.’

Data a metody

Článek tvrdí, že nová metoda dokáže identifikovat lidské nápady v AI‑generovaných dokumentech (tj. někdo řekl AI ‘Napiš mi esej na toto téma‘); a také dokáže identifikovat AI nápady v lidském psaní (tj. někdo řekl AI ‘Navrhni něco, o čem bych mohl psát’).

Testovací výsledky napříč čtyřmi kombinacemi lidských a AI nápadů a textu. Všechny čtyři detektory fungují silně, když nápady a text mají stejný původ, ale výrazně se liší, když je původ smíšený: IdeaLens správně rozpozná 94,7 % AI‑psaných dokumentů založených na lidských nápadech jako lidského původu a identifikuje AI nápady v 68 % lidsky psaných příběhů, ve srovnání jen 8 % u Pangram 4 a 0 % u ProseLens a EditLens‑3B. Zdroj

Detekce je nejjednodušší, když je původ nejjasnější – například když je lidsky psaný text založený na AI‑generovaných nápadech, nebo když AI‑generovaný výstup vychází z lidského nápadu. Když se síla těchto původů liší, stává se detekce obtížnější.

Výzkumníci tuto rozdílnost testovali postupným zvyšováním podílu základního plánu dokumentu, který pochází od člověka. V jednom experimentu byly AI modelům předkládány stále podrobnější lidské plány, počínaje pouhým tématem až po kompletní osnovu.

Jak se lidský příspěvek zvyšoval, míra AI příznaku u IdeaLens klesala z 94,9 % na 6,8 %; a konvenční detektory textu nadále drtivě označovaly vzniklý text jako AI:

Testovací výsledky ukazují, co se stane, když je postupně více základního plánu AI‑psaného dokumentu dodáno člověkem. IdeaLens čím dál více rozpoznává lidský původ nápadů, přičemž jeho míra AI příznaku klesá ze 94,9 % u výzvy jen s tématem na 6,8 % u kompletní lidské osnovy; konvenční detektory textu ProseLens a Pangram stále klasifikují většinu výsledného textu jako AI.

Protože nápady je třeba oddělit od jazyka, který je vyjadřuje, a neexistuje velký datový soubor zaznamenávající, kdo skutečně nápady v dokumentu vytvořil, výzkumníci místo toho trénovali IdeaLens na existujících AI‑psacích štítcích – ale odstranili většinu samotného textu:

Jak IdeaLens odděluje nápady od textu během tréninku a testování, ve srovnání s konvenčním detektorem textu ProseLens. Vzorek 1 321‑slovního názoru je zredukován na osnovu označenou rolemi, přičemž body jsou kategorizovány podle své funkce, například jako popis události nebo hodnocení. Během tréninku byly tyto osnovy dále parafrázovány, aby se odstranilo znění převzaté ze zdrojových dokumentů, než se IdeaLens učil z existujících AI štítků Pangram. Pro nové dokumenty může být extrahovaná osnova předána přímo IdeaLens k odhadu pravděpodobnosti, že jsou nápady AI‑odvozené. Dolní část obrázku ukazuje druhý detektor – ‘ProseLens’ – použitý výzkumníky pro srovnání, který místo toho přijímá kompletní text a odhaduje, zda je samotný text AI‑generovaný.

Jak je uvedeno výše, každý dokument byl zredukován na osnovu popisující, co se říká, a roli, kterou každý bod v dokumentu hraje. Během tréninku byly tyto osnovy parafrázovány, aby se dále odstranily stopy původního znění autorů. IdeaLens tak může svá predikce učinit převážně na základě zbylých nápadů, spíše než na základě charakteristických rysů textu.

Tři datové sady byly vytvořeny pro projekt: IdeaShift; IdeaShift-X; a TwiceTold. IdeaShift byl vytvořen ze 500 lidsky psaných a AI‑generovaných výchozích dokumentů odebraných z existujícího testovacího korpusu výzkumníků. GPT-5.6 Sol slouží k převodu každého na postupně podrobnější výzvy, od ‘topic-only’ po kompletní osnovu. GPT-5.6 byl poté použit k vytvoření nových dokumentů.

IdeaShift-X naopak použil 10 000 lidsky autorovaných FineWeb2 dokumentů ve 24 jazycích a aplikoval výše zmíněný protokol IdeaShift k vytvoření AI verzí v každém jazyce.

Třetí datová sada, TwiceTold, byla napsána akademickými studenty pod dohledem autorů, aby se předešlo možnému využití AI vlastní v crowdsourcingu takových dat. Padesát příběhů bylo napsáno od nuly, ale s využitím 500‑slovné osnovy poskytnuté ChatGPT-5.6 Sol.

Testy

Vlastní detektory výzkumníků zahrnovaly IdeaLens ve formě osnovy a dokumentu; výše zmíněný ProseLens; verze ModernBERT-L obou systémů; verze Qwen3.5-9B pro IdeaLens; a variantu IdeaLens logistic-classifier.

Tyto byly porovnány s Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; a Rank.

Pro testy byla přesnost měřena podle toho, zda předpovězený štítek AI nebo člověk odpovídá zdroji nápadů. IdeaLens, ProseLens a EditLens použily globální prahovou hodnotu 1 % FPR; štítky AI, AI‑asistované a lidské u Pangram 4 byly binární; a Fast-DetectGPT, Binoculars, MELD a Desklib použily své výchozí prahové hodnoty.

Rozsáhlejší hodnocení použilo 19 externích benchmarků, včetně 14 zahrnujících výhradně lidský nebo výhradně AI materiál, a 10 obsahujících lidské texty následně editované AI. Dalších 50 000 dokumentů z domény bylo testováno, zatímco 10 000 před‑ChatGPT C4 dokumentů bylo použito k posouzení falešně pozitivních výsledků:

Výsledky testů porovnávající přesnost detektorů, když mají nápady a texty buď stejný, nebo odlišný původ. IdeaLens si udržuje vysokou přesnost v obou nastaveních, 95,3 % pro společný původ a 81,3 % pro smíšený původ; konkurenční detektory podávají podstatně horší výsledky, když se zdroj nápadů liší od zdroje textu.

Napříč 51 testy vybranými ze 22 benchmarků byl IdeaLens jediným detektorem, který podával silné výsledky, když nápady a texty pocházely buď ze stejného, nebo z odlišného zdroje, dosahujíc 95,3 % a 81,3 % respektive.

Naopak ProseLens a Pangram 4 dosáhly nad 98 %, když nápady a texty sdílely zdroj, ale klesly na přibližně 25 %, když tomu tak nebylo.

Autoři k těmto výsledkům uvádějí*:

‘Protože ProseLens má stejnou architekturu, tréninkové dokumenty i tréninkové štítky jako IdeaLens, zdůrazňuje to dopad naší reprezentace osnov, kterou ModernBERT-based pair replikují s odlišnou architekturou.’

‘IdeaLens se také nečekaně dobře přenáší na vstupy surového textu během testování, vykazujíc vysokou přesnost pro společný původ a podstatně vyšší přesnost pro smíšený původ než ProseLens.’

Všechny tři detektory úspěšně identifikovaly téměř všechny původní AI‑psané příběhy. V datasetu TwiceTold IdeaLens identifikoval AI‑původní nápady v 68 % lidsky psaných příběhů, oproti 0 % u ProseLens a 8 % u Pangram 4:

IdeaLens přiřazuje podobné AI pravděpodobnosti původním AI‑psaným příběhům i lidským verzím TwiceTold založeným na stejných AI‑generovaných osnovách, zatímco pravděpodobnosti AI u ProseLens výrazně klesají, jakmile je text přepsán lidmi.

Navzdory tomu, že byl trénován v angličtině, IdeaLens se generalizoval napříč 24 jazyky IdeaShift‑X, označujíc 95,3 % dokumentů na základě AI nápadů – ale jen 0,7 % když podrobný lidský plán poskytl nápady. Na 10 000 lidských dokumentech před ChatGPT ve stejných jazycích byl poměr falešně pozitivních výsledků pouhých 0,1 %.

Autoři přiznávají, že větší dataset by byl v budoucí práci žádoucí, a že šum v popiscích datasetu by mohl vyžadovat řešení. Přesto ti, kteří chtějí na tomto zajímavém úvodním výstupu stavět, mohou využít repozitář GitHub, kterou autoři článku zpřístupnili; a ti jen mírně zvědaví mohou vložit „podezřelé“ testy na demo stránku projektu a sami si ověřit, zda metoda souzní s jejich vlastními odhady nebo s odhady jiných přístupů.

Závěr

Zda je metoda detekce tohoto druhu důležitá nebo ne, závisí na tom, jak se bude vyvíjet přijetí, integrace nebo odmítnutí AI (bezpochyby různě v různých sektorech a podmínkách) během následujících 6–12 měsíců.

Může se stát, že veřejnost politika bude shovívavější k jeho či jejímu využití AI k vylepšení a prezentaci vlastních originálních nápadů, než k povrchní prezentaci nápadů generovaných LLM (v konečném důsledku, statisticky, je pravděpodobné, že publikum bude vstřícné k použití AI jako pouhého prezentačního nástroje).

Přesto, zároveň, co od AI očekáváme, pokud ne to, že nám poskytne úhly, nápady a alternativy, které bychom sami přehlédli nebo nikdy nezvažovali; a z tohoto úhlu pohledu, je tak špatný nápad nechat strojovou inteligenci převzít otěže?

No, pokud jde o optiku a vzhledem k tomu, že AI je známá a čím dál více náchylná k chybám a – v poslední době – chybný chování, možná je ještě příliš brzy nechat LLM generovat politické návrhy nebo obecně se stát hnacím motorem při tvorbě nápadů.

*Zdůraznění autorů, ne moje, ale moje převody citací autorů na hypertextové odkazy, kde je to nutné.

Poprvé publikováno úterý 6. října 2026