Wykrywanie pomysłów AI, nie tekstu AI

A co jeśli istniałby detektor tekstu AI, który potrafiłby rozpoznać, że napisałeś coś na podstawie pomysłu, który dało ci AI – nawet jeśli całe faktyczne pisanie (czyli tekst) było twoją własną oryginalną pracą?

Wszyscy znamy detektory tekstu AI, które kompromitują gwiazdy i polityków, wśród innych – algorytmy, które zbadały cechy tekstu tworzonego przez AI i potrafią rozpoznać te wzorce, gdy się pojawiają.

Te przypadki przedstawiają proste odciążenie zadania komunikacyjnego, w którym modele językowe takie jak ChatGPT i Google Gemini przewidują kolejny najprawdopodobniejszy token w odpowiedzi na zapytanie użytkownika – nie poprzez cofnięcie się i spojrzenie najpierw na szerszy kontekst problemu lub propozycji, lecz po prostu zgadując kolejne najprawdopodobniejsze słowo.

Niemniej jednak, ta patchworkowa kołdra prognoz ostatecznie tworzy ukrytą strukturę, według najnowszych badań: potrzeba, aby sekcje tekstu były spójne i istotne względem siebie, powoduje powstanie unikalnego podpisu w „zarysie” lub wyższej wymiarowości pracy – takiego, który potrafi rozpoznać rękę AI nawet gdy tekst jest szeroko przepisany, aby go „humanizować”:

Unikalny, wyższowymiarowy „kształt” pisania pod różnymi LLM‑ami, oraz – po lewej – czyste ludzkie pisanie. Source

Ukierunkowane pomysły AI

Nowa akademicka współpraca prowadzona przez University of Maryland idzie o krok dalej, oferując metodologię, która może wykryć, czy same pomysły pochodzą od AI, niezależnie od tego, kto ostatecznie napisał słowa.

Podejście, nazwane IdeaLens i wytrenowane na milionie zarysów wyciągniętych z dokumentów internetowych, koncentruje się na zredukowaniu każdego dokumentu do zarysu, który zachowuje jego pomysły przy jednoczesnym usunięciu słownictwa – i jest dostępne w demo online:

Po lewej, jeden z moich własnych artykułów jest rozpoznawany jako ludzki w demo online, podczas gdy inny artykuł, który przesłałem (napisany przez innego autora), wydaje się mieć znaczący wkład AI. Source

Jak widać w powyższych wynikach przykładowego demo, zastosowane metody wykrywania potrafią odróżnić pomysły ludzkie od ludzkiej prozy, oraz pomysły AI od prozy AI, i ocenić je w szczegółowy i odrębny sposób – mimo że oba detektory były trenowane na tych samych dokumentach, etykietach i podstawowej architekturze modelu, przy czym zostały zaprojektowane do wykrywania zasadniczo przeciwnych rzeczy: pochodzenia pomysłów i pochodzenia prozy.

Ten rodzaj wykrywania, jak przypuszczają, może niepokoić wiele grup pisarzy, od pisarzy przemówień politycznych po powieściopisarzy i publicystów, a także innych, którzy do tej pory cenili własny styl pisania, lecz pozwalali AI zasilać ich tematy.

Jednym z powodów, dla których LLM‑y prawdopodobnie generują rozpoznawalne (a więc możliwe do śledzenia) pomysły, nie jest tylko to, że pewne koncepcje i teksty statystycznie zdominowały nieodpowiednio kuratowane dane treningowe modelu, czyniąc je bardziej prawdopodobnymi do pojawienia się w szerszym zakresie zapytań; ale także dlatego, że LLM‑y mają tajemnicze i powtarzalne obsesje, które nie wydają się odnosić do konkretnych danych treningowych, a mimo to często pojawiają się nieproszonych.

Autorzy stwierdzają*:

‘Podczas gdy współczesne detektory AI identyfikują kto napisał słowa, rosnące polityki dotyczące użycia AI coraz częściej opierają się na innym pytaniu: kto wymyślił pomysły?Wprowadzamy IdeaLens, detektor, który określa, czy pomysły w dokumencie pochodzą od człowieka czy od AI (pochodzenie pomysłów), niezależnie od tego, kto napisał jego słowa.

‘Aby skupić IdeaLens na pomysłach, a nie na prozie, przedstawiamy dokumenty jako zarysy: listy elementów, które łączą rolę dyskursu z krótkim, sparafrazowanym opisem treści, minimalizując nakładanie się słów na surowy tekst.’

Dane i Metody

Artykuł twierdzi, że nowa metoda może identyfikować ludzkie pomysły w dokumentach generowanych przez AI (np. ktoś powiedział AI ‘Napisz mi esej na ten temat‘); oraz może identyfikować pomysły AI w ludzkim pisaniu (np. ktoś powiedział AI Zaproponuj coś, o czym mógłbym napisać).

Wyniki testów dla czterech kombinacji pomysłów i prozy ludzkich oraz AI. Wszystkie cztery detektory działają silnie, gdy pomysły i proza pochodzą z tego samego źródła, ale wyraźnie różnią się, gdy pochodzenie jest mieszane: IdeaLens prawidłowo rozpoznaje 94,7 % dokumentów napisanych przez AI na podstawie ludzkich pomysłów jako pochodzące od człowieka i identyfikuje pomysły AI w 68 % historii napisanych przez ludzi, w porównaniu z zaledwie 8 % dla Pangram 4 i 0 % dla ProseLens oraz EditLens‑3B. Źródło

Detekcja jest najłatwiejsza, gdy pochodzenie jest najjaśniejsze – na przykład, gdy tekst napisany przez człowieka opiera się na pomysłach wygenerowanych przez AI, lub gdy wyjściowy rezultat AI pochodzi od ludzkiego pomysłu. Gdy te siły pochodzenia różnią się, detekcja staje się trudniejsza.

Naukowcy przetestowali to rozróżnienie, stopniowo zwiększając, jak duża część podstawowego planu dokumentu pochodzi od człowieka. W jednym eksperymencie modele AI otrzymywały coraz bardziej szczegółowe ludzkie plany, począwszy od nieco więcej niż temat, aż po pełny konspekt.

W miarę zwiększania wkładu ludzkiego, wskaźnik flagowania AI przez IdeaLens spadł z 94,9 % do 6,8 %; a tradycyjne detektory prozy nadal przytłaczająco identyfikowały powstały tekst jako AI:

Wyniki testów pokazujące, co się dzieje, gdy coraz większa część podstawowego planu dokumentu napisanego przez AI jest dostarczana przez człowieka. IdeaLens coraz lepiej rozpoznaje ludzkie pochodzenie pomysłów, a jego wskaźnik flagowania AI spada z 94,9 % przy jedynie temacie do 6,8 % przy pełnym ludzkim konspekcie; tradycyjne detektory tekstu ProseLens i Pangram nadal klasyfikują większość powstałego pisma jako AI.

Ponieważ pomysły muszą być oddzielone od języka użytego do ich wyrażenia, a nie istnieje duży zestaw danych rejestrujący, kto faktycznie wymyślił pomysły w dokumencie, badacze zamiast tego wytrenowali IdeaLens na istniejących AI‑piszących etykietach – ale usunęli większość samego tekstu:

Jak IdeaLens oddziela pomysły od prozy podczas treningu i testowania, w porównaniu z konwencjonalnym detektorem tekstu ProseLens. Przykładowy artykuł opinii o długości 1 321 słów jest redukowany do konspektu oznaczonego rolami, z punktami kategoryzowanymi według ich funkcji, takich jak opis zdarzenia czy ocena. Podczas treningu te konspekty były dodatkowo parafrazowane, aby usunąć sformułowania odziedziczone po dokumentach źródłowych, zanim IdeaLens uczył się na istniejących etykietach AI Pangram. Dla nowych dokumentów wyodrębniony konspekt może być następnie przekazany bezpośrednio do IdeaLens w celu oszacowania prawdopodobieństwa, że pomysły pochodzą z AI. Dolna część rysunku pokazuje drugi detektor – „ProseLens” – używany przez badaczy do porównania, który zamiast tego otrzymuje pełny tekst i szacuje, czy sama proza jest generowana przez AI.

Jak pokazano powyżej, każdy dokument został zredukowany do konspektu opisującego, co jest mówione, oraz roli, jaką każdy punkt pełni w dokumencie. Podczas treningu te konspekty były parafrazowane, aby dodatkowo usunąć ślady oryginalnego słownictwa autorów. IdeaLens może więc dokonywać prognoz w dużej mierze na podstawie pozostałych pomysłów, a nie na podstawie charakterystycznych cech prozy.

Dla projektu utworzono trzy zestawy danych: IdeaShift; IdeaShift-X; i TwiceTold. IdeaShift został utworzony na podstawie 500 dokumentów źródłowych napisanych przez ludzi i wygenerowanych przez SI, wybranych z istniejącego korpusu testowego badaczy. GPT-5.6 służy do przekształcenia każdego w coraz bardziej szczegółowe podpowiedzi, od „topic-only”, do pełnego konspektu. GPT-5.6 został następnie użyty do generowania nowych dokumentów.

IdeaShift‑X natomiast wykorzystał 10 000 dokumentów autorstwa ludzi z FineWeb2 w 24 językach, stosując wspomniany protokół IdeaShift do generowania wersji AI w każdym języku.

Trzeci zestaw danych, TwiceTold, został napisany przez studentów akademickich pod nadzorem autorów, aby uniknąć możliwego wykorzystania AI wrodzonej w crowdsourcingu takich danych. Pięćdziesiąt historii zostało napisanych od podstaw, ale przy użyciu 500‑słownego konspektu dostarczonego przez ChatGPT‑5.6 Sol.

Testy

Własne detektory badaczy obejmowały IdeaLens w formie konspektu i dokumentu; wspomniany ProseLens; wersje ModernBERT-L obu systemów; wersje Qwen3.5-9B IdeaLens; oraz wariant IdeaLens logistic-classifier.

Porównano je z Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; oraz Rank.

W testach dokładność mierzono tym, czy przewidziana etykieta AI lub człowieka odpowiadała źródłu pomysłów. IdeaLens, ProseLens i EditLens używały globalnego progu 1 % FPR; etykiety AI, wspomagane AI i ludzkie w Pangram 4 zostały zbinaryzowane; a Fast-DetectGPT, Binoculars, MELD i Desklib używały swoich domyślnych progów.

Szersza ocena wykorzystała 19 zewnętrznych benchmarków, w tym 14 obejmujących w pełni ludzkie lub w pełni AI materiały, oraz 10 zawierających teksty ludzkie później edytowane przez AI. Dodatkowo przetestowano 50 000 dokumentów z domeny, a 10 000 dokumentów sprzed ChatGPT C4 użyto do oceny fałszywych alarmów:

Wyniki testów porównujące dokładność detektorów, gdy pomysły i teksty pochodzą z tego samego lub różnych źródeł. IdeaLens utrzymuje wysoką dokładność w obu przypadkach, wynoszącą 95,3 % dla wspólnego pochodzenia i 81,3 % dla mieszanego pochodzenia; konkurencyjne detektory działają znacznie gorzej, gdy źródło pomysłów różni się od źródła tekstu.

Wśród 51 testów pochodzących z 22 benchmarków, IdeaLens był jedynym detektorem, który radził sobie dobrze, gdy pomysły i teksty pochodziły zarówno z tego samego, jak i różnych źródeł, osiągając odpowiednio 95,3 % i 81,3 %.

Dla porównania, ProseLens i Pangram 4 uzyskały ponad 98 % gdy pomysły i teksty pochodziły z tego samego źródła, ale spadły do około 25 % gdy tak nie było.

Autorzy oświadczają o tych wynikach*:

‘Ponieważ ProseLens ma taką samą architekturę, dokumenty treningowe i etykiety treningowe jak IdeaLens, podkreśla to wpływ naszej reprezentacji konspektu, którą ModernBERT-based pair odtwarza z inną architekturą.

‘IdeaLens również przenosi się nieoczekiwanie dobrze na surowe teksty wejściowe w czasie testu, wykazując wysoką dokładność przy wspólnym pochodzeniu i znacznie wyższą dokładność przy mieszanym pochodzeniu niż ProseLens.’

Wszystkie trzy detektory skutecznie zidentyfikowały prawie wszystkie oryginalne historie napisane przez AI. W przypadku TwiceTold, IdeaLens zidentyfikował pomysły pochodzące z AI w 68 % historii napisanych przez ludzi, w porównaniu do 0 % dla ProseLens i 8 % dla Pangram 4:

IdeaLens przypisuje podobne prawdopodobieństwa AI do oryginalnych historii napisanych przez AI oraz wersji TwiceTold napisanych przez ludzi, opierając się na tych samych AI‑generowanych konspektach, podczas gdy prawdopodobieństwa AI w ProseLens gwałtownie spadają po przepisaniu tekstu przez ludzi.

Mimo że został wytrenowany w języku angielskim, IdeaLens uogólnił się na 24 języki IdeaShift‑X, oznaczając 95,3 % dokumentów na podstawie pomysłów AI – ale zaledwie 0,7 % gdy pomysły dostarczył szczegółowy plan ludzki. Wśród 10 000 dokumentów ludzkich sprzed ChatGPT w tych samych językach, wskaźnik fałszywych alarmów wyniósł zaledwie 0,1 %.

Autorzy przyznają, że większy zestaw danych byłby pożądany w przyszłych pracach oraz że szumliwość etykiet w zestawie danych może wymagać rozwiązania. Niemniej jednak, osoby chcące rozwijać tę interesującą wstępną wersję mogą skorzystać z GitHub repository, udostępnionego przez autorów artykułu; a jedynie ciekawscy mogą wkleić „podejrzane” testy na demo site projektu i samodzielnie ocenić, czy metoda zgadza się z ich własnymi szacunkami lub z szacunkami innych podejść.

Wnioski

To, czy metoda wykrywania tego rodzaju ma znaczenie, zależy od tego, jak akceptacja, integracja lub odrzucenie AI rozwiną się (z pewnością różnie w różnych sektorach i okolicznościach) w ciągu najbliższych 6‑12 miesięcy.

Możliwe, że publiczność polityka jest bardziej wyrozumiała wobec jego lub jej użycia AI do dopracowania i przedstawienia własnych oryginalnych pomysłów, niż byłaby wobec powierzchownej prezentacji pomysłów wygenerowanych przez LLM (w końcu statystycznie, odbiorcy prawdopodobnie będą przychylni użyciu AI jako jedynie pomocy prezentacyjnej).

Jednak jednocześnie, czego nie oczekujemy od AI, jeśli nie tego, że będzie generować perspektywy, pomysły i alternatywy, które my sami przeoczylibyśmy lub nigdy nie rozważylibyśmy; i z tego punktu widzenia, czy to naprawdę taki zły pomysł, aby dać inteligencji maszynowej sterowanie?

Cóż, pod względem wizerunku i biorąc pod uwagę słynną i rosnącą skłonność AI do błędów oraz – ostatnio – błędne zachowanie, być może wciąż jest za wcześnie, aby pozwolić modelom językowym na formułowanie propozycji politycznych, a ogólnie na bycie siłą napędową w procesie generowania pomysłów.

*Akcenty autorów, nie moje, ale moja konwersja cytowań w tekście autorów na hiperłącza, tam gdzie to konieczne.

Opublikowano po raz pierwszy we wtorek, 6 października 2026