AI-Generated Writing Never ‘Tires’, and Thus Reveals Itself

Pisarstwo generowane przez AI nie męczy się i tym samym ujawnia swoją prawdziwą naturę.

Ograniczona okno kontekstowe większości modeli językowych dostępnych dla konsumentów (LLM) jest jednym z czynników, które mogą powodować, że zapominają lub nieprawidłowo przypominają wcześniejsze części rozmów użytkowników – błędy pamięci, które mogą stopniowo zmienić dane wyjściowe w całkowity nonsens – lub, co gorsza, tekst, który wygląda na przekonywająco spójny, ale zawiera subtelne błędy.

Ponieważ te okoliczności prowadzą do halucynacji, a halucynacje są nadal największym przeszkodą dla całkowitego postępu rynkowego AI, wiele wysiłku badawczego zostało włożone w tworzenie systemów generatywnych AI, które mogą tworzyć dłuższe, ale bardziej spójne fragmenty tekstu.

W rzeczywistości tak duży postęp jest robiony, że rozpoznawanie długich form AI (tj. treści wyłącznie generowanych przez AI, z – przypuszczalnie – minimalną lub zerową opieką ludzką) uważa się za rozwijający się problem.

Demaskowanie filibusteru AI

Niemniej jednak, niedawne empiryczne badania utrudniają, że im więcej danych wyjściowych generują generatory tekstu AI w jednej sesji, tym łatwiej jest określić, czy dany tekst został napisany przez człowieka; ale powszechnie przyjęta mądrość w odniesieniu do tego kotwicy wykrywania założyła, że AI można rozpoznać, ponieważ niezależnie od tego, co robi inaczej niż ludzie, ma szansę zrobić to częściej w dłuższych fragmentach.

Nie są robione żadne założenia dotyczące dystrybucji tych “śladów” w samym tekście.

Aby zakwestionować to i rozszerzyć problem, interesujące niedawne badanie naukowe z Chin oferuje nową metodę rozróżniania nowego rodzaju długich form generatorów treści AI od prawdziwych autorów ludzkich. Badacze zaangażowani w tę pracę twierdzą, że token-po-token natura, przez którą generowany jest tekst AI, powoduje, że staje się bardziej spójny z większą długością, podczas gdy własne ekscentryczności ludzi nie maleją z długością.

W ten sposób autorzy sugerują, że ich spostrzeżenie oferuje potencjalną nową miarę dla systemów wykrywania tekstu AI*:

‘Tokeny generowane przez AI w późniejszej części tekstu wykazują mniejsze i bardziej stabilne fluktuacje prawdopodobieństwa, gdy przewidywania modelu stają się coraz bardziej spójne wraz z gromadzeniem się kontekstu.

‘Określamy ten wzorzec jako Spadek późnej niestabilności. Zjawisko to odzwierciedla wewnętrzne zachowanie autoregresyjnej generacji: wraz ze wzrostem dostępności kontekstu, rozkład przewidywań modelu staje się bardziej ostry, prowadząc do zmniejszonej zmienności w statystykach na poziomie tokenów.

‘Pisarstwo ludzkie, w przeciwieństwie do tego, nadal wprowadza nieoczekiwane wybory leksykalne i utrzymuje wyższą niestabilność na przestrzeni czasu.’

Aby uchwycić ten dziwny “gładki” charakter, który gromadzi się w tekście AI w kierunku końca, badacze definiują dwie proste cechy: pierwsza mierzy, jak bardzo zachowanie statystyczne pisarstwa “skacze” między tokenami; druga sprawdza, jak stabilne rzeczy pozostają na krótkich odcinkach tekstu.

Obie są obliczane tylko z drugiej połowy danych wyjściowych, gdzie AI staje się zauważalnie bardziej regularne, a pisanie ludzkie nie. Autorzy zauważają, że chociaż te sygnały działają dobrze same w sobie, są jeszcze bardziej skuteczne, gdy łączy się je z starszymi metodami wykrywania, które skanują szersze wzorce. Zauważają również, że ten podejście działa najlepiej w przypadku dłuższych tekstów, gdzie kontrast może stać się bardziej widoczny.

Nowy artykuł oferuje metodologię testowania “AI-ness” za pomocą analizy temporalnej drugiej połowy, bez potrzeby dodatkowego szkolenia lub dostrajania, lub dostępu do uprzywilejowanych modeli.

Nowa praca nowa nosi tytuł Gdy AI się uspokaja: Późna stabilność jako sygnatura wykrywania tekstu generowanego przez AI i pochodzi od czterech autorów z Uniwersytetu Westlake w Hangzhou.

Metoda

Aby uchwycić rosnącą gładkość w tekście generowanym przez AI, badacze zaprojektowali dwie pomiary, które koncentrują się tylko na drugiej połowie passażu. Te opierają się na wynikach log-prawdopodobieństwa ze standardowego modelu językowego i nie wymagają dostrajania, ponownego szkolenia, ani dodatkowych próbek:

<img class=" wp-image-249428" src="https://www.unite.ai/wp-content/uploads/2026/01/figure-2-7.jpg" alt="Z nowego artykułu – każdy wiersz pokazuje zachowanie podstawowego wskaźnika z EvoBench w sekwencji tokenów: surowa wartość (po lewej), bezwzględna pochodna (środek) i lokalne odchylenie standardowe (prawo). Linie ludzkie i AI są pokazane na niebiesko i czerwono. Większość rozbieżności pojawia się w drugiej połowie tekstu, szczególnie dla Log Prawdopodobieństwa i Niespójności Próbki, które pokazują rosnącą separację i gładkie dane wyjściowe AI. Entropia i Top-K Koncentracja pokazują niewielką zmianę w czasie. Źródło – https://arxiv.org/pdf/2601.04833” width=”893″ height=”379″ /> Z nowego artykułu – każdy wiersz pokazuje zachowanie podstawowego wskaźnika z EvoBench w sekwencji tokenów: surowa wartość (po lewej), bezwzględna pochodna (środek) i lokalne odchylenie standardowe (prawo). Linie ludzkie i AI są pokazane na niebiesko i czerwono. Większość rozbieżności pojawia się w drugiej połowie tekstu, szczególnie dla Log Prawdopodobieństwa i Niespójności Próbki, które pokazują rosnącą separację i gładkie dane wyjściowe AI. Entropia i Top-K Koncentracja pokazują niewielką zmianę w czasie. Źródło

Pierwsza miara, zwana Dispersion Pochodnej (DD), śledzi, jak gwałtownie zmienia się zaufanie modelu od słowa do słowa. Tekst AI ma tendencję do osiągania rytmu, więc te zmiany stają się mniejsze i bardziej przewidywalne w drugiej połowie. W przeciwieństwie do tego, pisanie ludzkie pozostaje “nierówne”.

Druga miara, Lokalna Niestabilność (LV), sprawdza, jak bardzo zaufanie modelu “skacze” w małym oknie tekstu. Ponownie, AI ma tendencję do stawania się bardziej stabilnym w czasie, podczas gdy wybory ludzkie pozostają bardziej zaskakujące i mniej spójne:

Tekst AI staje się gładki, gdy idzie, podczas gdy pisanie ludzkie pozostaje nierówne. Te wykresy śledzą, jak zaufanie modelu zmienia się w czasie, odzwierciedlając zarówno ostry charakter zmiany między kolejnymi słowami, jak i ilość zmienności w lokalnych fragmentach tekstu.

Ponownie, obie miary są obliczane tylko z drugiej połowy tekstu, gdzie różnica między pisanym przez człowieka a maszyną jest najbardziej widoczna. Następnie są one włączane do jednej wartości zwanej Wynikiem Wykrywania Stabilności Czasowej (TSD) – który ma tendencję do wzrostu, gdy pisanie staje się “gładkie” (i tym samym bardziej prawdopodobne, że jest generowane przez AI). Prosta granica jest następnie używana do decydowania, czy dany passaż jest prawdopodobnie napisany przez maszynę.

Ponieważ te cechy koncentrują się na kiedy pojawia się wzorzec, a nie tylko na tym, jaki jest ten wzorzec, są one uzupełnione przez starsze metody, które szukają statystycznych osobliwości w całym passażu. Dodanie wyniku TSD do danych wyjściowych oferowania Fast‑DetectGPT (również we współpracy z Westlake) oferuje dodatkową poprawę wyników (szczególnie w przypadku długich treści, gdzie efekt wygładzania jest najmocniejszy).

Dane i testy

Autorzy przeprowadzili testy na dwóch powiązanych zbiorach danych benchmarkowych: EvoBench zawiera 32 000 par tekstu ludzkiego i AI wygenerowanych w ramach siedmiu rodzin modeli, w tym GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; i Qwen, z łączną liczbą 29 wersji modeli.

Inny framework to MAGE, który oferuje 30 000 par testowych w ramach ośmiu rodzin modeli, w tym (ale nie tylko) serii GPT od OpenAI, oraz rodzin LLaMA, OPT i FLAN-T5.

Konkurenci

Nowa metoda została przetestowana w porównaniu z różnymi detektorami zero-shot, korzystającymi z tego samego modelu zastępczego. Prawdopodobieństwo, Entropia, Ranga i Log-Rank (DetectGPT) mierzyły statystyki na poziomie tokenów w całym passażu; LLR (DetectLLM) stosowała normalizację, aby umożliwić bezpośrednie porównanie między modelami; i Fast-Detect szacowała lokalną krzywiznę za pomocą perturbacji opartych na próbkach.

Lastde analizowała dyskryminacyjne podsekwencje w sygnale prawdopodobieństwa, podczas gdy FourierGPT działała w dziedzinie częstotliwości. Diveye ujmowała zmiany w “zaskoczeniu” różnorodności w sekwencji.

Wreszcie, UCE oceniała profil niepewności przewidywań tokenów, aby zidentyfikować nieprzyrodzone wzorce zaufania.

Implementacja i wyniki

Wszystkie metody wykrywania były uruchamiane przy użyciu Llama-3-8B-Instruct jako współdzielonego modelu zastępczego, z sekwencjami wejściowymi ograniczonymi do 512 tokenów. Cechy czasowe były wyodrębniane tylko z drugiej połowy każdego passażu, przy użyciu suwaka 20 tokenów, aby zmierzyć niestabilność. Wersja połączona metody, zwana TSD+, łączyła proponowany sygnał z Fast-DetectGPT.

Powierzchnia pod krzywą charakterystyki odbioru (AUROC) była głównym metrykiem oceny^†:

Różnorodność wyników wśród różnych testowanych metod przeciwko tekstowi generowanemu przez AI. Dokładność wykrywania jest pokazana w dwóch benchmarkach: EvoBench, który obejmuje wiele znanych modeli LLM, i MAGE, uzupełniający zbiór danych.

Z tych wstępnych wyników, autorzy stwierdzają:

‘Nasze proste cechy czasowe osiągają wyniki na poziomie stanu techniki wśród samodzielnych metod, z TSD osiągając 83,36% w EvoBench i 71,56% w MAGE, przewyższając wszystkie punkty odniesienia, w tym Fast-DetectGPT.

‘Jest to godne uwagi, biorąc pod uwagę prostotę naszej metody: obliczamy tylko statystyki drugiego rzędu z drugiej połowy sekwencji, bez próbkowania perturbacji lub transformacji w dziedzinie częstotliwości.’

Nowa metoda działała szczególnie dobrze na nowsze modele AI, takie jak GPT-4 i GPT-4o, identyfikując tekst napisany przez AI z większą dokładnością niż najbliższy wiodący detektor, z różnicą wydajności do 9,66%. Chociaż nowsze zaawansowane modele produkują mniej oczywiście “spójny” tekst, który ukrywa niektóre oznaki automatyzacji, pewne subtelne wzorce czasowe są nadal widoczne w pobliżu końca.

Konkurujące podejścia, które koncentrują się na szerokich cechach strukturalnych, nie udało się uchwycić tych późnych wzorców. Poprzez integrację detektora globalnego, hybrydowy system wydaje się odzyskiwać te pominięte sygnały i poprawiać wyniki, szczególnie w przypadku benchmarków, gdzie krótsze dane wyjściowe AI mogą osłabiać wskazówki czasowe.

Podsumowanie

Jeden aspekt, który nie został bezpośrednio omówiony w nowej pracy, to tendencja pisarzy ludzkich do iteracji swojej pracy poprzez szkicowanie i różne warstwy nadzoru – czasem włączając zewnętrzny nadzór, taki jak wprowadzanie redaktorów i korektorów, a także możliwe sugestie zmian ze strony działów prawnych, w zależności od kontekstu.

Wielu zaangażowanych w dokumenty, tak proste jak dobrze ukryty artykuł prasowy, może niemal całkowicie zniszczyć ekscentryczności, na które nowy proponowany system jest nastawiony, i w efekcie stanowi rodzaj “analogowej” wersji procesu szkicowania wspomaganego przez AI.

Kolejna, przeciwstawna uwaga dotyczy tego, że treści, do których przyczyniło się wiele osób, mogą również być wśród najbardziej fragmentarycznych, wadliwych i powtarzalnych utworów, które wchodzą do zbioru danych, ponieważ często nie będą miały korzyści z ostatecznego, ujednoliconego głosu, pozostawiając piękną naturę ich rozwoju widoczną w prozie.

* Tekst oryginalny autorów, zaczerpnięty z artykułu; nie moje podkreślenia.

^† Autorzy stwierdzają ‘główny’, podczas gdy wymieniają żadnych innych metryk oceny.

Po raz pierwszy opublikowane w poniedziałek, 26 stycznia 2026