Dlaczego tekst generowany przez AI jest trudniejszy do zrozumienia, niż myślisz

Modele AI mogą stawać się trudniejsze do zrozumienia, ponieważ ich trening coraz bardziej premiuje skuteczne rozwiązywanie problemów zamiast jasnego wyjaśniania zagadnień ludziom.

Powyższe, nieedytowane zdanie napisał ChatGPT w odpowiedzi na prośbę o jednozdaniowe streszczenie artykułu naukowego w stylu ELI5; widać w nim co najmniej kilka cech zniekształcających język, opisanych w tym nowym badaniu*. Nowa praca wskazuje, że problem ten dotyczy wszystkich modeli z czołówki, a także modeli zbliżających się do niej oraz niektórych testowanych modeli z otwartymi wagami.

Na przykład początkowa część fragmentu „ich trening coraz bardziej premiuje skuteczne rozwiązywanie problemów” ilustruje pogląd autorów artykułu, że modele AI czasami przypisują przedmiotom nieożywionym ludzkie działania (ponieważ w powyższym przykładzie „trening” opisano jako coś, co aktywnie coś nagradza).

Może to utrudniać szybkie przetworzenie tego wyrażenia, ponieważ musimy w myślach rozpoznać, że jest to obrazowy sposób wyrażenia myśli, a nie odczytywać je dosłownie (co jest znacznie prostsze).

Końcowa część zdania „coraz bardziej premiuje skuteczne rozwiązywanie problemów” również łączy w sobie kilka myśli, zmuszając czytelnika do ustalenia, co jest nagradzane, co rozwiązywane i co staje się bardziej efektywne.

W artykule stwierdzono^†:

„[Readers] wykorzystują żywotność jako wskazówkę podczas przetwarzania, a bez dodatkowego kontekstu niezgodność może wywołać odpowiedź P600^†† związaną z ponowną analizą.”

„Jednak przeformułowanie tych zdań tak, by uniknąć podmiotów nieożywionych, mogłoby je wydłużyć: na przykład słowo „gryzie” zastępuje wyrażenie „powoduje problem”.”

„Przypuszczamy, że podczas treningu modele mogły zacząć używać takich konstrukcji jako efektywnych, choć niestandardowych sposobów wyrażania znaczeń, które w innym przypadku wymagałyby użycia większej liczby tokenów.”

Co takiego?

Sedno artykułu jest takie: ponieważ współczesne modele AI, takie jak ChatGPT, Claude i Gemini, optymalizuje się pod kątem różnych rodzajów rozwiązywania problemów, a nie konkretnie komunikacji, mają tendencję do przekazywania treści w postaci bardzo skondensowanych porcji, które trzeba rozszyfrować.

Zaskoczyło mnie to, bo nieustannie próbuję przekonać ChatGPT i podobne modele, żeby były mniej rozwlekłe i bardziej zwięzłe — problem ten został dostrzeżony i omówiony w literaturze naukowej.

Artykuł przedstawia jednak rozwlekłość jako swego rodzaju bombę ZIP, która utrudnia zrozumienie nawet niezbyt długiego zdania. Łącząc więc dwa problemy — nadmierną długość domyślnych odpowiedzi i opisaną w artykule przesadną kompresję — możemy sobie wyobrazić, że charakterystyczny wzorzec domyślnego stylu odpowiedzi czołowych modeli AI jest dość specyficzny (i przypuszczalnie ten raczej zwięzły styl jest częściowo wykorzystywany jako kryterium przez detektory tekstu generowanego przez AI, choć artykuł się tym nie zajmuje).

Autorzy analizują również nagromadzone złożenia rzeczownikowe, których przykładem jest problematyczne wyrażenie Oddział pomaga psu ugryźć^†:

„W języku angielskim rzeczowniki mogą swobodnie określać inne rzeczowniki w sposób przymiotnikowy: w wyrażeniu coffee shop, słowo coffee określa słowo shop, mimo że samo zwykle występuje jako rzeczownik. Ta cecha pozwala łączyć wiele rzeczowników w rozbudowane złożenia, które wyrażają bardzo precyzyjne znaczenia.

Takie ciągi mogą jednak prowadzić do niejednoznaczności w podziale na składniki, jak w nagłówku Oddział pomaga ofierze pogryzienia przez psa, i utrudniać czytanie.”

Skoro więc LLM-y są rozwlekłe przez kompresję, czy stają się podwójnie rozwlekłe, generując w odpowiedzi na zapytanie nadmierne ilości skompresowanego tekstu? Oznacza to, że w odpowiedzi na zapytanie trzeba przeczytać nie tylko bardzo dużo tekstu, lecz także rozszyfrować wiele „ukrytych” znaczeń.

W artykule z 2023 roku wysunięto tezę, że LLM-y mogą stawać się niepotrzebnie rozwlekłe, ponieważ podczas treningu wykorzystuje się sędziów AI, którzy często nagradzają dłuższe odpowiedzi — nawet gdy w testach opisanych w badaniu ludzie woleli krótsze.

Autorzy nowej pracy przypisują (zob. wcześniejszy cytat) część skłonności czołowych modeli do kompresowania treści architektonicznej tendencji do oszczędzania tokenów, co jest dość życzliwą interpretacją w dzisiejszych czasach.

Przyjrzyjmy się metodom, danym i testom zastosowanym przez autorów w badaniu.

Dane i metody

Badano nieprzewidywalność nietypowych połączeń wyrazowych (mierzonych za pomocą n-gramów, czyli sekwencji słów), ponieważ rzadkie połączenia wiążą się z większą trudnością w czytaniu.

Długość zależności (odległość między wyrazami powiązanymi gramatycznie) również poddano pomiarom, ponieważ większe odległości bardziej obciążają pamięć roboczą — szczególnie gdy podmiot i orzeczenie dzieli kilka innych wyrazów.

Zdania względne z funkcją dopełnienia (konstrukcje takie jak „dom, który zbudowali wykonawcy”) poddano analizie, zwłaszcza gdy pomijano opcjonalne wyrazy (na przykład „that” w angielskiej konstrukcji „the house that the contractors built” („dom, który zbudowali wykonawcy”)).

Badano również wspomniane wcześniej złożenia rzeczownikowe z szeregiem rzeczowników (trzy lub więcej połączonych rzeczowników, jak w wyrażeniu „generator ścieżek dźwiękowych do horrorów”), ponieważ relacje między tworzącymi je wyrazami mogą być niejednoznaczne.

Czasowniki odrzeczownikowe (rzeczowniki używane jako czasowniki, na przykład „nabić to na widelec” zamiast „położyć to na widelcu”) analizowano wraz z podmiotami nieożywionymi połączonymi z czasownikami zwykle odnoszonymi do istot żywych (jak omówiono wcześniej). Obie konstrukcje pozwalają zawrzeć znaczenie w mniejszej liczbie słów, ale mogą wymagać od czytelników dodatkowej interpretacji.

Badane modele

Badacze zebrali rozmowy wygenerowane przez 14 modeli AI: Kimi K2.5, GLM 5, Claude Sonnet 5, Opus 5, Opus 5.5, Fable 5, GPT-5.6 Luna, Terra, Sol, Olmo Base, Instruct, Think oraz Llama Base and Instruct.

Testy obejmowały dziesięć początkowych promptów do ogólnej rozmowy i pięć do programowania. W ramach każdego zadania model miał sklonować rzeczywiste, publiczne repozytorium GitHub, znaleźć błędy i naprawić je w środowisku testowym.

Rozmowy ograniczono do 12 wymian, a sesje programowania do 11, po czym wyświetlano stałą wiadomość końcową. W osobnym teście każdy model miał napisać siedem esejów na podstawie poleceń zzbioru danych PERSUADE 2.0.

Dla porównania teksty napisane przez ludzi pochodziły ze źródeł możliwie najlepiej dopasowanych do trzech typów wyników generowanych przez AI: OpenSubtitles (zbiór napisów do filmów i programów telewizyjnych, niezwiązany z platformą OpenSubtitles o otwartym kodzie źródłowym) wykorzystano w przypadku ogólnych rozmów; StackExchange (internetowa sieć forów z pytaniami i odpowiedziami) — w przypadku dyskusji o programowaniu; a eseje studentów ze wspomnianego wcześniej zbioru danych PERSUADE 2.0 — w przypadku zadań pisemnych. Jako dodatkowe źródło porównawcze wykorzystano również Wikipedię.

Tam, gdzie dostępne były odpowiednie dane dotyczące tekstów napisanych przez ludzi, te same cechy językowe mierzono zarówno w tekstach ludzkich, jak i wygenerowanych przez AI. Zbiory referencyjne posłużyły również do oceny częstotliwości występowania połączeń wyrazowych.

Tłumaczenie w obie strony (z angielskiego na japoński i z powrotem, z użyciem modelu NLLB-200) pozwoliło odróżnić preferencje stylistyczne od wymogów językowych. Znaczenie w dużej mierze pozostawało niezmienione, mimo zmiany struktury zdań, co umożliwiło wskazanie niepotrzebnie złożonych sformułowań.

Wyniki

Eksperyment 1

Jak pokazano poniżej, kilka trudnych konstrukcji występowało częściej w oryginalnych tekstach wygenerowanych przez AI, zwłaszcza w przypadku modeli najnowocześniejszych. Zinterpretowano to jako dowód na preferowanie niepotrzebnie złożonych sformułowań:

Porównanie oryginalnych tekstów wygenerowanych przez AI z ich wersjami przetłumaczonymi na japoński, a następnie z powrotem na angielski. Zielone kropki oznaczają wzorce językowe częściej występujące w tekstach oryginalnych, a różowe — te, które pojawiały się częściej po tłumaczeniu. Różnice były na ogół większe w przypadku modeli GPT i Claude. Źródło

Porównano sześć cech językowych w przypadku 14 modeli AI w trzech zastosowaniach: rozmowie, programowaniu i pisaniu esejów. W rozmowach testowano 12 modeli, w programowaniu dziewięć, a w pisaniu esejów wszystkie 14:

Porównanie sześciu cech językowych w przypadku modeli AI w rozmowach, programowaniu i pisaniu esejów. Każdy romb przedstawia łączny wynik modelu, a poziome linie — 95-procentowe przedziały ufności. Pionowe linie przerywane wskazują wartości bazowe dla tekstów napisanych przez ludzi: OpenSubtitles (rozmowy), StackExchange (programowanie) oraz eseje studentów ze zbioru PERSUADE 2.0 (pisanie esejów). Linie kropkowane oznaczają porównania z Wikipedią. Wyższe wartości na ogół wskazują na częstsze stosowanie mierzonej konstrukcji lub większą złożoność językową. Aby zobaczyć obraz w lepszej rozdzielczości, zapoznaj się z artykułem źródłowym.

Oryginalny tekst wygenerowany przez AI porównano również z jego wersjami przetłumaczonymi z powrotem, co pozwoliło zmierzyć różnice w strukturze zdań:

Porównanie oryginalnego tekstu wygenerowanego przez AI (pełne romby) z wersjami przetłumaczonymi na japoński, a następnie z powrotem na angielski za pomocą NLLB-200 (puste kółka). Różowe linie wskazują cechy, które występowały częściej po tłumaczeniu, a zielone — te, które częściej pojawiały się w oryginale. Gwiazdki oznaczają istotność statystyczną (jedna, dwie lub trzy gwiazdki wskazują na coraz silniejsze przesłanki statystyczne). W wyniku tłumaczenia rzadziej stosowano większość konstrukcji utrudniających czytanie, szczególnie w przypadku najbardziej zaawansowanych modeli. Aby uzyskać lepszą rozdzielczość, zapoznaj się z artykułem źródłowym.

Stwierdzono, że modele czołowe i zbliżone do czołówki nadużywały nietypowych połączeń wyrazowych, czasowników odrzeczownikowych, podmiotów nieożywionych oraz zdań względnych w funkcji dopełnienia z pominiętymi opcjonalnymi wyrazami (zob. wykres powyżej). Tendencje te były na ogół słabsze w modelach Llama i Olmo Base, a bardziej wyraźne w Olmo Think.

Różnice w pisaniu esejów były mniejsze niż w rozmowach i kodowaniu, co przypisano temu, że eseje powstają na podstawie pojedynczego polecenia, podczas gdy długie, wielokrotne wymiany zdań mogą sprzyjać większej kompresji językowej.

Autorzy zauważają:

„Eseje PERSUADE wykazują mniejsze zmiany po tłumaczeniu w obie strony w kilku kategoriach (miary n-gramowe, długość zależności, nagromadzenia rzeczowników, czasowniki odrzeczownikowe) niż rozmowy i [coding].

„Przypuszczamy, że wynika to z faktu, iż eseje powstają na podstawie jednego polecenia, w przeciwieństwie do licznych kolejnych wypowiedzi w rozmowach i kodowaniu. Sądzimy, że pewne wzorce mogą pojawiać się w długich, wielokrotnych wymianach zdań (które mogą wymagać większej kompresji informacji)”.

Najmniejsze zmiany po tłumaczeniu odnotowano w modelach Llama oraz Olmo Base i Instruct, które pod względem połączeń wyrazowych i użycia czasowników najbardziej przypominały eseje studentów. Z kolei Olmo Think zachowywał się bardziej jak modele czołowe. W 19 z 21 porównań stwierdzono, że Claude Opus 5.5 stosował mniej trudnych konstrukcji niż Opus 5; w ośmiu z tych porównań przedziały ufności 95% się nie pokrywały.

Eksperyment 2

Drugi eksperyment miał sprawdzić, czy presja na tworzenie krótszych i bardziej nasyconych informacjami odpowiedzi może sprawiać, że modele preferują konstrukcje językowe trudniejsze do zrozumienia dla ludzi.

W tym przypadku model Qwen2.5-1.5B-Instruct dostrojono za pomocą względnej optymalizacji polityki w grupie (Group Relative Policy Optimization) (GRPO), a jego zadaniem było przekształcanie ustrukturyzowanych opisów wydarzeń w formacie JSON w zdania w języku angielskim.

W trakcie treningu dostosowywano dwa parametry: zakres, w jakim model mógł zmieniać swoje zwyczajowe wybory słów (β), oraz siłę kary za tworzenie dłuższych odpowiedzi (λ). Każde wydarzenie można było opisać na dwa poprawne gramatycznie sposoby, różniące się znaną liczbą tokenów.

Na przykład „On wysłał nam zdjęcie” wymagało sześciu tokenów, a „On wysłał zdjęcie do nas” — siedmiu. Przeprowadzono również osobny test, w którym dwa sposoby wyrażenia tej samej treści wymagały takiej samej liczby tokenów, aby sprawdzić, czy różnice wynikały z długości zdań.

Efekt sprawdzono na wcześniej niewidzianych zdaniach, wykorzystując cztery konstrukcje poznane podczas treningu, dwie nietrenowane konstrukcje z opcjonalnym słowem „that” oraz niezwiązane z nimi konstrukcje obejmujące formy dzierżawcze, określniki ilości, stronę bierną i zdania celowe.

Testy miały ustalić, czy model nauczy się preferować krótsze sformułowania i przeniesie tę preferencję na konstrukcje, których nie spotkał podczas treningu:

Wpływ karania za dłuższe odpowiedzi podczas treningu. Przykład krótszego i dłuższego sformułowania przedstawiono w A. Preferencje dotyczące krótszych konstrukcji zmierzono w B, a testy konstrukcji, których wcześniej nie używano w treningu, przedstawiono w C i D. Kolor pomarańczowy oznacza trening bez ograniczenia zmian względem modelu pierwotnego, a niebieski — trening z takim ograniczeniem. Linie przerywane pokazują preferencje modelu pierwotnego. Silniejsze kary na ogół zwiększały preferencję dla krótszych sformułowań, nawet w konstrukcjach nieobecnych w treningu. Aby zobaczyć obraz w lepszej rozdzielczości, zapoznaj się z artykułem źródłowym.

Wraz ze zwiększaniem kary za dłuższe odpowiedzi częściej wybierano krótsze sformułowania (co pokazano bezpośrednio powyżej). Bez kary KL (ograniczenia tego, jak bardzo model mógł odbiegać od swoich pierwotnych przewidywań dotyczących słów) zmiana następowała szybko; po jej zastosowaniu ten sam efekt pojawiał się stopniowo. Bez żadnej z tych kar preferencje znacznie różniły się między przebiegami treningu, ale nawet niewielka kara za długość prowadziła do stałej preferencji dla krótszych wariantów.

Preferencję tę zaobserwowano również w nieznanych wcześniej konstrukcjach zdaniowych, w których występowało opcjonalne słowo „that”. Przeniesienie efektu na bardziej odległe konstrukcje gramatyczne było znacznie słabsze: zaobserwowano go tylko w konstrukcjach dzierżawczych, gdy nie stosowano kary KL.

Autorzy wyciągają następujący wniosek:

„Uważamy te wyniki za potwierdzenie słuszności koncepcji, że kara za długość stosowana podczas uczenia ze wzmocnieniem metodą GRPO może bezpośrednio wpływać na cechy gramatyczne.

Zwracamy uwagę, że modelowi nie polecono bezpośrednio używać skondensowanego ani zwięzłego języka, nie przekazano mu też bezpośrednio informacji o dostępności alternatywnych konstrukcji składniowych.

Przeciwnie, kara doprowadziła do powstania preferencji dla krótszych wariantów alternatywnych konstrukcji składniowych”.

Wnioski

Od pewnego czasu interesują mnie charakterystyczne dla tekstów generowanych przez AI „kotwice” — zarówno niezamierzone, jak i celowe. Dlatego ta nowa publikacja rzuca nieco światła na pozorną sprzeczność między zauważaną rozwlekłością LLM-ów a równie często dostrzeganą obecnie skłonnością do kondensowania informacji w sposób, który wydaje się „łatwy w odbiorze”, po prostu dlatego, że użyto niewielu słów — ale takie odczytanie tej wskazówki jest wyraźnie błędne.

W przypadku LLM-ów zwięzłość generowanego tekstu może sygnalizować złożoność, a nie sprowadzenie treści do jej istoty — tak jakby AI podsuwała nam zagadkę zamiast bezpośrednio przedstawić kryjące się za słowami pojęcia. Wszystko po to, by jeden model mógł programować i pisać.

* Artykuł nosi tytuł „Dlaczego język generowany przez AI jest tak trudny do zrozumienia?” i został napisany przez dwóch autorów z New York University oraz The University of Texas.

^† Moje przekształcenie przypisów w tekście autorów w hiperłącza.

^†† https://mikeydoes.com/glossary/p600/

Opublikowano po raz pierwszy w poniedziałek, 26 października 2026 r.