Zmniejszona werbalność zwiększa dokładność w dużych modelach językowych

Naukowcy odkryli, że zmuszanie dużych modeli językowych do udzielania krótszych odpowiedzi znacznie poprawia dokładność i jakość ich odpowiedzi.

Osoby, które próbowały zatrzymać czatbota przed “rozprawianiem” się, rozpoznają wnioski nowych badań: zmuszanie AI do udzielania krótszych odpowiedzi sprawia, że staje się bardziej dokładna.

Zbadano powody, dla których większe modele językowe wykonują gorzej w tym zakresie niż mniejsze, w pewnych przypadkach (znanych jako odwrotna skala), badania wykazały, że zmuszanie 31 popularnych dużych modeli językowych do udzielania krótszych odpowiedzi spowodowało poprawę dokładności ich odpowiedzi o 26,3%:

‘Wyniki dostarczają przekonywujące dowody przyczynowo-skutkowe: ograniczenia werbalności poprawiły dokładność dużych modeli o 26,3 punkty procentowe i zmniejszyły lukę odwrotnej skali o 67% (z 44,2% do 14,8%, test t: t = 7,80, p < 0,0001).'

Nadmierna werbalność jest częstą skargą wśród użytkowników końcowych, nie tylko wśród tych, którzy używają modeli komercyjnych, takich jak ChatGPT, gdzie fora wsparcia prezentują ten temat często.

Domeną, która jest najbardziej dotknięta przez rozwiązanie problemu werbalności w odpowiedziach, jest matematyka, gdzie testowane AI były ograniczone do odpowiedzi w 50 słowach lub mniej. Dla zadania czytania ze zrozumieniem były one ograniczone do zaledwie 10 słów w swoich odpowiedziach.

Artykuł definiuje tendencję AI do werbalności jako nadmierna refleksja, w której centralna wiadomość nie jest tylko zakryta przez słowa, ale czasami nawet negatywnie dotknięta przez nie. Im mniejszy model, tym mniej jest to wymagane, obserwuje artykuł.

Badania kończą się wnioskiem, że nie ma nic architektonicznego, co wymagałoby rozwiązania, aby zastosować to rozwiązanie systematycznie. Jednak w sesji czatu użytkownika, dyrektywa w kierunku zwięzłości wymagałaby powtórzenia, podczas gdy globalnie stosowana promocja systemu – która wymagałaby wdrożenia jako domyślnej inżynierii na platformach takich jak ChatGPT – mogłaby sprawić, że krótsze odpowiedzi stałyby się zachowaniem domyślnym.

Wietrzne wiatry

Nic z tego nie wyjaśnia dokładnie, dlaczego większe modele skłonne są do werbalności, ponieważ jest to coś, co dotyka również modeli open source. Artykuł sugeruje, że protokoły i powszechne praktyki w technice Nauki wzmocnienia z ludzkim sprzężeniem zwrotnym (RLHF) mogą dostarczyć wyjaśnienie*:

‘Prawdopodobne pochodzenie to szkolenie RLHF, w którym ludzcy anotatorzy nagradzają szczegółowość nieproporcjonalnie w większych modelach o większej zdolności do działania na sygnałach długości – zgodnie z różnicami werbalności, które są większe w wersjach dostosowanych do instrukcji niż w wersjach podstawowych.

‘Poprzednie prace dokumentują systematyczny bias długości w nagrodach modeli, gdzie anotatorzy łączą długość z jakością.

‘Większe modele, mające większą zdolność do zaspokojenia sygnałów nagrody długości, mogą internalizować werbalną generację głębiej niż mniejsze modele, powodując skalę zależną od nadmiernej refleksji, którą obserwujemy.’

U ludzi werbalność może wystąpić aby wypełnić ciszę, lub aby ukryć uczucia niepewności, z powodu choroby psychicznej, lub aby ukryć brak wiedzy. W efekcie, AI mogłaby być jedynie pod wpływem tych czynników poprzez absorpcję danych szkoleniowych, które odzwierciedlają/manifestują te cechy.

W korpusach danych istnieją inne motywacje do długich odpowiedzi, takie jak zachęta SEO do tworzenia dłuższych treści, na przykład w postach z przepisami, gdzie długość staje się (często błędnie) kojarzona z autorytetem.

Czego nie można całkowicie wykluczyć, to tego, że platformy oparte na API, zachęcające użytkowników do wyższego i droższego poziomu subskrypcji, albo zachęcają do werbalności, albo nie nadzorują jej, ponieważ zwiększa używanie tokenów dość tanio, bez potrzeby nadmiernego rozumowania lub RAG wywołań^†.

Nowy artykuł nosi tytuł Ograniczenia zwięzłości odwracają hierarchie wydajności w modelach językowych i pochodzi z Wydziału Informatyki w Szwedzkim Instytucie Politechnicznym w Chattogram, w Bangladeszu.

Metoda

Aby przetestować teorie artykułu, oceniono 31 modeli językowych – zbyt wiele, aby wymienić je w postaci tekstu, ale przedstawiono je na poniższym obrazie:

Duże modele językowe (LLM) przetestowane w różnych częściach testów dla nowego artykułu.

Modele zostały ocenione w oparciu o pięć kolekcji benchmarkowych: GSM8K, dla rozumowania matematycznego; BoolQ, dla czytania ze zrozumieniem; CommonsenseQA, dla rozumowania zdroworozsądkowego; ARC-Easy, obejmujący pytania naukowe; i MMLU-STEM, również dla wiedzy naukowej.

Odpowiedzi zostały wygenerowane przy użyciu chciwego dekodowania w celu zapewnienia deterministycznych danych wyjściowych, a następnie wyodrębniono je przy użyciu reguł specyficznych dla zadania, a dokładność została zmierzona jako udział poprawnych odpowiedzi w stosunku do prawdy.

Modele zostały podzielone na rozmiar, przy czym te o rozmiarze 10 miliardów parametrów lub mniejszym traktowano jako “małe”, a te o rozmiarze powyżej 70 miliardów jako “duże”, w oparciu o obserwowane luki wydajności.

Odwrotna skala została zmierzona, porównując wydajność tych grup w każdym problemie, oznaczając przypadki, w których mniejsze modele przewyższały większe; wielkość efektu statystycznego została następnie wykorzystana do potwierdzenia, że te luki odzwierciedlały spójne, znaczące różnice, a nie hałas.

Wykluczanie przypomnienia

Aby wykluczyć możliwość, że modele po prostu przypominają dane szkoleniowe, przeprowadzono trzy oddzielne kontrole, badając, jak bardzo odpowiedzi się różniły; jak bardzo ich długość się zmieniała; i jak błędy były popełniane. Jeśli modele polegały na zapamiętanych wzorcach, odpowiedzi tendencję do powtarzania lub podążania za sztywnymi szablonami; zamiast tego, odpowiedzi okazały się w większości unikalne wśród modeli, z zauważalną zmiennością długości, od jednej odpowiedzi do drugiej.

Błędy zostały również bezpośrednio zbadane, a większość niepowodzeń przyjęła postać dlugich, błędnych wyjaśnień, a nie krótkich, wymijających odpowiedzi – wskazując, że modele generowały rzeczywiste rozumowanie, a nie odtwarzały przechowywane odpowiedzi.

Dane i testy

Testowanie poszczególnych pytań, a nie tylko wyników ogólnych, duża część zadań benchmarkowych okazała się niewykazująca, z 27,1% nie różnicujących modeli w ogóle, ponieważ albo każdy system odniósł sukces, albo każdy system nie powiódł się, nie pozostawiając żadnego prawdziwego sygnału o względnej wydajności:

Rozbicie problemu na poziomie pięciu benchmarków wykazało, że znaczna część zadań nie różnicowała modeli, podczas gdy mniejsza, ale spójna część wykazywała odwrotną skalę, gdzie mniejsze modele przewyższały większe. Ogólna dystrybucja w 1 485 problemach wskazuje, że 7,7% wykazuje odwrotną skalę. Źródło

Wśród pytań, które rzeczywiście różnicowały modele, większość zachowywała się tak, jak oczekiwano, z większymi systemami wykonującymi lepiej, ale mniejsza grupa wykazywała odwrotny wzorzec, z mniejszymi modelami wychodzącymi na pierwsze miejsce. Przez wszystkie problemy, odwrotna skala pojawiła się w 7,7% przypadków, wskazując, że efekt ten nie jest marginalny.

Powierzchnia odwrotnej skali

Przez pięć benchmarków, 115 problemów zostało znalezionych, w których mniejsze modele przewyższały większe, stanowiąc 7,7% wszystkich 1 485 zadań, wskazując, że odwrotna skala nie jest rzadkim zjawiskiem w tym kontekście.

W rzeczywistości, efekt ten pojawił się we każdym zbiorze danych: najmocniej w BoolQ i słabiej w CommonsenseQA, ARC-Easy, GSM8K i MMLU-STEM, wskazując, że jest to powszechne, ale różni się w zależności od zadania:

Odwrotna skala pojawiła się we wszystkich benchmarkach, od 3,9% w MMLU-STEM do 11,3% w BoolQ, z 115 problemami w sumie. Luki wydajności faworyzowały mniejsze modele o średnio 28,4 punkty procentowe. Dokładność spadła wraz ze wzrostem rozmiaru modelu, z mniejszymi modelami osiągającymi 66,1%, w porównaniu z 41,5% dla większych.

Wielkość luki okazała się znaczna, z mniejszymi modelami na czele o średnio 28,4 punkty procentowe, a każdy przypadek wykazywał tę samą kierunkowość przewagi, wskazując na spójny spadek wydajności, a nie okazjonalne lub doraźne błędy.

Ten sam wzorzec utrzymywał się we wszystkich rodzinach modeli, w tym Llama, Qwen, Gemma i Mistral, gdzie większe wersje nie radziły sobie tak dobrze jak mniejsze, a dokładność tendencję do spadku wraz ze wzrostem rozmiaru modelu w tych problemach.

Przeprowadzono dalszą analizę, która wykazała, że większe modele tendencję do wytwarzania dłuższych danych wyjściowych ogółem, pomimo użycia nieco mniej jawnych kroków rozumowania, wskazując na bardziej rozproszony i mniej ustrukturyzowany styl rozumowania.

Odwrotnie, mniejsze modele dawały krótsze, bardziej bezpośrednie odpowiedzi, sugerując, że sposób, w jaki rozumowanie jest wyrażane, a nie ilość rozumowania, powoduje spadek wydajności.

Autorzy kończą ogólnie, że ograniczenia zwięzłości przynoszą korzyści dokładności, i uważają, że to mogłoby stać się podstawową cechą w modelach językowych, a nie powtarzającym się ograniczeniem, które nie przetrwa przez sesje; i stwierdzają:

‘[Ograniczenia zwięzłości] pomagają dużym modelom dramatycznie, podczas gdy mają minimalny wpływ na mniejsze modele.

‘Gdyby werbalność była przypadkowa, a nie przyczynowa, można by oczekiwać jednolitych zmian dokładności w obu kategoriach. Różnicująca odpowiedź potwierdza, że nadmierna refleksja jest specyficznym dla skali trybem awarii, a nie efektem trudności zadania.’

Wnioski

Poza wersjami open source przetestowanymi przez badaczy, problem werbalności pojawia się, anegdotycznie, z pewną częstotliwością w wielu głównych modelach poza ChatGPT, w tym Claude, Gemini i Grok.

Czy te platformy ignorują problem werbalności, ponieważ zwiększa ona używanie tokenów i zachęca do wyższych i droższych poziomów subskrypcji^†, nie wydaje się rozsądnym, żeby akceptowały spadek dokładności, który towarzyszy temu “popychaniu”.

Byłoby interesujące, gdyby jakiś empiryczny sposób mógł określić z całą pewnością, skąd pochodzi tendencja do werbalności. Każdy, kto próbował uzyskać, aby czatbot naprawdę rozmawiał, a nie “blogował” werbalne, wieloetapowe odpowiedzi na użytkownika, zdaje sobie sprawę, że model został poważnie naznaczony “wszystko-w-jednym” przewodnikami użytkownika i “zaakceptowanymi rozwiązaniami” w danych szkoleniowych.

Byłoby więc bardzo interesujące, gdyby model specjalnie przeszkolony na rozmowach krok po kroku mógł naprawdę odejść od werbalnej, podsumowującej tendencji. Wydaje się jednak, że pewne ograniczenia lub filtry musiałyby być nałożone na wagę, którą model jest szkolony do przywiązania do “zdecydowanej” odpowiedzi, tak aby szkolił się bezpośrednio również na poprzedzającym materiale – czyli jawnej refleksji w rozmowach opartych na turach.

Ponieważ odpowiednie dane tego rodzaju wydają się być rzadkie, być może jedyną drogą do przodu z tym podejściem byłoby dane syntetyczne, w których “złożone” wnioski końcowe są rozbijane w rozmowach – ironicznie, w sposób bardzo podobny do AI-podcastów, które Google NotebookLM może interpretować z wejścia tekstu.

* Moja konwersja cytatów wewnętrznych autorów na odnośniki.

^† Ale bądźmy szczerzy, różnica między rzeczywistymi kosztami świadczenia usług AI a opłatami za subskrypcję jest obecnie tak duża, że to tylko uszkodziłoby reputację bazy użytkowników, nie rozwiązując poważnych podstawowych ekonomii tej fazy “konwersji” i “konwergencji” AI.

Pierwotnie opublikowane w niedzielę, 5 kwietnia 2026