Modele rozmów AI cenzurowane hallucynują więcej, wynika z badań

Cenzura w modelach językowych może podważać ich zdolność do raportowania prawdy na szerszym poziomie. Nowe badania pokazują, że te same wewnętrzne mechanizmy, które są używane do blokowania “niebezpiecznych” odpowiedzi, również tłumią informacje faktograficzne, co oznacza, że próby wyrównania modeli pod kątem bezpieczeństwa mogą nie powieść się, powodując, że modele będą więcej hallucynować.

Przez lata, deweloperzy nauczali modele językowe, aby mówiły mniej kłamstw. Pęd, aby uczynić je bardziej prawdziwymi, poprzez tłumienie halucynacji i kierowanie ich w stronę weryfikowalnych faktów, doprowadził do bardzo silnego i dobrze podzielonego nurtu w literaturze.

Jednak nowe australijskie badanie twierdzi, że poprzez zwiększanie kontroli nad tym, co modele są w stanie powiedzieć, metody wyrównania (techniki szkoleniowe, które kontrolują “niebezpieczne” wymiany) mogą uniemożliwiać im mówienie dokładnie w ogóle:

Poprawienie dokładności faktograficznej modelu (‘Wzmacnianie prawdy’ na powyższym rysunku) może wprowadzić go w rejony aktywacji, które przesłaniają jego wewnętrzne mechanizmy odmowy, a edycje mające na celu zmniejszenie halucynacji mogą również przesunąć wewnętrzne reprezentacje przez granicę bezpieczeństwa. To może pozwolić na niebezpieczne bodźce, aby ominąć zabezpieczenia, chyba że funkcje odmowy są starannie izolowane i zachowane. Źródło: https://arxiv.org/pdf/2510.07775

Badania pokazują, że te same wewnętrzne ścieżki, które rządzą odmową zachowania, są również odpowiedzialne za zachowanie odmowy, tj. mechanizm, który powstrzymuje model od odpowiadania na niebezpieczne lub wrażliwe bodźce. Kiedy procedury wyrównania zwiększają sygnały odmowy zbyt agresywnie, zaczynają one nakładać się na ścieżki faktograficzne, utrudniając modelowi rozróżnienie między odrzuceniem szkody a tłumieniem ważnych informacji.

Paradoksalnie, im lepiej modele radzą sobie z mówieniem “nie”, tym mniej są w stanie mówić, co jest prawdą.

Tematy kontrowersyjne

Na powyższym rysunku widać, że główne problemy dotyczą nie tylko ekspozycji prawnej dla dostawców LLM, ale także zapewnienia użytkownikom sprawiedliwych i dokładnych wyników.

Na przykład, w przypadku kontrowersyjnego tematu (statystyki więzienne z uwzględnieniem rasy) model może akceptowalnie dyskutować z naukowcami i statystykami, ale nie z osobami o złych intencjach, które mogą wymusić na modelu wydanie obraźliwych, nieprzyzwoitych lub nawet nielegalnych odpowiedzi.

Jednakże, ponieważ wyrównany LLM nie może określić charakteru osoby pytającej, domyślnie przyjmuje on ostrożne stanowisko:

Odpowiedzi na wrażliwe bodźce mogą się różnić w zależności od strategii wyrównania. Model zabezpieczony blokuje cały bodziec, podczas gdy model skoncentrowany na prawdzie odpowiada kontekstem faktograficznym, zwiększając informatywność, ale osłabiając tłumienie. To potwierdza pogląd, że edycje zwiększające faktografię mogą obniżać progi odmowy, sprawiając, że modele stają się bardziej podatne na bodźce o szkodliwych intencjach, chyba że mechanizmy odmowy są wyraźnie chronione.

Uwaga autora: w odniesieniu do języka kontrowersyjnego, nowe ustalenia mogą pozwolić osobom niechętnym tzw. “ideologii woke” zrozumieć, że “okaleczony” (tj. wyrównany) model językowy jest mniej prawdziwy i mniej przydatny niż ten, który nie został ukierunkowany i uregulowany.

Badania sugerują, że to częściowo prawda, ale poprawnie umiejscawia to w szerszym kontekście problemów wynikających z interakcji z “surowymi” LLM:

Nieparzysta para

Aby lepiej zrozumieć mechanizmy zaobserwowanych zjawisk, badacze mapowali aktywacje poszczególnych głów uwagi i odkryli, że funkcje związane z halucynacjami i odmową często współwystępują w tych samych regionach modelu.

Stwierdzili, że dostosowywanie lub w inny sposób kierowanie tych regionów w celu zmniejszenia fałszywych informacji może osłabić wewnętrzne zabezpieczenia systemu, ponieważ znajdują się one w tym samym miejscu przestrzeni latentnej:

‘[Zwiększanie] dokładności faktograficznej często odbywa się kosztem osłabienia zachowania odmowy. Nasza analiza ujawnia, że jest to spowodowane nakładającymi się składnikami w modelu, które jednocześnie kodują halucynację i informację o odmowie, powodując, że metody wyrównania tłumią niezamierzoną wiedzę faktograficzną.

‘Dalej badamy, w jaki sposób dostosowywanie na danych benignych, nawet tych opracowanych z uwzględnieniem bezpieczeństwa, może pogorszyć wyrównanie z tego samego powodu.’

Rozwiązanie autorów polega na użyciu sparse autoencoder (SAE), sieci neuronowej szkolonej w celu izolowania odrębnych wzorców aktywacji, w celu rozdzielenia tych dwóch funkcji i zachowania bezpieczeństwa podczas szkolenia w kierunku prawdziwości, oferując sposób na uczynienie modeli zarówno bezpieczniejszymi, jak i bardziej prawdziwymi, bez poświęcania którejkolwiek z tych cech.

Nowy artykuł nosi tytuł Nieintencjonalny kompromis wyrównania AI: równowaga między zmniejszaniem halucynacji a bezpieczeństwem w LLM, i pochodzi od pięciu badaczy z Deakin University i niezależnych instytutów badawczych.

Metoda

Głównym założeniem pracy jest zbadanie, czy poprawa prawdziwości w modelach językowych osłabia ich zdolność do odmowy niebezpiecznych bodźców, oraz czy oba zachowania opierają się na wspólnych wewnętrznych składnikach.

Testując dwie metody zwiększające prawdziwość, autorzy stwierdzili, jak zobaczymy, że zyski w dokładności faktograficznej konsekwentnie zwiększają podatność na niebezpieczne bodźce.

To kompromis wynika z nakładania się w głowach uwagi kodujących zarówno faktograficzne, jak i informacje o odmowie. Nawet nieszkodliwe dostosowywanie (mające na celu poprawę przydatności bez wpływu na zachowanie bezpieczeństwa) może zakłócić bezpieczeństwo, zmieniając wspólne ścieżki.

Badanie definiuje trzy kluczowe pojęcia: prawdziwość odnosi się do zdolności modelu do dostarczania faktograficznie dokładnych odpowiedzi na podstawie dostępnej wiedzy, bez tłumienia niegroźnych treści; halucynacja występuje, gdy model dostarcza nieprawidłowe lub mylące informacje, pomimo dostępu do prawidłowych faktów, często z powodu awarii pobierania lub wewnętrznych zakłóceń; oraz zachowanie odmowy, lub wyrównanie bezpieczeństwa, opisuje mechanizmy, które blokują lub ograniczają odpowiedzi na niebezpieczne lub wrażliwe bodźce.

Autorzy obserwują, że te funkcje często oddziałują ze sobą w subtelny sposób:

‘Chociaż prawdziwość i bezpieczeństwo są często analizowane oddzielnie, rzeczywiste bodźce często zawierają wrażliwe terminy o niewinnych intencjach (np. analiza, wykrywanie lub edukacja) [W] tych przypadkach mechanizmy bezpieczeństwa mogą nadmiernie tłumić – tłumiąc w ten sposób użyteczne, dokładne informacje – i tym samym zmniejszają praktyczną prawdziwość “poprzez pominięcie”.

‘Zrozumienie, w jaki sposób edycje, które mają na celu zwiększyć faktografię, wpływają na zachowanie odmowy, jest niezbędne do osiągnięcia prawdziwości z minimalnym, odpowiednim tłumieniem.’

Autorzy opracowali LoRA, który może skierować warunkowy LLM do stanu “bardziej prawdziwego” i mniej podatnego na halucynacje. Wraz z powyższym, załącznik zawiera wiele przykładów niepożądanych konsekwencji tego.

Analiza rozpoczyna się od traktowania metod zwiększających prawdziwość, takich jak sterowanie głowami i mapowanie kierunku latentnego, jako celowych modyfikacji wewnętrznych obliczeń modelu.

Sterowanie

Pytanie brzmi, czy te zmiany nieumyślnie wpływają na te same wewnętrzne ścieżki, które rządzą zachowaniem odmowy. Aby to przetestować, badanie oceniło modele nie tylko pod kątem dokładności faktograficznej przy użyciu TruthfulQA, ale także pod kątem wydajności bezpieczeństwa pod presją adversarialną, przy użyciu benchmarków AdvBench i StrongReject.

Dwa istniejące techniki użyte jako punkty odniesienia to interwencja w czasie inferencji (ITI), która aktywuje głowy uwagi związane z prawdziwymi odpowiedziami; oraz TruthX, który przesuwa reprezentacje wzdłuż nauczonej “prawdziwej” granicy.

Obie poprawiają dokładność, ale sprawiają również, że model jest bardziej skłonny do odpowiedzi na niebezpieczne bodźce, które wcześniej odrzuciłby.

Aby przetestować, czy zachowanie halucynacji można izolować i manipulować bezpośrednio, autorzy zdefiniowali pojedynczy kierunek latentny w przestrzeni modelu, odpowiadający halucynacjom, szkoląc moduł LoRA na nieprawidłowych odpowiedziach z zestawu danych TruthfulQA, przy użyciu LLaMA3-8B-Instruct.

To doprowadziło do liniowego wektora (tj. wykresu różnicy między prawdziwymi a halucynacyjnymi odpowiedziami), który kierował modelem w stronę lub od halucynacji, w zależności od kierunku.

Wpływ sterowania w kierunku halucynacji. Dokładność w TruthfulQA zwiększa się, im dalej model jest przesunięty w kierunku ujemnym, podczas gdy wskaźnik sukcesu ataku (ASR, im niższy, tym lepiej) gwałtownie rośnie w AdvBench i StrongReject, odzwierciedlając kompromis między prawdziwością a bezpieczeństwem.

Sterowanie w kierunku halucynacji pogorszyło dokładność faktograficzną, podczas gdy odwrócenie kierunku ją poprawiło, a zastosowanie tej techniki do benchmarków niebezpiecznych bodźców potwierdziło wcześniej zaobserwowany wzorzec: zyski w prawdziwości przyszły kosztem osłabienia odmowy. Nawet gdy halucynacja była uchwycona jako czysty liniowy kierunek, poprawa dokładności faktograficznej sprawiła, że model stał się bardziej podatny na niebezpieczne uzupełnienia.

Autorzy podkreślają:

‘To potwierdza kompromis między prawdziwością a bezpieczeństwem, pokazując, że nawet gdy prawdziwość jest reprezentowana jako pojedynczy liniowy kierunek, zwiększanie faktograficznej dokładności może nastąpić kosztem osłabienia wyrównania bezpieczeństwa.’

Dane i testy

Zgodnie z poprzednimi badaniami, aby zapobiec dostosowaniu, które osłabia zdolność modelu do odmowy niebezpiecznych bodźców, autorzy zastosowali metodę separacji funkcji odmowy od tych związanych z halucynacjami, poprzez najpierw zidentyfikowanie głów uwagi zaangażowanych w oba zachowania. Następnie użyli SAE do wyodrębnienia cech latentnych specyficznych dla odmowy.

Te funkcje definiują chronioną podprzestrzeń. Podczas szkolenia, aktualizacje gradientu są modyfikowane, aby uniknąć tej podprzestrzeni, pozwalając modelowi zmniejszyć halucynacje bez zakłócania wyrównania bezpieczeństwa.

Autorzy dostosowali model do zestawu danych CommonsenseQA, oceniając wyniki w sześciu wyzwaniach związanych z zdrowym rozsądkiem: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; oraz SST-2.

Celowe moduły zostały dostosowane przy użyciu LoRA o randze 8, współczynnika uczenia 2×10⁻⁴, decayu wag 0,01, jednej epoki szkolenia oraz rozmiaru partii 2. Wszystkie eksperymenty używały optymalizatora AdamW.

Dwa benchmarki niebezpiecznych treści użyte do oceny bezpieczeństwa to AdvBench (500 próbek) i StrongReject (300 bodźców). Wyniki zostały ocenione przez LlamaGuard3, co dało klasyfikację bezpieczne lub niebezpieczne.

Ponadto LLaMA3-8B-Instruct, eksperymenty zostały przeprowadzone na Qwen2.5-Instruct.

Punkty odniesienia, które zostały przetestowane, to SafeLoRA; SaLoRA; SAP; oraz standardowe dostosowanie (SFT). Wszystkie zostały uruchomione z ustawieniami domyślnymi, z 200 bodźcami z HarmBench, dla wszystkich metod, z wyjątkiem SafeLoRA.

Dokładność była głównym miernikiem, a w przypadku niebezpiecznych benchmarków – wskaźnik sukcesu ataku (ASR), zdefiniowany przez wyniki zwrócone przez LlamaGuard3.

Powyróżniono wyniki z LlaMA-3-8B-Instruct, z kolumnami najlepszymi wyróżnionymi pogrubieniem, a poniżej – wyniki dostosowania metod na Qwen2.5 7B Instruct, w zadaniach związanych z zdrowym rozsądkiem i rozumowaniem, gdzie wyższe wyniki oznaczają lepszą dokładność – oraz na benchmarkach bezpieczeństwa AdvBench i StrongReject, gdzie niższe wartości ASR oznaczają większą wytrzymałość. Najlepsze wyniki w każdej kolumnie są wyróżnione pogrubieniem.

Z tych wyników autorzy stwierdzają:

‘Nasze chirurgiczne podejście osiąga najlepszą równowagę między bezpieczeństwem a użytecznością: znacznie obniża wyniki niebezpiecznych benchmarków, zachowując przy tym dokładność dostosowania. W przeciwieństwie do metod takich jak SAP, SaLoRA i SafeLoRA, które albo zwiększają niebezpieczeństwo, albo pogarszają użyteczność.

‘Głównym powodem jest to, że te metody operują bezpośrednio na gradientzie podprzestrzeni bezpieczeństwa, co, ze względu na polifonię [**], może ograniczać wydajność modelu.

‘W porównaniu z standardowym dostosowaniem (SFT), nasza metoda daje znaczne poprawy zarówno w użyteczności, jak i w metrykach niebezpieczeństwa. Konkretnie, nasze podejście poprawia średnią dokładność dostosowania (FA) z 56,15% do 75,09%, co oznacza zysk około +19%.’

Metoda, jak podkreślają autorzy, obniża wskaźnik sukcesu ataku z 9,23% do 0,58% w AdvBench i z 9,90% do 0,00% w StrongReject, co oznacza ponad piętnastokrotny spadek niebezpiecznych danych wyjściowych. Model bazowy, już niski w niebezpieczeństwie, osiąga jedynie ograniczoną dokładność zadania.

Autorzy stwierdzają:

‘Te wyniki podkreślają wagę zachowania funkcji odmowy podczas procesu dostosowania: izolując i chroniąc podprzestrzeń odmowy, nasza metoda utrzymuje wyrównanie bezpieczeństwa bez poświęcania wydajności zadania.

‘Ogólnie, potwierdza to, że nasze podejście skutecznie łagodzi kompromis między prawdziwością a bezpieczeństwem.’

Wreszcie, autorzy przetestowali wytrzymałość swojego podejścia w warunkach bardziej adversarialnych, dodając 10% niebezpiecznych instrukcji z zestawu danych Circuit Break do zestawu dostosowania.

Pomimo tego celowego zatrucia, metoda utrzymała silną wydajność w ocenach zarówno benignych, jak i niebezpiecznych:

Wydajność LLaMA3 8B Instruct dostosowanego do skażonego zestawu danych zdrowego rozsądku, porównująca wyniki dokładności i bezpieczeństwa w różnych metodach.

Nowe podejście obniżyło wskaźnik sukcesu ataku bardziej skutecznie niż SAP, unikając przy tym znacznej straty użyteczności, jaką powodowała SAP. Dokładność zadania pozostała bliska LoRA SFT i SafeLoRA, potwierdzając, że wyrównanie odmowy może nadal obowiązywać pod warunkiem, że funkcje odmowy są odpowiednio izolowane i zachowane.

Wnioski

Najbardziej interesującym odkryciem w tym artykule jest widoczna kolokacja w przestrzeni latentnej tak sprzecznych elementów, jak odmowa i halucynacja. Chociaż jest to zachęcające i najbardziej interesujące, aby obserwować, jak autorzy rozplątują te elementy przy użyciu LoR i SAE, jest to oczywiście rodzaj rozwiązania “dodawanego”, a można by sobie życzyć, aby w przyszłości pojawiły się głębsze rozwiązania architektoniczne, które zajmą się czasem szkolenia, a nie poprawkami post hoc.

* Omituję ich pogrubienie jako zbędne.
** https://arxiv.org/abs/2210.01892

Opublikowane po raz pierwszy w piątek, 10 października 2025