Rozwiązywanie problemu hallucynacji w dużych modelach językowych: Przegląd najnowszych technik

Duże modele językowe (LLM) takie jak GPT-4, PaLM i Llama odblokowały zdumiewające postępy w możliwościach generowania języka naturalnego. Niemniej jednak, utrwalonym wyzwaniem, które ogranicza ich niezawodność i bezpieczne wdrożenie, jest ich skłonność do hallucynacji – generowania treści, które wydają się spójne, ale są faktualnie nieprawidłowe lub niezwiązane z kontekstem wejściowym.

Ponieważ LLM są coraz bardziej potężne i powszechne w różnych aplikacjach, rozwiązywanie problemu hallucynacji staje się niezbędne. Artykuł ten zapewnia kompleksowy przegląd najnowszych technik, które zostały wprowadzone przez badaczy w celu wykrycia, ilościowego określenia i złagodzenia hallucynacji w LLM.

Poznanie hallucynacji w LLM

Hallucynacja odnosi się do faktualnych nieścisłości lub fabrykacji generowanych przez LLM, które nie są uzasadnione w rzeczywistości lub kontekście. Przykłady obejmują:

• Wynajdowanie biograficznych szczegółów lub zdarzeń niepotwierdzonych w materiałach źródłowych podczas generowania tekstu o osobie.
• Świadczenie wadliwej porady medycznej poprzez confabulację skutków ubocznych leków lub procedur leczenia.
• Wymyślanie nieistniejących danych, badań lub źródeł w celu poparcia twierdzenia.

Zjawisko to wynika z faktu, że LLM są szkolone na ogromnych ilościach danych tekstowych. Chociaż pozwala to na osiągnięcie silnych możliwości modelowania języka, oznacza to również, że uczą się one ekstrapolować informacje, podejmować logiczne skoki i wypełniać luki w sposób, który wydaje się przekonywujący, ale może być mylący lub błędny.

Niektóre kluczowe czynniki odpowiedzialne za hallucynacje obejmują:

• Uogólnianie wzorców – LLM identyfikują i rozszerzają wzorce w danych szkoleniowych, które mogą nie generalizować się dobrze.
• Przestarzała wiedza – Statyczne przeszkolenie uniemożliwia integrację nowych informacji.
• Niejasność – Niewyraźne polecenia pozwalają na nieprawidłowe założenia.
• Uprzedzenia – Modele utrwalają i wzmacniają skrzywione perspektywy.
• Niewystarczające uzasadnienie – Brak zrozumienia i rozumowania oznacza, że modele generują treści, których nie w pełni rozumieją.

Rozwiązywanie problemu hallucynacji jest kluczowe dla niezawodnego wdrożenia w wrażliwych dziedzinach, takich jak medycyna, prawo, finanse i edukacja, gdzie generowanie nieprawidłowych informacji mogłoby prowadzić do szkody.

Taksonomia technik łagodzenia hallucynacji

Badacze wprowadzili różnorodne techniki, aby zwalczyć hallucynacje w LLM, które można sklasyfikować jako:

1. Inżynieria poleceń

Obejmuje to staranne tworzenie poleceń, aby zapewnić kontekst i skierować LLM w kierunku faktualnych, uzasadnionych odpowiedzi.

• Wzmocnienie odzyskiwania – Odzyskiwanie zewnętrznych dowodów, aby uzasadnić treści.
• Pętle sprzężenia zwrotnego – Wprowadzanie sprzężenia zwrotnego, aby udoskonalić odpowiedzi.
• Dostosowanie poleceń – Dostosowywanie poleceń podczas dokształcania, aby osiągnąć pożądane zachowania.

2. Rozwój modelu

Tworzenie modeli, które są od początku mniej skłonne do hallucynacji za pomocą zmian architektonicznych.

• Strategie dekodowania – Generowanie tekstu w sposób, który zwiększa wierność.
• Uzasadnienie wiedzy – Włączanie zewnętrznych baz wiedzy.
• Nowe funkcje straty – Optymalizacja wierności podczas szkolenia.
• Dokształcanie nadzorowane – Używanie danych oznaczonych przez ludzi, aby poprawić faktualność.

Następnie przeanalizujemy wybitne techniki w ramach każdego podejścia.

Godne uwagi techniki łagodzenia hallucynacji

Wzmocniona generacja odzyskiwania

Wzmocniona generacja odzyskiwania ulepsza LLM, odzyskując i warunkując generowanie tekstu na zewnętrznych dokumentach dowodowych, zamiast polegania wyłącznie na wiedzy niejawnej modelu. To uzasadnia treści w najnowszych, weryfikowalnych informacjach, redukując hallucynacje.

Godne uwagi techniki obejmują:

• RAG – Używa modułu odzyskiwania, który dostarcza odpowiednie fragmenty dla modelu seq2seq do generowania. Oba komponenty są szkolone w sposób końcowy.
• RARR – Zatrudnia LLM do badania nieprzypisanych twierdzeń w generowanym tekście i ich rewizji, aby dopasować je do odzyskanych dowodów.
• Odzyskiwanie wiedzy – Waliduje niepewne generacje, używając odzyskanej wiedzy przed wytworzeniem tekstu.
• LLM-Augmenter – Wyszukuje iteracyjnie wiedzę, aby zbudować łańcuchy dowodów dla poleceń LLM.

Sprzężenie zwrotne i rozumowanie

Wykorzystywanie iteracyjnego sprzężenia zwrotnego lub samorozumowania pozwala LLM na udoskonalenie i poprawę ich początkowych odpowiedzi, redukując hallucynacje.

CoVe zatrudnia łańcuchową technikę weryfikacji. LLM najpierw tworzy projekt odpowiedzi na zapytanie użytkownika. Następnie generuje potencjalne pytania weryfikacyjne, aby sprawdzić swoją odpowiedź, opierając się na swojej pewności co do różnych stwierdzeń. Na przykład, dla odpowiedzi opisującej nowe leczenie medyczne, CoVe może wygenerować pytania takie jak “Jaki jest wskaźnik skuteczności leczenia?”, “Czy otrzymało ono zatwierdzenie regulacyjne?”, “Jakie są potencjalne skutki uboczne?”. CoVe próbuje następnie samodzielnie odpowiedzieć na te pytania weryfikacyjne, niezależnie od swojej początkowej odpowiedzi. Jeśli odpowiedzi na pytania weryfikacyjne sprzeczne z oświadczeniami złożonymi w odpowiedzi pierwotnej, system identyfikuje je jako prawdopodobne hallucynacje i udoskonala odpowiedź, zanim ją przedstawi użytkownikowi.

DRESS koncentruje się na dostosowaniu LLM, aby lepiej odpowiadały preferencjom ludzkim za pomocą sprzężenia zwrotnego w języku naturalnym. Podejście pozwala użytkownikom niebędącym ekspertami na dostarczanie bezpłatnych krytyk modeli generacji, takich jak “Skutki uboczne wymienione wydają się przesadzone” lub instrukcje ulepszenia, takie jak “Proszę również omówić efektywność kosztową”. DRESS używa uczenia ze wzmocnieniem, aby trenować modele, które generują odpowiedzi uwarunkowane takim sprzężeniem zwrotnym, które lepiej odpowiadają preferencjom ludzkim. To zwiększa interaktywność, jednocześnie redukując nierzeczywiste lub niepoparte stwierdzenia.

MixAlign zajmuje się sytuacjami, w których użytkownicy zadają pytania, które nie odpowiadają bezpośrednio pasażom dowodowym odzyskanym przez system. Na przykład, użytkownik może zapytać “Czy zanieczyszczenie środowiska pogorszy się w Chinach?”, podczas gdy odzyskane pasáže omawiają trendy zanieczyszczenia na całym świecie. Aby uniknąć hallucynacji z niewystarczającym kontekstem, MixAlign wyraźnie wyjaśnia użytkownikowi, kiedy jest niepewny, jak odnosić swoje pytanie do odzyskanych informacji. Ten mechanizm z ludzkim sprzężeniem zwrotnym pozwala na uzyskanie informacji zwrotnej w celu prawidłowego uzasadnienia i kontekstualizacji dowodów, zapobiegając nieuzasadnionym odpowiedziom.

Technika Samorozumowania trenuje LLM, aby oceniały, dostarczały informacje zwrotnej i iteracyjnie udoskonalały swoje odpowiedzi, używając podejścia wielozadaniowego. Na przykład, dla odpowiedzi wygenerowanej dla zapytania medycznego, model uczy się oceniać swoją faktualną dokładność, identyfikować sprzeczne lub niepoparte stwierdzenia i edytować je, odzyskując odpowiednią wiedzę. Nauczając LLM tego sprzężenia zwrotnego, polegającego na sprawdzaniu, krytykowaniu i iteracyjnym udoskonalaniu własnych wyjść, podejście redukuje ślepe hallucynacje.

Dostosowanie poleceń

Dostosowanie poleceń pozwala na dostosowanie instrukcji poleceń dostarczonych do LLM podczas dokształcania, aby osiągnąć pożądane zachowania.

Metoda SynTra zatrudnia syntetyczne zadanie podsumowania, aby zminimalizować hallucynację przed przeniesieniem modelu do rzeczywistych zbiorów danych podsumowań. Syntetyczne zadanie dostarcza wejściowe pasáže i prosi modele o podsumowanie ich tylko poprzez odzyskiwanie, bez abstrakcji. To trenuje modele, aby polegały wyłącznie na źródłowych treściach, zamiast hallucynować nowe informacje podczas podsumowania. SynTra wykazuje się redukcją problemów z hallucynacjami, gdy dokształcone modele są wdrożone w zadaniach docelowych.

UPRISE trenuje uniwersalny odzyskiwacz poleceń, który dostarcza optymalne miękkie polecenie dla nauki z kilkoma przykładami na niezobaczonych zadaniach docelowych. Odzyskując skuteczne polecenia dostosowane do różnorodnego zestawu zadań, model uczy się uogólniać i adaptować do nowych zadań, w których brakuje przykładów szkoleniowych. To zwiększa wydajność bez wymogu dostosowania zadań.

Nowe architektury modeli

FLEEK to system skoncentrowany na wspieraniu ludzkich sprawdzających i walidatorów. Automatycznie identyfikuje potencjalnie weryfikowalne twierdzenia faktualne w danym tekście. FLEEK przekształca te twierdzenia w pytania, odzyskuje powiązane dowody z baz wiedzy i dostarcza tę kontekstualną informację ludzkim walidatorom, aby skutecznie zweryfikować dokładność dokumentu i potrzeby rewizji.

Podejście CAD do dekodowania redukuje hallucynację w generowaniu języka poprzez dekodowanie świadome kontekstu. Konkretnie, CAD zwiększa różnice między dystrybucją wyjściową LLM, gdy jest ona warunkowana kontekstem, a generowana niezależnie. To zniechęca do sprzeczności z kontekstowymi dowodami, kierując model w kierunku uzasadnionych generacji.

DoLA łagodzi hallucynacje faktualne, kontrastując logity z różnych warstw sieci transformatorowych. Ponieważ wiedza faktualna ma tendencję do lokalizowania się w pewnych środkowych warstwach, zwiększanie sygnałów z tych warstw faktualnych za pomocą kontrastu logitów DoLA redukuje niepoprawne generacje faktualne.

Ramowy THAM wprowadza wyraz regularizujący podczas szkolenia, aby zminimalizować wzajemną informację między wejściami a hallucynowanymi wyjściami. To pomaga zwiększyć uzależnienie modelu od kontekstu wejściowego, zamiast niezwiązanej wyobraźni, redukując ślepe hallucynacje.

Uzasadnienie wiedzy

Uzasadnianie generacji LLM w strukturalnej wiedzy zapobiega niepohamowanemu spekulowaniu i fabrykowaniu.

Model RHO identyfikuje jednostki w kontekście konwersacyjnym i łączy je z bazą wiedzy (KG). Powiązane fakty i relacje dotyczące tych jednostek są odzyskiwane z KG i łączone z kontekstem reprezentacji dostarczonej do LLM. To wiedza-wzbogacony kontekst kieruje odpowiedziami w kierunku uzasadnionych faktów o wymienionych jednostkach/zdarzeniach, redukując hallucynacje w dialogu.

HAR tworzy zestawy szkoleniowe z hallucynacjami wygenerowanymi przez model, aby lepiej nauczyć uzasadnienia. Dla faktualnej pasażu, modele są pobudzane do wprowadzenia hallucynacji lub zniekształceń, generując zmienioną wersję kontrfaktualną. Dokształcanie na tych danych zmusza modele do lepszego uzasadnienia treści w oryginalnych źródłach faktualnych, redukując improwizację.

Dokształcanie nadzorowane

• Coach – Interaktywny framework, który odpowiada na pytania użytkowników, ale także prosi o poprawki, aby się poprawić.
• R-Tuning – Odmowa świadomej regulacji odmawia niepoparte pytania zidentyfikowane za pomocą luk w wiedzy w danych szkoleniowych.
• TWEAK – Metoda dekodowania, która klasyfikuje generacje na podstawie tego, jak dobrze hipotezy wspierają fakty wejściowe.

Wyzwania i ograniczenia

Pomimo obiecującego postępu, niektóre kluczowe wyzwania pozostają w łagodzeniu hallucynacji:

• Techniki często wymieniają jakość, spójność i kreatywność na rzecz prawdziwości.
• Trudność w rygorystycznej ocenie poza ograniczonymi dziedzinami. Metryki nie ujmują wszystkich niuansów.
• Wiele metod jest obciążonych obliczeniowo, wymagając rozległego odzyskiwania lub samorozumowania.
• W dużej mierze zależą od jakości danych szkoleniowych i zewnętrznych źródeł wiedzy.
• Trudno zagwarantować ogólną ważność w różnych dziedzinach i modalnościach.
• Podstawowe korzenie hallucynacji, takie jak nadmierna ekstrapolacja, pozostają nierozwiązane.

Rozwiązanie tych wyzwań prawdopodobnie wymaga wielowarstwowego podejścia, łączącego ulepszenia danych szkoleniowych, poprawy architektury modelu, strat losowych oraz techniki czasu inferencji.

Przyszłość

Łagodzenie hallucynacji w LLM pozostaje otwartym problemem badawczym z aktywnym postępem. Niektóre obiecujące przyszłe kierunki obejmują:

• Techniki hybrydowe: łączące uzupełniające podejścia, takie jak odzyskiwanie, uzasadnienie wiedzy i sprzężenie zwrotne.
• Modelowanie przyczynowości: Ulepszanie zrozumienia i rozumowania.
• Integracja wiedzy online: Utrzymywanie aktualności światowej wiedzy.
• Weryfikacja formalna: Zapewnianie matematycznych gwarancji dotyczących zachowania modelu.
• Przezroczystość: Budowanie przejrzystości w techniki łagodzenia.

Ponieważ LLM będą coraz bardziej rozpowszechnione w dziedzinach o wysokim ryzyku, rozwijanie solidnych rozwiązań w celu ograniczenia hallucynacji będzie kluczowe dla zapewnienia ich bezpiecznego, etycznego i niezawodnego wdrożenia. Techniki przedstawione w tym artykule zapewniają przegląd technik, które zostały dotąd zaproponowane, przy czym pozostają otwarte wyzwania badawcze. Ogólnie jest pozytywny trend w kierunku poprawy faktualności modelu, ale dalszy postęp wymaga rozwiązania ograniczeń i eksploracji nowych kierunków, takich jak przyczynowość, weryfikacja i metody hybrydowe. Z wytrwałymi wysiłkami badaczy z różnych dziedzin, marzenie o potężnych, a jednocześnie godnych zaufania LLM może zostać przetłumaczone na rzeczywistość.