Artificial Intelligence

Pokonywanie halucynacji LLM za pomocą generacji rozszerzonej odzyskiwania (RAG)

Opublikowany

2 miesięcy temu

5 marca 2024 r.

Duże modele językowe (LLM) rewolucjonizują sposób, w jaki przetwarzamy i generujemy język, ale są niedoskonałe. Podobnie jak ludzie mogą widzieć kształty w chmurach lub twarze na Księżycu, LLM mogą również „halucynować”, tworząc informacje, które nie są dokładne. Zjawisko to, tzw Halucynacje LLM, budzi coraz większe obawy w miarę rozszerzania się wykorzystania LLM.

Błędy mogą dezorientować użytkowników, a w niektórych przypadkach nawet prowadzić do problemów prawnych dla firm. Na przykład w 2023 r. weteran Sił Powietrznych Jeffery Battle (znany jako The Aerospace Professor) złożył pozew przeciwko Microsoftowi kiedy odkrył, że wyszukiwarka Bing oparta na technologii ChatGPT firmy Microsoft czasami podaje podczas wyszukiwania nazwisk niedokładne i szkodliwe informacje. Wyszukiwarka myli go z skazanym przestępcą Jeffery Leonem Battle.

Aby uporać się z halucynacjami, Generacja rozszerzona o odzyskiwanie (RAG) okazała się obiecującym rozwiązaniem. Uwzględnia wiedzę z zewnętrznych baz danych, aby zwiększyć dokładność wyników i wiarygodność LLM. Przyjrzyjmy się bliżej, w jaki sposób RAG sprawia, że LLM są dokładniejsze i bardziej niezawodne. Omówimy również, czy RAG może skutecznie przeciwdziałać problemowi halucynacji LLM.

Zrozumienie halucynacji LLM: przyczyny i przykłady

LLM, w tym znane modele, takie jak ChatGPT, CzatGLM, Claude, są szkoleni na obszernych tekstowych zbiorach danych, ale nie są odporni na generowanie wyników niezgodnych z faktami, czyli zjawiska zwanego „halucynacjami”. Halucynacje pojawiają się, ponieważ osoby LLM są szkolone w zakresie tworzenia znaczących odpowiedzi w oparciu o podstawowe zasady językowe, niezależnie od ich faktycznej dokładności.

A Badanie Tidio odkryli, że chociaż 72% użytkowników uważa, że LLM są wiarygodne, 75% przynajmniej raz otrzymało nieprawidłowe informacje od sztucznej inteligencji. Nawet najbardziej obiecujące modele LLM, takie jak GPT-3.5 i GPT-4, mogą czasami generować niedokładne lub bezsensowne treści.

Oto krótki przegląd typowych typów halucynacji LLM:

Typowe typy halucynacji AI:

Konflacja źródłowa: Dzieje się tak, gdy model łączy szczegóły z różnych źródeł, co prowadzi do sprzeczności lub nawet źródeł sfabrykowanych.
Błędy rzeczowe: LLM mogą generować treści na podstawie niedokładnych faktów, zwłaszcza biorąc pod uwagę nieodłączne nieścisłości Internetu
Informacje bezsensowne: LLM przewidują następne słowo na podstawie prawdopodobieństwa. Może to skutkować powstaniem poprawnego gramatycznie, ale pozbawionego znaczenia tekstu, wprowadzającego użytkowników w błąd co do autorytetu treści.

W ubiegłym rokudwóm prawnikom groziły możliwe sankcje za powoływanie się w dokumentach prawnych na sześć nieistniejących spraw, wprowadzonych w błąd informacjami generowanymi przez ChatGPT. Ten przykład podkreśla znaczenie krytycznego podejścia do treści generowanych przez LLM, podkreślając potrzebę weryfikacji w celu zapewnienia wiarygodności. Choć jego zdolności twórcze sprzyjają takim zastosowaniom jak opowiadanie historii, stwarzają wyzwania w przypadku zadań wymagających ścisłego trzymania się faktów, takich jak prowadzenie badań akademickich, pisanie raportów z analiz medycznych i finansowych oraz udzielanie porad prawnych.

Badanie rozwiązania halucynacji LLM: jak działa pokolenie rozszerzone odzyskiwania (RAG)

W 2020, Naukowcy LLM wprowadził technikę tzw Odzyskanie Augmented Generation (RAG) w celu złagodzenia halucynacji LLM poprzez integrację zewnętrznego źródła danych. W przeciwieństwie do tradycyjnych LLM, które opierają się wyłącznie na wcześniej przeszkolonej wiedzy, modele LLM oparte na RAG generują dokładne odpowiedzi oparte na faktach poprzez dynamiczne pobieranie odpowiednich informacji z zewnętrznej bazy danych przed udzieleniem odpowiedzi na pytania lub wygenerowaniem tekstu.

Podział procesu RAG:

Etapy procesu RAG: Źródło

Krok 1: Odzyskiwanie

System przeszukuje konkretną bazę wiedzy pod kątem informacji związanych z zapytaniem użytkownika. Na przykład, jeśli ktoś zapyta o ostatniego zwycięzcę Pucharu Świata w piłce nożnej, szuka najbardziej odpowiednich informacji o piłce nożnej.

Krok 2: Augmentacja

Oryginalne zapytanie jest następnie wzbogacane o znalezione informacje. Na przykładzie piłki nożnej zapytaj „Kto wygrał mistrzostwa świata w piłce nożnej?” jest aktualizowany o szczegółowe informacje, takie jak „Argentyna zdobyła mistrzostwo świata w piłce nożnej”.

Krok 3: Generacja

Dzięki wzbogaconemu zapytaniu LLM generuje szczegółową i dokładną odpowiedź. W naszym przypadku odpowiedź opierałaby się na rozszerzonych informacjach o zwycięstwie Argentyny w Pucharze Świata.

Metoda ta pomaga ograniczyć niedokładności i zapewnia, że odpowiedzi LLM są bardziej wiarygodne i oparte na dokładnych danych.

Plusy i minusy RAG w zmniejszaniu halucynacji

RAG okazał się obiecujący w ograniczaniu halucynacji poprzez naprawienie procesu generowania. Mechanizm ten umożliwia modelom RAG dostarczanie dokładniejszych, aktualnych i odpowiednich kontekstowo informacji.

Z pewnością omówienie technologii Retrieval Augmented Generation (RAG) w bardziej ogólnym sensie pozwala na szersze zrozumienie jej zalet i ograniczeń różnych implementacji.

Zalety RAG'a:

Lepsze wyszukiwanie informacji: RAG szybko znajduje dokładne informacje w dużych źródłach danych.
Ulepszona zawartość: Tworzy przejrzystą, dobrze dopasowaną treść do potrzeb użytkowników.
Elastyczne zastosowanie: Użytkownicy mogą dostosować RAG do swoich specyficznych wymagań, na przykład korzystając z własnych źródeł danych, zwiększając efektywność.

Wyzwania RAG:

Potrzebuje konkretnych danych: Dokładne zrozumienie kontekstu zapytania w celu dostarczenia odpowiednich i precyzyjnych informacji może być trudne.
Skalowalność: Rozszerzanie modelu w celu obsługi dużych zbiorów danych i zapytań przy jednoczesnym zachowaniu wydajności jest trudne.
Ciągła aktualizacja: Automatyczne aktualizowanie zbioru danych wiedzy o najnowsze informacje wymaga dużych zasobów.

Odkrywanie alternatyw dla RAG

Oprócz RAG, oto kilka innych obiecujących metod umożliwiających badaczom LLM redukcję halucynacji:

G-EVAL: Weryfikuje krzyżowo dokładność wygenerowanej treści z zaufanym zbiorem danych, zwiększając niezawodność.
SelfCheckGPT: Automatycznie sprawdza i naprawia własne błędy, aby zapewnić dokładność i spójność wyników.
Szybka inżynieria: Pomaga użytkownikom projektować precyzyjne monity o wprowadzenie danych, aby poprowadzić modele w kierunku dokładnych, odpowiednich odpowiedzi.
Strojenie: Dostosowuje model do zestawów danych specyficznych dla zadania, aby poprawić wydajność specyficzną dla domeny.
LoRA (Adaptacja niskiej rangi): Metoda ta modyfikuje niewielką część parametrów modelu w celu dostosowania do konkretnego zadania, zwiększając efektywność.

Eksploracja RAG i jego alternatyw podkreśla dynamiczne i wieloaspektowe podejście do poprawy dokładności i niezawodności LLM. W miarę postępu ciągłe innowacje w technologiach takich jak RAG są niezbędne, aby stawić czoła nieodłącznym wyzwaniom związanym z halucynacjami LLM.

Aby być na bieżąco z najnowszymi osiągnięciami w dziedzinie sztucznej inteligencji i uczenia maszynowego, w tym ze szczegółowymi analizami i aktualnościami, odwiedź stronę zjednoczyć.ai.