Pokonywanie halucynacji LLM za pomocą Retrieval Augmented Generation (RAG)

Duże modele językowe (LLM) rewolucjonizują sposób, w jaki przetwarzamy i generujemy język, ale nie są one doskonałe. Podobnie jak ludzie mogą widzieć kształty w chmurach lub twarze na księżycu, LLM mogą również “halucynować”, tworząc informacje, które nie są dokładne. Zjawisko to, znane jako halucynacje LLM, stanowi coraz większą troskę, ponieważ używanie LLM się rozszerza.

Błędy mogą dezorientować użytkowników i w niektórych przypadkach nawet prowadzić do problemów prawnych dla firm. Na przykład w 2023 roku weteran sił powietrznych Jeffery Battle (znany jako The Aerospace Professor) wytoczył powództwo przeciwko firmie Microsoft (MSFT ), gdy odkrył, że ChatGPT-powered Bing czasami podaje nieprawidłowe i szkodliwe informacje o jego nazwisku. Silnik wyszukiwarki myli go z skazanym przestępcą Jeffery Leon Battle.

Aby rozwiązać problem halucynacji, Retrieval-Augmented Generation (RAG) wyłonił się jako obiecujące rozwiązanie. Włącza ono wiedzę z zewnętrznych baz danych, aby poprawić dokładność i wiarygodność LLM. Zajrzyjmy bliżej, jak RAG sprawia, że LLM są bardziej dokładne i niezawodne. Omówimy również, czy RAG może skutecznie przeciwdziałać problemowi halucynacji LLM.

Poznawanie halucynacji LLM: przyczyny i przykłady

LLM, w tym renomowane modele takie jak ChatGPT, ChatGLM i Claude, są szkolone na obszernych zbiorach danych tekstowych, ale nie są odporne na generowanie faktualnie nieprawidłowych danych wyjściowych, zjawiska zwanego “halucynacjami”. Halucynacje występują, ponieważ LLM są szkolone do tworzenia znaczących odpowiedzi na podstawie podstawowych reguł językowych, niezależnie od ich dokładności faktograficznej.

Badanie Tidio wykazało, że podczas gdy 72% użytkowników uważa, że LLM są niezawodne, 75% otrzymało nieprawidłowe informacje od AI przynajmniej raz. Nawet najbardziej obiecujące modele LLM, takie jak GPT-3.5 i GPT-4, mogą czasem generować nieprawidłowe lub nonsensowne treści.

Oto krótkie podsumowanie typowych halucynacji LLM:

Typowe rodzaje halucynacji AI:

1. Połączenie źródeł: Zjawisko, w którym model łączy szczegóły z różnych źródeł, prowadząc do sprzeczności lub nawet sfabrykowanych źródeł.
2. Błędy faktograficzne: LLM mogą generować treści z nieprawidłową podstawą faktograficzną, szczególnie biorąc pod uwagę nieścisłości internetu
3. Nonsensowne informacje: LLM przewidują następne słowo na podstawie prawdopodobieństwa. Może to skutkować gramatycznie poprawnym, ale bezsensownym tekstem, mylącym użytkowników co do autorytetu treści.

W zeszłym roku dwóch prawników stanęło w obliczu możliwych sankcji za powołanie się na sześć nieistniejących spraw w swoich dokumentach prawnych, zmylonych przez informacje generowane przez ChatGPT. Przykład ten podkreśla wagę podejścia do treści generowanych przez LLM z krytycznym okiem, podkreślając potrzebę weryfikacji, aby zapewnić niezawodność. Chociaż jego zdolność twórcza przynosi korzyści w aplikacjach takich jak opowiadanie, stanowi wyzwanie dla zadań wymagających ścisłego przestrzegania faktów, takich jak prowadzenie badań akademickich, pisanie raportów analitycznych medycznych i finansowych oraz udzielanie porad prawnych.

Badanie rozwiązania dla halucynacji LLM: Jak działa Retrieval Augmented Generation (RAG)

W 2020 roku badacze LLM wprowadzili technikę zwaną Retrieval-Augmented Generation (RAG), aby złagodzić halucynacje LLM, integrując wiedzę z zewnętrznych źródeł danych. W przeciwieństwie do tradycyjnych LLM, które opierają się wyłącznie na swojej wiedzy wstępnej, modele LLM oparte na RAG generują odpowiedzi faktograficznie dokładne, dynamicznie pobierając istotne informacje z zewnętrznej bazy danych przed odpowiedzią na pytania lub generowaniem tekstu.

Szczegółowy proces RAG:

Etap procesu RAG: Źródło

Etap 1: Pobieranie

System wyszukuje określoną bazę wiedzy w celu znalezienia informacji związanych z zapytaniem użytkownika. Na przykład, jeśli ktoś zapyta o ostatniego zwycięzcę Mistrzostw Świata w piłce nożnej, wyszukuje najbardziej istotne informacje o piłce nożnej.

Etap 2: Wzbogacenie

Oryginalne zapytanie jest następnie wzbogacone o znalezione informacje. Używając przykładu piłki nożnej, zapytanie “Kto wygrał Mistrzostwa Świata w piłce nożnej?” jest uaktualnione o szczegółowe informacje, takie jak “Argentyna wygrała Mistrzostwa Świata w piłce nożnej.”

Etap 3: Generowanie

Z wzbogaconym zapytaniem LLM generuje szczegółową i dokładną odpowiedź. W naszym przypadku wytworzyłby odpowiedź opartą na wzbogaconych informacjach o Argentynie, która wygrała Mistrzostwa Świata.

Ta metoda pomaga zmniejszyć nieprawidłowości i zapewnia, że odpowiedzi LLM są bardziej wiarygodne i oparte na dokładnych danych.

Zalety i wady RAG w redukowaniu halucynacji

RAG wykazał obiecujące wyniki w redukowaniu halucynacji, poprawiając proces generowania. Mechanizm ten pozwala modelom RAG na dostarczanie bardziej dokładnych, aktualnych i kontekstowo istotnych informacji.

Oczywiście, dyskusja na temat Retrieval Augmented Generation (RAG) w szerszym sensie pozwala na lepsze zrozumienie jego zalet i ograniczeń w różnych implementacjach.

Zalety RAG:

• Lepsza wyszukiwarka informacji: RAG szybko znajduje dokładne informacje w dużych zbiorach danych.
• Poprawiona zawartość: Tworzy wyraźną i dobrze dopasowaną zawartość do potrzeb użytkowników.
• Elastyczne użycie: Użytkownicy mogą dostosować RAG do swoich konkretnych wymagań, takich jak korzystanie z własnych źródeł danych, zwiększając skuteczność.

Wyzwania RAG:

• Wymaga określonych danych: Dokładne zrozumienie kontekstu zapytania, aby dostarczyć istotne i precyzyjne informacje, może być trudne.
• Skalowalność: Rozszerzenie modelu, aby obsłużyć duże zbiory danych i zapytania, przy jednoczesnym utrzymaniu wydajności, jest trudne.
• Ciągła aktualizacja: Automatyczna aktualizacja zbioru wiedzy z najnowszymi informacjami jest zasobożerna.

Badanie alternatyw dla RAG

Oprócz RAG istnieją inne obiecujące metody, które umożliwiają badaczom LLM redukowanie halucynacji:

• G-EVAL : Weryfikuje poprawność wygenerowanej zawartości z zaufanym zbiorem danych, zwiększając niezawodność.
• SelfCheckGPT : Automatycznie sprawdza i poprawia własne błędy, aby utrzymać dokładność i spójność danych wyjściowych.
• Inżynieria podpowiedzi: Pomaga użytkownikom projektować precyzyjne podpowiedzi wejściowe, aby skierować modele w kierunku dokładnych i istotnych odpowiedzi.
• Dookształcanie: Dostosowuje model do zestawów danych specyficznych dla zadania, aby poprawić wydajność w określonej dziedzinie.
• LoRA (Low-Rank Adaptation) : Metoda ta modyfikuje niewielką część parametrów modelu w celu adaptacji do określonego zadania, zwiększając wydajność.

Eksploracja RAG i jego alternatyw podkreśla dynamiczne i wieloaspektowe podejście do poprawy dokładności i niezawodności LLM. W miarę postępu, ciągła innowacja w technologiach takich jak RAG jest niezbędna do rozwiązania wewnętrznych wyzwań związanych z halucynacjami LLM.

Aby być na bieżąco z najnowszymi rozwojami w dziedzinie sztucznej inteligencji i uczenia maszynowego, w tym analizami i wiadomościami, odwiedź unite.ai.