Zatrzymanie AI przed snuciem historii: Podręcznik zapobiegania halucynacjom

AI rewolucjonizuje sposób, w jaki niemal każda branża działa. Ułatwia nam pracę, zwiększa wydajność i – gdy jest właściwie wdrożona – sprawia, że jesteśmy lepsi w swojej pracy. Ale w miarę jak nasza zależność od tej nowej technologii szybko rośnie, musimy przypomnieć sobie o jednej prostej rzeczy: AI nie jest niezawodna. Wyniki jej pracy nie powinny być przyjmowane za dobrą monetę, ponieważ, podobnie jak ludzie, AI może popełniać błędy.

Nazywamy te błędy “halucynacjami AI”. Takie niepowodzenia mogą sięgać od odpowiedzi na problem matematyczny w sposób nieprawidłowy do dostarczania nieprawidłowych informacji na temat polityki rządowej. W branżach podlegających ścisłej regulacji halucynacje mogą prowadzić do kosztownych kar i kłopotów prawnych, nie wspominając o niezadowolonych klientach.

Częstotliwość halucynacji AI powinna być powodem do niepokoju: szacuje się, że nowoczesne duże modele językowe (LLM) halucynują od 1% do 30% czasu. To skutkuje setkami fałszywych odpowiedzi generowanych każdego dnia, co oznacza, że firmy, które chcą wykorzystać tę technologię, muszą być niezwykle wybiórcze przy wyborze narzędzi do wdrożenia.

Przeanalizujmy, dlaczego halucynacje AI występują, co jest na szali i jak możemy je identyfikować i poprawiać.

Śmieci na wejściu, śmieci na wyjściu

Czy pamiętasz grę “telefon” z czasów dzieciństwa? Jak początkowa fraza ulegała zniekształceniu, gdy przechodziła od gracza do gracza, w efekcie kończąc się zupełnie innym stwierdzeniem, gdy dotarła do końca kręgu?

Sposób, w jaki AI uczy się z danych wejściowych, jest podobny. Odpowiedzi generowane przez LLM są tak dobre, jak dane, którymi są karmione, co oznacza, że nieprawidłowy kontekst może prowadzić do generowania i rozpowszechniania fałszywych informacji. Jeśli system AI jest zbudowany na danych, które są nieprawidłowe, nieaktualne lub tendencyjne, to jego dane wyjściowe będą to odzwierciedlać.

W związku z tym LLM jest tak dobry, jak dane wejściowe, zwłaszcza gdy brakuje interwencji lub nadzoru człowieka. W miarę jak rozprzestrzeniają się bardziej autonomiczne rozwiązania AI, jest krytyczne, aby dostarczać narzędziom prawidłowy kontekst danych, aby uniknąć powodowania halucynacji. Potrzebujemy rygorystycznego szkolenia tych danych i/lub możliwości kierowania LLM w taki sposób, aby odpowiadały tylko na podstawie kontekstu, jaki otrzymują, a nie pobierały informacje z całego internetu.

Dlaczego halucynacje mają znaczenie?

Dla firm, które mają bezpośredni kontakt z klientami, dokładność jest wszystkim. Jeśli pracownicy polegają na AI do zadań, takich jak syntetyzowanie danych klientów lub odpowiadanie na zapytania klientów, muszą ufać, że odpowiedzi generowane przez te narzędzia są dokładne.

W przeciwnym razie firmy ryzykują uszczerbkiem swojej reputacji i lojalności klientów. Jeśli klienci otrzymują niedostateczne lub fałszywe odpowiedzi od czatbota lub jeśli muszą czekać, aż pracownicy zweryfikują odpowiedzi czatbota, mogą zdecydować się na przeniesienie swojego biznesu w inne miejsce. Ludzie nie powinni martwić się o to, czy firmy, z którymi się kontaktują, dostarczają im fałszywe informacje – chcą szybkiej i niezawodnej pomocy, co oznacza, że uzyskanie tych interakcji jest najważniejsze.

Liderzy biznesu muszą wykonać swoje zadania, gdy wybierają odpowiednie narzędzie AI dla swoich pracowników. AI ma uwolnić czas i energię pracowników, aby mogli się skoncentrować na zadaniach o wyższej wartości; inwestowanie w czatbota, który wymaga stałej kontroli człowieka, podważa cały cel wdrożenia. Ale czy istnienie halucynacji jest naprawdę tak powszechne, czy po prostu termin ten jest nadużywany do identyfikacji z każdą odpowiedzią, którą uważamy za nieprawidłową?

Walka z halucynacjami AI

Weź pod uwagę: Teorię dynamicznego znaczenia (DMT), koncepcję, że zrozumienie między dwiema osobami – w tym przypadku użytkownikiem i AI – jest wymieniane. Ale ograniczenia języka i wiedzy o przedmiocie powodują niezgodność w interpretacji odpowiedzi.

W przypadku odpowiedzi generowanych przez AI możliwe jest, że podstawowe algorytmy nie są jeszcze w pełni wyposażone w celu dokładnej interpretacji lub generowania tekstu w sposób zgodny z naszymi oczekiwaniami jako ludzi. To rozbieżność może prowadzić do odpowiedzi, które mogą wydawać się dokładne na powierzchni, ale ostatecznie brakuje im głębi lub nuansów wymaganych do prawdziwego zrozumienia.

Ponadto większość ogólnych LLM czerpie informacje tylko z treści, które są publicznie dostępne w internecie. Aplikacje przedsiębiorstw AI działają lepiej, gdy są poinformowane o danych i politykach specyficznych dla poszczególnych branż i firm. Modele mogą być również ulepszane dzięki bezpośredniej opinii ludzi – zwłaszcza rozwiązań agentywnych, które są zaprojektowane do reagowania na ton i składnię.

Takie narzędzia powinny być również rygorystycznie przetestowane przed tym, jak staną się dostępne dla konsumentów. Jest to krytyczna część zapobiegania halucynacjom AI. Cały przepływ powinien być przetestowany przy użyciu rozmów opartych na turach z LLM odgrywającym rolę osoby. To pozwala firmom lepiej założyć ogólny sukces rozmów z modelem AI przed jego wydaniem na świat.

Jest niezwykle ważne, aby zarówno deweloperzy, jak i użytkownicy technologii AI byli świadomi teorii dynamicznego znaczenia w odpowiedziach, które otrzymują, a także dynamiki języka używanego w danych wejściowych. Pamiętaj, kontekst jest kluczem. A jako ludzie, większość naszego kontekstu jest rozumiana w sposób niewerbalny, czy to przez język ciała, trendy społeczne – nawet nasz ton. Jako ludzie, mamy potencjał halucynacji w odpowiedzi na pytania. Ale w naszej obecnej iteracji AI nasze ludzkie zrozumienie nie jest tak łatwo kontekstualizowane, więc musimy być bardziej krytyczni wobec kontekstu, który dostarczamy w piśmie.

Wystarczająco powiedzieć – nie wszystkie modele AI są równie dobre. W miarę jak technologia rozwija się, aby wykonywać coraz bardziej złożone zadania, jest kluczowe, aby firmy, które rozważają wdrożenie, identyfikowały narzędzia, które poprawią interakcje i doświadczenia klientów, a nie odwrócą ich.

Ciężar nie spoczywa tylko na dostawcach rozwiązań, aby upewnić się, że zrobili wszystko, co w ich mocy, aby zminimalizować szansę na wystąpienie halucynacji. Potencjalni nabywcy również mają swoją rolę do odegrania. Przez priorytetowanie rozwiązań, które są rygorystycznie przeszkolone i przetestowane i mogą uczyć się z danych własnościowych (zamiast wszystkiego i wszystkiego w internecie), firmy mogą wykorzystać maksymalnie swoje inwestycje w AI, aby przygotować pracowników i klientów do sukcesu.