Jeśli Twój AI Hallucynuje, Nie Obwiniaj AI

„Hallucynacje” AI – te przekonywująco brzmiące, lecz fałszywe odpowiedzi – przyciągają dużą uwagę mediów, jak w przypadku niedawnego artykułu New York Times, AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse. Hallucynacje są prawdziwym niebezpieczeństwem, gdy masz do czynienia z konsumenckim chatbotem. W kontekście biznesowych zastosowań AI jest to jeszcze poważniejsza sprawa. Na szczęście, jako lider technologii biznesowych, mam więcej kontroli nad tym. Mogę upewnić się, że agent ma odpowiednie dane, aby wyprodukować znaczącą odpowiedź.

Ponieważ to jest prawdziwy problem. W biznesie nie ma usprawiedliwienia dla hallucynacji AI. Przestań obwiniać AI. Obwiniaj siebie za to, że nie używasz AI właściwie.

Gdy narzędzia generatywne AI hallucynują, robią to, co są zaprojektowane do robienia – dostarczają najlepszą możliwą odpowiedź na podstawie dostępnych danych. Gdy wymyślają coś, produkując odpowiedź, która nie opiera się na rzeczywistości, to dlatego, że brakuje im odpowiednich danych, nie mogą ich znaleźć lub nie rozumieją pytania. Tak, nowe modele, jak o3 i o4-mini od OpenAI, hallucynują więcej, działając jeszcze bardziej „kreatywnie”, gdy nie mają dobrej odpowiedzi na pytanie, które im zostało zadane. Tak, potężniejsze narzędzia mogą hallucynować więcej – ale mogą również produkować bardziej potężne i wartościowe wyniki, jeśli je odpowiednio skonfigurujemy.

Jeśli nie chcesz, aby Twój AI hallucynował, nie pozbawiaj go danych. Karm AI najlepszymi, najbardziej istotnymi danymi dla problemu, który chcesz, aby rozwiązał, i nie będzie skłonny do błądzenia.

Nawet wtedy, gdy pracujesz z dowolnym narzędziem AI, zalecam zachowanie krytycznego myślenia. Wyniki, które dostarczają agenci AI, mogą być produktywne i przyjemne, ale punkt nie polega na tym, aby odłączyć mózg i pozwolić, aby oprogramowanie zrobiło wszystko za Ciebie. Zadawaj pytania. Gdy agent AI daje Ci odpowiedź, pytaj o tę odpowiedź, aby upewnić się, że ma sens i jest poparta danymi. Jeśli tak, to powinno być zachęcającym znakiem, że warto poświęcić czas, aby zadać następne pytania.

Im więcej pytasz, tym lepsze spostrzeżenia uzyskasz.

Dlaczego występują hallucynacje

To nie jest żadna tajemnica. AI nie próbuje kłamać. Każdy duży model językowy (LLM) AI jest podstawowo przewidywaniem następnego słowa lub liczby na podstawie prawdopodobieństwa.

Na wysokim poziomie, to, co się tutaj dzieje, to LLM łączą zdania i akapity słowo po słowie, przewidywając następne słowo, które powinno wystąpić w zdaniu na podstawie miliardów innych przykładów w danych szkoleniowych. Przodkowie LLM (poza Clippy) byli automatycznymi podpowiedziami dla wiadomości tekstowych i kodu komputerowego, automatycznymi narzędziami tłumaczeń języka i innymi systemami lingwistycznymi opartymi na prawdopodobieństwie. Zwiększona siła obliczeniowa, plus szkolenie na internetowych ilościach danych, sprawiły, że te systemy stały się „mądre” enough, aby mogły prowadzić pełną rozmowę przez czat, jak świat dowiedział się z wprowadzeniem ChatGPT.

Przeciwnicy AI lubią zwracać uwagę, że to nie jest to samo, co prawdziwa „inteligencja”, tylko oprogramowanie, które może destylować i wypluwać ludzką inteligencję, która została mu podana. Poproś je o podsumowanie danych w napisanym raporcie, i naśladują one sposób, w jaki inni pisarze podsumowali podobne dane.

To wydaje mi się być akademicką dyskusją, o ile dane są prawidłowe, a analiza jest przydatna.

Co się dzieje, jeśli AI nie ma danych? Wypełnia luki. Czasem jest to zabawne. Czasem jest to totalny bałagan.

Gdy budujesz agenci AI, to jest 10-krotnie większe ryzyko. Agenci mają dostarczać działania, ale podejmują więcej decyzji po drodze. Wykonują wieloetapowe zadania, gdzie wynik kroku 1 informuje kroki 2, 3, 4, 5, … 10 … 20. Jeśli wyniki kroku 1 są niepoprawne, błąd zostanie uwypuklony, sprawiając, że wyjście na kroku 20 będzie jeszcze gorsze. Szczególnie, gdy agenci mogą podejmować decyzje i pomijać kroki.

Zrobione dobrze, agenci osiągają więcej dla biznesu, który je wdrożył. Jednak jako menedżerowie produktów AI, musimy rozpoznać większe ryzyko, które idzie w parze z większą nagrodą.

Co zrobiliśmy. Zobaczyliśmy ryzyko i rozwiązaliśmy je. Nie zbudowaliśmy tylko eleganckiego robota; upewniliśmy się, że działa on na odpowiednich danych. Oto, co uważam, że zrobiliśmy dobrze:

• Zbuduj agenta, aby zadał odpowiednie pytania i zweryfikował, czy ma odpowiednie dane. Upewnij się, że początkowy proces wejściowy danych agenta jest bardziej deterministyczny, mniej „kreatywny”. Chcesz, aby agent powiedział, gdy nie ma odpowiednich danych i nie kontynuował do następnego kroku, zamiast wymyślać dane.
• Ustrukturyzuj podręcznik dla swojego agenta – upewnij się, że nie wymyśla nowego planu za każdym razem, ale ma półstrukturalne podejście. Struktura i kontekst są niezwykle ważne na etapie gromadzenia i analizy danych. Możesz pozwolić agentowi rozluźnić się i działać bardziej „kreatywnie”, gdy ma już fakty i jest gotowy do napisania podsumowania, ale najpierw upewnij się, że ma prawidłowe fakty.
• Zbuduj wysokiej jakości narzędzie do ekstrakcji danych. To powinno być więcej niż tylko wywołanie API. Zajmij się napisaniem kodu (ludzie nadal to robią), który pobiera odpowiednią ilość i różnorodność danych, które będą gromadzone, włączając do procesu kontrole jakości.
• Zrób, aby agent pokazał swoją pracę. Agent powinien cytować swoje źródła i linkować do miejsca, w którym użytkownik może zweryfikować dane, od oryginalnego źródła, i je zbadać dalej. Nie wolno używać sztuczek!
• Poręcze: Pomyśl, co może pójść nie tak, i zbuduj zabezpieczenia przed błędami, których absolutnie nie możesz pozwolić. W naszym przypadku oznacza to, że gdy agent odpowiedzialny za analizę rynku nie ma danych – przez co rozumiem nasze dane Similarweb, a nie jakieś losowe dane pobrane z sieci – upewnienie się, że nie wymyśla czegoś, jest niezbędną poręczą. Lepiej, aby agent nie mógł odpowiedzieć niż dostarczyć fałszywą lub mylącą odpowiedź.

Włączyliśmy te zasady do naszego ostatniego wydania trzech nowych agentów, z więcej do następujących. Na przykład, nasz agent AI do przygotowania spotkań dla sprzedawców nie pyta tylko o nazwę celowej firmy, ale o szczegóły dotyczące celu spotkania i z kim jest, przygotowując go do lepszej odpowiedzi. Nie musi zgadywać, ponieważ używa bogactwa danych firmowych, cyfrowych i profili wykonawczych, aby poinformować swoje rekomendacje.

Czy nasi agenci są perfekcyjni? Nie. Nikt jeszcze nie tworzy idealnego AI, nawet największe firmy na świecie. Ale stawienie czoła problemowi jest o wiele lepsze niż ignorowanie go.

Chcesz mniej hallucynacji? Daj swojemu AI ładną porcję wysokiej jakości danych.

Jeśli hallucynuje, może to nie jest AI, które potrzebuje naprawy. Może to jest Twoje podejście do korzystania z tych potężnych nowych możliwości bez poświęcenia czasu i wysiłku, aby je dobrze zrozumieć.