Jeśli Twój AI ma halucynacje, nie winź AI

Halucynacje AI – te brzmiące przekonująco, lecz fałszywe odpowiedzi – przyciągają dużą uwagę mediów, jak w przypadku niedawnego artykułu New York Times, AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse. Halucynacje są prawdziwym zagrożeniem, gdy masz do czynienia z chatbotem konsumenckim. W kontekście aplikacji biznesowych AI jest to jeszcze poważniejsza kwestia. Na szczęście, jako lider technologii biznesowych, mam nad tym większą kontrolę. Mogę upewnić się, że agent ma odpowiednie dane, aby wyprodukować znaczącą odpowiedź.

Ponieważ to jest prawdziwy problem. W biznesie nie ma usprawiedliwienia dla halucynacji AI. Przestań winić AI. Winź siebie za to, że nie używasz AI właściwie.

Gdy narzędzia generatywne AI halucynują, robią to, do czego są zaprojektowane – dostarczają najlepszą możliwą odpowiedź na podstawie dostępnych danych. Gdy wymyślają coś, produkując odpowiedź, która nie jest oparta na rzeczywistości, to dlatego, że brakuje im odpowiednich danych, nie mogą ich znaleźć lub nie rozumieją pytania. Tak, nowe modele, takie jak OpenAI’s o3 i o4-mini, halucynują więcej, działają jeszcze bardziej „kreatywnie”, gdy nie mają dobrej odpowiedzi na pytanie. Tak, potężniejsze narzędzia mogą halucynować więcej – ale mogą również produkować bardziej wartościowe wyniki, jeśli je właściwie skonfigurujemy.

Jeśli nie chcesz, aby Twój AI halucynował, nie pozbawiaj go danych. Karm AI najlepszymi, najbardziej istotnymi danymi dla problemu, który chcesz rozwiązać, i nie będzie skłonny do błędu.

Nawet wtedy, gdy pracujesz z dowolnym narzędziem AI, zalecam zachowanie krytycznego myślenia. Wyniki, które dostarczają agenci AI, mogą być produktywne i przyjemne, ale punkt nie polega na tym, aby odłączyć mózg i pozwolić oprogramowaniu na wszystkie myślenie. Zadawaj pytania. Gdy agent AI daje Ci odpowiedź, pytaj o tę odpowiedź, aby upewnić się, że ma sens i jest poparta danymi. Jeśli tak, to powinno być zachęcającym znakiem, że warto poświęcić czas, aby zadać następne pytania.

Im więcej pytasz, tym lepsze spostrzeżenia uzyskasz.

Dlaczego halucynacje występują

To nie jest żadna tajemnica. AI nie próbuje kłamać. Każdy duży model językowy (LLM) AI jest podstawowo przewidujący następne słowo lub liczbę na podstawie prawdopodobieństwa.

Na wysokim poziomie, to, co się tutaj dzieje, to LLM łączą zdania i akapity słowo po słowie, przewidując następne słowo, które powinno wystąpić w zdaniu na podstawie miliardów innych przykładów w danych szkoleniowych. Przodkowie LLM (poza Clippy) byli automatycznymi wskazówkami dla wiadomości tekstowych i kodu komputerowego, automatycznymi narzędziami tłumaczeń języka ludzkiego i innymi systemami językowymi opartymi na prawdopodobieństwie. Zwiększona siła obliczeniowa, plus szkolenie na danych o skali internetu, sprawiło, że te systemy stały się „mądre” enough, aby mogły prowadzić pełną rozmowę przez czat, jak świat dowiedział się z wprowadzeniem ChatGPT.

Przeciwnicy AI lubią wskazywać, że to nie jest to samo, co prawdziwa „inteligencja”, tylko oprogramowanie, które może destylować i wypluwać ludzką inteligencję, która została mu podana. Poproś je, aby podsumowały dane w sprawozdaniu, i naśladują sposób, w jaki inni pisarze podsumowali podobne dane.

To wydaje mi się być argumentem akademickim, o ile dane są poprawne, a analiza jest przydatna.

Co się dzieje, gdy AI nie ma danych? Wypełnia luki. Czasami jest to zabawne. Czasami jest to totalny bałagan.

Gdy budujesz agenci AI, to jest 10-krotnie większe ryzyko. Agenci mają dostarczać działania, ale podejmują więcej decyzji po drodze. Wykonują wieloetapowe zadania, gdzie wynik kroku 1 informuje kroki 2, 3, 4, 5, … 10 … 20. Jeśli wyniki kroku 1 są niepoprawne, błąd zostanie uwypuklony, sprawiając, że wynik na kroku 20 będzie jeszcze gorszy. Szczególnie, gdy agenci mogą podejmować decyzje i pomijać kroki.

Zrobione dobrze, agenci osiągają więcej dla biznesu, który je wdrożył. Jednak jako menedżerowie produktów AI, musimy uznać większe ryzyko, które idzie w parze z większą nagrodą.

Co to jest, co nasz zespół zrobił. Zobaczyliśmy ryzyko i rozwiązaliśmy je. Nie zbudowaliśmy tylko eleganckiego robota; upewniliśmy się, że działa on na odpowiednich danych. Oto, co myślę, że zrobiliśmy dobrze:

• Zbuduj agenta, aby zadał odpowiednie pytania i zweryfikował, czy ma odpowiednie dane. Upewnij się, że początkowy proces wejściowy agenta jest bardziej deterministyczny, mniej „kreatywny”. Chcesz, aby agent powiedział, gdy nie ma odpowiednich danych i nie kontynuuje do następnego kroku, zamiast wymyślać dane.
• Ustrukturyzuj podręcznik dla twojego agenta – upewnij się, że nie wymyśla nowego planu za każdym razem, ale ma półstrukturalne podejście. Struktura i kontekst są niezwykle ważne na etapie gromadzenia i analizy danych. Możesz pozwolić agentowi „rozluźnić się” i działać bardziej „kreatywnie”, gdy ma fakty i jest gotowy napisać podsumowanie, ale najpierw upewnij się, że ma poprawne fakty.
• Zbuduj wysokiej jakości narzędzie do ekstrakcji danych. To powinno być więcej niż tylko wywołanie API. Zajmij się napisaniem kodu (ludzie wciąż to robią), który tworzy odpowiednią ilość i różnorodność danych, które będą gromadzone, wprowadzając kontrolę jakości do procesu.
• Upewnij się, że agent pokazuje swoją pracę. Agent powinien cytować swoje źródła i łączyć do miejsca, w którym użytkownik może zweryfikować dane, od oryginalnego źródła, i je dalej badać. Nie wolno używać sztuczek!
• Poręcze: Pomyśl, co może pójść nie tak, i zbuduj zabezpieczenia przed błędami, których absolutnie nie możesz pozwolić. W naszym przypadku oznacza to, że gdy agent odpowiedzialny za analizę rynku nie ma danych – przez co rozumiem nasze dane Similarweb, a nie jakieś losowe źródło danych pobrane z sieci – upewnienie się, że nie wymyśla niczego, jest niezbędnym zabezpieczeniem. Lepsze jest, gdy agent nie może odpowiedzieć, niż gdy dostarcza fałszywą lub mylącą odpowiedź.

Włączyliśmy te zasady do naszego ostatniego wydania trzech nowych agentów, z więcej w przygotowaniu. Na przykład, nasz agent AI do przygotowania spotkań dla sprzedawców nie prosi tylko o nazwę docelowej firmy, ale o szczegóły dotyczące celu spotkania i z kim jest, przygotowując go do lepszej odpowiedzi. Nie musi zgadywać, ponieważ używa bogactwa danych firmowych, cyfrowych i profili wykonawczych, aby poinformować swoje zalecenia.

Czy nasi agenci są doskonałymi? Nie. Nikt jeszcze nie tworzy idealnego AI, nawet największe firmy na świecie. Ale stawienie czoła problemowi jest o wiele lepsze niż ignorowanie go.

Chcesz mniej halucynacji? Daj swojemu AI ładną porcję wysokiej jakości danych.

Jeśli halucynuje, może to nie jest AI, które potrzebuje naprawy. Może to twoje podejście do korzystania z tych potężnych nowych możliwości bez poświęcenia czasu i wysiłku, aby je dobrze wykonać.