Pokud váš AI halucinuje, nevyčítejte to AI

Halucinace AI – přesvědčivě znějící, ale falešné odpovědi – přitahují velkou pozornost médií, jako je nedávný článek New York Times, AI se stává stále výkonnějším, ale jeho halucinace se stávají horšími. Halucinace jsou skutečným nebezpečím, když máte co do činění s konzumním chatbotem. V kontextu obchodních aplikací AI je to ještě vážnější problém. Naštěstí, jako technologický leader, mám více kontroly nad tím. Mohu zajistit, aby agent měl správná data, aby mohl poskytnout smysluplnou odpověď.

Protože to je skutečný problém. V obchodě není žádná omluva pro halucinace AI. Přestaňte obviňovat AI. Obviňte sami sebe za to, že AI nepoužíváte správně.

Když generativní AI nástroje halucinují, dělají to, co jsou navrženy k tomu – poskytují nejlepší odpověď, kterou mohou na základě dostupných dat. Když si vymyslí něco, co není založeno na realitě, je to proto, že jim chybí relevantní data, nebo je nemohou najít, nebo nerozumí otázce. Ano, nové modely, jako je OpenAI o3 a o4-mini, halucinují více, jsou ještě více „kreativní“, když nemají dobré odpovědi na otázky, které jim byly položeny. Ano, výkonnější nástroje mohou halucinovat více – ale mohou také poskytovat více výkonné a cenné výsledky, pokud je správně nastavíme.

Wenn si nepřejete, aby váš AI halucinoval, nezaměřujte se na data. Poskytněte AI nejlepší, nejrelevantnější data pro problém, který chcete řešit, a nebude se muset uchýlit k výmyslům.

Even tehdy, když pracujete s jakýmkoli AI nástrojem, doporučuji vám zachovat si kritické myšlení. Výsledky, které AI agenti poskytují, mohou být produktivní a příjemné, ale cílem není vypnout mozek a nechat software dělat veškeré myšlení za vás. Pokračujte v pokládání otázek. Když AI agent poskytne odpověď, zkuste ji ověřit, zda má smysl a je podložena daty. Pokud ano, mělo by to být povzbudivým znamením, že stojí za to položit další otázky.

Čím více se ptáte, tím lepší přehled získáte.

Proč halucinace nastávají

Není to žádné tajemství. AI se nesnaží lhát vám. Každý velký jazykový model (LLM) AI je vlastně předpovídání dalšího slova nebo čísla na základě pravděpodobnosti.

Na vysoké úrovni se zde děje to, že LLM spojuje věty a odstavce jeden po druhém, předpovídající další slovo, které by mělo nastat ve větě na základě miliard dalších příkladů ve svém tréninkovém datovém souboru. Předchůdci LLM (kromě Clippy) byly automatické doplňovací výzvy pro textové zprávy a počítačový kód, automatické nástroje pro překlad lidského jazyka a další probabilistické lingvistické systémy. S rostoucí výpočetní silou a tréninkem na internetové datové soubory se tyto systémy staly „chytrými“ natolik, že mohli vést plnohodnotné rozhovory přes chat, jak svět zjistil s příchodem ChatGPT.

Negativisté AI rádi poukazují na to, že se nejedná o skutečnou „inteligenci“, ale pouze o software, který může destilovat a reprodukovat lidskou inteligenci, která byla do něj vložena. Zeptejte se ho, aby zpracoval data do psaného reportu, a napodobí způsob, jakým jiní autoři zpracovali podobná data.

To se mi zdá jako akademická debata, pokud jsou data správná a analýza je užitečná.

Co se stane, když AI nemá data? Vyplňuje mezery. Někdy je to zábavné. Někdy je to úplný chaos.

Když budujete AI agenty, je toto riziko 10x vyšší. Agenti by měli poskytovat akční přehledy, ale dělají více rozhodnutí na cestě. Provádějí vícekrokové úkoly, kde výsledek kroku 1 informuje kroky 2, 3, 4, 5, … 10 … 20. Pokud jsou výsledky kroku 1 nesprávné, chyba se zesílí a výstup na kroku 20 bude ještě horší. Zvláště, protože agenti mohou dělat rozhodnutí a přeskočit kroky.

Wenn je provedeno správně, agenti dosahují více pro podnik, který je nasadil. Přesto, jako AI produktoví manažeři, musíme uznat vyšší riziko, které souvisí s vyšší odměnou.

Což je to, co naše tým udělal. Viděli jsme riziko a řešili ho. Nejenom postavili jsme hezkého robota; zajistili jsme, aby běžel na správných datech. Zde je to, co si myslím, že jsme udělali správně:

• Postavte agenta, aby kladl správné otázky a ověřil, zda má správná data. Ujistěte se, že počáteční proces zadávání dat agenta je skutečně více deterministický, méně „kreativní“. Chcete, aby agent řekl, když nemá správná data, a nezahájil další krok, místo aby si vymyslel data.
• Strukturaďte playbook pro vašeho agenta – zajistěte, aby nevymyslel nový plán každý čas, ale měl polostrukturovaný přístup. Struktura a kontext jsou extrémně důležité ve fázi sběru a analýzy dat. Můžete nechat agenta uvolnit a jednat více „kreativně“, když má fakta a je připraven napsat souhrn, ale nejdříve získejte fakta.
• Postavte nástroj pro extrakci dat. To by mělo být více než jen API volání. Vezměte si čas na napsání kódu (lidé to stále dělají), který vytváří správné množství a rozmanitost dat, která budou shromážděna, a zabudujte do procesu kontrolní mechanismy.
• Nechejte agenta ukázat svou práci. Agent by měl citovat své zdroje a odkázat na místo, kde uživatel může ověřit data, z původního zdroje, a prozkoumat je dále. Žádné triky nejsou povoleny!
• Ochranné zábrany: Rozmyslete si, co by mohlo go wrong, a postavte ochranu proti chybám, které absolutně nelze dovolit. V našem případě to znamená, že když agent, který má analyzovat trh, nemá data – tím, že máme na mysli naše data Similarweb, ne nějaká náhodná data z webu – zajistěte, aby si nevymyslel něco. Je lepší, když agent nemůže odpovědět, než aby poskytl falešnou nebo zavádějící odpověď.

Naše agenty jsme začlenili do naší nedávné verze našich tří nových agentů, s dalšími, které budou následovat. Například náš AI Meeting Prep Agent pro prodejce neonlyže žádá o název cílové společnosti, ale také o detaily cíle schůzky a s kým se schází, aby mohl poskytnout lepší odpověď. Nemusí hádat, protože využívá bohatství firemních dat, digitálních dat a profilů výkonných ředitelů, aby informoval svá doporučení.

Jsou naši agenti dokonalí? Ne. Nikdo dosud nevytvořil dokonalou AI, ani největší společnosti na světě. Ale řešení problému je o hodně lepší než jeho ignorování.

Chcete méně halucinací? Poskytněte svému AI pěkný kus vysoce kvalitních dat.

Wenn si halucinuje, možná to není AI, které potřebuje opravu. Možná je to váš přístup k využití těchto nových možností bez investice času a úsilí, aby je správně použili.