Pokud vaše umělá inteligence halucinuje, neobviňujte ji

„Halucinace“ umělé inteligence – ty přesvědčivě znějící, ale falešné odpovědi – přitahují velkou pozornost médií, jak tomu bylo v nedávném článku v New York Times, Umělá inteligence je stále silnější, ale její halucinace se zhoršujíHalucinace představují skutečné nebezpečí, pokud jednáte se spotřebitelským chatbotem. V kontextu obchodních aplikací umělé inteligence je to ještě vážnější problém. Naštěstí mám jako lídr v oblasti obchodních technologií i nad tím větší kontrolu. Mohu se ujistit, že agent má správná data k poskytnutí smysluplné odpovědi.

Protože to je skutečný problém. V podnikání neexistuje žádná omluva pro AI halucinacePřestaňte vinit umělou inteligenci. Viňte sami sebe, že umělou inteligenci nepoužíváte správně.

Kdy generativní AI nástroje halucinují, dělají to, k čemu jsou navrženy – poskytují nejlepší možnou odpověď na základě dostupných dat. Když si věci vymýšlejí a vytvářejí odpověď, která se nezakládá na realitě, Je to proto, že jim chybí relevantní data, nemohou je najít nebo nerozumí otázceAno, nové modely jako o3 a o4-mini od OpenAI halucinují více a chovají se ještě „kreativněji“, když nemají dobrou odpověď na položenou otázku. Ano, výkonnější nástroje mohou halucinovat více – ale mohou také produkovat silnější a hodnotnější výsledky, pokud je nastavíme na úspěch.

Pokud nechcete, aby vaše umělá inteligence halucinovala, nenuťte ji po datech. Poskytněte umělé inteligenci ta nejlepší a nejrelevantnější data pro problém, který má vyřešit, a nebude v pokušení sejít z cesty.

I tehdy, při práci s jakýmkoli nástrojem umělé inteligence, doporučuji zachovat si kritické myšlení. Výsledky, které agenti umělé inteligence dosahují, mohou být produktivní a příjemné, ale smyslem není odpojit mozek a nechat software, aby za vás všechno přemýšlel. Neustále se ptejte. Když vám agent umělé inteligence dá odpověď, zpochybněte ji, abyste se ujistili, že dává smysl a je podložena daty. Pokud ano, mělo by to být povzbudivé znamení, že stojí za to věnovat čas kladení doplňujících otázek.

Čím více se budete ptát, tím lepší vhled získáte.

Proč se halucinace vyskytují

Není to žádná záhada. Umělá inteligence se vám nesnaží lhát. Každá umělá inteligence založená na modelu velkých jazyků (LLM) v podstatě předpovídá další slovo nebo číslo na základě pravděpodobnosti.

Na obecné úrovni se zde děje to, že LLM řetězí věty a odstavce slovo po slově a na základě miliard dalších příkladů ve svých trénovacích datech předpovídají další slovo, které by se ve větě mělo objevit. Předchůdci LLM (kromě Clippy) byly automatické doplňování textových zpráv a počítačového kódu, automatizované nástroje pro překlad lidského jazyka a další pravděpodobnostní lingvistické systémy. Díky zvýšenému výpočetnímu výkonu hrubé síly a trénování na objemech dat v internetovém měřítku se tyto systémy staly dostatečně „chytrými“, aby mohly vést plnohodnotnou konverzaci přes chat, jak se svět dozvěděl se zavedením ChatGPT.

Odpůrci umělé inteligence rádi zdůrazňují, že se nejedná o skutečnou „inteligenci“, ale pouze o software, který dokáže destilovat a znovu zpracovat lidskou inteligenci, která do něj byla vložena. Požádejte ji, aby shrnula data v písemné zprávě, a ona napodobí způsob, jakým jiní autoři shrnuli podobná data.

To mi připadá jako akademický argument, pokud jsou data správná a analýza užitečná.

Co se stane, když umělá inteligence nemá data? Doplní mezery. Někdy je to vtipné. Někdy je to úplný chaos.

Při stavbě AI činidla, to je 10krát větší riziko. Agenti mají poskytovat užitečné poznatky, ale cestou činí více rozhodnutí. Prováděli vícekrokové úkoly, kde výsledek kroku 1 informuje o krocích 2, 3, 4, 5, ... 10 ... 20. Pokud jsou výsledky kroku 1 nesprávné, chyba se zesílí, což výrazně zhorší výstup v kroku 20. Zejména proto, že agenti mohou činit rozhodnutí a přeskakovat kroky.

Pokud se to udělá správně, agenti dosáhnou pro firmu, která je nasadí, více. Jako produktoví manažeři umělé inteligence si však musíme uvědomit, že s větší odměnou je spojeno i větší riziko.

Což náš tým udělal. Viděli jsme riziko a řešili jsme ho. Nejenže jsme postavili nějakého luxusního robota; ujistili jsme se, že běží na správných datech. Myslím, že jsme udělali správně toto:

• Vytvořte agenta tak, aby kladl správné otázky a ověřoval, zda má správná data. Ujistěte se, že počáteční proces zadávání dat agentem je ve skutečnosti více deterministický, méně „kreativní“. Chcete, aby agent řekl, když nemá správná data, a nepokračoval dalším krokem, místo aby si data vymýšlel.
• Vytvořte pro svého agenta strukturovaný plán – ujistěte se, že pokaždé nevymýšlí nový plán, ale má částečně strukturovaný přístup. Struktura a kontext jsou ve fázi shromažďování a analýzy dat nesmírně důležité. Můžete agenta nechat uvolnit se a jednat „kreativněji“, až bude mít fakta a bude připraven napsat shrnutí, ale nejprve si fakta ověřte správně.
• Vytvořte vysoce kvalitní nástroj pro extrakci dat. Mělo by to být víc než jen volání API. Věnujte čas napsání kódu (lidé to stále dělají), který zajistí shromažďování správného množství a rozmanitosti dat a do procesu začleňte kontroly kvality.
• Agent by měl ukázat svou práci. Měl by citovat své zdroje a odkazovat na místo, kde si uživatel může data ověřit z původního zdroje a dále je prozkoumat. Žádné lhostejné zacházení není povoleno!
• Ochranné prvky: Promyslete si, co by se mohlo pokazit, a zajistěte ochranu proti chybám, které absolutně nemůžete dovolit. V našem případě to znamená, že když agent pověřený analýzou trhu nemá data – tím myslím data z našeho Similarwebu, ne nějaký náhodný zdroj dat stažený z webu – je nezbytným ochranným prvkem zajistit, aby si agent nic nevymyslel. Pro agenta je lepší nebýt schopen odpovědět, než poskytnout nepravdivou nebo zavádějící odpověď.

Tyto principy jsme začlenili do nedávné verze našich tří nových agentů a další budou následovat. Například náš agent pro přípravu obchodních zástupců na schůzky s umělou inteligencí se neptá jen na název cílové společnosti, ale také na podrobnosti o cíli schůzky a s kým se schůzky účastní, což jej připravuje na poskytnutí lepší odpovědi. Nemusí hádat, protože k podložení svých doporučení využívá množství firemních dat, digitálních dat a profilů vedoucích pracovníků.

Jsou naši agenti dokonalí? Ne. Nikdo zatím nevytváří dokonalou umělou inteligenci, ani ty největší společnosti na světě. Ale čelit problému je mnohem lepší než ho ignorovat.

Chcete méně halucinací? Dejte své umělé inteligenci pořádný kus času. vysoce kvalitní data.

Pokud má halucinace, možná to není umělá inteligence, která potřebuje opravu. Možná je to váš přístup k využití těchto nových výkonných funkcí, aniž byste věnovali čas a úsilí jejich správnému nastavení.