Jsou RAG řešením halucinací AI?

Umělá inteligence má „vlastní mysl“. Jednou z nevýhod toho je, že generativní modely umělé inteligence občas vymýšlejí informace v fenoménu zvaném „halucinace umělé inteligence“, jehož jeden z prvních příkladů se dostal do centra pozornosti, když soudce v New Yorku pokárán právníci za použití právního sdělení napsaného ChatGPT, které odkazovalo na neexistující soudní případy. V poslední době došlo k incidentům, kdy vyhledávače generované umělou inteligencí řekly uživatelům, aby to udělali konzumovat kameny pro zdravotní přínosy nebo použití netoxické lepidlo aby se sýr přilepil na pizzu.

Jak se GenAI stává stále více všudypřítomnou, je důležité, aby si její uživatelé uvědomili, že halucinace jsou od nynějška nevyhnutelný aspekt řešení GenAI. Tato řešení, která jsou postavena na velkých jazykových modelech (LLM), jsou často informována velkým množstvím různorodých zdrojů, které pravděpodobně obsahují alespoň nějaké nepřesné nebo zastaralé informace – tyto vymyšlené odpovědi tvoří mezi 3% a 10% odpovědí generovaných chatbotem AI na výzvy uživatelů. Ve světle AI“Černá skříňka„příroda – ve které máme jako lidé mimořádné potíže přesně prozkoumat, jak umělá inteligence generuje své výsledky – tyto halucinace mohou být pro vývojáře téměř nemožné vysledovat a pochopit.

Halucinace umělé inteligence jsou nevyhnutelné, nebo ne, přinejlepším jsou frustrující, nebezpečné a přinejhorším neetické.

V mnoha sektorech, včetně zdravotnictví, financí a veřejné bezpečnosti, důsledky halucinací zahrnují vše od šíření dezinformací a kompromitování citlivých dat až po život ohrožující nehody. Pokud budou halucinace nadále nekontrolovány, bude ohroženo blaho uživatelů i důvěra společnosti v systémy umělé inteligence.

Proto je nezbytné, aby správci této výkonné technologie rozpoznali a řešili rizika halucinací AI, aby byla zajištěna důvěryhodnost výstupů generovaných LLM.

RAGs jako výchozí bod k řešení halucinací

Jedna metoda, která se dostala do popředí při zmírňování halucinací, je generace rozšířená o vyhledávánínebo RAG. Toto řešení zvyšuje spolehlivost LLM prostřednictvím integrace externích úložišť informací – extrahování relevantních informací z důvěryhodné databáze zvolené podle povahy dotazu – pro zajištění spolehlivějších odpovědí na konkrétní dotazy.

Nějaký průmysl odborníci předpokládali, že samotný RAG může vyřešit halucinace. Databáze integrované s RAG však mohou stále obsahovat zastaralá data, která by mohla generovat nepravdivé nebo zavádějící informace. V určitých případech může integrace externích dat prostřednictvím RAG dokonce zvýšit pravděpodobnost halucinací ve velkých jazykových modelech: Pokud se model umělé inteligence neúměrně spoléhá na zastaralou databázi, vnímá protože jsou plně aktuální, rozsah halucinací se může ještě zhoršit.

AI Guardrails – Překlenutí mezer RAG

Jak můžete vidět, RAG skutečně slibují zmírnění halucinací AI. Průmyslová odvětví a podniky, které se obracejí na tato řešení, však musí také chápat jejich vlastní omezení. Při použití v tandemu s RAG skutečně existují doplňkové metodiky, které by měly být použity při řešení halucinací LLM.

Firmy mohou například využívat umělou inteligenci v reálném čase mantinely k zajištění odpovědí LLM a zmírnění halucinací AI. Zábradlí fungují jako síť, která prověřuje všechny výstupy LLM pro umělý, profánní nebo mimo tématický obsah, než se dostane k uživatelům. Tento proaktivní přístup middlewaru zajišťuje spolehlivost a relevanci vyhledávání v systémech RAG, což v konečném důsledku zvyšuje důvěru mezi uživateli a zajišťuje bezpečné interakce, které jsou v souladu se značkou společnosti.

Alternativně existuje přístup „prompt engineering“, který vyžaduje, aby technik změnil hlavní výzvu backendu. Přidáním předem určených omezení k přijatelným výzvám – jinými slovy, sledováním nejen toho, kde LLM získává informace, ale také toho, jak je uživatelé žádají o odpovědi – mohou navržené výzvy vést LLM ke spolehlivějším výsledkům. Hlavní nevýhodou tohoto přístupu je, že tento typ rychlého inženýrství může být neuvěřitelně časově náročným úkolem pro programátory, kteří jsou často již natahováni časem a zdroji.

Přístup „jemného ladění“ zahrnuje školení LLM na specializovaných souborech dat zdokonalit výkon a zmírnit riziko halucinací. Tato metoda trénuje LLM specializované na úkoly, aby čerpaly ze specifických, důvěryhodných domén, čímž se zlepšuje přesnost a spolehlivost výstupu.

Je také důležité vzít v úvahu dopad délky vstupu na výkon uvažování LLM – skutečně, mnoho uživatelů má tendenci si myslet, že čím rozsáhlejší a parametričtější je jejich výzva, tím přesnější budou výstupy. Nicméně jeden Nedávná studie odhalil, že přesnost výstupů LLM skutečně klesá jak se délka vstupu zvyšuje. V důsledku toho zvýšení počtu pokynů přiřazených k jakékoli dané výzvě nezaručuje konzistentní spolehlivost při generování spolehlivých generativních aplikací AI.

Tento jev, známý jako rychlé přetížení, zdůrazňuje inherentní rizika příliš složitých návrhů promptů – čím šířeji je výzva formulována, tím více dveří se otevírá nepřesným informacím a halucinacím, protože LLM se snaží splnit každý parametr.

Pohotové inženýrství vyžaduje neustálé aktualizace a dolaďování a stále se snaží účinně předcházet halucinacím nebo nesmyslným reakcím. Zábradlí na druhou stranu nevytvářejí další riziko umělých výstupů, což z nich činí atraktivní možnost ochrany AI. Na rozdíl od rychlého inženýrství nabízejí zábradlí všeobjímající řešení v reálném čase, které zajišťuje, že generativní umělá inteligence bude vytvářet výstupy pouze v rámci předem definovaných hranic.

I když to není řešení samo o sobě, zpětná vazba od uživatelů může také pomoci zmírnit halucinace pomocí akcí, jako jsou hlasy pro a proti, které pomáhají zdokonalit modely, zvýšit přesnost výstupu a snížit riziko halucinací.

Samotná řešení RAG vyžadují rozsáhlé experimentování, aby bylo dosaženo přesných výsledků. Ale když jsou spárovány s jemným doladěním, rychlým inženýrstvím a ochrannými zábradlími, mohou nabídnout cílenější a účinnější řešení pro řešení halucinací. Zkoumání těchto doplňkových strategií bude nadále zlepšovat zmírňování halucinací v LLM a napomáhá vývoji spolehlivějších a důvěryhodnějších modelů napříč různými aplikacemi.

RAG nejsou řešením halucinací AI

Řešení RAG přidávají LLM nesmírnou hodnotu tím, že je obohacují o externí znalosti. Ale vzhledem k tomu, že o generativní umělé inteligenci je stále tolik neznámého, halucinace zůstávají neodmyslitelnou výzvou. Klíč k boji proti nim nespočívá ve snaze je odstranit, ale spíše ve zmírnění jejich vlivu kombinací strategických mantinelů, prověřovacích procesů a vyladěných výzev.

Čím více můžeme věřit tomu, co nám GenAI říká, tím efektivněji a efektivněji budeme schopni využít jeho silný potenciál.