Kde by se měl jazykový model zastavit: návrh AI pro mzdy, přijímací řízení a další oblasti, kde se chyby neodpouštějí

Posledních několik let jsem se věnoval začleňování AI do produktů, v nichž má špatná odpověď konkrétní cenu: platformy pro dodržování předpisů v oblasti mezd využívající AI na australském trhu, kde se chyba promítne na něčí bankovní účet, a produktu pro přijímací řízení na vysoké školy, kde může nevhodně zvolená škola ovlivnit další čtyři roky života studenta. V obou případech o architektuře rozhodovala stejná otázka. Kam až by měl jazykový model smět zajít, než jeho úlohu převezme deterministický systém?

Chybu obsahuje každá pátá výplata v USA, přičemž průměrné náklady na jednu chybu činí 291 dolarů, ještě než do hry vstoupí soudní spory. Akt EU o umělé inteligenci řadí AI používanou při rozhodování o přijetí a řízení pracovněprávních vztahů do kategorií vysoce rizikových systémů.

Čísla svěřte pravidlům

O všem, co souvisí s částkou v dolarech nebo s právními důsledky, rozhodují deterministická pravidla; model tato pravidla pouze interpretuje a vysvětluje, nic víc.

U mzdové platformy jsme chtěli jasně oddělit mzdová pravidla od AI. Mzdoví experti nejprve definují pravidla odměňování ve strukturovaném formátu. Systém je pak zpracuje a vytvoří všechny možné scénáře, které z nich mohou vyplynout. Tato úplná sada scénářů se stává zdrojem pravdy pro model. Model nemůže vytvářet nová pravidla, měnit stávající ani rozhodovat o tom, které zdroje použít. Může pouze vyhledat příslušnou sadu pravidel, nahlédnout do tabulek sazeb a uvést scénář, z něhož vycházel. Tvorba pravidel, generování scénářů i výběr zdrojů zůstávají zcela mimo vrstvu AI.

Produkt pro přijímací řízení se řídí stejnou logikou: požadavky na lokalitu, rozpočtové limity, status vzdělávací instituce a hranice způsobilosti se uplatňují jako pravidla ještě předtím, než model může ovlivnit pořadí. Pokud student řekne, že musí studovat na vysoké škole v Kalifornii, škola v jiném státě nemůže být upřednostněna jen proto, že ji model jinak vyhodnotil jako vhodnou volbu. Model zpracovává méně závazné preference a vysvětlení; deterministická logika pak slouží jako pojistka všude tam, kde nestačí, aby výsledek byl jen přibližně správný.

Vyhledávání model ukotví, ale jen do určité míry

Generování s rozšířeným vyhledáváním váže odpovědi na vlastní zásady organizace, nikoli na cokoli, co model vstřebal při trénování. Jeho přínos se ale také přeceňuje. Když RegLab ze Stanfordu testoval komerční nástroje pro právní rešerše založené na RAG, stále si vymýšlely odpovědi v 17 až 33 % případů. Vyhledávání omezuje, co může model tvrdit, ale i tak se může mýlit.

Přesvědčil jsem se o tom na vlastní kůži. Mzdová platforma jednou pro konkrétní případ našla správný závazný mzdový předpis, ale model přesto nesprávně vyložil pravidla pro přesčasy. Našel se správný zdroj, odpověď však byla chybná, a proto jsme následně mnohem přísněji omezili, o čem může model rozhodovat sám. Důležitá mzdová pravidla jsme převedli do explicitní obchodní logiky, každá odpověď musela být podložena zdrojovým materiálem a přidali jsme testy zaměřené na případ, v němž systém selhal. Přístup ke správným informacím pomůže jen tehdy, když zároveň kontrolujete, jak je model používá.

Zajistěte dohledatelnost každé odpovědi

Ještě před vygenerováním odpovědi systém zaznamená, která pravidla a jejich verze byly použity, a také model a další podrobnosti požadavku. Tvrzení, že odpověď AI vycházela z firemních zásad, se ověřuje obtížně. Mnohem přesvědčivějším důkazem je informace, že byla vytvořena na základě verze 7 konkrétní dohody, která byla uchována a lze ji porovnat s jinými verzemi. Sledujeme také každé volání modelu a nástroje: co uživatel požadoval, co se vyhledalo, které nástroje se spustily, co model vrátil a jaké chyby se případně objevily. Když přijde požadavek na podporu, můžeme přesně zjistit, odkud chybná odpověď pocházela. Rozhodnutí ve věci Air Canada z roku 2024, v němž tribunál nařídil letecké společnosti uznat slevu, kterou si její chatbot vymyslel, ukazuje, jaké náklady má opačný přístup.

Zapojte lidi tam, kde jde o důsledky

Profil generativní umělé inteligence od NIST považuje vymezení toho, co systém dělá sám a co vyžaduje zásah člověka, za rozhodnutí v oblasti správy a řízení. Případ předáváme člověku, když si systém není jistý, když si informace odporují nebo když by rozhodnutí mohlo uživatele výrazně ovlivnit. U přijímacího řízení se neobvyklý profil studenta nebo doporučení, u něhož není zřejmé, že splňuje jeho zásadní požadavky, označí ke kontrole poradcem. Tento krok odhalil doporučení, která na první pohled působila rozumně, ale přehlížela některé omezení uvedené v profilu studenta; každé takové zjištění se pak promítlo zpět do systému. Ani jeden produkt nerozhoduje o ničem sám. Než se někdo začne doporučením řídit, je nutné získat stanovisko poradce; každá výplatní páska vygenerovaná mzdovým systémem se navíc před odesláním označí ke schválení. Kontrola člověkem není určena pro každý požadavek. Cílem je s jistotou automatizovat běžné případy a zapojit člověka, když má systém dobrý důvod pochybovat.

O čem může model rozhodovat už dnes

Při posuzování jakéhokoli pracovního postupu používám praktický test. Pokud lze chybný výstup zachytit a napravit dřív, než se dostane k člověku, může daný krok svěřit modelu. Pokud lze odpověď ověřit podle pravidla, rozhoduje pravidlo a model ji vysvětluje. Jestliže by se chybný výstup dostal k něčí výplatě nebo ovlivnil rozhodnutí o přijetí ještě předtím, než si ho někdo všimne, daný krok zatím není připraven.

Jazykové modely jsou nejlepšími vykladači, jaké jsme kdy postavili před pravidla. V oblastech, kde se chyby trestají, by jejich role měla končit u výkladu.