Bleskové grafy mohou udělat i „zlé“ výzkumy důvěryhodnými

Nový výzkum zjistil, že přidání složitých a komplexních grafů může lidi přesvědčit, aby důvěřovali předpojatým rozhodnutím umělé inteligence, i když jsou zjevně nespravedlivé.

Praxe „oslepení vědou“ významně předchází současnou éru umělé inteligence, ale lze říci, že je v této éře zdokonalena – nejen proto, že nedávný růst odevzdání vědeckých prací způsobil nepříznivý poměr signálu a šumu a „levné triky“ jsou zřejmě častější.

Věrný starému přísloví „lži, prokleté lži a statistika“, centrálním nástrojem používaným k oklamání nebo matení čtenářů, když se prezentují nové systémy a vědecké důkazy, které vysvětluje nebo ospravedlňují nároky kolem nich, jsou grafy a datové visualizace.

V roce 2019 studie účinku grafů na účastníky v Pensylvánii autoři práce pozorovali:

‘Lidé, kteří byli zasaženi zneužíváním nebo závislostí, se přikláněli k grafům, které reprezentovaly tyto látky. Lidé často určovali kvalitu grafu obsahujícího geografické informace na základě toho, jak snadno nebo obtížně našli svůj domovský stát.

‘Jiní lidé tendovali k tomu, aby oceňovali grafy ne na základě svého vlastního porozumění, ale na základě grafické účinnosti při komunikaci s jinými lidmi.

‘Nakonec jeden účastník dokonce navrhl, že by se více soustředil na visualizace z místních zpravodajských zdrojů než z národních.’

Některé grafy ukázány obyvatelům venkovské Pensylvánie ve studii z roku 2019. Zdroj

Hypnotický účinek datových grafů se stává zvláště důležitým v nové éře strojového učení, kde je důvěra kritická pro udržení ekonomiky umělé inteligence (a zřejmě i pro zabránění krachu).

Spolupráce z roku 2024 mezi USA a Spojeným královstvím přinesla koncept Trust Junk: XAI visualizace ‘která nemá žádný významný vztah k základnímu modelu nebo datům [a] je použita ke zvýšení důvěry’:

Rychlá studie

Od doby, kdy byl koncept Trust Junk uveden, nebyl testován – což je nedostatek, který řeší nová práce z USA, ve které účastníci byli prezentováni výsledky z údajné studie AI, týkající se toho, který z kandidátů je pravděpodobně schopen složit právnickou zkoušku v USA.

Pokud jste se podívali pozorně, mohli jste si všimnout, že kritéria pro filtrování byly a) všichni černí muži a b) všichni ostatní – s předpovědí, že všichni černí muži budou neúspěšní:

Anotovaný stimul použitý v experimentech autorů, zobrazující rozhodnutí modelu (C) o tom, zda kandidát (B) složí právnickou zkoušku, spolu s vysvětlovacími komponenty fungujícími jako „trust junk“ (A, D, E, F). Model je diskriminační, ale přidání stále více irelevantních vysvětlovacích informací vede účastníky k většímu souhlasu s jeho výstupy a k hodnocení jej jako spravedlivého. Zdroj

Většina účastníků souhlasila s předpověďmi modelu a ohodnotila jej jako spravedlivý a důvěryhodný, se souhlasem, důvěrou a vnímanou spravedlivostí, které se zvyšovaly s přidáním stále více irelevantních grafů a detailů – a to i tehdy, když méně lidí si všimlo zjevné a hrubé rasové předpojatosti.

Někteří uživatelé nesouhlasili se studií, ale ne z důvodů, které se zdají být spojeny s centrálním problémem:

‘Poznamenali jsme 19 případů, kdy účastníci výslovně popsali náš model jako spravedlivý (například [účastník] řekl: „Je spravedlivý, protože nemá žádný rasový nebo genderový předpojatost.“). Přesto účastníci občas vyjádřili neklid s modelem. [Jeden účastník] řekl, že se obává „o to, jakou temnotu by lidé mohli použít“.’

Nicméně, napříč třemi skupinami účastníků, z nichž každá byla podrobena stále větším množství Trust Junk, žádný z nich neidentifikoval skutečný problém.

Autoři uzavírají*:

‘Stručně řečeno, zjistili jsme, že Trust Junk fungoval: účastníci byli buď „uklidněni“ irelevantními informacemi nebo „omámeni“ obrovským množstvím dat v vysvětleních.

‘Všechny tyto manipulace a přesvědčování se udál v kontextu modelu, který byl povrchní a hluboce nespravedlivý, přesně ten případ, kdy bychom doufali, že XAI by umožnilo laické publikum učinit přesné soudy.’

Jelikož jsme stále častěji doporučováni kontrolovat, co nám AI říká (zda z podezřelých sebe-sloužících motivů nebo z důvodu chybných výstupů), můžeme být nakloněni kopat hlouběji než nadpisy a analyzovat zdrojový materiál výzkumných prací, firemních čtvrtletních zpráv a různých dalších formátů pro doručování informací.

Ale jsme připraveni věnovat pozornost „uklidňujícím“ grafům, které nás ujišťují o přesnosti – nebo alespoň zanedbat „mlhu pravdivosti“, kterou může vyvolat série grafů?

Nová práce se jmenuje “Trust Junk” vede k neoprávněné podpoře vysoce diskriminačních prediktivních modelů” a pochází od tří výzkumníků z Northeastern University v Bostonu, Massachusetts. Doplňková stránka byla také zpřístupněna.

Metoda

Autoři provedli mezi-subjekty crowdsourced experiment (tj. různé účastníky přiřazeny k různým podmínkám) na „trust junk“ v XAI vysvětleních, testujících, zda přidání stále více technicky správných, ale irelevantních detailů, mohlo přesvědčit uživatele, že předpojatý model je spravedlivý a užitečný.

Stimuly vycházely z předchozích prací, s výslednými XAI panely kombinujícími více vysvětlovacích technik do jednoho rozhraní.

Pro výše zmíněnou vysoce „předpojatou“ činnost, výzkumníci vyvinuli „junk“ vysvětlení pro studii, s vysvětleními úmyslně zaměřenými na „matoucí“ techniky prezentace dat:

‘Poskytovali jsme nadměrné množství informací pro naše binární klasifikační úkoly. Naše zahrnutí velkého množství složitých, ale nakonec irelevantních detailů bylo určeno k tomu, aby účastníky studie přemohlo, spíše než aby jim poskytlo skutečně užitečné údaje.

‘Tato technika [metaforicky] omámí uživatele, aby akceptoval svou vlastní neschopnost plně pochopit data […].’

Studie vychází z dřívějších kontroverzí kolem hodnocení AI v mezinárodní maturitě a vysvědčení o všeobecné způsobilosti, s použitím souboru dat Law School Admissions Bar Passage dataset, který obsahuje demografická, akademická a výsledek dat pro 20 000 kandidátů z let 1991–1997.

Tato data byla použita k vytvoření úmyslně předpojatého modelu, který předpoví neúspěch pro černé mužské kandidáty, zatímco všichni ostatní budou přijati; přesto model dosahuje 93,7% přesnosti, díky nesouladu tříd napříč rasou a pohlavím.

Byla také testována strategie „odvolání na autoritu“, s povrchně působivými nápovědami, jako je prestižní univerzitní afiliace, velikost souboru dat a matoucí přesnost.

Dále byly vynechány opatření, která by odhalila závislost modelu na rase a pohlaví, a byly představeny pouze příznivé výsledky. Malá sada podobných kandidátů byla poté představena spolu se svými skutečnými výsledky zkoušek, spíše než s předpověďmi modelu – a to pomohlo maskovat konzistentní vzorec neúspěchu přiřazený černým mužským kandidátům.

Aby se dále formoval, jak účastníci interpretovali systém, informace byly prezentovány tak, aby je vedly k vytváření jednoduchých, ale matoucích vysvětlení, jak model funguje. Detaily o všech dostupných funkcích byly zobrazeny, což vytvářelo dojem, že mnoho faktorů ovlivňovalo rozhodnutí, ačkoli pouze rasa a pohlaví byly použity. Cynický důraz na individuální atributy také vedl účastníky k vytváření pravděpodobných, ale nesprávných příběhů o tom, proč kandidát byl předpovězen jako přijatý nebo nepřijatý.

‘Oběti’

Ve zkušební skupině, každá vysvětlení byla přiřazena k jedné ze tří úrovní Trust Junk napříč třemi studijními podmínkami: účastníci v základní podmínky viděli pouze základní původ, kandidátský profil a rozhodnutí modelu; ti v model podmínky viděli také statistiku přesnosti; a ti v vše byly navíc ukázány histogramy funkcí a profily podobných kandidátů z trénovacího souboru dat.

Studie byla schválena institucionální kontrolní radou a provedena na Prolific, s účastníky placenými 15 dolarů za hodinu, a náhodně přiřazeni k podmínkám.

Každý účastník prohlédl osm profilů kandidátů na právnickou zkoušku v náhodném pořadí a ohodnotil, zda by každý z nich složil, se souhlasem použitým jako metrikou spolehlivosti, následovanou dotazníky pro hodnocení důvěry a konečnou vzorku 28, 27 a 28 účastníků v základní, model a vše podmínkách.

Autoři předpokládali, že přidání více zdánlivě bohatých, ale nakonec irelevantních informací, mohlo vyčistit model, vytvářející neoprávněnou důvěru v jeho výstupy. Očekávali, že účastníci v model a vše podmínkách budou mít vyšší souhlas a silnější vnímání spravedlivosti, důvěryhodnosti a užitečnosti než ti v základní podmínky. Také analyzovali vysvětlení účastníků, aby viděli, jak přispěvatelé chápali rozhodnutí modelu, se zaměřením na to, zda si všimli jeho předpojatosti nebo mezery v poskytovaných informacích.

Výsledky testů

Z hlediska souhlasu modelu, lidské účastníky studie identifikovaly správný výsledek 66,6% času, ale souhlasily s modelem 73,9% času – ukazující tendenci následovat rozhodnutí modelu, i když byla nesprávná. Tento efekt zesílil s přidáním více vysvětlovacích detailů, s nejpodrobnější podmínkou, která zvyšovala souhlas na 82,6%, a zvyšovala pravděpodobnost, že účastníci nesprávně následovali model:

Agregované skóre pro souhlas (vlevo), důvěru (střed) a spokojenost (vpravo); účastníci v "vše" podmínkách, vystavení dalšímu vysvětlovacímu obsahu, který není relevantní pro spravedlivost, ohodnotili významně vyšší skóre ve všech měřích, přestože model zůstal identický a zjevně nespravedlivý.

Hodnocení důvěry se lišily významně podle podmínky, s účastníky v vše podmínkách, kteří ohodnotili vyšší důvěru (M = 25,3) než ti v základní podmínky (M = 16,8), zatímco model podmínky (M = 20,1) se nelišily významně od žádné z nich.

Spokojenost s vysvětlením se lišila významně podle podmínky, s účastníky v vše podmínkách, kteří ohodnotili vyšší spokojenost (M = 34,2) než ti v ostatních dvou podmínkách (M = 26,4).

Účastníci ohodnotili spravedlivost pomocí čtyř otázek na sedmibodové škále, pokrývající genderové předpojatosti, celkovou předpojatost a etiku, s žádnými významnými rozdíly mezi podmínkami v těchto měřích:

Rozdělení hodnocení účastníků napříč podmínkami pro vnímanou spravedlivost napříč rasou a pohlavím, absenci předpojatosti a celkovou etiku. Vyšší úrovně vysvětlovacích detailů jsou spojeny s mírně vyššími hodnoceními spravedlivosti a bezpředpojatostních hodnocení, přestože základní model zůstal nezměněn a nespravedlivý.

Rozdíl se objevil v hodnocení spravedlivosti napříč rasou, kde skupina základní ohodnotila model jako nejspravedlivější (M = 3,9), zatímco obě model a vše skupiny ohodnotily vyšší (M = 4,8). Více znepokojivé je, že největší podíl účastníků, kteří ohodnotili zjevně nespravedlivý model jako spravedlivý, pocházel ze dvou skupin, které viděly nejvíce vysvětlovacích detailů – které byly také nejméně pravděpodobné, že rozpoznají jeho předpojatost.

Kontrola kvality

Kvalitativní odpovědi ukázaly, že účastníci, kteří dostali nejméně informací, byli více pravděpodobní, že si všimli problémů s modelem – zejména jeho závislosti na rase a pohlaví. Byli také více pravděpodobní, že uvedli, že důležité detaily chybí.

Naproti tomu ti, kteří viděli více podrobných vysvětlení, zvedli tyto obavy méně často. Přesto pouze tři účastníci napříč všemi podmínkami prokázali alespoň částečné porozumění klíčovým faktorům, které ovlivňovaly rozhodnutí modelu; a žádný z nich plně nerozuměl, jak funguje.

Grafy znázorňující, jak často účastníci uváděli možné rasové nebo genderové předpojatosti a chybějící vysvětlovací informace napříč podmínkami, s vyššími úrovněmi vysvětlovacích detailů spojenými s méně účastníky, kteří si všimli předpojatosti nebo uváděli chybějící informace – přestože model závisel pouze na rase a pohlaví.

Mnozí účastníci výslovně popsali model jako spravedlivý, s 19 takovými odpověďmi zaznamenanými, přestože byl zjevně předpojatý.

Současně se objevil jistý neklid, s několika účastníky, kteří vyjádřili obavy o to, jak by takový systém mohl být použit, a 15 odpověďmi, které zpochybnily, zda model mohl skutečně zachytit komplexitu jednotlivých kandidátů.

Autoři uvádějí:

‘Pouze menšina účastníků popsala model jako nespravedlivý nebo předpojatý. Několik účastníků, kteří vyjádřili obavy s modelem, nebyli schopni přesně vysvětlit, proč je model vadný, a v absence kritických modelových informací se uchýlili k neformálnímu, často nesprávnému uvažování, aby vysvětlili, proč by model mohl být špatný nebo nespravedlivý.’

Práce uzavírá*^†:

‘Zatímco některé z problémů, které odhalujeme, lze řešit zvýšenou datovou gramotností v publiku, vzdělávání samo o sobě nestačí (i sebe-prohlášené odborníci na AI často nesprávně interpretují nebo nerozumí technikám XAI).

‘Opakujeme tvrzení Hullman et al.: úspěch vysvětlení AI lze spravedlivě posoudit pouze tehdy, když se zvažují cíle takových vysvětlení.

‘Vybízíme komunitu, aby se soustředila na rétorické cíle vysvětlení XAI a jejich manipulační sílu jako intrinsicky přesvědčivé artefaktů.’

Závěr

Jelikož se rozsah, v jakém modely na hranici jsou nakloněny k „zdobení“ prohlášení falešnými grafy, stává jasnějším, je stále zřetelnější, že grafy generované AI by neměly být použity k posílení autority, a že obecný „ambientní“ účinek doprovodných vizualizací je něco, co bychom měli začít zanedbávat – stejně jako víra ve fotografii byla podkopána vznikem deepfake.

To je zřejmě znepokojivý vývoj, jelikož představuje další „bod únavy“ ve veřejnosti ochotě pečlivě posuzovat, co vidí a slyší v médiích, a riskuje druh „terminální akceptace“ dezinformací.

* Moje náhrada inline citací autorů za odkazy.

^† Originální formátování autorů, ne moje.

První zveřejnění v pondělí 20. července 2026