Яскраві графіки можуть зробити навіть “злі” дослідження надійними

Нові дослідження показують, що використання складних і складних графіків може зробити людей довірливими до упереджених рішень штучного інтелекту, навіть якщо вони явно несправедливі.

Хоча практика ‘засліплення когось наукою’ значно передує сучасній епохі штучного інтелекту, вона, ймовірно, досконала в цій епохі – не в останню чергу через недавній зростання кількості наукових статей, що робить співвідношення сигналу до шуму невигідним, а “дешеві трюки” – більш поширеними.

Віддані старому прислів’ю ‘брехня, проклята брехня і статистика‘, центральним інструментом, використовуваним для обману або введення в оману читачів, коли представляються нові системи та наукові дані, які пояснюють або виправдовують заяви про них, є графіки та візуалізація даних.

У 2019 році дослідженні впливу графіків на учасників у сільській Пенсільванії автори роботи спостерігали:

‘Люди, які були вплинуті на зловживання або залежність, схилялися до графіків, які представляли ці речовини. Люди часто визначали якість графіків, що містять географічну інформацію, на основі того, наскільки легко або складно було знайти свій штат.

‘Інші люди схилялися до графіків не на основі свого власного розуміння, а на основі сприйняття їхньої ефективності у спілкуванні з іншими людьми.

‘Нарешті, один учасник навіть запропонував, що вони будуть звертати більше уваги на візуалізацію з місцевих джерел новин, ніж з національних.’

Деякі графіки, показані мешканцям сільської Пенсільванії в дослідженні 2019 року. Джерело

Гіпнотичний ефект графіків даних стає особливо актуальним у новій ері машинного навчання, де довіра є важливою для підтримки економіки штучного інтелекту (і, ймовірно, запобігання краху).

У 2024 році у співпраці США/Великої Британії встановили концепцію Trust Junk: візуалізація XAI, ‘яка не має суттєвого зв’язку з основною моделлю або даними [і] використовується для підвищення довіри’:

З паперу ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’, приклад даних, які були викручені для служіння попередній меті (праворуч), замість явного відображення (ліворуч). Такий підхід ‘заохочує надмірну залежність і пригнічує користувача, надаючи ілюзію контролю’, згідно з папером. Джерело

Швидке дослідження

Від часу появи концепції Trust Junk її ще не було перевірено – це недолік, який усувається новою роботою з США, в якій учасникам були представлені результати фальшивого дослідження штучного інтелекту щодо ймовірності проходження юридичного іспиту в США.

Якщо уважно придивитися, можна було помітити, що критерії фільтрації були а) всі чорношкірі чоловіки і б) всі інші – з прогнозом, що всі чорношкірі чоловіки не пройдуть іспит:

З нової роботи: анотований стимул, використаний у експериментах авторів, показує рішення моделі (C) щодо проходження іспиту кандидатом (B), поряд з компонентами, що функціонують як ‘trust junk’ (A, D, E, F). Модель дискримінаційна, проте додавання великої кількості практично неважливої пояснювальної інформації призводить до того, що учасники погоджуються з її висновками й вважають її справедливою. Джерело

Більшість учасників погодилися з прогнозами моделі та оцінили її як справедливу і надійну, причому ступінь згоди, довіри та сприйняття справедливості зростали з додаванням все більшої кількості неважливої інформації – навіть тоді, коли менше людей помічали очевидну й явну расову упередженість.

Деякі користувачі заперечували проти дослідження, але не через причини, що мали б стосунок до центральної проблеми:

‘Ми зафіксували 19 випадків, коли учасники явно описали нашу модель як справедливу (наприклад, один учасник сказав: “Це справедливо, оскільки в ній немає расової чи гендерної упередженості”). Тим не менш, учасники іноді висловлювали занепокоєння щодо моделі. Один учасник сказав, що він турбувався про “якийсь темний аспект, для якого цю модель можуть використовувати”.’

Проте серед трьох груп учасників дослідження, кожна з яких була піддана дедалі більшій кількості “trust junk”, жодна не визначила справжню проблему.

Автори роблять висновок*:

‘У короткому, ми виявили, що “trust junk” працює: учасники були або “заспокоїлися” неважливою інформацією, або “зомбованими” великою кількістю даних у поясненнях.

‘Все це маніпулювання та переконання відбулося в контексті моделі, яка була поверхневою та глибоко несправедливою, саме в тому випадку, коли ми сподіваємося, що XAI дозволить неекспертам приймати точні рішення.’

Оскільки нас дедалі частіше радять перевіряти, що каже штучний інтелект (чи через підозрювані мотиви, чи через помилкові висновки), ми можемо бути схильні копати глибше за заголовки та аналізувати джерельний матеріал досліджень, квартальних звітів компаній та інших далеких від нейтральності форматів подання інформації.

Але чи готові ми звернути увагу на “заспокійливі” графіки, які заспокоюють нас щодо точності – або хоча б знецінити “міазму достовірності”, яку може викликати маса графіків?

Нова робота називається “Trust Junk” веде до необґрунтованої підтримки високодискримінаційних прогностичних моделей“, і походять від трьох дослідників Університету Норtheastern у Бостоні, штат Массачусетс. Також створено допоміжний сайт.

Метод

Автори провели міжсуб’єктне краудсорсингове експеримент (тобто, різні учасники були призначені до різних умов) щодо “trust junk” у поясненнях XAI, перевіряючи, чи можуть дедалі більші кількості технічно правильної, але неважливої інформації переконати користувачів, що упереджена модель є справедливою та корисною.

Стимули були засновані на попередній роботі, а результатом стали панелі XAI, які поєднують кілька технік пояснення в одному інтерфейсі.

Для вищезгаданої високої “упередженості” дослідники розробили “trust junk”-пояснення для дослідження, з поясненнями, спеціально розробленими для використання “обманних” технік подання даних:

‘Ми надали надмірну кількість інформації для нашої бінарної класифікаційної задачі. Наше включення великої кількості складних, але в кінцевому підсумку неважливих деталей було призначено для того, щоб пригнічувати учасників дослідження, а не надавати їм真正у корисну інформацію.

‘Ця техніка [метафорично] “зомбує” користувача, змусивши його прийняти свою власну нездатність повністю зрозуміти дані […].’

Дослідження ґрунтується на раніших суперечках навколо оцінки штучного інтелекту у міжнародному бакалавраті та загальному сертифікаті освіти рівня А, використовуючи набір даних про проходження іспиту в юридичній школі, який містить демографічні, академічні та результативні дані для 20 000 кандидатів у 1991-1997 роках.

Ці дані були використані для створення спеціально упередженої моделі, яка передбачала невдачу чорношкірим чоловікам, тоді як інші мали успіх; проте модель усе ж досягла 93,7% точності через несбалансованість класів за расовою та гендерною ознакою.

Також була протестована стратегія “апеляції до влади” з поверхнево вражаючими сигналами, такими як престижна університетська афіліація, розмір набору даних та вводять в оману показники точності.

Крім того, заходи, які б викрили залежність моделі від раси та статі, були опущені, а представлені лише сприятливі результати. Невелика група схожих кандидатів була представлена поряд з їхніми реальними результатами іспиту, а не прогнозами моделі – це допомогло замаскувати постійний шаблон невдачі, призначений чорношкірим чоловікам.

Щоб ще більше сформувати, як учасники інтерпретують систему, інформація була представлена таким чином, щоб спонукати їх створювати прості, але вводять в оману пояснення того, як працює модель. Деталі про всі доступні функції були показані, створюючи враження, що багато факторів впливають на рішення, хоча тільки раса та стать були використані. Цинічний акцент на індивідуальних атрибутах також спонукав учасників створювати правдоподібні, але неправильні історії про те, чому кандидат був передбачений як такий, що пройде чи не пройде іспит.

‘Жертви’

У групі тестування кожне пояснення було призначено одному з трьох рівнів “trust junk” у трьох умовах дослідження: учасники в базовій умові бачили лише базове походження, профіль кандидата та рішення моделі; ті, хто був у модельній умові, також бачили статистику точності; а ті, хто був у усьому, бачили гістограми функцій та профілі схожих кандидатів з тренувального набору даних.

Дослідження було схвалено інститутською комісією з перегляду, та проведено на Prolific, де учасникам платили 15 доларів на годину, а учасники були випадковим чином призначені до умов.

Кожен учасник переглянув вісім профілів кандидатів на іспит у випадковому порядку та визначив, чи пройде кожний з них, причому згода використовувалася як метрика залежності, після чого слідували опитування для оцінки довіри, а потім фінальна вибірка з 28, 27 та 28 учасників у базовій, модельній та усьому умовах.

Автори припустили, що додавання все більшої кількості ніби-то багатої, але насправді неважливої чи неповної інформації може зробити модель справедливою шляхом створення необґрунтованої впевненості у її висновках. Вони очікували, що учасники в модельній та усьому умовах покажуть вищу згоду та сильніше сприйняття справедливості, довіри, корисності та надійності, ніж ті, хто був у базовій умові. Вони також проаналізували написані учасниками пояснення, щоб побачити, як вони розуміли рішення моделі, зосередившись на тому, чи помітили вони її упередженість чи прогалини в наданій інформації.

Результати тестів

За ступенем згоди з моделлю людські учасники дослідження визначили правильний результат у 66,6% випадків, але погодилися з моделлю у 73,9% випадків – показуючи тенденцію слідувати рішенням моделі навіть тоді, коли вони були неправильними. Цей ефект збільшувався з додаванням все більшої кількості пояснювальної інформації, причому найрозробленіша умова підвищувала згоду до 82,6% та збільшувала ймовірність того, що учасники неправильно підкорялися моделі:

Загальні бали за згоду (ліворуч), довіру (в середині) та задоволеність (праворуч); учасники в умові ‘усьому’, яким було показано додатковий пояснювальний контент, який був неважливим для справедливості, повідомили про значно вищі бали по всіх показниках, хоча модель залишалася ідентичною та явно несправедливою.

Оцінки довіри значно відрізнялися за умовами, причому учасники в усьому умові повідомили про вищі рівні довіри (M = 25,3) порівняно з учасниками в базовій умові (M = 16,8), тоді як учасники в модельній умові (M = 20,1) не відрізнялися суттєво від жодної з цих умов.

Задоволеність поясненнями відрізнялася суттєво за умовами, причому учасники в усьому умові повідомили про вищі рівні задоволеності (M = 34,2) порівняно з учасниками в інших двох умовах (M = 26,4).

Учасники оцінювали справедливість за чотирма питаннями на семибальній шкалі, що охоплювали статеву упередженість, загальну упередженість та етику, причому не було суттєвих відмінностей між умовами за цими показниками:

Розподіл оцінок учасників за умовами щодо сприйнятої справедливості за расовою та статевою ознакою, відсутності упередженості та загальної етики. Вищі рівні пояснювальної інформації пов’язані з дещо вищими оціками справедливості та відсутності упередженості, хоча основна модель залишається незмінною та несправедливою.

Відмінність була виявлена щодо справедливості за расовою ознакою, де група базової умови оцінила модель як найменш справедливу (M = 3,9), тоді як групи модельної та усього умов оцінили її вище (M = 4,8). Що ще більш занепокоєно, найбільша частка учасників, які вважали явно несправедливу модель справедливою, походила саме з тих двох груп, яким було показано найбільше пояснювальної інформації – які також були найменш схильними до виявлення її упередженості.

Контроль якості

Кваліоративні відповіді показали, що учасники, яким було надано найменше інформації, були більш схильні помічати проблеми з моделлю – особливо її залежність від раси та статі. Вони також були більш схильні казати, що важливі деталі відсутні.

Натомість ті, хто побачив більш розгорнуті пояснення, рідше висловлювали ці занепокоєння. Тим не менш, лише три учасники з усіх умов продемонстрували хоча б часткове розуміння ключових факторів, які керують рішеннями моделі; жоден з них не повністю визначив, як вона працює.

Графіки, що показують, як часто учасники повідомляли про можливу расову чи статеву упередженість та відсутність пояснювальної інформації за умовами, причім вищі рівні пояснювальної інформації пов’язані з меншою кількістю учасників, які помічали упередженість або повідомляли про відсутність інформації – хоча модель залежала лише від раси та статі.

Багато учасників явно описали модель як справедливу, про що було зафіксовано 19 відповідей, незважаючи на її явну упередженість.

Тим часом деякі учасники висловили занепокоєння, причому декілька учасників висловили побоювання щодо того, як така система може бути використана, а 15 відповідей поставили під сумнів, чи може модель суттєво відобразити складність окремих кандидатів.

Автори заявляють:

‘Лише меншість учасників описала модель як несправедливу чи упереджену. Ті учасники, які висловили занепокоєння щодо моделі, були нездатні точно артикулювати, чому модель є недолугою, і, не маючи важливої інформації про модель, вдавалися до неформального, часто неправильного мислення, щоб пояснити, чому модель може бути неправильною чи несправедливою.’

Папер робить висновок*^†:

‘Хоча деякі з проблем, які ми виявили, можна вирішити за допомогою підвищення даних грамотності серед аудиторії, освіта сама по собі недостатня (навіть самопроголошені експерти з штучного інтелекту звичайно неправильно тлумачать або не розуміють техніки XAI).

‘Ми підтримуємо твердження Hullman et al.: успіх пояснень штучного інтелекту можна оцінити тільки тоді, коли розглядаються мети таких пояснень.

‘Ми закликаємо спільноту звернути увагу на риторичні мети пояснень XAI та їхньої маніпулятивної сили як внутрішньо переконливих артефактів.’

Висновок

Оскільки стався розголос щодо того, наскільки моделі нового покоління схильні ‘прикрашати’ заяви фальшивими графіками, стає дедалі очевиднішим, що не тільки графіки, згенеровані штучним інтелектом, не повинні бути основою для посилення авторитету, але й загальний ‘амб’ ефект супровідних візуалізацій є тим, що ми повинні почати знецінювати – так само, як віра в фотографію підірвана появою глибоких фейків.

Це, ймовірно, тривожний розвиток, оскільки це становить ще одну “втомну точку” у публічній готовності суворо оцінювати те, що вони бачать і чують у ЗМІ, і ризикує певним видом “термінальної згоди” на дезінформацію.

* Моя заміна внутрішніх цитат авторів на гіперпосилання.

^† Оригінальне форматування авторів, а не моє.

Перша публікація понеділка, 20 липня 2026 року