Дослідження свідчать про високу достовірність ChatGPT як джерела новин

Нові дослідження свідчать, що мітки фактологічної перевірки ChatGPT переважають лайки, репости та навіть довірені бренди новин при формуванні того, у що люди вірять і хочуть поширити в Інтернеті.

Нове дослідження серед 1000 осіб показало, що коли ChatGPT надає оцінку достовірності політичних новин, це часто змінює те, у що люди вірять, і чи хочуть вони поширити цю інформацію – незалежно від їхніх початкових політичних поглядів. Більш традиційні чинники впливу, такі як лайки чи репости, не мали великого ефекту, але судження штучного інтелекту сильно вплинуло на те, наскільки довірчим здається новина:

З нової праці, ілюстрація того, як люди оцінюють заголовок новини, засновану на трьох взаємодіючих сигналах: чи збігається історія з їхньою політичною ідентичністю; як сильно вона має резонанс у соціальних мережах; і достовірні сигнали, надані інституціями або системами штучного інтелекту. Ці впливи поєднуються для формування як сприйманої точності, так і ймовірності поширення контенту. Джерело

Ступінь, у якій резюме штучного інтелекту сприймаються як достовірні джерела новин, є, можливо, однією з найважливіших тем у медіа за багато років, не в останню чергу тому, що резюме штучного інтелекту Google відвели трафік від більшості великих онлайн-видань у 2025 році, без жодної впевненості, куди цей перехід влади може рухатися в довгостроковій чи навіть середньостроковій перспективі.

Автори нової праці заявляють:

‘Ці результати підкреслюють як потенціал, так і ризик алгоритмічної зворотної зв’язку у формуванні громадського розуміння. Сигнали, згенеровані штучним інтелектом, можуть допомогти пом’якшити упередженість і підвищити сприйняття достовірності, але їхній вплив варіюється залежно від політичної ідентичності і несе етичні ризики, пов’язані з надмірною залежністю […]

‘…Надмірний вплив ChatGPT підкреслює критічний компроміс: хоча переконливі, зворотна зв’язок штучного інтелекту може витіснити критичне мислення, якщо його не ретельно сформулювати.’

Автори пропонують, що майбутні дослідження повинні зосередитися на покращенні інтервенцій достовірності штучного інтелекту, які є більш незалежними та підтримують відомі факти, і вони відзначають, що це особливо важливо у темах, які є поляризованими.

Крім очевидного підйому ChatGPT як “авторитету” і несподівано низького впливу сигналів поширення у тестах (які автори вважають можливо пов’язаними зі слегка стерильними умовами тестування), інший цікавий результат досліджень стосується демографії та статі:

‘Жінки та расово меншини учасники (особливо чорні та латиноамериканські користувачі) відповіли більш позитивно на зворотну зв’язок, засновану на штучному інтелекті, ніж інституційні мітки.’

Нова праця називається Сигнали достовірності штучного інтелекту переважають інституції та залученість у формуванні сприйняття новин у соціальних мережах, і походять від трьох дослідників Університету Нотр-Дам.

Давайте ближче розглянемо методи та висновки праці.

Метод

Було протестовано чотири гіпотези: що люди будуть вважати заголовки більш точними, якщо вони відображають їхні політичні погляди; що оцінки достовірності, згенеровані штучним інтелектом, будуть більш впливовими, ніж сигнали від встановлених інституцій; що заголовки з високим рівнем залученості (тобто вимірюваним через лайки, репости чи коментарі) будуть сприйматися як більш довірчі; і що користувачі будуть схильні приймати судження штучного інтелекту про точність заголовку, навіть якщо воно суперечить їхнім власним переконанням.

Учасники дослідження були отримані з платформи Prolific, і мали бути вільними у використанні англійської мови, а також регулярними споживачами новин; і процес рандомізації забезпечував, що учасники представляли різноманітність расових і гендерних поглядів.

У експерименті* учасники були розділені на чотири групи, кожна з яких бачила різний тип зворотної зв’язку поряд з заголовками новин.

У першій групі (умові контролю) не надавалася жодна додаткова інформація про те, наскільки достовірним міг бути заголовок; у другій групі заголовки були позначені рейтингом упередженості від GroundNews, служби, яка класифікує джерела новин як ліво-, центро- чи право-орієнтовані.

Третя група бачила ті самі мітки GroundNews, але навмисно перевернуті, створюючи розбіжність, призначену для перевірки того, чи виявлять користувачі спотворення.

Остання група бачила оцінки достовірності, написані ChatGPT, з коротким поясненням і рейтингом, таким як ‘ймовірно неточно’:

Концептуальна схема експерименту: кожний учасник бачив політичні заголовки з різними комбінаціями міток достовірності та сигналів соціального залученості. Відгуки були зібрані щодо того, наскільки точним здається кожен заголовок, і наскільки ймовірно його поширення, з повною послідовністю, повтореною для 21 пункту.

Дані та тести

Кожен учасник бачив послідовність з 21 політичного заголовку новин. Для кожного заголовку рівень соціального залученості змінювався; іноді він показував жодних лайків чи репостів, іноді багато. Ці сигнали залученості були рандомізовані, щоб уникнути фіксованих патернів.

Самі заголовки походили з різноманітних політичних поглядів і були позначені як ліво-орієнтовані, право-орієнтовані чи центристські.

Після кожного заголовку учасники були запитані, наскільки точним їм здається, і чи будуть вони поширити його. Оскільки кожен учасник вже заявив про свою політичну приналежність, було можливо проаналізувати, чи заголовки з тієї самої сторони політичного спектру оцінювалися більш сприятливо.

Учасники оцінювали кожен заголовок двічі:一次 за точність, і вдруге за ймовірність поширення, з їхніми відповідями, виміряними за шкалою від 0 до 10.

Дослідники потім поєднали ці відповіді з додатковими даними: демографічною інформацією та інформацією про використання медіа кожним учасником; політичними тегами для кожного заголовку; типом сигналу достовірності, показаного; і рівнем соціального залученості, призначеного.

Вплив політичної ідентичності

У першому тесті, який з’ясував, чи люди оцінюють заголовки як більш точні, коли політична позиція заголовку збігається з їхніми власними поглядами, результати показали, що учасники були більш схильні вірити заголовкам, які збігалися з їхніми політичними поглядами – але це залежало від групи.

Умерені показали найсильніший упередженість на свою сторону, тоді як ліберали та консерватори схильні довіряти центристським заголовкам найбільше; і загалом, нейтральні заголовки були оцінені як більш точні, ніж ліво- чи право-орієнтовані.

Ілюстрація того, як рейтинги точності та поширення змінюються залежно від політичної позиції заголовку та політичної приналежності учасника. Умерені були найбільш схильні оцінювати ‘внутрішньогрупові’ заголовки як точні, тоді як ліберали та консерватори віддавали перевагу центристським заголовкам. Поведінка поширення слідувала схожому патерну, з обмеженим упередженістю групи всередині умереної групи.

У результаті цього першого експерименту було виявлено помірне упередженість групи щодо поширення; але тільки серед умерених, які були більш схильні поширити політично орієнтовані (тобто нейтральні) заголовки. Ліберали та консерватори не показали такої тенденції.

Аналіз дисперсії (ANOVA), метод, використаний для виявлення різниць між групами, показав, що вирівнювання вплинуло на поширення тільки тоді, коли воно взаємодіяло з політичною ідентичністю. Достовірність і поширення були пов’язані, але тільки середні показали чіткий патерн у обох.

Інституційна достовірність проти достовірності штучного інтелекту

Наступний тест запитував, чи люди довіряють рейтингам штучного інтелекту більше, ніж традиційним джерелам, таким як веб-сайти оцінки новин – особливо коли рейтинги можуть суперечити їхній політиці:

Рейтинги достовірності та поширення через джерела зворотної зв’язку: всі три сигнали підвищували точність у порівнянні з контролем, з GroundNews, який дав найвищі рейтинги. Однак ChatGPT дав найбільші прибутки у поширені, що свідчить про його більш широкий переконливий вплив. Помилкові колони показують 95% інтервали довіри, і зірочки позначають значимі парні різниці.

Усі сигнали зворотної зв’язку підвищували сприйману точність; але GroundNews був найбільш ефективним, коли він збігався з політикою користувача.

ChatGPT підвищував рейтинги точності загалом, вказуючи на те, що його сприймають як більш нейтральний. Консерватори були menos схильні до GroundNews, але відповіли на ChatGPT подібно до інших груп:

Тут ми бачимо вплив зворотної зв’язку ChatGPT на сприйману точність. Результати свідчать про те, що довіра до інституційних сигналів залежить від вирівнювання, тоді як довіра до сигналів алгоритму не залежить. ChatGPT підвищував і достовірність, і поширення загалом – особливо серед консерваторів.

Соціальні метрики мають малий вплив

Третій аналіз перевірив, чи будуть видимі соціальні сигнали залученості, такі як лайки, репости чи коментарі, підвищувати достовірність чи поширення, діючи як соціальне підтвердження; але жодного такого ефекту не спостерігалося.

Тести показали, що рівень залученості, такий як лайки чи репости, не мав великого ефекту на те, наскільки точним здається заголовок, і тільки слабкий, ненадійний вплив на те, наскільки поширеним воно здається; на відміну від сигналів алгоритму чи інституційних сигналів, ці соціальні сигнали не здавалися впливовими на судження в цьому контексті, з причин, згаданих раніше в статті.

Зворотна зв’язку штучного інтелекту впливає на те, у що люди довіряють

Четвертий і останній експеримент перевірив, чи будуть користувачі коригувати свої судження про достовірність і поширення у відповідь на мітки, згенеровані штучним інтелектом: точні; дещо точні; неверифіковані; або неточні, всі призначені ChatGPT.

Учасники відповіли сильно на мітки достовірності, згенеровані штучним інтелектом. Рейтинги точності зростали або падали у відповідь на зворотну зв’язку ChatGPT, з найбільшими ефектами, коли заголовки були позначені як точні або неточні:

Зворотна зв’язку ChatGPT вплинула на рейтинги точності та поширення. Вище: Рейтинги точності зростали з більш позитивними мітками, особливо коли заголовки були позначені як ‘Точні’, і падали, коли позначені як ‘Неточні’. Нижче: Поширення слідувало схожому патерну, але показувало більшу варіацію за групами: ліберали відповіли найсильніше на негативні сигнали, тоді як консерватори показали більш стримані зрушення.

Політична ідентичність вплинула на ці ефекти, з користувачами, які довіряють ChatGPT більше, коли його зворотна зв’язку збігалася з їхніми власними поглядами.

Поведінка поширення слідувала схожому патерну: заголовки групи, позначені як точні, були поширені найчастіше, особливо під час неоднозначних міток, таких як дещо точні.

Ці результати, як стверджує праця, свідчать про те, що зворотна зв’язку штучного інтелекту може змінити поведінку користувачів; і що це також ризикує посилити партійні розбіжності або заохотити критичне мислення.

Хто довіряє штучному інтелекту найбільше?

Додатковий аналіз дослідив, як демографія користувачів впливає на реакції на мітки достовірності. Зворотна зв’язку ChatGPT підвищувала рейтинги точності загалом, але ефект був слабшим серед високоосвічених користувачів і частих споживачів соціальних медіа, які показали більшу скептичність.

Ці самі групи реагували негативно на GroundNews і перевернуті сигнали, що свідчить, як стверджує праця, про те, що явні маркери упередженості можуть відштовхнути більш медіаграмотних користувачів.

Натомість жінки та расові меншини учасники, особливо чорні та латиноамериканські користувачі, відповіли більш позитивно на зворотну зв’язку ChatGPT, ніж на інституційні сигнали:

Демографічні реакції на типи зворотної зв’язку, з кожною панеллю, що показує, як певна група реагувала на різні сигнали достовірності. Рейтинги ChatGPT мали найсильніший і найбільш послідовний вплив на точність, тоді як ефекти на поширення були менш однорідними, з варіацією за расою, статтю та медіа-вживанням.

Поведінка поширення повторювала цей розрив: GroundNews знижував поширення найбільш різко серед користувачів соціальних медіа та медіа-консументів, тоді як ефекти ChatGPT були більш змішаними, навіть підвищуючи поширення в деяких групах, з володарями вищої освіти особливо чутливими до всіх типів зворотної зв’язку.

Автори висновують:

‘Ці результати мають прямий вплив на розробку інтервенцій достовірності у соціотехнічних системах. Користувачі все більше впливаються на зворотну зв’язку штучного інтелекту, яка може переважити інституційні сигнали та пом’якшити партійну упередженість – але також ризикує сприяти надмірній залежності.

‘Інституційні сигнали залишаються ефективними для деяких користувачів, але їхній вплив зменшується у політично поляризованих чи низько-довірячих середовищах. Тоді як метрики залученості, такі як лайки та репости, були в основному проігноровані, що свідчить про зниження переконливої цінності, коли вони представлені без соціального контексту.

‘Для підтримки рівноправної та інформованої оцінки новин інтервенції, керовані штучним інтелектом, повинні бути прозорими, пояснювальними та розроблені для підвищення агентності користувача.

‘Майбутня робота повинна вивчити ці механізми в більш екологічно валідних умовах, оцінити альтернативні кадри достовірності штучного інтелекту та розробити адаптивні системи, які підтримують критичну участь у політично різноманітних аудиторіях.’

Висновок

Ураховуючи тенденцію всіх поточних систем генерації штучного інтелекту галюциновати і спотворювати правду, можна вважати певною проблемою, що стрімке впровадження (навіть якщо воно затихає) ChatGPT також представляє величезний крок довіри, який архітектури таких систем не можуть виправдати чи підтримати.

Одна з проблем довіри до представлення новин штучним інтелектом полягає в відсутності ефективних систем, які можуть контекстуалізувати джерела новин як “політично афілійовані” або нахилені до одного чи іншого кінця політичного спектру.

Навіть серед найбільш авторитетних джерел четвертої влади вибір того, що і що не покривається, є сам по собі політичним твердженням. Нітен ChatGPT, ні його аналоги зараз не здатні орієнтуватися в цих шарах інтерпретативної упередженості, і ця тема сама по собі запрошує до обговорення, а не до твердих висновків.

Інша проблема полягає в тому, що системи цього типу з’явилися на сцені в один з найбільш поляризованих і роз’єднаних періодів людської історії за останні 80 років, і в час, коли суспільство найбільш схильне слухати “альтернативні голоси” – такі як цілком новий жанр технологій, який позиціонується як необхідний фільтр світової правди, а не те, чим він насправді є: прогнозатор статистичної ймовірності, який живиться великими обсягами партійної інформації.

* Деталі яких автори зробили доступні онлайн (див. джерельну статтю, низ П2, для посилань). Однак ці дані вимагають реєстрації для перегляду, і оскільки я не пішов далі в той момент, я не можу підтвердити, що їх можна переглянути повністю без оплати та/або певних типів посвідчень.

Перша публікація – середа, 5 листопада 2025 року