Навіть простий ШІ тепер може писати новини, які сприймають як написані людиною

Нові дослідження показують, що навіть невеликі локальні моделі ШІ можуть тепер писати новини, які люди не можуть відрізнити від справжньої журналістики, дорівнюючи найкращим системам, і залишаючи читачів нездатними сказати, хто написав що.

За новим дослідженням, проведеним у співпраці Німеччини та Франції, люди не можуть сказати, чи написана стаття ШІ чи людиною – навіть якщо вона написана відкритими моделями, які можна завантажити та запустити на відносно середніх споживчих комп’ютерах.

У ще одному свідченні того, що маленький ШІ на підйомі, опитування 2 318 суджень, зібраних від 1 054 учасників у спеціальному академічному дослідницькому порталі, показало, що людські читачі не могли ідентифікувати походження статті на вищому рівні, ніж випадковість, навіть якщо вона була виведена відносно скромними моделями з лише сімома мільярдами параметрів, включаючи Mistral і Llama варіанти:

Середні джерельні та автентичності оцінки для тестованих ЛЛМ. 200 мільярдів параметрів GPT-4o не значно перевищують 7B параметрів менших моделей. Ті, що були протестовані для дослідження, були Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o і GPT-3.5. Джерело

Автори повертаються до теми, яку вони вперше розглянули у публікації 2024 року Благословення чи прокляття? Опитування про вплив генеративного ШІ на фейкові новини. Самі результати є новоопублікованими результатами з більш великого проекту, вперше анонсованого у січні, і використовують власну JudgeGPT онлайн-платформу для участі.

Легка потужність

Під назвою Чи можуть люди розрізнити? Двовісеве дослідження людського сприйняття ЛЛМ-генерованих новин, і походячи від трьох дослідників університету прикладних наук Франкфурта та дослідницької одиниці IRISA в Нанті, нове дослідження робить важливу відмінність між “фейковими новинами” та “новинами, написаними ШІ” (оскільки фейкові новини можуть бути написані людиною або ШІ, і ці два аспекти не обов’язково синонімічні).

Однак, можливо, найбільш цікавим аспектом є висновок статті, що маленькі моделі, включаючи Mistral 7B і Gemma 7B, можуть, з лише сімома мільярдами параметрів, впоратися з такими моделями, як ChatGPT (4o) з 200 мільярдами параметрів:

‘Відкриті моделі з лише 7B параметрами виробляють текст, оцінюваний не інакше, ніж вивід GPT-4o, вказуючи на те, що здатність генерувати текст, який люди не можуть відрізнити, вже не обмежена лише передовими моделями.’

Однак “новини, згенеровані ШІ”, можуть представляти різні види співпраці людини та ШІ, від перевірки орфографії до повного делегування зусиль, здатного покласти край кар’єрі, і дослідження не пояснює чітко, який саме вид ШІ-контенту був вироблений для тестів (хоча воно описує методологію виробництва – див. нижче).

Метод

Для учасників, залучених до платформи JudgeGPT, кожен фрагмент новин оцінювався за допомогою двовісевої структури, у якій вони надавали три незалежні оцінки на безперервних 0-100 слайдерах;

Портал JudgeGPT, де оцінювачі оцінюють матеріал за джерельною атрибуцією; автентичністю; і знайомістю з темою. Будь ласка, зверніться до джерельної статті для кращої роздільності.

Джерельна оцінка захоплювала, чи здається фрагмент написаним машиною чи людиною; оцінка автентичності, чи він сприймається як фейковий чи легітимний; і знайомість з темою, як добре читач знає предмет.

Безперервні шкали використовувалися замість Лайкерт-шкали, щоб захопити ступені впевненості більш точно, і щоб підтримувати статистичний аналіз, включаючи Пірсонівську кореляцію і кластеризацію.

Фрагменти тексту, згенеровані машиною, створювалися за допомогою власного авторського RogueGPT-фреймворку, архітектури, що надає вхідні дані JudgeGPT. RogueGPT оркеструє внески шести великих мовних моделей (ЛЛМ): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; і Mistral 7B.

Використовувалися інструкції на основі персонажів або ролей для генерації тексту, і генерації ШІ були засновані на реальних новинних темах, і люди перевіряли їхню фактичну достовірність.

Навпаки, фрагменти тексту, написані людиною, були вибрані з “авторитетних новинних видань” і неозначених “інформаційних баз даних”.

Автори спостерігають:

‘Набір стимулів навмисно зміщений у бік фрагментів, згенерованих машиною (∼98%), з людськими фрагментами, які служать якорями калібрування.

‘Цей вибір дизайну відображає фокус дослідження на внутрішньо-ШІ-варіації (між моделями) а не порівнянні людина-ШІ; учасники не інформуються про базову частоту, і результати виявлення, близькі до випадкового рівня, зберігаються при аналізі на підмножині людського походження окремо.’

Учасники спочатку давали інформовану згоду та заповнювали демографічний опитувальник, який охоплював вік, освіту, політичну орієнтацію та знайомість з ШІ, після чого вони оцінювали послідовність фрагментів новин.

Кожна людина переглядала від 5 до 87 предметів, з медіаною 12, тоді як порядок представлення випадковизувався, а призначення моделі балансувалося між учасниками, щоб зменшити упередженість. Платформа реєструвала три оцінки слайдерів поряд з часом відповіді та анонімним ідентифікатором, що дозволяло пов’язувати окремі судження з фоновими факторами.

Автори підкреслюють, що вибірка була зміщена до освічених європейських учасників, з 68% з університетською освітою, і 74% базувалися в Європі – упередженість, яку стаття відзначає як обмеження для більш широкої узагальненості.

Тести

Тести розділені на п’ять типів результатів: розрізнення машинно-генерованого тексту від людського; порівняння виявлення між різними ЛЛМ; дослідження впливу експертизи у галузі та політичної орієнтації на точність; ідентифікація відмінних стратегій відповідей серед учасників; і відстеження того, як точність змінюється під час повторних оцінок, через втому:

Суммарний підсумок п’яти основних результатів з 2 318 суджень серед 1 054 учасників, показуючи, що людське виявлення тексту, написаного ШІ, залишилося на рівні шансу в усіх моделях, що точність була пов’язана з експертизою у галузі, а не з політичною орієнтацією, що учасники кластеризувалися в різні профілі довіри, і що продуктивність знижувалася після приблизно 30 оцінок, через когнітивну втому.

Тест показав відсутність суттєвої різниці вище шансу в джерельних оцінках між умовами, що, як видається, вказує на те, що учасники не можуть відрізнити текст, згенерований ШІ, від людського виводу:

Джерельні та автентичності оцінки розподілу для машинно- та людського походження фрагментів показують суттєве перекриття, без суттєвого розрізнення між двома умовами, і статистичне тестування – вказуючи на те, що учасники не могли надійно відрізнити текст, згенерований ШІ, від людського вмісту.

Для другого аспекту, як показано на графіку на початку статті, невдача виявлення не варіювалася за моделлю, оскільки вивід усіх ЛЛМ кластеризувався навколо шанс-рівневих суджень, без суттєвих відмінностей між ними. Навіть менші відкриті системи, такі як Mistral 7B і Gemma 7B, оцінювалися не інакше, ніж GPT-4o, вказуючи на те, що текст, невідрізненний від написаного людиною, можливо, вже не обмежується лише найбільшими моделями.

Для третього аспекту точність була більш сильно пов’язана з експертизою у галузі, ніж з політичною орієнтацією, оскільки знайомість з фейковими новинами корелювала з кращими судженнями, тоді як політичні погляди показали відсутність суттєвого впливу, вказуючи на те, що вивчені аналітичні навички можуть мати більше значення, ніж ідеологія:

Результати для третьої лінії дослідження показали, що політична орієнтація не мала суттєвого впливу на джерельну атрибуцію чи оцінку автентичності, з лише слабкими, несуттєвими тенденціями, тоді як зазначена самими учасниками обізнаність з фейковими новинами була пов’язана з вищою точністю в обох осях. Це вказує на те, що аналітична майстерність, заснована на досвіді, була сильнішим предиктором продуктивності, ніж ідеологічна позиція. Будь ласка, зверніться до джерельної статті для кращої роздільності.

Четвертий результат показав, що учасники кластеризувалися в два відмінні стилі відповідей, ідентифіковані як ‘Скептики’ – які призначали низьку довіру до вмісту незалежно від походження – і ‘Довірливі’ – які підтримували вищу базову довіру.

Нарешті, щодо п’ятої мети, ковзний аналіз послідовних суджень показав, що учасники спочатку ставали краще в цій задачі, з точністю, яка покращувалася протягом приблизно перших 15-20 оцінок, оскільки вони адаптувалися до формату:

Ковзні середні оцінок джерела та автентичності протягом послідовності учасницьких оцінок показують коротку початкову фазу покращення, оскільки користувачі, як видається, адаптуються до завдання протягом перших 15–20 предметів, за якою слідує стабільне зниження в обох мірах після приблизно 30 оцінок. Будь ласка, зверніться до джерельної статті для кращої роздільності.

Однак, цей ефект був короткочасним, оскільки продуктивність почала знижуватися після приблизно 30 предметів, з учасниками, які все частіше перейшли до маркування вмісту як фейкового – зсув, інтерпретований як когнітивна втома, і вказує на явні обмеження того, як довго підходи, засновані на виявленні, можуть залишатися ефективними на практиці.

Це може представляти деякі емпіричні докази того, що, втомлені перспективою розрізнення фейкових новин від справжніх, ШІ-новин від людських, ми можемо перейти до припущення, що новини ШІ і/або фейкові (не обов’язково те ж саме), щоб бути «на безпечній стороні». Ті, хто вважає це «ленівим», і вважає, що люди повинні самостійно дослідити потенційну фейкову новинну історію, щоб підтвердити її, можуть бути зацікавлені в тому, щоб дізнатися, що дослідження 2024 року вказало, що це тільки погіршує проблему.

Автори пропонують, що невдача людського судження, продемонстрована у результатах, вказує на те, що нам, можливо, потрібно передати такі питання технологіям криптографічного походження, таким як ініціатива C2PA, очолювана Adobe. Інші можливі рішення включають власну OriginLens рамку авторів, і ще один проект, пов’язаний з авторами, під назвою CRED-1.

Автори роблять висновок:

‘Чи можуть люди розрізнити? Наше двовісеве дослідження 2 318 суджень серед шести ЛЛМ-сімей дає ясну емпіричну відповідь: вони не можуть.

‘Машинно-генерований текст є невідмінним від людського письма незалежно від розміру моделі або сім’ї, експертиза у галузі передбачає точність виявлення сильніше, ніж політична орієнтація, учасники приймають відмінні стратегії довіри, і когнітивна втома обмежує тривале виявлення.

‘Ці результати підтримують зсув від користувацького рівня виявлення до системного рівня протидії, включаючи походження вмісту, адаптивні індикатори довіри та обмежені інтервенції інокуляції.’

Висновок

Тривожним аспектом цієї статті є навколишня мережа проектів і робіт, які автори – або деякі з авторів, залежно від роботи – започаткували або в яких беруть участь; і це було б дуже цікаво побачити зразки ШІ- і людського тексту, які дали ці результати, щоб краще зрозуміти вид тексту, який описана методологія генерації виробляє.

Утім, цікаво, що моделі з відкритими вагами та відкритим вихідним кодом можуть зрівнятися з гігантами, доступними через API, як-от серія ChatGPT. Можливо, це завдання не таке складне, а модель із 200 мільярдами параметрів для нього надмірна? Щоб відповісти на це запитання, потрібно більше знати про подані зразки текстів ШІ та людей.

Тим часом, згідно з сайтом canirun.ai, Mistral 7B (яка була приблизно на рівні з ChatGPT-4o у тестах) ‘працює добре’ на NVIDIA RTX 3080 з 16GB відеопам’яті, і працює ‘пристойно’ на 3060 з 6GB відеопам’яті – далеко не останні та найкращі графічні карти у грі*. Тому будь-хто, хто хоче розробити власну методологію для подання зразків, може, як видається, взяти участь у цих експериментах теж.

* Gemma 7B не перелічена на сайті.

Перше опубліковано четвер, 9 квітня 2026