Даже базовый ИИ может теперь писать новости, которые неотличимы от человеческих

Новые исследования показывают, что даже небольшие местные модели ИИ могут теперь писать новости, которые люди не могут отличить от реальной журналистики, сопоставляя лучшие системы и оставляя читателей не в состоянии определить, кто написал что.

Согласно новому исследованию, проведенному в сотрудничестве Германии и Франции, люди не могут определить, написана ли новостная статья ИИ или человеком, даже когда она написана открытыми моделями, которые можно скачать и запустить на относительно средних потребительских компьютерах.

В другом указании на то, что небольшой ИИ на подъеме, опрос 2 318 суждений, собранных от 1 054 участников в специальном академическом исследовательском портале, показал, что человеческие читатели не могли определить происхождение статьи на уровне выше случайного, даже когда она была сгенерирована относительно скромными моделями с всего семью миллиардами параметров, включая Mistral и Llama варианты:

Средние баллы источника и аутентичности для проверяемых ЛЛМ. 200 миллиардов параметров GPT-4o не намного превышают 7 миллиардов параметров меньших моделей. Те, которые были протестированы для исследования, были Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o и GPT-3.5. Источник

Авторы возвращаются к теме, которую они впервые исследовали в выпуске 2024 года release Благословение или проклятие? Опрос о влиянии генеративного ИИ на фейковые новости. Самые результаты являются новыми, недавно опубликованными результатами из более крупного проекта, первоначально анонсированного в январе, и используют собственный JudgeGPT онлайн-участливый фреймворк.

Легковесная мощность

Названный Могут ли люди определить? Двухосевое исследование человеческого восприятия новостей, сгенерированных ЛЛМ, и исходящий от трех исследователей из Франкфуртского университета прикладных наук и исследовательской единицы IRISA в Нанте, новое исследование проводит важное различие между «фейковыми новостями» и «новостями, написанными ИИ» (поскольку фейковые новости могут быть написаны людьми или ИИ, и эти два аспекта не обязательно синонимичны).

Однако, пожалуй, наиболее интересным аспектом является вывод статьи о том, что небольшие модели, включая Mistral 7B и Gemma 7B, могут, имея всего семь миллиардов параметров, достойно соперничать с такими моделями, как ChatGPT (4o) с 200 миллиардами параметров:

‘Открытые модели с всего 7 миллиардами параметров производят текст, оцененный не хуже, чем выход GPT-4o, указывая на то, что способность генерировать текст, неотличимый от человеческого, больше не ограничена только передовыми моделями.’

Однако «новости, сгенерированные ИИ», могут представлять собой различные виды сотрудничества между человеком и ИИ, от проверки орфографии до полного, карьерного отказа от усилий, и исследование не уточняет, какой именно тип контента ИИ был сгенерирован для тестов (хотя оно описывает методологию их создания – см. ниже).

Метод

Для участников, вовлеченных в платформу JudgeGPT, каждый фрагмент новости оценивался с помощью двуосевого фреймворка, в котором они предоставляли три независимых рейтинга на непрерывных слайдерах 0-100:

Портал GUI JudgeGPT, где оценщики оценивают материал по атрибуту источника; аутентичности; и знакомству с темой. Пожалуйста, обратитесь к исходному документу для лучшего разрешения.

Суждение источника захватывало, казалось ли отрывок написанным машиной или человеком; суждение аутентичности, казалось ли оно воспринимаемым как фейковое или законное; и знакомство с темой, насколько хорошо читатель знал предмет.

Непрерывные шкалы использовались вместо шкалы Лайкерта, чтобы захватить степени уверенности более точно, и чтобы поддержать статистический анализ, включая корреляцию Пирсона и кластеризацию.

Фрагменты текста, сгенерированные машиной, производились фреймворком RogueGPT авторов, фидерной архитектурой для JudgeGPT. RogueGPT оркестрирует вклады из шести крупных языковых моделей (ЛЛМ): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; и Mistral 7B.

Persona-ориентированное промптинг использовалось для генерации текстов, и генерации ИИ были основаны на реальных новостных темах и проверялись людьми.

Напротив, фрагменты текста, написанные людьми, были взяты из «установленных новостных изданий» и неуказанных «информационных баз данных».

Авторы замечают:

‘Набор стимулов намеренно смещен в сторону фрагментов, сгенерированных машиной (∼98%), с фрагментами, сгенерированными людьми, служащими якорями калибровки.

‘Этот выбор дизайна отражает фокус исследования на вариации внутри ИИ (по моделям) rather, чем на сравнении человек-ИИ; участники не информируются о базовой скорости, и результаты gần-случайного обнаружения сохраняются при анализе на подмножестве, сгенерированном людьми.’

Участники сначала дали информированное согласие и заполнили демографический опросник, охватывающий возраст, образование, политическую ориентацию и знакомство с ИИ, после чего они оценили последовательность фрагментов новостей.

Каждый человек рассмотрел от 5 до 87 предметов, при медиане 12, в то время как порядок представления был случайным, и назначение модели было сбалансировано между участниками, чтобы уменьшить предвзятость. Платформа записала три рейтинга слайдеров вместе с временем ответа и анонимным идентификатором, позволяя связать индивидуальные суждения с фоновыми факторами.

Авторы подчеркивают, что выборка сместилась в сторону образованных европейских участников, с 68% высшего образования, и 74% базирующихся в Европе – предвзятость, которую статья отмечает как ограничение для более широкой обобщаемости.

Тесты

Тесты разделены на пять типов результатов: различение текста, сгенерированного машиной, и текста, написанного человеком; сравнение обнаружения по разным ЛЛМ; изучение эффекта экспертизы домена и политической ориентации на точность; выявление различных стратегий ответа среди участников; и отслеживание того, как точность меняется при повторных оценках, из-за усталости:

Сводка пяти основных результатов из 2 318 суждений по 1 054 участникам, показывающая, что человеческое обнаружение текста, написанного ИИ, оставалось на уровне случайности во всех моделях, что точность была связана с экспертизой домена, а не с политической ориентацией, что участники кластеризовались в различные профили доверия, и что производительность снижалась после примерно 30 оценок, из-за когнитивной усталости.

Тест показал, что нет значимого различия выше случайного уровня в баллах источников между условиями, что, по-видимому, указывает на то, что участники не могут различать текст, сгенерированный ИИ, и текст, написанный человеком:

Распределения баллов источника и аутентичности для фрагментов, сгенерированных машиной и человеком, показывают значительное совпадение, без значительного разделения между двумя условиями, и статистическое тестирование – указывающее на то, что участники не могут надежно различать текст, сгенерированный ИИ, и текст, написанный человеком.

Для второго аспекта, как показано на графике в начале статьи, неудача обнаружения не варьировалась по моделям, поскольку выходы всех ЛЛМ кластеризовались вокруг суждений на уровне случайности, без значимых различий между ними. Даже более мелкие открытые системы, такие как Mistral 7B и Gemma 7B, оценивались не хуже, чем GPT-4o, указывая на то, что текст, неотличимый от человеческого, может больше не быть ограничен только самыми большими моделями.

Для третьего аспекта точность была более сильно связана с экспертизой домена, чем с политической ориентацией, поскольку знакомство с фейковыми новостями коррелировало с лучшими суждениями, в то время как политические взгляды показали нет значимого эффекта, что предполагает, что приобретенные аналитические навыки могут быть более важными, чем идеология:

Результаты третьей линии исследования показали, что политическая ориентация не имела значимого эффекта на атрибуцию источника или баллы аутентичности, с только слабыми, не значимыми тенденциями, в то время как саморепортированная знакомство с фейковыми новостями было связано с более высокой точностью по обеим осям. Это предполагает, что опытные аналитические навыки были более сильным предиктором производительности, чем идеологическая позиция. Пожалуйста, обратитесь к исходному документу для лучшего разрешения.

Четвертый результат показал, что участники кластеризовались в две различные стили ответов, идентифицированные как «Скептики» – которые присваивали низкий уровень доверия к контенту независимо от происхождения – и «Верующие» – которые поддерживали более высокий базовый уровень доверия.

Наконец, в отношении пятой цели, анализ последовательных суждений показал, что участники изначально становились лучше в задаче, с точностью, улучшением примерно за первые 15-20 оценок, поскольку они адаптировались к формату:

Скользящие средние баллы атрибуции источника и аутентичности по последовательности оценок участников показывают короткую начальную фазу улучшения, поскольку пользователи, кажется, адаптируются к задаче в течение первых 15-20 предметов, за которой следует стабильное снижение в обеих мерах после примерно 30 оценок. Пожалуйста, обратитесь к исходному документу для лучшего разрешения.

Однако этот эффект был недолгим, поскольку производительность начала снижаться после примерно 30 предметов, с участниками, все чаще отдающими предпочтение маркировке контента как фейкового – сдвиг, интерпретируемый как когнитивная усталость, и предполагающий четкие пределы того, как долго подходы, основанные на обнаружении, могут оставаться эффективными на практике.

Это может представлять собой некоторые эмпирические доказательства того, что, устав от перспективы различения фейковых новостей от реальных, ИИ-новостей от человеческих, мы можем склоняться к предположению, что новости являются ИИ и/или фейковыми (не обязательно одно и то же), чтобы быть «на безопасной стороне». Те, кто считает это «ленивым», и считает, что люди должны сами исследовать, чтобы проверить потенциальную фейковую новость, могут быть заинтересованы в том, чтобы узнать, что исследование 2024 года указало на то, что это только ухудшает проблему.

Авторы предлагают, что неудача человеческого суждения, выявленная в результатах, указывает на то, что мы можем нуждаться в передаче таких вопросов технологиям криптографической происхождения, таким как инициатива C2PA, возглавляемая Adobe. Другими возможными решениями, упомянутыми авторами, являются собственный фреймворк OriginLens и другой проект, участвующий в авторах, называемый CRED-1.

Авторы заключают:

‘Могут ли люди определить? Наше двухосевое исследование 2 318 суждений по шести семействам ЛЛМ дает четкий эмпирический ответ: они не могут.

‘Текст, сгенерированный машиной, неотличим от человеческого письма, независимо от размера модели или семейства, доменная экспертиза предсказывает точность обнаружения более сильно, чем политическая ориентация, участники принимают различные стратегии доверия, и когнитивная усталость ограничивает устойчивое обнаружение.

‘Эти результаты поддерживают сдвиг от обнаружения на уровне пользователя к системным мерам противодействия, включая происхождение контента, адаптивные индикаторы доверия и ограниченные интервенции инокуляции.’

Вывод

Тревожным аспектом этой статьи является окружающая сеть проектов и статей, которые авторы – или некоторые из авторов, в зависимости от работы – заново создали или в которых они участвовали; и это было бы интересно изучить образцы текста, сгенерированного ИИ и написанного человеком, которые произвели эти результаты, чтобы лучше понять, какой тип выхода производит описанная методология генерации.

Тем не менее, интересно слышать, что открытые модели с открытым исходным кодом могут сравниться с гигантами API, такими как серия ChatGPT – может ли это быть так, что задача на самом деле не так сложна, и что модель с 200 миллиардами параметров является избыточной для таких задач? Нам нужно было бы знать немного больше о представленных образцах текста, сгенерированного ИИ и написанного человеком, чтобы ответить на этот вопрос.

В meantime, согласно веб-сайту canirun.ai, Mistral 7B (который был более или менее на одном уровне с ChatGPT-4o в тестах) ‘работает отлично’ на NVIDIA RTX 3080 с 16 ГБ видеопамяти, и работает ‘прилично’ на 3060 с 6 ГБ видеопамяти – далеко не самые новые или великие графические карты в игре*. Итак, любой, кто хочет разработать свою собственную методологию для представления образцов, может, по-видимому, участвовать в этих экспериментах тоже.

* Gemma 7B не указана на сайте.

Опубликовано в четверг, 9 апреля 2026 года