ИИ часто цитирует веб-страницы, которых даже не читал

Иногда среди публикаций дня появляется работа, которая меня по-настоящему задевает — не потому, что она неточна или оскорбительна, а потому, что замечает и исследует нечто, что уже давно смутно и неопределённо раздражало меня где-то на периферии сознания (возможно, потому, что я был слишком занят и мог только не обращать на это внимания).

Сегодня вышла такая работа, подготовленная тремя авторами из факультета вычислительной техники Имперского колледжа Лондона. Новое исследование под названием «Получено, но не прочитано: почему поисковые большие языковые модели не используют доступные свидетельства» посвящено тому, почему большие языковые модели (БЯМ) так часто подсовывают вам ссылки в подтверждение своих ответов (нерелевантные ссылки на научные статьи, ссылки на сомнительные веб-публикации и т. д.), даже не читая их.

Авторы пишут:

«Мы обнаружили, что модели часто отвечают, опираясь на фрагменты из результатов поиска, не открывая исходные страницы. Это связано с более высокой частотой устаревших ответов и недостоверных цитат. Наши контролируемые эксперименты и послойный анализ выявляют разрыв между доступностью свидетельств и их эффективным использованием.

«Даже когда найденные свидетельства влияют на внутренние прогнозы, в окончательных ответах модели всё равно могут отдавать предпочтение устаревшей информации».

Авторы проверили одну проприетарную большую языковую модель — GPT-5.6 Luna от OpenAI — и шесть конфигураций моделей с открытыми весами на сотнях фактов, которые изменились после окончания периода обучения моделей.

Затем они выяснили, как часто системы полагались на фрагменты из результатов поиска, а не открывали исходные страницы; как это влияло на точность ответов и цитат; и почему устаревшая информация иногда брала верх, даже когда более новые сведения предоставлялись напрямую.

Тесты показали, что модели часто отвечали на вопросы, не открывая ни одной страницы из результатов веб-поиска, и что такое поведение было связано со значительно более высокой частотой устаревших ответов и вводящих в заблуждение цитат:

Результаты тестов показывают, как часто модели ИИ цитируют веб-источники, не читая их. В восьми конфигурациях исследователи измеряли точность ответов, зависимость от фрагментов из результатов поиска без открытия исходных страниц и случаи, когда цитаты противоречили утверждениям моделей. В некоторых случаях более половины поисковых запросов завершались так и без открытия хотя бы одной страницы. Все показатели указаны в процентах; в первой строке использовался поиск в интернете в реальном времени, в остальных — стандартизированные результаты поиска. Источник

Исследователи также обнаружили, что предоставление правильных свидетельств напрямую может значительно сократить число таких ошибок, хотя некоторые модели продолжали отдавать предпочтение устаревшей информации, даже когда им прямо предъявляли более новые факты.

Скрытые мотивы?

Две наиболее очевидные причины, по которым БЯМ часто подсовывают нам подтверждающие документы, которые звучат убедительно, но не имеют отношения к делу, таковы: а) это экономит деньги, поскольку загрузка и чтение даже краткого изложения исходных материалов, которые могут быть и вовсе недоступны, требуют трафика и времени; б) это снижает задержку — как будто быстро дать вам неправильный или отчасти неверный ответ лучше, чем немного задержаться и подготовить ответ получше.

Однако авторов новой работы больше интересует выявление базовых механизмов, лежащих в основе этого снижения качества, а не то, как они могли быть изначально спроектированы или задуманы.

Неудивительно, что мой опыт обсуждения с передовыми моделями экономики масштабирования БЯМ привёл к тому, что я могу объяснить только как заранее предписанную защитную реакцию.

С экономической точки зрения манипулировать таким образом поведением БЯМ при цитировании имеет смысл — по крайней мере, для меня. Но технологии всё ещё настолько мало изучены, находятся в таком изменчивом состоянии и так склонны приводить к неожиданным результатам, что сейчас трудно доказать наличие подобных мотивов.

Методика

Чтобы проверить, насколько хорошо модели действительно используют веб-свидетельства, исследователи собрали 225 фактов, изменившихся после 16 февраля 2026 года — самой поздней из указанных дат окончания обучения среди проверенных моделей.

Факты были взяты из сведений FDA о лекарственных препаратах (62 факта), финансовой сферы (52), спорта (47), данных о людях (43), документов SEC (13) и химических классификаций (8). Не учитывались изменения, которые уже вступили в силу к этой дате, а также изменения, объявленные до 1 февраля; исключались и медицинские утверждения, на которые можно было ответить, опираясь на общие знания. В качестве контрольных использовались также факты, которые не изменились: это позволяло исследователям отличить ошибки, связанные с новой информацией, от более общих ошибок.

Для определения исходного уровня GPT-5.6 Luna протестировали без доступа к веб-поиску: модель правильно ответила лишь на 23,3% из 103 вопросов об изменившихся фактах.

Неуказанную модель ИИ использовали, чтобы преобразовать положения о маркировке FDA из упомянутого выше набора данных в отдельные фактические утверждения, которые можно было проверить по отдельности; каждое из них затем проверили вручную*.

В тестировании участвовали конфигурации моделей с открытыми весами: GLM-5.3-Flash от Z.ai; gpt-oss-120b и gpt-oss-20b от OpenAI; gemma-4-31b от Google DeepMind, которую тестировали как с режимом рассуждений, так и без него; и qwen3-8b от Qwen.

Моделям с открытыми весами и GPT-5.6 Luna предоставляли одни и те же результаты веб-поиска, чтобы сравнение их ответов было корректным. Кроме того, Luna отдельно тестировали с помощью встроенного поиска модели.

Для 223 из 225 фактов десять результатов поиска заранее собрали с помощью Brave Search. Каждая модель получала один и тот же набор результатов и могла открывать страницы или выполнять поиск по ним с помощью одинаковых инструментов.

Страница с «правильным» ответом всегда была доступна: если она естественным образом оказывалась среди десяти первых результатов, ее позицию не меняли; в противном случае ее добавляли в результаты на заранее определенное место. Это позволяло исследователям выяснить, как модели используют доступные свидетельства в сопоставимых условиях.

Чтобы сделать тесты более последовательными, для моделей, поддерживающих эту настройку, температуру устанавливали на ноль, а на протяжении всех экспериментов каждую модель запускали через одного и того же провайдера.

Формат запросов

Для проверки фактов использовали два запроса. Первый содержал открытый вопрос, например «За какой клуб выступает Бернарду Силва?», и мог включать просьбу указать источник или не включать ее. Во втором модель просили проверить утверждение, содержащее актуальную или устаревшую информацию, что позволяло исследователям сравнить, как модель реагировала на каждый из этих вариантов.

В сводных результатах учитывались еще четыре типа запросов: открытые вопросы с подсказками; просьбы привести цитаты; просьбы предоставить источник в подтверждение приведенного утверждения; и проверка набора фактов, когда модели поручали найти одно устаревшее утверждение среди нескольких верных.

Примеры реальных запросов, использованных для тестирования моделей, основанных на вопросах и утверждениях о футболисте Бернарду Силве. В таблице показано, как один и тот же фактический вопрос формулировался в запросах, где требовались ответы, проверка фактов, цитаты и ссылки на источники. Все запросы начинались с даты 8 августа 2026 года, а в большинстве случаев требовалось дать стандартизированный итоговый ответ, заданный буквенными инструкциями под таблицей.

В каждом запросе указывалась дата, а в большинстве случаев требовалось дать ответ в фиксированном формате, допускавшем ответ «НЕ УДАЕТСЯ ПРОВЕРИТЬ», что позволяло оценивать результаты без привлечения людей или моделей LLM для вынесения решения.

Использовались следующие метрики: глубина изучения источников (открывались ли исходные страницы и приводились ли ссылки на них); точность ответов (доля правильных ответов без учета случаев, когда модель воздерживалась от ответа); и достоверность ссылок (противоречили ли страницы, на которые ссылалась модель, ее утверждениям).

Оценивание по возможности проводилось автоматически: модели LLM (неуказанной) разрешалось подтверждать ссылки только при наличии точного отрывка из архивной страницы; отрицательные оценки, требовавшие интерпретации, выносили люди; факты, оставшиеся неизменными, использовались для определения исходного уровня ошибок каждой модели при цитировании источников.

Результаты

В первоначальных тестах (описанных в начале этой статьи) доступ к веб-поиску повышал способность моделей правильно отвечать на вопросы. При проверке фактической точности утверждений их показатели выросли на 27–42 процентных пункта. При прямых ответах на вопросы модели давали правильный ответ в 85,8–95,4% случаев.

Однако многие ответы модели давали так и не открывая сайты, найденные в ходе поиска. Вместо этого они полагались на короткие фрагменты текста, показанные рядом с результатами поиска. Даже при одинаковых результатах поиска доля случаев, когда модель не открывала ни одной страницы, варьировалась от 2,6% до 76% в зависимости от модели.

В этом отношении GPT-5.6 Luna продемонстрировала особенно поверхностный подход:

«Получив одинаковые результаты поиска, модели в 2,6–76,0% случаев отвечают, не открыв ни одной страницы. При использовании встроенного поиска Luna в 53,6% случаев отвечает только на основании фрагментов текста.

Результаты тестов, в которых сравнивались устаревшие ответы и вводящие в заблуждение ссылки в зависимости от того, насколько тщательно модели изучали результаты поиска. «Фрагмент» означает, что веб-страница не открывалась; «Открыта» — страница открывалась, но на неё не ссылались; «Цит». означает, что на открытую страницу ссылались. Все значения представлены в процентах и рассчитаны по совокупности семи конфигураций моделей и всех типов запросов. Ошибки, как правило, встречались чаще, когда модели полагались только на фрагменты из результатов поиска.

В семи конфигурациях моделей устаревшими оказались 6,4% ответов, основанных только на фрагментах из результатов поиска; когда модели ссылались на открытые страницы, этот показатель составлял 1,3%. Как показано выше, вводящие в заблуждение ссылки тоже встречались чаще: 6,4% против 2,3%. В ответах на вопросы о спорте доля устаревших ответов у моделей с открытыми весами достигала 20,2% против 2,1%. Когда ответы оказывались устаревшими, 81,8% ссылок, приведённых в их подтверждение, противоречили этим ответам; среди актуальных ответов таких ссылок было всего 0,9%. Аналогичные закономерности наблюдались в тестах с факт-листами.

По сути, это означает, что изученные модели ИИ чаще дают неправильные ответы, когда опираются на краткие описания из результатов поиска, а не читают сами веб-страницы. Хуже того, иногда они дают ссылки на страницы, которые доказывают ошибочность их ответов.

Общий сбой

Если только выборка, использованная в этих тестах, не представляет собой «коллективное исключение», можно предположить, что от этого сбоя страдают и другие модели — как закрытые, так и с открытым исходным кодом. Действительно, семь из девяти типов сбоев, обнаруженных при поиске в интернете в реальном времени GPT-5.6 Luna, оказались статистически значимо связаны со сбоями других моделей, протестированных с теми же фиксированными результатами поиска. Это позволяет предположить, что проблемы не ограничивались Luna.

Предоставление нужной страницы Википедии напрямую сокращало число устаревших ответов: количество ошибок снизилось с 14 до нуля у gemma-4-31b, с 11 до одной у gpt-oss-20b и с 16 до восьми у qwen3-8b. Повторная постановка исходного вопроса после открытия каждой страницы также позволила исправить 26,1% ранее проваленных проверок по факт-листам.

Результаты показывают, как часто gemma-4-31b, gpt-oss-20b и qwen3-8b принимали устаревшие утверждения при разных условиях. В одних тестах модели не получали соответствующие данные, в других их напрямую включали в запрос или делали доступными через результаты поиска; отдельные тесты требовали привести подтверждающие источники. Прямое предоставление нужной страницы оказалось значительно эффективнее, чем просьба к моделям найти её самостоятельно. На графике указано число ошибок относительно общего числа тестов.

Правила клуба

Наконец, чтобы лучше понять, почему ИИ иногда игнорирует верную информацию, исследователи проверили три модели с открытыми весами на примерах футболистов, которые сменили клуб: gpt-oss-20b, gemma-4-31b и qwen3-8b.

Каждой модели предоставляли устаревшую информацию о клубе игрока, иногда вместе с правильной страницей Википедии, а затем проверяли, какой ответ модель предпочитает в процессе обработки.

Результаты показали, что модели могли распознать правильный клуб, но всё равно дать неверный ответ:

Результаты тестов показывают, как qwen3-8b учитывала правильный и устаревший клуб при формировании ответа. На левом графике показаны успешные ответы, в которых правильный клуб сохранял преимущество; на правом — ошибки, когда на заключительных этапах обработки устаревший клуб выходил на первое место, опережая правильный. Заштрихованные области показывают разброс результатов по тестам.

В qwen3-8b правильный клуб иногда выходил вперёд на внутренних этапах обработки, но незадолго до появления ответа его опережал устаревший клуб (см. выше). Аналогичная закономерность наблюдалась у gpt-oss-20b, тогда как gemma-4-31b, как правило, отдавала предпочтение «устаревшему» клубу на всех этапах.

Таким образом, даже при наличии верных данных, которые модель распознала, в итоговом ответе всё равно может возобладать устаревшая информация.

В заключение авторы полагают, что моделям следует лучше использовать найденные веб-страницы, а не полагаться на поисковые фрагменты. Они также надеются выяснить, почему модели иногда продолжают опираться на устаревшую информацию, даже если знают правильный ответ, и могут ли изменения в том, как модели обрабатывают информацию, помочь решить эту проблему. Однако конкретного решения авторы не предлагают.

Заключение

Хотя новая статья содержит ряд ценных наблюдений, она не объясняет, почему большие языковые модели столь небрежно обращаются с цитатами и ссылками. Как пользователь и человек, который сам неплохо умеет анализировать закономерности, я прихожу к выводу, что используемые мной большие языковые модели рекомендуют статьи или URL-адреса, потому что их рекомендуют другие… рекомендованные сайты…? Так откуда же на самом деле берётся ощущение авторитетности?

По правде говоря, эту проблему не удалось решить даже в доинтеллектуальную эпоху, поэтому, пожалуй, неудивительно, если окажется, что большие языковые модели не экономят ни средства, ни время отклика, а лишь распространяют те же китайские слухи, которые мы предпочитаем считать «правдой».

* В статье не указано, кто проводил эти проверки.

Впервые опубликовано в пятницу, 16 октября 2026 года