Google представила систему запросов,類似 GPT-3, без результатов поиска

Новая статья четырех исследователей Google предлагает ‘экспертную’ систему, способную авторитетно отвечать на вопросы пользователей без представления списка возможных результатов поиска, подобно парадигме вопросов и ответов, которая привлекла общественное внимание с появлением GPT-3 в прошлом году.

Статья называется Переосмысление поиска: превращение дилетантов в экспертов и предлагает, что текущий стандарт представления пользователю списка результатов поиска в ответ на запрос является ‘когнитивной нагрузкой’, и предлагает улучшения в способности системы обработки естественного языка (NLP) предоставлять авторитетный и определенный ответ.

В предложенной модели ‘эксперта’, кросс-домен оракула, тысячи возможных источников результатов поиска будут включены в языковую модель вместо явного представления в качестве исследовательского ресурса для пользователей. Источник: https://arxiv.org/pdf/2105.02274.pdf

Статья, возглавляемая Дональдом Метцлером в Google Research, предлагает улучшения в типе ответов мульти-домен оракула, которые в настоящее время можно получить из глубоких автoregressive языковых моделей, таких как GPT-3. Основные улучшения, которые предлагаются, это а) модель будет способна точно цитировать источники, которые проинформировали ответ, и б) модель будет предотвращена от ‘галлюцинации’ ответов или изобретения несуществующих источников, что в настоящее время является проблемой для таких архитектур.

Мульти-доменная подготовка и возможности

Кроме того, предложенная языковая модель, характеризующаяся в статье как ‘Одна модель для всех задач извлечения информации’, будет обучена на различных доменах, включая изображения и текст. Она также должна иметь понимание о происхождении знаний, которое в настоящее время отсутствует в архитектурах типа GPT-3.

‘Чтобы заменить индексы на одну, унифицированную модель, должно быть возможно для модели иметь знания о вселенной идентификаторов документов, так же, как традиционные индексы. Одним из способов сделать это – перейти от традиционных моделей языка к моделям корпуса, которые совместно моделируют отношения термин-термин, термин-документ и документ-документ.’

На изображении выше, из статьи, три подхода к ответу на запрос пользователя: слева, языковые модели, неявно присутствующие в алгоритмических результатах поиска Google, выбрали и расставили приоритеты ‘лучшего ответа’, но оставили его в качестве верхнего результата из многих. В центре, ответ в стиле GPT-3, который говорит с авторитетом, но не оправдывает своих претензий и не цитирует источники. Справа, предложенная система ‘эксперта’ включает ‘лучший ответ’ из ранжированных результатов поиска直接 в дидактический ответ, с академическими стилями сносками (не показаны на исходном изображении), указывающими на источники, которые проинформировали ответ.

Удаление ядовитых и неточных результатов

Исследователи отмечают, что динамическая и постоянно обновляемая природа индексов поиска является проблемой для полного воспроизведения в модели машинного обучения этого типа. Например, когда ранее доверенный источник был напрямую обучен в понимании модели мира, удаление его влияния (например, после того, как он был дискредитирован) может быть более сложным, чем просто удаление URL из результатов поиска, поскольку концепции данных могут стать абстрактными и широко представленными во время обучения.

Поверхности атаки для централизованного экспертного оракула

Централизованная модель, постоянно ассимилирующая и обобщающая новые данные, может изменить поверхность атаки для запросов поиска.

В настоящее время атакующий может получить выгоду, достигнув высокого рейтинга для доменов или страниц, которые содержат дезинформацию или вредоносный код. Под руководством более не透arentной ‘экспертной’ системы возможность перенаправления пользователей на атакующие домены значительно уменьшается, но возможность внедрения ядовитых атак увеличивается.

Это связано с тем, что предложенная система не устраняет алгоритм ранжирования поиска, а скрывает его от пользователя, эффективно автоматизируя приоритет верхних результатов и включая их в дидактическое заявление. Злонамеренные пользователи уже давно могут организовывать атаки против алгоритма поиска Google, чтобы продавать фальшивые продукты, направлять пользователей на домены, распространяющие вредоносное ПО, или для целей политической манипуляции, среди многих других случаев.

Не ИИ

Исследователи подчеркивают, что такая система вряд ли будет соответствовать критериям искусственного общего интеллекта (ИОИ) и ставят перспективу универсального экспертного ответчика в контексте обработки естественного языка, подверженной всем проблемам, с которыми сталкиваются такие модели в настоящее время.

Статья очерчивает пять требований для ‘высококачественного’ ответа:

1: Авторитет
Как и в случае с текущими алгоритмами ранжирования, ‘авторитет’似乎 получен из цитат высококачественных доменов, которые считаются авторитетными сами по себе. Исследователи отмечают:

‘Ответы должны генерироваться путем извлечения из высокоавторитетных источников. Это еще одна причина, почему установление более явных связей между последовательностями терминов и метаданными документов так важно. Если все документы в корпусе аннотированы с оценкой авторитетности, эта оценка должна быть принята во внимание при обучении модели, генерации ответов или обоих.’

Though исследователи не предлагают, что традиционные результаты поиска станут недоступными, если экспертный оракул этого типа будет найден эффективным и популярным, вся статья представляет традиционную систему ранжирования и результаты поиска в свете ‘десятилетней’ и устаревшей системы извлечения информации.

‘Сам факт того, что ранжирование является критическим компонентом этой парадигмы, является симптомом системы извлечения информации, предоставляющей пользователю выбор потенциальных ответов, что вызывает довольно значительную когнитивную нагрузку на пользователя. Желание возвращать ответы вместо ранжированных списков результатов было одним из мотивирующих факторов для разработки систем вопросов и ответов. ‘

2: Прозрачность
Исследователи комментируют:

‘Когда это возможно, происхождение информации, представленной пользователю, должно быть доступно ему. Это основной источник информации? Если нет, какой основной источник?’

3: Обработка предвзятости
Статья отмечает, что предварительно обученные языковые модели предназначены не для оценки эмпирической истины, а для обобщения и приоритета доминирующих тенденций в данных. Она признает, что это директива открывает модель для атаки (как это произошло с расистским чат-ботом Microsoft в 2016 году), и что дополнительные системы будут необходимы для защиты от таких предвзятых ответов модели.

4: Включение разнообразных точек зрения
Статья также предлагает механизмы для обеспечения множества точек зрения:

‘Сгенерированные ответы должны представлять собой диапазон разнообразных точек зрения, но не должны быть поляризующими. Например, для запросов о спорных темах должны быть рассмотрены обе стороны темы в справедливом и сбалансированном виде. Это, очевидно, имеет близкую связь с предвзятостью модели.’

5: Доступный язык
Помимо обеспечения точных переводов в случаях, когда авторитетный ответ находится на другом языке, статья предлагает, что инкапсулированные ответы должны быть ‘написаны в максимально простых терминах’.