Аналоговое и шаговое формирование запросов: погружение в недавние достижения Google DeepMind

Введение

Инженерия запросов фокусируется на разработке эффективных запросов для руководства крупными языковыми моделями (LLM) таких как GPT-4 в генерации желаемых ответов. Хорошо составленный запрос может быть разницей между расплывчатым или неточным ответом и точным, проницательным ответом.

В более широкой экосистеме ИИ инженерия запросов является одним из нескольких методов, используемых для извлечения более точной и контекстно-релевантной информации из языковых моделей. Другие методы включают техники, такие как обучение с несколькими примерами, когда модель предоставляется с несколькими примерами, чтобы помочь ей понять задачу, и тонкая настройка, когда модель дополнительно обучается на меньшем наборе данных, чтобы специализировать ее ответы.

Google DeepMind (GOOGL ) недавно опубликовала две статьи, которые глубоко исследуют инженерию запросов и ее потенциал для улучшения ответов в различных ситуациях.

Эти статьи являются частью продолжающихся исследований в сообществе ИИ для совершенствования и оптимизации того, как мы общаемся с языковыми моделями, и они предоставляют новые идеи о структурировании запросов для лучшей обработки запросов и взаимодействия с базами данных.

Эта статья углубляется в детали этих исследовательских статей, разъясняя концепции, методологии и последствия предложенных техник, делая их доступными даже для читателей с ограниченными знаниями в области ИИ и НЛП.

Статья 1: Крупные языковые модели как аналоговые рассуждения

Первая статья, озаглавленная “Крупные языковые модели как аналоговые рассуждения”, представляет новый подход к запросам под названием Аналоговое Формирование Запросов. Авторы, Michihiro Yasunaga, Xinyun Chen и другие, черпают вдохновение из аналогового рассуждения – когнитивного процесса, при котором люди используют прошлый опыт, чтобы решить новые проблемы.

Ключевые концепции и методология

Аналоговое Формирование Запросов побуждает LLM генерировать свои собственные примеры или знания в контексте перед решением задачи. Этот подход исключает необходимость в помеченных примерах, предлагая общность и удобство, и адаптирует сгенерированные примеры к каждой конкретной задаче, обеспечивая адаптивность.

Слева: Традиционные методы запросов LLM полагаются на общие входные данные (0-шот CoT) или требуют помеченных примеров (few-shot CoT). Справа: Новый подход побуждает LLM генерировать свои собственные примеры перед решением задачи, исключая необходимость в помеченных примерах и адаптируя примеры к каждой конкретной задаче

Самостоятельно сгенерированные примеры

Первая техника, представленная в статье, – самостоятельное генерирование примеров. Идея заключается в использовании обширных знаний, которые LLM приобрели во время обучения, чтобы помочь им решить новые задачи. Процесс включает в себя дополнение целевой задачи инструкциями, которые побуждают модель вспомнить или сгенерировать релевантные задачи и решения.

Например, данную задачу, модель инструктируется вспомнить три различных и релевантных задачи, описать их и объяснить их решения. Этот процесс предназначен для выполнения в одном проходе, позволяя LLM генерировать релевантные примеры и решать исходную задачу без проблем. Использование символов ‘# ‘ в запросах помогает структурировать ответ, делая его более организованным и легким для модели следовать.

Ключевые технические решения, выделенные в статье, включают акцент на генерировании релевантных и разнообразных примеров, принятие однопроходного подхода для большего удобства и обнаружение того, что генерирование трех-пяти примеров дает лучшие результаты.

Самостоятельно сгенерированные знания + примеры

Вторая техника, самостоятельное генерирование знаний + примеров, вводится для решения задач в более сложных задачах, таких как генерация кода. В этих сценариях LLM могут слишком сильно полагаться на низкоуровневые примеры и испытывать трудности с обобщением при решении целевой задачи. Чтобы смягчить это, авторы предлагают дополнить запрос дополнительной инструкцией, которая побуждает модель определить основные концепции в задаче и предоставить учебник или высокоуровневый вывод.

Одним из критических соображений является порядок, в котором генерируются знания и примеры. Авторы обнаружили, что генерирование знаний перед примерами приводит к лучшим результатам, поскольку оно помогает LLM сосредоточиться на фундаментальных подходах к решению задач, а не только на поверхностных сходствах.

Преимущества и применения

Подход аналогового формирования запросов предлагает несколько преимуществ. Он обеспечивает подробные примеры рассуждений без необходимости ручного помечания, решая проблемы, связанные с методами 0-шота и few-shot цепочки мыслей (CoT). Кроме того, сгенерированные примеры адаптированы к отдельным задачам, предлагая более релевантное руководство, чем традиционный few-shot CoT, который использует фиксированные примеры.

Статья демонстрирует эффективность этого подхода в различных задачах рассуждений, включая решение математических задач, генерацию кода и другие задачи рассуждений в BIG-Bench.

Производительность на математических задачах, GSM8K и MATH

Во второй таблице для моделей GPT3.5-turbo-16k и GPT4 “Самостоятельно сгенерированные знания + примеры” показывают лучшую производительность.

Производительность на задаче генерации кода Codeforces

Статья 2: Сделайте шаг назад: вызывание рассуждений через абстракцию в крупных языковых моделях

Обзор

Вторая статья, “Сделайте шаг назад: вызывание рассуждений через абстракцию в крупных языковых моделях“, представляет технику под названием Шаговое Формирование Запросов, которая побуждает LLM абстрагировать высокоуровневые концепции и первые принципы из детальных экземпляров. Авторы, Huaixiu Steven Zheng, Swaroop Mishra и другие, стремятся улучшить способности рассуждения LLM, направляя их на правильный путь решения задачи.

Изображение Шагового Формирования Запросов через два этапа Абстракции и Рассуждений, управляемых ключевыми концепциями и принципами.

Давайте создадим более простой пример, используя базовый математический вопрос, чтобы продемонстрировать технику “Шаговое Вопрос”:

Оригинальный вопрос: Если поезд движется со скоростью 60 км/ч и проходит расстояние 120 км, сколько времени это займет?

Варианты:

3 часа
2 часа
1 час
4 часа
Оригинальный ответ [Неправильный]: Правильный ответ - 1).

Шаговое Вопрос: Какова базовая формула для расчета времени, заданного скоростью и расстоянием?

Принципы:
Для расчета времени мы используем формулу:
Время = Расстояние / Скорость

Окончательный ответ:
Используя формулу, Время = 120 км / 60 км/ч = 2 часа.
Правильный ответ - 2) 2 часа.

Хотя современные LLM могут легко ответить на вышеуказанный вопрос, этот пример предназначен только для демонстрации того, как работает техника шагового вопроса. Для более сложных сценариев можно применить ту же технику, чтобы систематически разобрать и решить проблему. Ниже представлен более сложный пример, продемонстрированный в статье:

Шаговое Формирование Запросов на наборе данных MMLU-Chemistry

Ключевые концепции и методология

Сущность Шагового Формирования Запросов заключается в ее способности побудить LLM сделать метафорический шаг назад, побуждая их смотреть на более широкую картину, а не теряться в деталях. Это достигается с помощью серии тщательно составленных запросов, которые направляют LLM на абстракцию информации, выведение высокоуровневых концепций и применение этих концепций для решения задачи.

Процесс начинается с запроса LLM абстрагировать детали из заданных экземпляров, побуждая ее сосредоточиться на лежащих в основе концепциях и принципах. Этот шаг имеет решающее значение, поскольку он задает сцену для LLM подойти к задаче с более информированной и принципиальной точки зрения.

Как только высокоуровневые концепции выведены, они используются для направления LLM через шаги рассуждений к решению. Это руководство гарантирует, что LLM остается на правильном пути, следуя логическому и последовательному пути, основанному на абстрагированных концепциях и принципах.

Авторы проводят серию экспериментов для проверки эффективности Шагового Формирования Запросов, используя модели PaLM-2L на широком спектре сложных задач, требующих рассуждений. Эти задачи включают задачи STEM, знания QA и многошаговые рассуждения, предоставляя всесторонний тестовый стенд для оценки техники.

Значительные улучшения по всем задачам

Результаты впечатляют, и Шаговое Формирование Запросов приводит к значительным улучшениям производительности по всем задачам. Например, техника улучшает производительность модели PaLM-2L на наборах данных MMLU Physics и Chemistry на 7% и 11% соответственно. Аналогично, она увеличивает производительность на TimeQA на 27% и на MuSiQue на 7%.

Производительность Шагового Формирования Запросов vs CoT

Эти результаты подчеркивают потенциал Шагового Формирования Запросов для значительного улучшения способностей рассуждения LLM.

Заключение

Обе статьи от Google DeepMind представляют инновационные подходы к инженерии запросов, направленные на улучшение способностей рассуждения крупных языковых моделей. Аналоговое Формирование Запросов использует концепцию аналогового рассуждения, побуждая модели генерировать свои собственные примеры и знания, что приводит к более адаптивному и эффективному решению задач. С другой стороны, Шаговое Формирование Запросов фокусируется на абстракции, направляя модели на выведение высокоуровневых концепций и принципов, что в свою очередь улучшает их способности рассуждения.

Эти исследовательские статьи предоставляют ценные идеи и методологии, которые могут быть применены в различных областях, что приведет к более интеллектуальным и способным языковым моделям. По мере того, как мы продолжаем исследовать и понимать тонкости инженерии запросов, эти подходы служат важными ступенями на пути к достижению более продвинутых и сложных систем ИИ.