Быстрый инжиниринг
Аналоговые и обратные подсказки: погружение в последние достижения Google DeepMind
Введение
Разработка подсказок направлена на разработку эффективных подсказок, которые помогут моделям большого языка (LLM), таким как GPT-4, генерировать желаемые ответы. Хорошо продуманная подсказка может стать решающим фактором между расплывчатым или неточным ответом и точным и проницательным ответом.
В более широкой экосистеме искусственного интеллекта оперативное проектирование является одним из нескольких методов, используемых для извлечения более точной и контекстуально значимой информации из языковых моделей. Другие включают в себя такие методы, как обучение в несколько этапов, когда модели дается несколько примеров, которые помогут ей понять задачу, и точная настройка, когда модель дополнительно обучается на меньшем наборе данных, чтобы специализировать ее ответы.
Google DeepMind недавно опубликовал две статьи, в которых рассматривается оперативное проектирование и его потенциал для улучшения реагирования на различные ситуации.
Эти статьи являются частью продолжающихся исследований в сообществе искусственного интеллекта, направленных на совершенствование и оптимизацию того, как мы общаемся с языковыми моделями, и они дают свежее понимание структурирования подсказок для лучшей обработки запросов и взаимодействия с базой данных.
В этой статье подробно рассматриваются эти исследовательские работы, разъясняются концепции, методологии и последствия предлагаемых методов, что делает ее доступной даже для читателей с ограниченными знаниями в области ИИ и НЛП.
Документ 1: Большие языковые модели как средства аналогового рассуждения
В первой статье, озаглавленной «Большие языковые модели как средства аналогового рассуждения», представлен новый подход к подсказкам, названный «Аналогическое подсказывание». Авторы, Мичихиро Ясунага, Синьюнь Чен и другие, черпают вдохновение из рассуждений по аналогии — когнитивного процесса, в котором люди используют прошлый опыт для решения новых проблем.
Ключевые концепции и методология
Аналоговые подсказки побуждают студентов-магистров самостоятельно генерировать соответствующие примеры или знания в контексте, прежде чем приступить к решению конкретной проблемы. Этот подход устраняет необходимость в помеченных образцах, обеспечивая общность и удобство, а также адаптирует сгенерированные образцы к каждой конкретной проблеме, обеспечивая адаптируемость.
Слева: Традиционные методы подсказки LLM полагаются на общие входные данные (ЦП с нулевым шагом) или требуют маркированных примеров (ЦП с несколькими кадрами). Справа: новый подход побуждает студентов LLM самостоятельно создавать соответствующие примеры перед решением проблем, устраняя необходимость в маркировке и адаптируя примеры для каждого случая.
Самогенерируемые экземпляры
Первый метод, представленный в статье, — это самогенерируемые экземпляры. Идея состоит в том, чтобы использовать обширные знания, которые LLM приобрели во время обучения, чтобы помочь им решать новые проблемы. Этот процесс включает в себя дополнение целевой проблемы инструкциями, которые побуждают модель вспомнить или сгенерировать соответствующие проблемы и решения.
Например, при наличии проблемы модели предлагается вспомнить три отдельные и актуальные проблемы, описать их и объяснить их решения. Этот процесс предназначен для выполнения за один проход, что позволяет LLM генерировать соответствующие примеры и беспрепятственно решать первоначальную проблему. Использование символов «#» в подсказках помогает структурировать ответ, делая его более организованным и легким для модели.
Ключевые технические решения, освещенные в документе, включают акцент на создании соответствующих и разнообразных образцов, принятие однопроходного подхода для большего удобства и вывод о том, что создание трех-пяти образцов дает наилучшие результаты.
Самогенерируемые знания + примеры
Второй метод — самостоятельно генерируемые знания + примеры — используется для решения проблем в более сложных задачах, таких как генерация кода. В этих сценариях LLM могут чрезмерно полагаться на примеры низкого уровня и с трудом обобщать при решении целевых проблем. Чтобы смягчить это, авторы предлагают дополнить подсказку дополнительной инструкцией, которая побуждает модель определять основные концепции проблемы и предоставлять учебное пособие или общий вывод.
Одним из важнейших соображений является порядок, в котором генерируются знания и примеры. Авторы обнаружили, что генерирование знаний перед примерами приводит к лучшим результатам, поскольку помогает LLM сосредоточиться на фундаментальных подходах к решению проблем, а не только на поверхностных сходствах.
Преимущества и применение
Подход с использованием аналогичных подсказок имеет ряд преимуществ. Он предоставляет подробные примеры рассуждений без необходимости ручной маркировки, решая проблемы, связанные с методами цепочки мыслей (CoT) с нулевым и малым количеством шагов. Кроме того, сгенерированные образцы адаптированы к индивидуальным проблемам, предлагая более актуальное руководство, чем традиционный CoT с несколькими выстрелами, в котором используются фиксированные образцы.
В документе демонстрируется эффективность этого подхода при решении различных задач рассуждения, включая решение математических задач, генерацию кода и других задач рассуждения в BIG-Bench.
В таблицах ниже представлены показатели производительности различных методов подсказок в разных архитектурах моделей. Примечательно, что метод «Самогенерированные образцы» неизменно превосходит другие методы с точки зрения точности. По точности GSM8K этот метод обеспечивает самую высокую производительность модели PaLM2 — 81.7%. Точно так же по точности MATH он возглавляет рейтинг GPT3.5-turbo с показателем 37.3%.
Производительность при решении математических задач, GSM8K и MATH
Во второй таблице для моделей GPT3.5-turbo-16k и GPT4 наилучшие показатели показывает «Самогенерированные знания + Образцы».
Производительность задачи генерации кода Codeforces
Документ 2: Сделайте шаг назад: вызов рассуждений посредством абстракции в больших языковых моделях
Обзор
Второй документ: «Сделайте шаг назад: вызов рассуждений посредством абстракции в больших языковых моделяхпредставляет «Подсказку шага назад» - метод, который побуждает студентов LLM абстрагировать концепции высокого уровня и основные принципы от подробных примеров. Авторы, Хуайсю Стивен Чжэн, Сваруп Мишра и другие, стремятся улучшить способности к рассуждению студентов-магистров права, направляя их следовать правильному пути рассуждения к решению.
Изображение ПОДСКАЗКИ «ШАГ НАЗАД» через две фазы абстракции и рассуждения, управляемые ключевыми концепциями и принципами.
Давайте создадим более простой пример, используя базовый математический вопрос, чтобы продемонстрировать технику «Отступного вопроса»:
Original Question: If a train travels at a speed of 60 km/h and covers a distance of 120 km, how long will it take?
Options:
3 hours
2 hours
1 hour
4 hours
Original Answer [Incorrect]: The correct answer is 1).
Stepback Question: What is the basic formula to calculate time given speed and distance?
Principles:
To calculate time, we use the formula:
Time = Distance / Speed
Final Answer:
Using the formula, Time = 120 km / 60 km/h = 2 hours.
The correct answer is 2) 2 hours.
Хотя в настоящее время студенты LLM могут легко ответить на поставленный выше вопрос, этот пример предназначен лишь для того, чтобы продемонстрировать, как будет работать техника шага назад. В более сложных сценариях можно применить тот же метод для систематического анализа и решения проблемы. Ниже приведен более сложный случай, продемонстрированный в статье:
ПОДСКАЗКА НАЗАД для набора данных MMLU-Chemistry
Ключевые концепции и методология
Суть подсказки «шаг назад» заключается в ее способности заставить студентов-магистрантов сделать метафорический шаг назад, побуждая их взглянуть на более широкую картину, а не теряться в деталях. Это достигается с помощью серии тщательно разработанных подсказок, которые помогают LLM абстрагировать информацию, выводить концепции высокого уровня и применять эти концепции для решения данной проблемы.
Процесс начинается с того, что LLM предлагается абстрагироваться от деталей конкретных случаев, побуждая его сосредоточиться на основных концепциях и принципах. Этот шаг имеет решающее значение, поскольку он создает основу для LLM, чтобы подойти к проблеме с более информированной и принципиальной точки зрения.
После того, как концепции высокого уровня получены, они используются для руководства LLM через этапы рассуждения, ведущие к решению. Это руководство гарантирует, что LLM остается на правильном пути, следуя логичному и последовательному пути, основанному на абстрактных концепциях и принципах.
Авторы проводят серию экспериментов для проверки эффективности подсказок «шаг назад», используя модели PaLM-2L для решения ряда сложных задач, требующих большого количества рассуждений. Эти задачи включают в себя задачи STEM, контроль качества знаний и многошаговое мышление, что обеспечивает комплексную испытательную площадку для оценки метода.
Существенные улучшения в задачах
Результаты впечатляют: функция Step-Back Prompt приводит к существенному повышению производительности при выполнении всех задач. Например, этот метод улучшает производительность PaLM-2L по физике и химии MMLU на 7% и 11% соответственно. Аналогично, это повышает производительность TimeQA на 27% и MuSiQue на 7%.
Производительность STEP-BACK PROMPTING по сравнению с CoT
Эти результаты подчеркивают потенциал подсказок «шаг назад» для значительного улучшения рассуждений студентов, имеющих степень магистра права.
Заключение
В обеих статьях Google DeepMind представлены инновационные подходы к оперативному проектированию, направленные на улучшение логических возможностей больших языковых моделей. Аналоговые подсказки используют концепцию аналогичного рассуждения, побуждая модели генерировать собственные примеры и знания, что приводит к более адаптируемому и эффективному решению проблем. С другой стороны, «Подсказка шага назад» фокусируется на абстракции, помогая моделям выводить концепции и принципы высокого уровня, что, в свою очередь, улучшает их способности к рассуждению.
Эти исследовательские работы содержат ценную информацию и методологии, которые можно применять в различных областях, что приведет к созданию более интеллектуальных и эффективных языковых моделей. Поскольку мы продолжаем исследовать и понимать тонкости оперативного проектирования, эти подходы служат важными ступеньками на пути к созданию более совершенных и сложных систем искусственного интеллекта.
