Почему Большие Языковые Модели Пропускают Инструкции и Как Решить Эту Проблему

Большие Языковые Модели (БЯМ) быстро стали незаменимыми инструментами Искусственного Интеллекта (ИИ), обеспечивая работу приложений от чат-ботов и создания контента до помощи в программировании. Несмотря на их впечатляющие возможности, одна из распространенных проблем, с которой сталкиваются пользователи, заключается в том, что эти модели иногда пропускают части инструкций, особенно когда инструкции длинные или включают несколько шагов. Это пропускание приводит к неполным или неточным выводам, что может вызвать путаницу и подорвать доверие к системам ИИ. Понимание того, почему БЯМ пропускают инструкции и как решить эту проблему, имеет важное значение для пользователей, которые полагаются на эти модели для получения точных и надежных результатов.

Почему БЯМ Пропускают Инструкции? 

БЯМ работают, читая входной текст как последовательность токенов. Токены – это небольшие части, на которые делится текст. Модель обрабатывает эти токены один за другим, от начала до конца. Это означает, что инструкции в начале входного текста обычно получают больше внимания. Поздние инструкции могут получить меньше внимания и могут быть проигнорированы.

Это происходит потому, что БЯМ имеют ограниченную емкость внимания. Внимание – это механизм, который модели используют для определения важных частей входного текста при генерации ответов. Когда входной текст короткий, внимание работает хорошо. Но внимание становится меньше, когда входной текст длиннее или инструкции становятся более сложными. Это ослабляет фокус на поздних частях, что приводит к пропусканию.

Кроме того, множество инструкций одновременно увеличивает сложность. Когда инструкции перекрываются или противоречат друг другу, модели могут стать запутанными. Они могут попытаться ответить на все, но произвести неясные или противоречивые ответы. Это часто приводит к пропусканию некоторых инструкций.

БЯМ также имеют некоторые ограничения, подобные человеческим. Например, люди могут потерять фокус, когда читают длинные или повторяющиеся тексты. Аналогично, БЯМ могут забыть поздние инструкции, когда они обрабатывают больше токенов. Эта потеря фокуса является частью конструкции модели и ее ограничений.

Еще одной причиной является то, как БЯМ обучаются. Они видят много примеров простых инструкций, но меньше сложных, многоступенчатых. Из-за этого модели склонны следовать более простым инструкциям, которые более распространены в их обучающих данных. Этот предвзятость делает их склонными пропускать сложные инструкции. Кроме того, ограничения на токены ограничивают количество входного текста, который может быть обработан моделью. Когда входные данные превышают эти ограничения, инструкции за пределами ограничения игнорируются.

Пример: Предположим, вы даете БЯМ пять инструкций в одном запросе. Модель может сосредоточиться в основном на первых двух инструкциях и частично или полностью проигнорировать последние три. Это напрямую влияет на то, как модель обрабатывает токены последовательно и ее ограничения внимания.

Как Хорошо БЯМ Обрабатывают Последовательные Инструкции на Основе Находок SIFo 2024

Недавние исследования тщательно изучили, насколько хорошо БЯМ следуют нескольким инструкциям, данным одна за другой. Одним из важных исследований является Бенчмарк Последовательного Следования Инструкциям (SIFo) 2024. Этот бенчмарк тестирует модели на задачах, которые требуют пошагового выполнения инструкций, таких как модификация текста, ответы на вопросы, математика и соблюдение правил безопасности. Каждая инструкция в последовательности зависит от правильного выполнения предыдущей. Этот подход помогает проверить, следует ли модель всей последовательности правильно.

Результаты SIFo показывают, что даже лучшие БЯМ, такие как GPT-4 и Claude-3, часто испытывают трудности в выполнении всех инструкций правильно. Это особенно верно, когда инструкции длинные или сложные. Исследование выделяет три основные проблемы, с которыми сталкиваются БЯМ при выполнении инструкций:

Понимание: Полное понимание того, что означает каждая инструкция.

Обоснование: Связывание нескольких инструкций логически для поддержания ясности ответа.

Надежный Вывод: Производство полных и точных ответов, охватывающих все инструкции.

Техники, такие как инженерия запросов и тонкая настройка, помогают улучшить выполнение инструкций. Однако эти методы не полностью решают проблему пропускания инструкций. Использование Обучения с Положительным Подкреплением от Человеческой Обратной Связи (RLHF) еще больше улучшает способность модели реагировать соответствующим образом. Тем не менее, модели испытывают трудности, когда инструкции требуют многих шагов или очень сложны.

Исследование также показывает, что БЯМ работают лучше всего, когда инструкции просты, четко разделены и хорошо организованы. Когда задачи требуют длинных цепочек рассуждений или многих шагов, точность модели снижается. Эти результаты помогают предложить лучшие способы использования БЯМ и показывают необходимость создания более сильных моделей, которые могут действительно следовать инструкциям одна за другой.

Почему БЯМ Пропускают Инструкции: Технические Вызовы и Практические Рассмотрения

БЯМ могут пропускать инструкции из-за нескольких технических и практических факторов, коренящихся в том, как они обрабатывают и кодируют входной текст.

Ограниченная Емкость Внимания и Разбавление Информации

БЯМ полагаются на механизмы внимания, чтобы присвоить важность разным частям входного текста. Когда запросы кратки, внимание модели сосредоточено и эффективно. Однако, когда запрос растет длиннее или более повторяющимся, внимание становится разбавленным, и поздние токены или инструкции получают меньше внимания, увеличивая вероятность того, что они будут пропущены. Это явление, известное как разбавление информации, особенно проблематично для инструкций, которые появляются поздно в запросе. Кроме того, модели имеют фиксированные ограничения на токены (например, 2048 токенов); любой текст за пределами этого порога обрезается и игнорируется, что приводит к пропусканию инструкций в конце полностью.

Сложность Вывода и Неоднозначность

БЯМ могут испытывать трудности с производством ясных и полных ответов, когда сталкиваются с несколькими или противоречивыми инструкциями. Модель может генерировать частичные или неясные ответы, чтобы избежать противоречий или путаницы, эффективно пропуская некоторые инструкции. Неоднозначность в формулировке инструкций также представляет проблемы: неясные или неточные запросы делают трудным для модели определить предназначенные действия, увеличивая риск пропуска или неправильного толкования частей входного текста.

Дизайн Запроса и Чувствительность к Форматированию

Структура и формулировка запросов также играют решающую роль в выполнении инструкций. Исследования показывают, что даже небольшие изменения в том, как инструкции написаны или сформированы, могут существенно повлиять на то, следует ли модели им.

Как Исправить Пропуск Инструкций в БЯМ

Улучшение способности БЯМ точно следовать инструкциям имеет важное значение для производства надежных и точных результатов. Следующие лучшие практики следует учитывать, чтобы минимизировать пропуск инструкций и повысить качество ответов, сгенерированных ИИ:

Задачи Должны Быть Разделены на Меньшие Части

Длинные или многоступенчатые запросы должны быть разделены на более мелкие, более сосредоточенные сегменты. Предоставление одной или двух инструкций одновременно позволяет модели поддерживать лучшее внимание и снижает вероятность пропуска шагов.

Пример

Вместо того, чтобы объединять все инструкции в один запрос, такой как “Суммируйте текст, перечислите основные моменты, предложите улучшения и переведите на французский”, каждая инструкция должна быть представлена отдельно или в небольших группах.

Инструкции Должны Быть Отформатированы с Помощью Пунктированных или Нумерованных Списков

Организация инструкций с явным форматированием, таким как нумерованные списки или пунктированные списки, помогает указать, что каждая позиция является отдельной задачей. Эта ясность увеличивает вероятность того, что ответ будет охватывать все инструкции.

Пример

• Суммируйте следующий текст.
• Перечислите основные моменты.
• Предложите улучшения.

Такое форматирование обеспечивает визуальные подсказки, которые помогают модели распознавать и разделять отдельные задачи внутри запроса.

Инструкции Должны Быть Ясными и Недвусмысленными

Важно, чтобы инструкции четко указывали на необходимость выполнить каждый шаг. Неоднозначный или расплывчатый язык должен быть избегнут. Запрос должен явно указывать, что пропуск шагов недопустим.

Пример

“Пожалуйста, выполните все три задачи ниже. Пропуск шагов недопустим.”

Прямые заявления, такие как это, снижают путаницу и поощряют модель предоставлять полные ответы.

Отдельные Запросы Должны Использоваться для Задач Высокого Риска или Критических Задач

Каждая инструкция должна быть представлена как отдельный запрос для задач, где точность и полнота имеют решающее значение. Хотя этот подход может увеличить время взаимодействия, он существенно улучшает вероятность получения полных и точных выводов. Этот метод гарантирует, что модель сосредоточена полностью на одной задаче за раз, снижая риск пропуска инструкций.

Расширенные Стратегии для Балансирования Полноты и Эффективности

Ожидание ответа после каждой отдельной инструкции может быть длительным для пользователей. Чтобы улучшить эффективность, сохраняя при этом ясность и снижая пропуск инструкций, следующие расширенные методы запросов могут быть эффективными:

Пакетные Инструкции с Ясным Форматированием и Явными Метками

Несколько связанных инструкций могут быть объединены в один запрос, но каждая должна быть разделена с помощью нумерации или заголовков. Запрос также должен инструктировать модель ответить на все инструкции полностью и в порядке.

Пример Запроса

Пожалуйста, выполните все следующие задачи тщательно, не пропуская ни одной:

1. Суммируйте текст ниже.
2. Перечислите основные моменты из вашего суммирования.
3. Предложите улучшения на основе основных моментов.
4. Переведите улучшенный текст на французский.

Запросы в Стиле Цепочки Мысли

Запросы в стиле цепочки мысли направляют модель на рассуждение через каждую задачу шаг за шагом, прежде чем предоставить ответ. Поощрение модели обрабатывать инструкции последовательно в рамках одного ответа помогает обеспечить, что ни один шаг не будет пропущен, снижая вероятность пропуска инструкций и улучшая полноту.

Пример Запроса

Прочитайте текст ниже и выполните следующие задачи в порядке. Покажите свою работу явно:

• Суммируйте текст.
• Определите основные моменты из вашего суммирования.
• Предложите улучшения текста.
• Переведите улучшенный текст на французский.

Пожалуйста, ответьте на все задачи полностью и отдельно в одном ответе.

Добавление Инструкций о Завершении и Напоминаний

Явно напомните модели:

• “Ответьте на каждую задачу полностью.”
• “Не пропускайте ни одной инструкции.”
• “Разделите свои ответы явно.”

Такие напоминания помогают модели сосредоточиться на полноте, когда несколько инструкций объединены.

Разные Модели и Настройки Параметров Должны Быть Протестированы

Не все БЯМ выполняют инструкции одинаково хорошо. Рекомендуется оценить различные модели, чтобы определить те, которые отлично справляются с многоступенчатыми задачами. Кроме того, регулировка параметров, таких как температура, максимальное количество токенов и системные запросы, может еще больше улучшить фокус и полноту ответов. Тестирование этих настроек помогает адаптировать поведение модели к конкретным требованиям задачи.

Тонкая Настройка Моделей и Использование Внешних Инструментов Должны Быть Рассмотрены

Модели должны быть тонко настроены на наборах данных, которые включают многоступенчатые или последовательные инструкции, чтобы улучшить их соблюдение сложных запросов. Техники, такие как RLHF, могут еще больше улучшить выполнение инструкций.

Для продвинутых случаев использования интеграция внешних инструментов, таких как API, плагины, специфичные для задачи, или Системы Генерации с Помощью Восстановления (RAG), может обеспечить дополнительный контекст и контроль, тем самым улучшая надежность и точность выводов.

Основная Мысль

БЯМ – это мощные инструменты, но они могут пропускать инструкции, когда запросы длинные или сложные. Это происходит из-за того, как они читают входной текст и фокусируют внимание. Инструкции должны быть ясными, простыми и хорошо организованными для лучших и более надежных результатов. Разделение задач на более мелкие части, использование списков и предоставление прямых инструкций помогают моделям следовать шагам полностью.

Отдельные запросы могут улучшить точность для критических задач, хотя они занимают больше времени. Кроме того, продвинутые методы запросов, такие как цепочка мысли и ясное форматирование, помогают сбалансировать скорость и точность. Кроме того, тестирование разных моделей и тонкая настройка также могут улучшить результаты. Эти идеи помогут пользователям получить последовательные, полные ответы и сделать инструменты ИИ более полезными в реальной работе.