Бенчмарк Michelangelo от DeepMind: Раскрытие пределов длинноконтекстных моделей LLM

По мере того, как искусственный интеллект (ИИ) продолжает развиваться, способность обрабатывать и понимать длинные последовательности информации становится все более важной. Системы ИИ сейчас используются для сложных задач, таких как анализ длинных документов, поддержание длительных разговоров и обработка больших объемов данных. Однако многие текущие модели испытывают трудности с длинноконтекстным рассуждением. По мере увеличения длины входных данных они часто теряют важные детали, что приводит к менее точным или связным результатам.

Эта проблема особенно актуальна в таких отраслях, как здравоохранение, юридические услуги и финансы, где инструменты ИИ должны обрабатывать подробные документы или длинные обсуждения, предоставляя точные и контекстно-зависимые ответы. Одна из распространенных проблем – это контекстный дрифт, когда модели теряют из виду ранее полученную информацию по мере обработки новых входных данных, что приводит к менее релевантным результатам.

Для решения этих ограничений компания DeepMind разработала бенчмарк Michelangelo. Этот инструмент тщательно тестирует, насколько хорошо модели ИИ управляют длинноконтекстным рассуждением. Вдохновленный художником Микеланджело, известным тем, что он открывал сложные скульптуры из мраморных блоков, бенчмарк помогает обнаружить, насколько хорошо модели ИИ могут извлекать осмысленные закономерности из больших наборов данных. Выявляя области, где текущие модели не справляются, бенчмарк Michelangelo приводит к будущим улучшениям в способности ИИ рассуждать над длинными контекстами.

Понимание длинноконтекстного рассуждения в ИИ

Длинноконтекстное рассуждение связано со способностью модели ИИ оставаться связной и точной над длинными последовательностями текста, кода или разговоров. Модели, такие как GPT-4 и PaLM-2, хорошо справляются с короткими или умеренно длинными входными данными. Однако они испытывают трудности с более длинными контекстами. По мере увеличения длины входных данных эти модели часто теряют из виду важные детали из ранних частей. Это приводит к ошибкам в понимании, суммировании или принятии решений. Эта проблема известна как ограничение контекстного окна. Способность модели удерживать и обрабатывать информацию уменьшается по мере увеличения длины контекста.

Эта проблема значима в реальных приложениях. Например, в юридических услугах модели ИИ анализируют контракты, исследования или нормативные акты, которые могут быть сотнями страниц длинными. Если эти модели не могут эффективно удерживать и рассуждать над такими длинными документами, они могут пропустить важные положения или неправильно интерпретировать юридические термины. Это может привести к неточным советам или анализу. В здравоохранении системы ИИ должны синтезировать медицинские записи, истории болезни и планы лечения, которые охватывают годы или даже десятилетия. Если модель не может точно вспомнить важную информацию из ранних записей, она может рекомендовать неподходящее лечение или неправильно диагностировать пациентов.

Хотя были предприняты усилия для улучшения пределов токенов моделей (например, GPT-4 может обрабатывать до 32 000 токенов, что эквивалентно примерно 50 страницам текста), длинноконтекстное рассуждение остается проблемой. Проблема контекстного окна ограничивает количество входных данных, которое может обработать модель, и влияет на ее способность поддерживать точное понимание на протяжении всей входной последовательности. Это приводит к контекстному дрифту, когда модель постепенно забывает ранее полученную информацию по мере введения новой информации. Это уменьшает ее способность генерировать связные и релевантные выходные данные.

Бенчмарк Michelangelo: Концепция и подход

Бенчмарк Michelangelo решает проблемы длинноконтекстного рассуждения, тестируя модели LLM на задачах, которые требуют от них удерживать и обрабатывать информацию над длинными последовательностями. В отличие от ранних бенчмарков, которые фокусируются на задачах с коротким контекстом, таких как завершение предложения или базовое ответ на вопросы, бенчмарк Michelangelo подчеркивает задачи, которые требуют от моделей рассуждать над длинными последовательностями данных, часто включая отвлекающую или нерелевантную информацию.

Бенчмарк Michelangelo тестирует модели ИИ с помощью фреймворка запросов к скрытой структуре (LSQ). Этот метод требует от моделей найти осмысленные закономерности в больших наборах данных, фильтруя нерелевантную информацию, подобно тому, как люди просеивают сложные данные, чтобы сосредоточиться на том, что важно. Бенчмарк фокусируется на двух основных областях: естественном языке и коде, вводя задачи, которые тестируют больше, чем просто извлечение данных.

Одной из важных задач является задача скрытого списка. В этой задаче модели представляется последовательность операций с списком Python, таких как добавление, удаление или сортировка элементов, и затем она должна вывести правильный окончательный список. Чтобы сделать задачу более сложной, в нее включены нерелевантные операции, такие как обратный порядок списка или отмена предыдущих шагов. Это тестирует способность модели сосредоточиться на критических операциях, имитируя то, как системы ИИ должны обрабатывать большие наборы данных с смешанной релевантностью.

Другой критической задачей является многораундовая разрешимость ко-референции (MRCR). Эта задача измеряет, насколько хорошо модель может отслеживать ссылки в длинных разговорах с перекрывающимися или неясными темами. Вызов заключается в том, чтобы модель могла связать ссылки, сделанные поздно в разговоре, с ранее упомянутыми моментами, даже когда эти ссылки скрыты под нерелевантными деталями. Эта задача отражает реальные обсуждения, где темы часто меняются, и ИИ должен точно отслеживать и разрешать ссылки, чтобы поддерживать связное общение.

Кроме того, Michelangelo включает задачу “Я не знаю” (IDK), которая тестирует способность модели распознавать, когда у нее недостаточно информации, чтобы ответить на вопрос. В этой задаче модели представляется текст, который может не содержать релевантную информацию для ответа на конкретный запрос. Вызов заключается в том, чтобы модель могла определить случаи, когда правильным ответом является “Я не знаю“, а не предоставление правдоподобного, но неправильного ответа. Эта задача отражает критический аспект надежности ИИ – распознавание неопределенности.

Через задачи, подобные этим, Michelangelo выходит за рамки простого извлечения и тестирует способность модели рассуждать, синтезировать и управлять длинноконтекстными входными данными. Он вводит масштабируемый, синтетический и не-утечный бенчмарк для длинноконтекстного рассуждения, предоставляя более точную меру текущего состояния и будущего потенциала моделей LLM.

Последствия для исследований и разработки ИИ

Результаты бенчмарка Michelangelo имеют значительные последствия для того, как мы разрабатываем ИИ. Бенчмарк показывает, что текущим моделям LLM требуется лучшая архитектура, особенно в механизмах внимания и системах памяти. Сейчас большинство моделей LLM полагаются на механизмы само-внимания. Эти механизмы эффективны для коротких задач, но испытывают трудности, когда контекст становится длиннее. Это место, где мы наблюдаем проблему контекстного дрифта, когда модели забывают или путают ранее полученную информацию. Чтобы решить эту проблему, исследователи изучают модели с дополненной памятью. Эти модели могут хранить важную информацию из ранних частей разговора или документа, позволяя ИИ вспомнить и использовать ее, когда это необходимо.

Другим перспективным подходом является иерархическая обработка. Этот метод позволяет ИИ разбивать длинные входные данные на более мелкие, управляемые части, что помогает модели сосредоточиться на наиболее релевантных деталях на каждом шаге. Таким образом, модель может лучше справляться с сложными задачами, не будучи перегруженной слишком большим количеством информации одновременно.

Улучшение длинноконтекстного рассуждения будет иметь значительное влияние. В здравоохранении это может означать лучший анализ медицинских записей, где ИИ может отслеживать историю пациента во времени и предлагать более точные рекомендации по лечению. В юридических услугах эти достижения могут привести к системам ИИ, которые могут анализировать длинные контракты или правовые акты с большей точностью, предоставляя более надежные идеи для юристов и юридических специалистов.

Однако с этими достижениями приходят критические этические проблемы. По мере того, как ИИ становится лучше в удержании и рассуждении над длинными контекстами, существует риск раскрытия конфиденциальной или частной информации. Это настоящая проблема для отраслей, таких как здравоохранение и обслуживание клиентов, где конфиденциальность имеет решающее значение.

Если модели ИИ удерживают слишком много информации из предыдущих взаимодействий, они могут непреднамеренно раскрыть личные детали в будущих разговорах. Кроме того, по мере того, как ИИ становится лучше в генерации убедительного длинного контента, существует опасность, что он может быть использован для создания более совершенной дезинформации или фейковых новостей, что еще больше осложнит проблемы вокруг регулирования ИИ.

Итог

Бенчмарк Michelangelo открыл новые знания о том, как модели ИИ управляют сложными задачами с длинным контекстом, подчеркивая их сильные и слабые стороны. Этот бенчмарк продвигает инновации, поскольку ИИ развивается, стимулируя лучшую архитектуру моделей и улучшенные системы памяти. Потенциал для трансформации отраслей, таких как здравоохранение и юридические услуги, является захватывающим, но сопряжен с этическими ответственностями.

Проблемы конфиденциальности, дезинформации и справедливости должны быть решены по мере того, как ИИ становится более способным обрабатывать огромные объемы информации. Рост ИИ должен оставаться сосредоточенным на том, чтобы приносить пользу обществу вдумчиво и ответственно.