Даже самые передовые языковые модели испытывают трудности с пониманием временной логики

Прогнозирование будущих состояний является критической задачей в исследованиях компьютерного зрения – не в последнюю очередь в робототехнике, где необходимо учитывать реальные ситуации. Системы машинного обучения, которым поручены задачи, критически важные для миссии, поэтому нуждаются в адекватном понимании физического мира.

Однако в некоторых случаях, казалось бы, впечатляющие знания временной реальности могут быть обманчивыми: новая статья из Объединенных Арабских Эмиратов обнаружила, что передовые мультимодальные большие языковые модели (MLLMs), включая лидеров отрасли GPT-4o и Google Gemini, не справляются, когда речь идет об интерпретации того, как время представлено в изображениях.

Примерные последовательные пары (см. изображение ниже), которые были бы несложными для людей, даже если они представлены в неправильном порядке, могут запутать передовые MLLMs, когда они представлены в неожиданных контекстах или конфигурациях (таких как второе изображение первым, объединенные в одно изображение, несколько изображений, которые могут или не могут представлять правильный временной порядок и т. д.).

Примеры из одного из наборов данных, собранных для нового исследования, которые показывают последовательные события в форме «до и после» изображений. Исследователи сделали эти данные доступными по адресу https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

Исследователи поручили моделям выполнить базовые задачи временного рассуждения, такие как определение порядка событий или оценка временных разрывов, и обнаружили, что семь протестированных MLLMs показали заметно ниже человеческой точности:

«В целом, [результаты] показывают, что все текущие MLLMs, включая GPT-4o – самую продвинутую модель в нашей оценке – испытывают трудности с предложенной оценкой. Несмотря на превосходную производительность GPT-4o по сравнению с другими моделями, она не может последовательно демонстрировать точное временное рассуждение в разных условиях.

«Последовательные показатели точности заметно низки для всех моделей, что указывает на значительные ограничения в их способности понимать и интерпретировать временные последовательности из визуальных входных данных. Эти недостатки очевидны даже тогда, когда модели предоставляются с несколькими изображениями или оптимизированными подсказками, что предполагает, что текущие архитектуры и методы обучения недостаточны для надежного понимания временного порядка.

Системы машинного обучения предназначены для оптимизации наиболее точных, но также наиболее эффективных и приятных для людей результатов*. Поскольку они не раскрывают свое рассуждение явно, может быть трудно определить, когда они «обманывают» или используют «обходные пути».

В таком случае MLLM может прийти к правильному ответу неправильным методом. То, что такой ответ может быть правильным, может вдохновить ложную уверенность в модели, которая может произвести неправильные результаты тем же методом в последующих задачах, представленных ей.

Хуже того, это неправильное направление может стать еще более глубоко укоренившимся в цепи разработки, если люди впечатлены им и дают положительную обратную связь в испытаниях и сессиях аннотации, которые могут способствовать направлению, которое данные и/или модель могут принять.

В данном случае предполагается, что MLLMs «имитируют» истинное понимание хронологии и временных явлений, наблюдая и фиксируясь на вторичных индикаторах (таких как метки времени, например, в видеоданных, порядок изображений в макете или даже – потенциально – последовательно пронумерованные имена файлов).

Это дальнейшее указывает на то, что MLLMs в настоящее время не удовлетворяют никакому реальному определению обобщения понятия временных явлений – по крайней мере, в той степени, в которой люди могут.

Новая статья озаглавлена Могут ли мультимодальные MLLMs выполнять визуальное временное понимание и рассуждение? Ответ – нет! и исходит от трех исследователей Университета искусственного интеллекта имени Мохаммеда бин Зайеда и Alibaba International Digital Commerce.

Данные и испытания

Авторы отмечают, что предыдущие оценки и исследования, такие как MMMU и TemporalBench, сосредоточены на одиночных изображениях или формулируют вопросы для MLLMs, которые могут быть слишком простыми для ответа и могут не обнаружить тенденцию к обходному поведению.

Следовательно, авторы предлагают два обновленных подхода: Понимание временного порядка (TOU) и Оценка временного разрыва (TLE). Подход TOU тестирует модели на их способность определить правильную последовательность событий из пар видеокадров; метод TLE оценивает способность MLLM оценить временной разрыв между двумя изображениями, варьирующийся от секунд до лет.

Из статьи, две основные задачи оценки TemporalVQA: в понимании временного порядка модель решает, какое из двух изображений показывает событие, которое произошло первым; в оценке временного разрыва модель оценивает, сколько времени прошло между двумя изображениями, выбирая из вариантов, включая секунды, минуты, дни или годы. Эти задачи направлены на проверку того, насколько хорошо MLLMs могут рассуждать о времени и последовательности визуальных событий. Источник: https://arxiv.org/pdf/2501.10674

Исследователи отобрали 360 пар изображений для оценки TOU, используя открытые видео из Pixabay и Pexels, чтобы сделать возможным предоставление набора данных через GUI.

Видео охватывали широкий спектр предметов, от людей в повседневной деятельности до нечеловеческого контента, такого как животные и растения. Из них были выбраны пары кадров, чтобы показать последовательность событий с достаточным разнообразием, чтобы сделать начальную кадр «очевидным».

Выбор человека использовался для обеспечения того, чтобы кадры могли быть определенно упорядочены. Например, одна из отобранных пар показывает частично заполненную чашку чая в одном кадре и ту же чашку, полностью заполненную чаем, в следующем, что делает логику последовательности легко определяемой.

Временная логика этих двух картинок не может быть избежана, поскольку чай не может быть втянут обратно через носик.

Таким образом, было получено 360 пар изображений.

Для подхода TLE были выбраны изображения без копирайта из Google и Flickr, а также отдельные кадры из видео без копирайта на YouTube. Предметом этих видео были сцены или объекты, чей интервал изменения варьировался от секунд до дней до сезонов – например, созревающий фрукт или смена сезонов в пейзажах.

Таким образом, было отобрано 125 пар изображений для метода TLE.

Не все протестированные MLLMs могли обрабатывать несколько изображений; поэтому испытания различались, чтобы удовлетворить возможности каждой модели.

Были сгенерированы несколько версий отобранных наборов данных, в которых некоторые пары были объединены вертикально, а другие – горизонтально. Дальнейшие вариации меняли истинную и правильную временную последовательность пар.

Были разработаны два типа подсказок. Первый следовал этому шаблону:

Произошло ли событие на (левом / верхнем / первом) изображении до события на (правом / нижнем / втором) изображении? Укажите истину или ложь с обоснованием.

Второй следовал этому схеме:

Какое из этих двух изображений показывает событие, которое произошло первым? Укажите (левое или правое / верхнее или нижнее / первое или второе) с обоснованием.

Для TLE вопросы были в виде выбора из нескольких вариантов, в которых модели предлагалось оценить временной разрыв между двумя представленными изображениями, с секундами, минутами, часами, днями, месяцами и годами в качестве единиц времени. В этой конфигурации самое recentное изображение было представлено справа.

Подсказка, использованная здесь, была:

Оцените время, прошедшее между первым изображением (слева) и вторым изображением (справа).

Выберите один из следующих вариантов:

1. 1. Менее 15 секунд
B. Между 2 минутами и 15 минутами
C. Между 1 часом и 12 часами
D. Между 2 днями и 30 днями
E. Между 4 месяцами и 12 месяцами
F. Более 3 лет

Протестированные MLLMs были ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; и LLaVA-CoT.

Понимание временного порядка: результаты

Результаты понимания временного порядка для различных моделей и макетов входных данных, показывающие точность и последовательность для различных настроек и подсказок.

Что касается результатов, показанных выше, авторы обнаружили, что все протестированные MLLMs, включая GPT-4o (которая показала лучшую общую производительность), испытывали значительные трудности с оценкой TemporalVQA – и даже GPT-4o не смогла последовательно демонстрировать надежное временное рассуждение в разных конфигурациях.

Авторы утверждают, что последовательно низкие показатели точности во всех MLLMs подчеркивают значительные ограничения в способности моделей интерпретировать и рассуждать о временных последовательностях из визуальных данных. Исследователи отмечают, что эти проблемы сохраняются даже при использовании нескольких изображений и оптимизированных подсказок, что указывает на фундаментальные ограничения в текущих архитектурах моделей и методах обучения.

Испытания показали значительные вариации в производительности при разных стратегиях подсказок. Хотя GPT-4o улучшила свою производительность с оптимизированными подсказками (достигнув 4% в одиночном изображении и 65,3% в многокадровом режиме), производительность оставалась ниже приемлемого уровня.

Модели, такие как LLaVA-NeXT и Qwen-VL, были еще более чувствительными, с производительностью, снижающейся при использовании альтернативных подсказок, что предполагает, что инженерия подсказок сама по себе не может преодолеть фундаментальные ограничения MLLMs в отношении временного рассуждения.

Испытания также показали, что макет изображения (т. е. вертикальный или горизонтальный) существенно влияет на производительность модели. GPT-4o улучшила свою последовательность с вертикальными расположениями, повысившись с 39,2% до 52,8%; однако другие модели, включая LLaVA, показали сильные направленные предубеждения, превосходя в одном направлении, но терпя неудачу в другом.

Статья указывает на то, что эти несоответствия предполагают зависимость от пространственных подсказок, а не от истинного временного рассуждения, при котором MLLMs не действительно анализируют последовательность событий или понимают прогрессию во времени. Вместо этого они, кажется, полагаются на закономерности или визуальные особенности, связанные с расположением изображений, такие как их положение или выравнивание, чтобы принимать решения.

Качественные испытания подчеркивают прогнозы GPT-4o при различных входных порядках. В первом порядке пары изображений представлены в их исходной последовательности, а во втором порядке последовательность обратна. Правильные классификации отмечены зеленым, чистые неправильные классификации – красным, воображаемые рассуждения – оранжевым, а иррациональные или «невалидные» рассуждения – коричневым, что раскрывает несоответствия модели в разных входных конфигурациях.

Сравнительные испытания между одиночными изображениями и несколькими изображениями продемонстрировали ограниченное общее улучшение, при котором GPT-4o показала немного лучшую производительность на многокадровом входе, повысившись с 31,0% до 43,6% (с P1) и с 46,0% до 65,3% (с P2).

Другие модели, такие как InternVL, показали стабильную, но низкую точность, в то время как Qwen-VL наблюдалось незначительное улучшение. Авторы заключили, что эти результаты указывают на то, что дополнительный визуальный контекст не существенно улучшает возможности временного рассуждения, поскольку модели испытывают трудности с интеграцией временной информации эффективно.

Исследование человека

В исследовании человека три опроса были проведены для оценки того, насколько близко лучшая MLLM выполнила задание по сравнению с человеческой оценкой.

Люди достигли 90,3% точности, превзойдя 65,3% GPT-4o на 25%. Набор данных оказался надежным, с минимальными ошибками человека и последовательным согласием по правильным ответам.

Результаты исследования человека для первого раунда испытаний.

Оценка временного разрыва: результаты

Результаты для TLE: оценка временного разрыва оценивает точность модели в определении интервалов между парами изображений, по масштабам от секунд до лет. Задача оценивает способность модели выбрать правильный масштаб времени для временного разрыва.

В этих испытаниях MLLMs показали только удовлетворительную производительность на оценке временного разрыва: GPT-4o достигла 70% точности, но другие модели показали значительно худшую производительность (см. таблицу выше), а производительность также варьировалась заметно по разным масштабам времени.

Авторы комментируют:

«Задача оценки временного разрыва проверяет способность MLLMs определить временные интервалы между парами изображений. [Все] MLLMs, включая лучших исполнителей, таких как GPT-4o и Gemini1.5-Pro, испытывают трудности с этой задачей, достигая только умеренных уровней точности 60-70%. GPT-4o показывает несоответствующую производительность, с сильной производительностью в секундах и годах, но недооценивает в часах.

«Аналогично, LLaVA-CoT демонстрирует исключительную производительность в временных интервалах секунд и дней, но показывает заметно плохую производительность в других временных интервалах.

Исследование человека

В исследовании человека для TLE средняя производительность человека улучшилась по сравнению с GPT-4o (лучшей моделью в этой категории) на 12,3%.

Авторы отмечают, что некоторые из задач были особенно сложными, и что в одном случае все участники человека вернули неправильный ответ, вместе со всеми участниками ИИ.

Авторы заключили, что GPT-4o демонстрирует «достаточно надежные возможности рассуждения, несмотря на порядок представления изображений.

Заключение

Если MLLMs в конечном итоге накопят и впитают достаточно «обходных» данных, чтобы покрыть даже самые сложные задачи, представленные авторами в этом исследовании, то вопрос о том, могут ли они быть признаны разработавшими возможности обобщения в этом домене, может стать бесполезным.

Также неизвестно точно, каким путем мы получаем свои собственные способности временного рассуждения – используем ли мы также «обходные пути», пока не накопим достаточно опыта, чтобы раскрыть закономерность, которая работает как «инстинкт» в отношении этого типа теста?

* С точки зрения того, что модели все чаще оптимизируются с функциями потерь, к которым способствовала обратная связь человека, и эффективно оптимизируются человеческими испытаниями и последующим триажом.

Опубликовано в понедельник, 27 января 2025 года