Обучение ИИ давать лучшие видео-критики

Хотя большие модели языка и зрения (LVLMs) могут быть полезными помощниками в интерпретации некоторых более арканых или сложных работ в литературе компьютерного зрения, есть одна область, где они ограничены: определение достоинств и субъективного качества любых видео-примеров, сопровождающих новые статьи*.

Это критический аспект представления, поскольку научные статьи часто стремятся вызвать интерес с помощью убедительного текста или визуальных материалов – или обоих.

Но в случае проектов, связанных с синтезом видео, авторы должны продемонстрировать фактический видео-выход или рискует быть отвергнутыми; и именно в этих демонстрациях разрыв между смелыми заявлениями и реальной производительностью чаще всего становится очевидным.

Я прочитал книгу, не видел фильм

В настоящее время большинство популярных API-ориентированных больших языковых моделей (LLMs) и больших моделей языка и зрения (LVLMs) не будут直接 анализировать видео-контент никаким образом, качественным или другим. Вместо этого они могут только анализировать связанные транскрипты – и, возможно, комментарии и другую строго текстовую дополнительную информацию.

Разнообразные возражения GPT-4o, Google Gemini и Perplexity, когда их попросили直接 проанализировать видео, не прибегая к транскриптам или другим текстовым источникам.

Однако LLM может скрыть или отрицать свою неспособность фактически смотреть видео, если вы не назовете их на это:

Будучи попрошеными предоставить субъективную оценку видео, связанных с новой исследовательской статьей, и выдав фальшивое мнение, ChatGPT-4o в конечном итоге признается, что не может фактически просматривать видео напрямую.

Хотя модели, такие как ChatGPT-4o, являются многомодальными и могут хотя бы анализировать отдельные фотографии (например, извлеченную кадр из видео, см. изображение выше), есть некоторые проблемы с этим: во-первых, есть мало оснований для доверия субъективному мнению LLM, не в последнюю очередь потому, что LLMs склонны к ‘людям-угождению’ rather than искреннему дискурсу.

Во-вторых, многие, если не большинство проблем, связанных с сгенерированным видео, вероятно, имеют временной аспект, который полностью теряется в кадре – и поэтому анализ отдельных кадров не имеет смысла.

Наконец, LLM может дать только предполагаемое ‘ценностное суждение’ на основе (опять же) поглощения текстовых знаний, например, в отношении глубоких фейковых изображений или истории искусства. В таком случае обученные знания в области позволяют LLM коррелировать проанализированные визуальные качества изображения с обученными вложениями на основе человеческого прозрения:

Проект FakeVLM предлагает целевую детекцию глубоких фейков посредством специализированной многомодальной модели языка и зрения. Источник: https://arxiv.org/pdf/2503.14905

Это не означает, что LLM не может получить информацию напрямую из видео; например, с помощью вспомогательных систем ИИ, таких как YOLO, LLM может определить объекты в видео – или может сделать это напрямую, если обучен для выше среднего количества многомодальных функций.

Но единственный способ, которым LLM может оценить видео субъективно (т. е. ‘Это не выглядит реальным для меня’), заключается в применении функции потерь, основанной на метрике, которая либо хорошо отражает человеческое мнение, либо напрямую информируется человеческим мнением.

Функции потерь – это математические инструменты, используемые во время обучения для измерения того, насколько далеко прогнозы модели находятся от правильных ответов. Они обеспечивают обратную связь, которая руководит обучением модели: чем больше ошибка, тем выше потери. По мере продолжения обучения модель корректирует свои параметры, чтобы уменьшить эти потери, постепенно улучшая свою способность делать точные прогнозы.

Функции потерь используются как для регулирования обучения моделей, так и для калибровки алгоритмов, предназначенных для оценки выхода моделей ИИ (например, оценки симулированного фотографически реалистичного контента из генеративной видео-модели).

Условное зрение

Одной из наиболее популярных метрик/функций потерь является Fréchet Inception Distance (FID), который оценивает качество сгенерированных изображений, измеряя сходство между их распределением (что здесь означает ‘как изображения распределены или сгруппированы по визуальным особенностям‘) и реальных изображений.

Конкретно, FID рассчитывает статистическую разницу, используя средние значения и ковариансы, между особенностями, извлеченными из обоих наборов изображений с помощью (часто критикуемой) сети классификации Inception v3. Более низкий балл FID указывает на то, что сгенерированные изображения более похожи на реальные изображения, что подразумевает лучшее визуальное качество и разнообразие.

Однако FID по сути сравнительный и, возможно, самореферентный по своей природе. Чтобы исправить это, более поздний Условный Fréchet Distance (CFD, 2021) отличается от FID, сравнивая сгенерированные изображения с реальными изображениями и оценивая балл на основе того, насколько хорошо оба набора соответствуют дополнительному условию, такому как (неизбежно субъективный) классический ярлык или входное изображение.

Таким образом, CFID учитывает, насколько точно изображения соответствуют заданным условиям, а не только их общую реалистичность или разнообразие среди себя.

Примеры из выхода CFD 2021. Источник: https://github.com/Michael-Soloveitchik/CFID/

CFD следует недавней тенденции включения качественной человеческой интерпретации в функции потерь и алгоритмы метрик. Хотя такой человеко-ориентированный подход гарантирует, что полученный алгоритм не будет ‘бесдушным’ или просто механическим, он представляет одновременно ряд проблем: возможность предвзятости; бремя обновления алгоритма в соответствии с новыми практиками; и тот факт, что это удаляет возможность последовательных сравнительных стандартов за период лет между проектами; и бюджетные ограничения (меньшее количество человеческих участников сделает определения более сомнительными, в то время как большее количество может предотвратить полезные обновления из-за стоимости).

cFreD

Это приводит нас к новой статье из США, которая, по-видимому, предлагает Условный Fréchet Distance (cFreD), новый взгляд на CFD, предназначенный для лучшего отражения человеческих предпочтений, оценивая как визуальное качество, так и текст-изображение-соответствие

Частичные результаты новой статьи: рейтинги изображений (1–9) по разным метрикам для подсказки “Гостиная с диваном и ноутбуком, лежащим на диване.” Зеленый цвет подсвечивает лучшую модель, оцененную человеком (FLUX.1-dev), фиолетовый – худшую (SDv1.5). Только cFreD соответствует рейтингам человека. Источник: https://arxiv.org/pdf/2503.21721

Авторы утверждают, что существующие методы оценки текст-изображение-синтеза, такие как Inception Score (IS) и FID, плохо соответствуют человеческому суждению, поскольку они измеряют только качество изображения, не учитывая, насколько хорошо изображения соответствуют своим подсказкам:

‘Например, рассмотрим набор данных с двумя изображениями: одним с собакой и одним с кошкой, каждым из которых сопоставлен с соответствующей подсказкой. Идеальная текст-изображение-модель, которая ошибочно поменяла эти сопоставления (т. е. генерируя кошку для подсказки собаки и наоборот), достигла бы почти нулевого FID, поскольку общее распределение кошек и собак сохраняется, несмотря на несоответствие с предполагаемыми подсказками.’

‘Мы показываем, что cFreD лучше оценивает качество изображения и условие на входном тексте и приводит к улучшению корреляции с человеческими предпочтениями.’

Тесты статьи показывают, что предложенная авторами метрика, cFreD, последовательно достигает более высокой корреляции с человеческими предпочтениями, чем FID, FDDINOv2, CLIPScore и CMMD на трех наборах данных (PartiPrompts, HPDv2 и COCO).

Концепция и метод

Авторы отмечают, что текущий золотой стандарт для оценки текст-изображение-моделей включает сбор человеческих предпочтений через крауд-сорсинговые сравнения, аналогичные методам, используемым для больших языковых моделей (например, LMSys Arena).

Например, PartiPrompts Arena использует 1600 английских подсказок, представляя участникам пары изображений из разных моделей и прося выбрать предпочитаемое изображение.

Аналогично, Text-to-Image Arena Leaderboard использует сравнения пользователей выходов моделей для генерации рейтингов через баллы ELO. Однако сбор этого типа человеческой оценочной информации является дорогим и медленным, что привело некоторые платформы – такие как PartiPrompts Arena – к прекращению обновлений.

Лидерборд Artificial Analysis Image Arena, который ранжирует текущих лидеров в генеративном визуальном ИИ. Источник: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Хотя существуют альтернативные методы, обученные на исторических человеческих предпочтениях, их эффективность для оценки будущих моделей остается неопределенной, поскольку человеческие предпочтения непрерывно эволюционируют. Следовательно, автоматические метрики, такие как FID, CLIPScore и предложенный авторами cFreD, вероятно, останутся важными инструментами оценки.

Авторы предполагают, что как реальные, так и сгенерированные изображения, условленные на подсказку, следуют гауссовским распределениям, каждое из которых определяется условными средними значениями и коварианцами. cFreD измеряет ожидаемое расстояние Fréchet между этими условными распределениями. Это можно сформулировать либо直接 через условные статистики, либо путем объединения безусловных статистик с кросс-ковариациями, включающими подсказку.

Включая подсказку таким образом, cFreD может оценить как реализм изображений, так и их последовательность с данным текстом.

Данные и тесты

Чтобы оценить, насколько хорошо cFreD соответствует человеческим предпочтениям, авторы использовали рейтинги изображений из нескольких моделей, сгенерированных по одной и той же текстовой подсказке. Их оценка была основана на двух источниках: Human Preference Score v2 (HPDv2) тестовый набор, который включает девять сгенерированных изображений и одно изображение COCO на подсказку; и вышеупомянутый PartiPrompts Arena, который содержит выходы из четырех моделей по 1600 подсказкам.

Авторы собрали разрозненные данные Arena в один набор данных; в случаях, когда реальное изображение не занимало высшее место в человеческих оценках, они использовали лучшее изображение в качестве эталона.

Чтобы протестировать новые модели, они выбрали 1000 подсказок из обучающих и тестовых наборов COCO, обеспечивая отсутствие пересечения с HPDv2, и сгенерировали изображения, используя девять моделей из Arena Leaderboard. Оригинальные изображения COCO служили эталонами в этой части оценки.

Подход cFreD был оценен через четыре статистические метрики: FID; FDDINOv2; CLIPScore; и CMMD. Он также был оценен против четырех обученных метрик, обученных на человеческих предпочтениях: Aesthetic Score; ImageReward; HPSv2; и MPS.

Авторы оценили корреляцию с человеческим суждением как с рейтинговой, так и с точки зрения оценки: для каждой метрики сообщались баллы моделей и рассчитывались рейтинги для их соответствия результатам человеческой оценки, причем cFreD использовал DINOv2-G/14 для вложений изображений и текстового энкодера ConvNext-B OpenCLIP для вложений текста†.

Ранее работа по обучению человеческих предпочтений измеряла производительность с помощью точности ранжирования для каждого предмета, которая рассчитывает точность ранжирования для каждой пары изображение-текст, прежде чем усреднять результаты.

Авторы вместо этого оценили cFreD, используя глобальную точность ранжирования, которая оценивает общую производительность ранжирования в整个 наборе данных; для статистических метрик они получили рейтинги直接 из сырых баллов; и для метрик, обученных на человеческих предпочтениях, они сначала усреднили рейтинги, присвоенные каждой модели во всех образцах, а затем определили окончательный рейтинг из этих усредненных значений.

Первоначальные тесты использовали десять фреймворков: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; и LAFITE.

Рейтинги моделей и баллы на тестовом наборе HPDv2, используя статистические метрики (FID, FDDINOv2, CLIPScore, CMMD и cFreD) и метрики, обученные на человеческих предпочтениях (Aesthetic Score, ImageReward, HPSv2 и MPS). Лучшие результаты выделены жирным шрифтом, вторые лучшие – подчеркнутым.

Из первоначальных результатов авторы отмечают:

‘cFreD достигает наивысшей корреляции с человеческими предпочтениями, достигая корреляции 0,97. Среди статистических метрик cFreD достигает наивысшей корреляции и сопоставима с HPSv2 (0,94), моделью, явно обученной на человеческих предпочтениях. Учитывая, что HPSv2 была обучена на наборе данных HPSv2, который включает четыре модели из тестового набора, и использовала одних и тех же аннотаторов, она внутренне кодирует конкретные человеческие предпочтительные предвзятости одного и того же настройки.’

‘Напротив, cFreD достигает сопоставимой или лучшей корреляции с человеческой оценкой без какой-либо подготовки на человеческих предпочтениях. ‘

‘Эти результаты демонстрируют, что cFreD обеспечивает более надежные рейтинги в различных моделях по сравнению со стандартными автоматическими метриками и метриками, обученными явно на человеческих предпочтениях.’

Среди всех оцененных метрик cFreD достиг наивысшей точности ранжирования (91,1%), демонстрируя – по мнению авторов – сильную корреляцию с человеческими суждениями.

HPSv2 заняла второе место с 88,9%, в то время как FID и FDDINOv2 показали конкурентоспособные баллы 86,7%. Хотя метрики, обученные на человеческих предпочтениях, обычно хорошо соответствовали человеческим оценкам, cFreD оказался наиболее прочным и надежным в целом.

Ниже мы видим результаты второго раунда тестирования, на этот раз на PartiPrompts Arena, используя SDXL; Kandinsky 2; Würstchen; и Karlo V1.0.

Рейтинги моделей и баллы на PartiPrompt, используя статистические метрики (FID, FDDINOv2, CLIPScore, CMMD и cFreD) и метрики, обученные на человеческих предпочтениях (Aesthetic Score, ImageReward и MPS). Лучшие результаты выделены жирным шрифтом, вторые лучшие – подчеркнутым.

Здесь статья гласит:

‘Среди статистических метрик cFreD достигает наивысшей корреляции с человеческими оценками (0,73), в то время как FID и FDDINOv2 достигают корреляции 0,70. Напротив, CLIP-оценка показывает очень низкую корреляцию (0,12) с человеческими суждениями. ‘

‘В категории, обученной на человеческих предпочтениях, HPSv2 имеет наивысшую корреляцию, достигая наивысшей корреляции (0,83), за которой следует ImageReward (0,81) и MPS (0,65). Эти результаты подчеркивают, что хотя cFreD является прочной автоматической метрикой, HPSv2 выделяется как наиболее эффективная в захвате тенденций человеческой оценки в PartiPrompts Arena.’

Наконец, авторы провели оценку на наборе данных COCO, используя девять современных текст-изображение-моделей: FLUX.1[dev]; Playgroundv2.5; Janus Pro; и варианты Stable Diffusion SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 и 1.5.

Рейтинги человеческих предпочтений были получены из Text-to-Image Leaderboard и представлены в виде баллов ELO:

Рейтинги моделей на случайно выбранных подсказках COCO, используя автоматические метрики (FID, FDDINOv2, CLIPScore, CMMD и cFreD) и метрики, обученные на человеческих предпочтениях (Aesthetic Score, ImageReward, HPSv2 и MPS). Точность ранжирования ниже 0,5 указывает на более несоответствующие, чем согласованные пары, и лучшие результаты выделены жирным шрифтом, вторые лучшие – подчеркнутым.

Относительно этого раунда исследователи заявляют:

‘Среди статистических метрик (FID, FDDINOv2, CLIP, CMMD и наш предложенный cFreD) только cFreD демонстрирует сильную корреляцию с человеческими предпочтениями, достигая корреляции 0,33 и не тривиальной точности ранжирования 66,67%. ‘Этот результат ставит cFreD на третье место по соответствию в целом, превосходя только метрики, обученные на человеческих предпочтениях, ImageReward, HPSv2 и MPS. ‘

‘Заметно, что все другие статистические метрики демонстрируют значительно более слабую корреляцию с рейтингами ELO и, в результате, инвертируют рейтинги, что приводит к точности ранжирования ниже 0,5. ‘

‘Эти результаты подчеркивают, что cFreD чувствителен как к визуальной точности, так и к последовательности подсказки, подкрепляя его ценность как практической, обучающей альтернативы для бенчмаркинга текст-изображение-генерации.’

Авторы также протестировали Inception V3 в качестве основы, обратив внимание на его повсеместность в литературе, и обнаружили, что InceptionV3 работает разумно, но был превзойден трансформаторными основами, такими как DINOv2-L/14 и ViT-L/16, которые более последовательно соответствовали человеческим рейтингам – и они утверждают, что это подтверждает замену InceptionV3 в современных настройках оценки.

Победные ставки, показывающие, как часто рейтинги каждой основы изображения соответствуют истинным рейтингам человека, полученным из набора данных COCO.

Заключение

Ясно, что хотя решения с человеком в цикле являются оптимальным подходом к разработке метрик и функций потерь, масштаб и частота обновлений, необходимых для таких схем, будут продолжать делать их нецелесообразными – возможно, до тех пор, пока широкое участие общественности в оценках не будет общепринято; или, как это было с CAPTCHAs, будет принято.

Достоверность новой системы авторов все еще зависит от ее соответствия человеческому суждению, хотя и на один шаг дальше, чем многие недавние подходы, включающие человека; и легитимность cFreD остается все еще в человеческих предпочтениях (очевидно, поскольку без такой эталонной точки заявление о том, что cFreD отражает человеческую оценку, было бы недоказуемым).

Возможно, что закрепление наших текущих критериев для ‘реализма’ в генеративном выходе в метрической функции может быть ошибкой в долгосрочной перспективе, поскольку наше определение этого понятия в настоящее время находится под атакой новой волны генеративных систем ИИ и подлежит частым и значительным пересмотрам.

* На этом этапе я обычно включил бы иллюстративный видео-пример, возможно, из недавней академической статьи; но это было бы злонамеренно – любой, кто провел более 10-15 минут, просматривая выход генеративного ИИ Arxiv, уже встретил дополнительные видео, чье субъективно плохое качество указывает на то, что связанная статья не будет признана знаковым документом.

† Всего в экспериментах было использовано 46 моделей основы изображения, не все из которых учитываются в графике результатов. Пожалуйста, обратитесь к приложению статьи для полного списка; те, которые представлены в таблицах и фигурах, были перечислены.

Опубликовано впервые во вторник, 1 апреля 2025 года.