Enseigner aux IA à donner de meilleures critiques de vidéos

Alors que les grands modèles de vision-langage (LVLM) peuvent être des aides utiles pour interpréter certaines des soumissions les plus arcanes ou les plus difficiles dans la littérature de la vision par ordinateur, il y a un domaine où ils sont handicapés: déterminer les mérites et la qualité subjective de tout exemple de vidéo qui accompagne les nouveaux articles*.

Ceci est un aspect critique d’une soumission, puisque les articles scientifiques visent souvent à générer de l’enthousiasme grâce à un texte ou des visuels convaincants – ou les deux.

Mais dans le cas de projets qui impliquent la synthèse de vidéos, les auteurs doivent montrer une sortie vidéo réelle ou risquer de voir leur travail rejeté; et c’est dans ces démonstrations que l’écart entre les revendications audacieuses et les performances réelles devient le plus apparent.

J’ai lu le livre, je n’ai pas vu le film

Actuellement, la plupart des modèles de langage à grande échelle (LLM) et des modèles de vision-langage à grande échelle (LVLM) populaires basés sur les API ne seront pas en mesure d’analyser directement le contenu des vidéos de quelque manière que ce soit, qualitative ou autre. Au lieu de cela, ils ne peuvent analyser que les transcriptions associées – et, peut-être, les fils de discussion et d’autres matériaux textuels stricts.

Les objections diverses de GPT-4o, Google Gemini et Perplexity, lorsqu’on leur demande d’analyser directement une vidéo, sans recourir à des transcriptions ou à d’autres sources textuelles.

Cependant, un LLM peut cacher ou nier son incapacité à regarder réellement les vidéos, à moins que vous ne le confrontiez à ce sujet:

Ayant été invité à fournir une évaluation subjective d’une vidéo associée à un nouvel article de recherche, et ayant feint un véritable avis, ChatGPT-4o finit par avouer qu’il ne peut pas vraiment visionner une vidéo directement.

Bien que des modèles tels que ChatGPT-4o soient multimodaux et puissent au moins analyser des photos individuelles (comme un cadre extrait d’une vidéo, voir image ci-dessus), il y a quelques problèmes avec cela: premièrement, il n’y a pas de base solide pour accorder du crédit à l’opinion qualitative d’un LLM, notamment parce que les LLM sont enclins à « plaire aux gens » plutôt qu’à un discours sincère.

Deuxièmement, de nombreux problèmes d’une vidéo générée sont susceptibles d’avoir un aspect temporel qui est entièrement perdu dans une capture d’écran – et donc l’examen de cadres individuels ne sert à rien.

Enfin, le LLM ne peut fournir qu’un jugement de valeur supposé basé (une fois encore) sur des connaissances textuelles, par exemple en ce qui concerne les images de deepfake ou l’histoire de l’art. Dans un tel cas, les connaissances de domaine acquises permettent au LLM de corrélater les qualités visuelles d’une image avec des embeddings appris basés sur l’insight humain:

Le projet FakeVLM propose une détection ciblée de deepfake via un modèle de vision-langage multimodal spécialisé. Source: https://arxiv.org/pdf/2503.14905

Ceci ne signifie pas qu’un LLM ne peut pas obtenir d’informations directement à partir d’une vidéo; par exemple, avec l’utilisation de systèmes d’IA auxiliaires tels que YOLO, un LLM pourrait identifier des objets dans une vidéo – ou pourrait le faire directement, s’il est formé pour un nombre supérieur à la moyenne de fonctionnalités multimodales.

Mais la seule façon dont un LLM pourrait évaluer subjectivement une vidéo (c’est-à-dire « Ça n’a pas l’air réel pour moi ») est en appliquant une métrique basée sur une fonction de perte qui est soit connue pour refléter bien l’opinion humaine, soit directement informée par l’opinion humaine.

Les fonctions de perte sont des outils mathématiques utilisés pendant la formation pour mesurer à quel point les prédictions d’un modèle sont éloignées des réponses correctes. Ils fournissent un retour d’information qui guide l’apprentissage du modèle: plus l’erreur est grande, plus la perte est élevée. Au fur et à mesure de la formation, le modèle ajuste ses paramètres pour réduire cette perte, améliorant progressivement sa capacité à faire des prédictions précises.

Les fonctions de perte sont utilisées à la fois pour réguler la formation des modèles et pour calibrer les algorithmes conçus pour évaluer la sortie des modèles d’IA (tels que l’évaluation de contenu photoréaliste simulé à partir d’un modèle de vidéo générative).

Vision conditionnelle

L’une des métriques/ fonctions de perte les plus populaires est la distance de Fréchet (FID), qui évalue la qualité des images générées en mesurant la similarité entre leur distribution (qui signifie ici ‘comment les images sont réparties ou regroupées par fonctionnalités visuelles‘) et celle des images réelles.

Plus précisément, la FID calcule la différence statistique, en utilisant les moyennes et les covariances, entre les fonctionnalités extraites des deux ensembles d’images en utilisant le (souvent critiqué) réseau de classification Inception v3. Un score FID plus bas indique que les images générées sont plus similaires aux images réelles, impliquant une meilleure qualité visuelle et diversité.

Cependant, la FID est essentiellement comparative et, de manière arguable, auto-référentielle. Pour remédier à cela, l’approche Conditional Fréchet Distance (CFD, 2021) diffère de la FID en comparant les images générées aux images réelles et en évaluant un score en fonction de la manière dont les deux ensembles répondent à une condition supplémentaire, telle qu’une étiquette de classe (inévitablement subjective) ou une image d’entrée.

De cette manière, la CFD tient compte de la manière dont les images répondent aux conditions prévues, et non seulement de leur réalisme ou de leur diversité globale.

Exemples de la sortie CFD 2021. Source: https://github.com/Michael-Soloveitchik/CFID/

La CFD suit une tendance récente à intégrer l’interprétation humaine qualitative dans les fonctions de perte et les algorithmes de métriques. Bien que cette approche centrée sur l’humain garantisse que l’algorithme résultant ne sera pas « sans âme » ou purement mécanique, elle présente un certain nombre de problèmes: la possibilité de biais; la charge de mise à jour de l’algorithme en fonction de nouvelles pratiques; et les limites budgétaires (un nombre réduit de contributeurs humains rendra les déterminations plus spéculatives, tandis qu’un nombre plus élevé pourrait empêcher des mises à jour utiles en raison du coût).

cFreD

Cela nous amène à un nouvel article des États-Unis qui propose apparemment Conditional Fréchet Distance (cFreD), une nouvelle prise sur la CFD conçue pour mieux refléter les préférences humaines en évaluant à la fois la qualité visuelle et l’alignement texte-image

Résultats partiels du nouvel article: classements d’images (1-9) par différentes métriques pour la invite « Une salle de séjour avec un canapé et un ordinateur portable posé sur le canapé. » Les mises en évidence vertes mettent en évidence le modèle le mieux noté par les humains (FLUX.1-dev), les mises en évidence violettes le plus bas (SDv1.5). Seul cFreD correspond aux classements humains. Veuillez vous référer à l’article source pour les résultats complets, que nous n’avons pas la place de reproduire ici. Source: https://arxiv.org/pdf/2503.21721

Les auteurs soutiennent que les méthodes d’évaluation existantes pour la synthèse texte-image, telles que le score d’Inception (IS) et la FID, s’alignent mal sur le jugement humain car elles ne mesurent que la qualité de l’image sans tenir compte de la manière dont les images correspondent à leurs invites:

‘Par exemple, considérons un ensemble de données avec deux images: une d’un chien et une d’un chat, chacune associée à son invite correspondante. Un modèle de synthèse texte-image parfait qui échange accidentellement ces mappages (c’est-à-dire en générant un chat pour une invite de chien et vice versa) atteindrait une FID proche de zéro, car la distribution globale de chats et de chiens est maintenue, malgré le désalignement avec les invites prévues.

‘Nous montrons que cFreD capture mieux l’évaluation de la qualité d’image et la conditionnalisation sur le texte d’entrée et donne lieu à une meilleure corrélation avec les préférences humaines.’

Les tests de l’article indiquent que la métrique proposée par les auteurs, cFreD, atteint systématiquement une corrélation plus élevée avec les préférences humaines que la FID, la FDDINOv2, le CLIPScore et le CMMD sur trois ensembles de données de référence (PartiPrompts, HPDv2 et COCO).

Concept et méthode

Les auteurs notent que la norme actuelle pour évaluer les modèles de synthèse texte-image implique de collecter des données de préférence humaine grâce à des comparaisons effectuées par le public, à la manière des méthodes utilisées pour les grands modèles de langage (comme le LMSys Arena).

Par exemple, le PartiPrompts Arena utilise 1 600 invites en anglais, présentant aux participants des paires d’images issues de différents modèles et leur demandant de sélectionner leur image préférée.

De même, le Text-to-Image Arena Leaderboard utilise des comparaisons d’utilisateurs des sorties de modèles pour générer des classements via des scores ELO. Cependant, la collecte de ce type de données d’évaluation humaine est coûteuse et lente, ce qui amène certaines plateformes – comme le PartiPrompts Arena – à cesser les mises à jour.

Le Artificial Analysis Image Arena Leaderboard, qui classe les leaders actuels estimés de l’IA générative visuelle. Source: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Bien que des méthodes alternatives formées sur des données de préférence humaine existent, leur efficacité pour évaluer les futurs modèles reste incertaine, car les préférences humaines évoluent en permanence. Par conséquent, des métriques automatisées telles que la FID, le CLIPScore et la métrique cFreD proposée par les auteurs semblent susceptibles de rester des outils d’évaluation essentiels.

Les auteurs supposent que les images réelles et générées conditionnées sur une invite suivent des lois de distribution gaussiennes, chacune définie par des moyennes conditionnelles et des covariances. La cFreD mesure la distance de Fréchet attendue entre ces distributions conditionnelles à travers les invites. Cela peut être formulé soit directement en termes de statistiques conditionnelles, soit en combinant des statistiques inconditionnelles avec des covariances croisées impliquant l’invite.

En incorporant l’invite de cette manière, la cFreD est en mesure d’évaluer à la fois le réalisme des images et leur cohérence avec le texte donné.

Données et tests

Pour évaluer à quel point la cFreD est alignée sur les préférences humaines, les auteurs ont utilisé des classements d’images de plusieurs modèles avec le même texte. Leur évaluation s’appuie sur deux sources: l’ensemble de tests Human Preference Score v2 (HPDv2), qui comprend neuf images générées et une image de référence COCO par invite; et le PartiPrompts Arena mentionné plus haut, qui contient des sorties de quatre modèles sur 1 600 invites.

Les auteurs ont rassemblé les points de données éparpillés de l’Arena en un seul ensemble de données; dans les cas où l’image réelle n’était pas classée en premier dans les évaluations humaines, ils ont utilisé l’image la mieux notée comme référence.

Pour tester les nouveaux modèles, ils ont échantillonné 1 000 invites à partir des ensembles d’entraînement et de validation de COCO, en veillant à ce qu’il n’y ait pas de chevauchement avec l’ensemble de tests HPDv2, et ont généré des images en utilisant neuf modèles de l’Arena Leaderboard. Les images COCO d’origine ont servi de références dans cette partie de l’évaluation.

La cFreD a été évaluée à l’aide de quatre métriques statistiques: la FID; la FDDINOv2; le CLIPScore; et la CMMD. Elle a également été évaluée par rapport à quatre métriques apprises formées sur des données de préférence humaine: le score esthétique; l’ImageReward; le HPSv2; et le MPS.

Les auteurs ont évalué la corrélation avec le jugement humain à la fois d’un point de vue de classement et de notation: pour chaque métrique, les scores de modèle ont été signalés et les classements calculés pour leur alignement sur les résultats d’évaluation humaine, la cFreD utilisant le DINOv2-G/14 pour les embeddings d’images et le OpenCLIP ConvNext-B Text Encoder pour les embeddings de texte†.

Les travaux précédents sur l’apprentissage des préférences humaines mesuraient la performance en utilisant la précision du classement par élément, qui calcule la précision du classement pour chaque paire d’image et de texte avant de moyenne les résultats.

Les auteurs ont évalué la cFreD en utilisant une précision de classement globale, qui évalue la performance de classement globale sur l’ensemble complet des données; pour les métriques statistiques, ils ont dérivé les classements directement à partir des scores bruts; et pour les métriques formées sur des préférences humaines, ils ont d’abord moyenné les classements attribués à chaque modèle sur tous les échantillons, puis ont déterminé le classement final à partir de ces moyennes.

Les tests initiaux ont utilisé dix cadres: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; et LAFITE.

Classements et scores de modèles sur l’ensemble de tests HPDv2 en utilisant des métriques statistiques (FID, FDDINOv2, CLIPScore, CMMD et cFreD) et des métriques formées sur des préférences humaines (score esthétique, ImageReward, HPSv2 et MPS). Les meilleurs résultats sont indiqués en gras, les deuxièmes meilleurs sont soulignés.

Parmi les résultats initiaux, les auteurs commentent:

‘La cFreD atteint la corrélation la plus élevée avec les préférences humaines, avec une corrélation de 0,97. Parmi les métriques statistiques, la cFreD atteint la corrélation la plus élevée et est comparable au HPSv2 (0,94), un modèle formé explicitement sur des préférences humaines. Étant donné que le HPSv2 a été formé sur l’ensemble d’entraînement HPSv2, qui comprend quatre modèles de l’ensemble de tests, et a utilisé les mêmes annotateurs, il encode naturellement des biais de préférence humaine spécifiques à ce paramètre.

‘En revanche, la cFreD atteint une corrélation comparable ou supérieure avec l’évaluation humaine sans aucune formation sur des préférences humaines.

‘Ces résultats démontrent que la cFreD fournit des classements plus fiables à travers divers modèles par rapport aux métriques automatiques standard et aux métriques formées explicitement sur des données de préférence humaine.’

Parmi toutes les métriques évaluées, la cFreD a atteint la précision de classement la plus élevée (91,1 %), démontrant – selon les auteurs – un alignement fort avec les jugements humains.

Le HPSv2 a suivi avec 88,9 %, tandis que la FID et la FDDINOv2 ont produit des scores compétitifs de 86,7 %. Bien que les métriques formées sur des préférences humaines s’alignent généralement bien sur les évaluations humaines, la cFreD s’est avérée être la plus robuste et la plus fiable dans l’ensemble.

En dessous, nous voyons les résultats du deuxième tour de tests, cette fois sur le PartiPrompts Arena, en utilisant le SDXL; le Kandinsky 2; le Würstchen; et le Karlo V1.0.

Classements et scores de modèles sur PartiPrompt en utilisant des métriques statistiques (FID, FDDINOv2, CLIPScore, CMMD et cFreD) et des métriques formées sur des préférences humaines (score esthétique, ImageReward et MPS). Les meilleurs résultats sont en gras, les deuxièmes meilleurs sont soulignés.

Ici, l’article indique:

‘Parmi les métriques statistiques, la cFreD atteint la corrélation la plus élevée avec les évaluations humaines (0,73), avec la FID et la FDDINOv2 atteignant une corrélation de 0,70. En revanche, le CLIPScore montre une corrélation très faible (0,12) avec les jugements humains.

‘Dans la catégorie formée sur des préférences humaines, le HPSv2 a l’alignement le plus fort, atteignant la corrélation la plus élevée (0,83), suivi de l’ImageReward (0,81) et du MPS (0,65). Ces résultats mettent en évidence que, même si la cFreD est une métrique automatique robuste, le HPSv2 se démarque comme la plus efficace pour capturer les tendances d’évaluation humaine dans le PartiPrompts Arena.’

Enfin, les auteurs ont mené une évaluation sur l’ensemble de données COCO en utilisant neuf modèles de synthèse texte-image modernes: FLUX.1[dev]; Playgroundv2.5; Janus Pro; et des variantes de Stable Diffusion SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 et 1.5.

Les classements de préférence humaine ont été obtenus à partir du Text-to-Image Leaderboard et ont été donnés sous forme de scores ELO:

Classements de modèles sur des invites COCO échantillonnées aléatoirement en utilisant des métriques automatiques (FID, FDDINOv2, CLIPScore, CMMD et cFreD) et des métriques formées sur des préférences humaines (score esthétique, ImageReward, HPSv2 et MPS). Une précision de classement inférieure à 0,5 indique plus de paires discordantes que concordantes, et les meilleurs résultats sont en gras, les deuxièmes meilleurs sont soulignés.

À propos de ce tour, les chercheurs déclarent:

‘Parmi les métriques statistiques (FID, FDDINOv2, CLIP, CMMD et notre métrique cFreD proposée), seule la cFreD montre une corrélation forte avec les préférences humaines, atteignant une corrélation de 0,33 et une précision de classement non triviale de 66,67 %. ‘Ceci place la cFreD comme la troisième métrique la plus alignée dans l’ensemble, surpassée seulement par les métriques formées sur des préférences humaines ImageReward, HPSv2 et MPS.

‘Notamment, toutes les autres métriques statistiques montrent une alignment considérablement plus faible avec les classements ELO et, par conséquent, inversent les classements, aboutissant à une précision de classement inférieure à 0,5.

‘Ces résultats mettent en évidence que la cFreD est sensible à la fois à la fidélité visuelle et à la cohérence de l’invite, renforçant sa valeur en tant qu’alternative pratique et sans formation pour évaluer la génération d’images à partir de texte.’

Les auteurs ont également testé l’Inception V3 en tant que colonne vertébrale, attirant l’attention sur son ubiquité dans la littérature, et ont constaté qu’InceptionV3 se comportait de manière raisonnable, mais a été surpassé par des colonnes vertébrales basées sur des transformateurs tels que DINOv2-L/14 et ViT-L/16, qui s’alignent plus systématiquement sur les classements humains – et ils soutiennent que cela justifie le remplacement d’InceptionV3 dans les configurations d’évaluation modernes.

Taux de victoire montrant à quel point souvent les classements de chaque colonne vertébrale d’image correspondaient aux classements humains réels sur l’ensemble de données COCO.

Conclusion

Il est clair que, même si les solutions avec des humains dans la boucle sont l’approche optimale pour le développement de métriques et de fonctions de perte, l’échelle et la fréquence des mises à jour nécessaires à de tels schémas continueront à les rendre impraticables – peut-être jusqu’à ce que la participation publique généralisée aux évaluations soit généralement encouragée; ou, comme cela a été le cas avec les CAPTCHAs, imposée.

La crédibilité du nouveau système des auteurs dépend encore de son alignement sur le jugement humain, bien qu’à un niveau plus éloigné que de nombreuses approches récentes impliquant la participation humaine; et la légitimité de la cFreD repose donc toujours sur des données de préférence humaine (évidemment, puisque sans une telle référence, la revendication selon laquelle la cFreD reflète une évaluation similaire à celle des humains serait invérifiable).

On peut soutenir que l’inscription de nos critères actuels pour le « réalisme » dans la sortie générative dans une fonction de métrique pourrait être une erreur à long terme, puisque notre définition de ce concept est actuellement remise en question par la nouvelle vague de systèmes d’IA génératifs, et est destinée à être révisée fréquemment et de manière significative.

* À ce stade, j’inclurais normalement un exemple de vidéo illustratif, peut-être issu d’une soumission universitaire récente; mais ce serait malveillant – quiconque a passé plus de 10 à 15 minutes à parcourir les sorties d’IA générative d’Arxiv aura déjà rencontré des vidéos supplémentaires dont la qualité subjective est si mauvaise qu’elle indique que la soumission associée ne sera pas saluée comme un article de référence.

† Un total de 46 modèles de colonne vertébrale d’image ont été utilisés dans les expériences, dont tous ne sont pas considérés dans les résultats graphiques. Veuillez vous référer à l’annexe de l’article pour une liste complète; ceux qui sont présentés dans les tableaux et les figures ont été répertoriés.

Publié pour la première fois le mardi 1er avril 2025