L’IA préfère lire le livre plutôt que de regarder le film

Il est surprenant de constater à quel point il est difficile d’obtenir des modèles d’IA pour regarder et commenter du contenu vidéo réel, même s’ils sont conçus pour cette tâche. Ils sont plus intéressés par le mot écrit.

Si vous avez déjà essayé de télécharger une petite vidéo sur ChatGPT ou sur un modèle de vision/langage similaire, vous avez peut-être été surpris de constater qu’ils ne peuvent pas vraiment analyser les vidéos. Alors que des modèles tels que ChatGPT-4o+ sont capables d’analyser des images individuelles – sous forme de JPEG et de PNG, par exemple – ils préfèrent que l’utilisateur extrait ses propres images et les télécharge sous forme d’images (qu’ils sont prêts à commenter).

Dans le cas de la série GPT d’OpenAI, on peut, de manière rather laborieuse, extraire une série complète d’images d’une vidéo et les fournir à ChatGPT, à des fins telles que générer une piste narrative créée par l’IA pour la vidéo:

Images et code d’un didacticiel OpenAI sur l’analyse de plusieurs images extraites pour développer un commentaire généré par l’IA pour une vidéo. Source

Cependant, cela incombe à l’utilisateur de procéder à la conversion de la vidéo en images, soit en appelant des fonctions dans une routine plus large, comme dans l’exemple ci-dessus, soit en extrayant les images avec FFMPEG ou diverses solutions de montage vidéo gratuites ou payantes.

Dans une certaine mesure, peut-être même dans une large mesure, les limites de l’analyse de la vidéo dans des produits à grande échelle tels que ChatGPT reposent sur l’utilisation des ressources: il n’est pas négligeable de doter une seule instance d’IA d’une sélection des codecs vidéo les plus populaires et de consacrer des ressources de calcul au processus disque-lourd et gourmand en CPU de l’extraction, si des centaines de millions d’utilisateurs décident de commencer à utiliser ces fonctionnalités chaque jour.

De plus, l’analyse temporelle peut présenter un tableau très différent que celui d’une seule image (imaginez quelqu’un qui entre dans une maison avec un humeur joyeuse et qui découvre ensuite un corps); par conséquent, prendre en compte la totalité de la somme temporelle, même d’une courte vidéo, est une tâche exigeante et gourmande en ressources – ainsi qu’un domaine de recherche spécialisé, par exemple avec le développement en cours de cadres tels que Optical Flow – qui déplie essentiellement une longueur de vidéo de telle sorte qu’elle puisse être considérée et traitée comme un document statique:

Les diagrammes de flux optique montrent comment le mouvement est suivi à travers les images d’une séquence vidéo, avec des vecteurs verts indiquant la direction et l’intensité du mouvement. Ces cartes fournissent la continuité temporelle nécessaire aux VLM et peuvent également servir de guides structurels dans les flux de travail VFX. Source

Se contenter des notes de bas de page

Cependant, puisque des modèles tels que Notebook LM de Google et les entrées ChatGPT les plus récentes sont capables de lire les métadonnées associées (c’est-à-dire le contenu textuel intégré qui contextualise la vidéo d’une certaine manière), ils n’interdisent pas les téléchargements de fichiers vidéo; et parfois, ils vont même tenter d’interpréter une vidéo qui ne contient aucune de ces données.

Dans le cas suivant, j’ai téléchargé un extrait aléatoire de 6 secondes du film italien La main de Dieu (2021) sur NotebookLM, en veillant à ce que l’extrait ne contienne aucun texte utile, ni dans les métadonnées ni dans le nom du fichier.

NotebookLM a ensuite procédé à une élaboration détaillée de matériel totalement sans rapport avec la vidéo*, complété par un podcast de cinq minutes en tête-à-tête sans rapport:

Un moment ordinaire dans un extrait de six secondes d’un film italien est gravement mal interprété par NotebookLM. Source: Google NotebookLM

Bien que Notebook, comme ChatGPT, accepte une vidéo YouTube comme entrée, il ne le fera que si la vidéo comporte une annotation textuelle ou des sous-titres (et non des sous-titres rasterisés brûlés dans la vidéo).

De cette manière, le travail acharné de regarder réellement le contenu de la vidéo et d’en effectuer une interprétation sémantique (une nécessité légale pour YouTube, en raison de ses mesures de protection du droit d’auteur, et de son système de détection d’identité en attente) a été effectué à loisir après le téléchargement de l’utilisateur, chaque fois que l’extrait pouvait être alloué les ressources de traitement nécessaires.

L’interprétation réelle de la vidéo est coûteuse et épuisante, et il s’avère que même les modèles formés spécifiquement pour effectuer cette tâche préfèrent lire du texte plutôt que regarder réellement la vidéo.

TL;DW

Ceci, selon un nouvel article de l’Université de Bristol au Royaume-Uni, intitulé Une vidéo ne vaut pas mille mots, dans lequel les deux auteurs concluent que les modèles de langage à vision actuels (VLM) – modèles conçus pour analyser les vidéos de manière plus approfondie et pour participer à des questions-réponses vidéo (VQA) – font également défaut à l’information textuelle chaque fois que possible.

Lorsqu’ils sont présentés avec des images en mouvement et des questions et réponses à choix multiples, les auteurs de l’article ont constaté que les modèles basaient généralement leurs choix sur des modèles dans le texte, plutôt que sur ce qui se passait à l’écran – dans de nombreux cas, obtenant de bons résultats, même lorsque la question était complètement supprimée.

Il s’agit apparemment d’une forme habituelle de raccourci ou de tricherie, dans laquelle ce qui compte le plus pour la majorité des modèles est de repérer des modèles dans les réponses possibles; seul lorsque la tâche est rendue plus difficile, en ajoutant plus d’options de réponses, les IA commencent à prêter une attention plus grande à la vidéo.

Les auteurs ont soumis des tests de VQA à six modèles de VLM de longueurs de contexte diverses, sur quatre jeux de données appropriés; et ont constaté que les résultats indiquaient la dépendance des modèles à l’égard du texte par rapport au contenu de la vidéo.

Exemple de l’étude montrant comment un modèle d’analyse de vidéo pondère ce qu’il voit par rapport à ce qu’il lit. La séquence montre une personne tissant du bambou, mais le modèle accorde beaucoup plus d’importance au texte de la question et de la réponse qu’aux images de la vidéo elles-mêmes. Les éléments en bleu soulignent les éléments qui soutiennent la réponse choisie, tandis que les éléments en rouge soulignent ceux qui la tirent dans la direction opposée, illustrant comment la raison du modèle se concentre sur les mots plutôt que sur les images en mouvement. Source

Méthode

Pour comprendre à quel point chaque entrée contribue à la décision d’un modèle, les nouveaux travaux utilisent une méthode issue de la théorie des jeux appelée Valeurs de Shapley. À l’origine conçue pour diviser équitablement une récompense entre les joueurs d’une coalition, les Valeurs de Shapley attribuent un crédit à chaque « joueur » en fonction de son impact individuel.

En effet, les « joueurs » dans ce scénario sont soit les images de la vidéo, soit les composants textuels (annotations, sous-titres, légendes, etc.) d’une tâche de VQA; et la « récompense » est la réponse finale du modèle. En testant systématiquement ce qui se passe lorsque chaque partie est ajoutée ou supprimée, la technique révèle à quel point chaque élément a été important pour parvenir à la réponse choisie.

Dans le cas du nouveau projet, afin d’étendre la méthode à plusieurs types de données, les Valeurs de Shapley ont été adaptées pour gérer des modalités mélangées, avec des composants vidéo et texte traités de manière distincte, et leur influence variable sur les sorties du modèle mesurée, révélant si le contenu de la vidéo était réellement interprété, ou si des indices écrits étaient utilisés comme raccourcis.

Métriques

Deux métriques simples ont été définies pour comparer à quel point chaque modalité (c’est-à-dire la vidéo, la question ou la réponse) contribue à la décision du modèle: Contribution de la modalité mesure à quel point la totalité de l’explication provient de chaque type d’entrée; ici, toutes les valeurs de Shapley disponibles sont additionnées, et la part appartenant à chaque modalité est calculée en pourcentage de la totalité.

En second lieu, Contribution par fonction corrige le fait que certaines modalités, comme la vidéo, contiennent beaucoup plus de fonctionnalités que d’autres. Au lieu de cela, la valeur de Shapley moyenne est calculée pour chaque fonctionnalité, et ces moyennes sont comparées pour déterminer quelle modalité a une influence dominante.

Données et tests

Les auteurs ont testé l’approche sur six VLM de caractéristiques diverses, conçus pour garantir que les principes des tests soient largement applicables et généralisables. Par conséquent, les modèles ont été choisis pour des longueurs de contexte différentes, des âges différents (c’est-à-dire depuis la sortie du cadre) et des configurations d’architecture différentes.

Les modèles étaient FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (qui utilise Qwen2); et LongVA (également utilisant Qwen2).

Avec le même objectif de diversité, les quatre jeux de données ciblés étaient EgoSchema, un jeu de données de VQA conçu pour être impossible à compléter sans visionner complètement les vidéos associées; HD-EPIC, un jeu de données axé sur la cuisine mettant en vedette certaines vidéos inhabituellement longues; MVBench, un ensemble de contributions de divers autres jeux de données; et LVBench, qui pose des questions de VQA pour des vidéos très longues.

À partir de ceux-ci, les auteurs ont conçu 60 questions – dix pour chaque type de question.

Les métriques de contribution ont montré clairement que la plupart des modèles reposaient moins sur la vidéo que sur le texte, en particulier lorsqu’ils étaient jugés image par image. Même lorsque la vidéo faisait une présentation raisonnable, son influence par fonctionnalité était souvent minime, suggérant que même si le modèle utilisait la vidéo de manière globale, il prêtait peu d’attention aux images individuelles. VideoLLaMA3 était le principal outsider ici, avec une dépendance visuelle plus lourde, en particulier sur les séquences plus longues de LVBench:

Scores de contribution de la modalité (MC) et de contribution par fonctionnalité (PFC) pour les modèles et les jeux de données, montrant le poids relatif des entrées vidéo (V), question (Q) et réponse (A). Les couleurs plus froides indiquent des contributions plus fortes; les couleurs plus chaudes indiquent des influences plus faibles ou négligeables. Dans la plupart des paramètres, le langage est clairement dominant, avec la vidéo souvent mise de côté – en particulier en termes d’influence par image.

En ce qui concerne le texte, la question avait tendance à compter plus que la réponse, en particulier dans les modèles les plus solides. C’était le plus évident dans des jeux de données comme EgoSchema, où les questions étaient plus longues et plus naturalistes, tandis que les réponses étaient courtes et parfois schématiques. MVBench a inversé cela en partie, puisque sa structure de réponses binaires gonfle l’importance apparente des jetons de réponses.

À travers tous les modèles et les jeux de données, cependant, la vision a été systématiquement mise de côté, le langage faisant la majeure partie du travail.

L’article indique:

‘[Pour] les modèles à long contexte, la vidéo montre des contributions considérablement réduites, ce qui signifie que les valeurs de Shapley par image sont beaucoup plus petites que leurs homologues fonctionnels du texte.

‘La vidéo en tant que modalité dans son ensemble est clairement toujours très pertinente, mais cela constitue la preuve que les valeurs de Shapley de ses images individuelles sont plus centrées autour de zéro, et que l’attention du modèle à celles-ci est beaucoup moins guidée que pour le texte.’

Pour tester à quel point chaque partie de l’entrée (vidéo, texte, etc.) contribue à la précision du modèle, les chercheurs ont effectué des tests supplémentaires en utilisant le masquage – en cachant intentionnellement une ou plusieurs parties de l’entrée, et en voyant à quel point la précision du modèle change en conséquence.

Si les performances chutent fortement lorsque une entrée particulière est supprimée, cette entrée est probablement importante; si le modèle se comporte de la même manière, cela suggère que la pièce manquante n’a pas été très utilisée. À cet égard, les tests de masquage sont une sorte d’étude d’ablation itérative.

Impact des performances du masquage des entrées vidéo, question ou réponse sur quatre références de VQA. Les scores montrent le changement par rapport à la ligne de base non masquée. Le rouge signifie une précision plus faible, le vert une précision plus élevée. Les modèles ont souvent conservé des scores élevés sans vidéo, mais ont perdu plus lorsque la réponse (texte) a été supprimée. La question pouvait généralement être masquée avec un effet minimal.

Les résultats (visualisés ci-dessus) indiquent que les réponses (réponses textuelles dans les données à choix multiple) ont le plus de poids dans l’ensemble. Le masquage de la réponse a généralement entraîné la plus grande baisse de précision, réduisant souvent les modèles à des performances proches du hasard.

Cependant, masquer la question a généralement eu beaucoup moins d’effet, ce qui soutient la constatation antérieure selon laquelle les modèles sous-estiment souvent la question.

Dans certains cas, la précision a même augmenté lorsque la question a été supprimée, ce qui implique que les modèles correspondaient parfois simplement des réponses à des indices visuels ou textuels plutôt qu’à évaluer correctement la question.

Les modèles ont également varié dans leur dépendance à l’égard de la vidéo: certains ont maintenu une précision raisonnable sans elle, confirmant ainsi la contribution limitée des fonctionnalités vidéo dans de nombreux paramètres actuels.

Les auteurs ont ensuite testé si les modèles pouvaient être contraints à se fier à la vidéo en ajoutant des réponses incorrectes supplémentaires aux options de choix multiple.

Lorsque les distracteurs étaient faciles et provenaient d’autres questions, les performances ont augmenté, car les modèles correspondaient à des modèles de texte sans beaucoup de raisonnement. Mais avec dix réponses ou plus sans rapport, ils ont commencé à s’appuyer davantage sur la vidéo et la question:

Contribution par fonctionnalité et précision pour les entrées vidéo, question et réponse, à mesure que des réponses incorrectes supplémentaires sont ajoutées à chaque test de VQA, montrant que l’augmentation du nombre de distracteurs réduit la dominance du texte et augmente l’influence relative des fonctionnalités visuelles et de question.

Pour VideoLLaMA3, masquer la vidéo a réduit la précision de 40 % sur EgoSchema et de 15 % sur LVBench, indiquant qu’une simple augmentation du nombre de réponses peut détourner les modèles des raccourcis textuels et les amener vers une véritable raisonnement multimodal.

Les chercheurs ont également exploré comment l’attribution est répartie entre les entrées, et ci-dessous, nous voyons des cartes thermiques de valeurs de Shapley pour chaque entrée du modèle:

Cartes thermiques de valeurs de Shapley pour quatre jeux de données, où chaque ligne représente un tuple de VQA, et chaque colonne une fonctionnalité unique. Les fonctionnalités vidéo apparaissent à gauche, suivies du texte. Les valeurs beaucoup plus fortes dans les régions de texte (en rouge) confirment que les modèles s’appuient beaucoup plus sur le langage que sur la vidéo.

En commentant les résultats ci-dessus, les auteurs déclarent:

‘La grandeur des valeurs de Shapley est beaucoup plus grande vers le côté droit de chaque carte thermique, représentant les attributions de question et de réponse. Cette frontière nette est là où les images de la vidéo se terminent et où les fonctionnalités du texte commencent, démontrant que la contribution de la modalité vidéo est beaucoup plus faible que la question/réponse. ‘

En résumé, à travers tous les jeux de données, les valeurs sont beaucoup plus fortes vers l’extrémité du texte du spectre, indiquant fortement que les modèles s’appuient beaucoup plus sur le langage que sur les indices visuels. Même lorsque la vidéo est utilisée, la contribution est répartie de manière fine sur de nombreuses images, souvent sans modèle cohérent.

En bas, nous voyons un exemple annoté d’EgoSchema. Les 16 images les plus « importantes » ont été sélectionnées à l’aide de valeurs de Shapley et colorées en fonction de leur influence, le bleu indiquant une contribution positive et le rouge une contribution négative:

Attributions de Shapley pour un exemple d’EgoSchema, montrant les 16 images les plus influentes et toutes les entrées de texte. Les contributions de la vidéo sont minimes par rapport au texte, qui domine la raison du modèle. Le bleu et le rouge indiquent l’influence positive et négative sur la réponse sélectionnée.

Le résultat est que presque chaque image n’a qu’une influence faible par rapport aux mots de la question et des réponses. Les indices visuels sont rares et incohérents, tandis que des noms tels que « chaise » et « clôture » guident le modèle vers le choix correct – ou l’en éloignent, selon le contexte.

Conclusion

Quiconque a déjà joué avec la vidéo ou l’analyse de la vidéo sait déjà à quel point ces processus sont gourmands en ressources, et comprend pourquoi les entreprises analysant des millions de requêtes basées sur l’IA par jour ne peuvent pas se permettre de laisser les utilisateurs exécuter des processus de montage et d’interprétation de la vidéo de manière aléatoire.

Une chose à garder à l’esprit à cet égard est que presque chaque interface API d’IA que vous essayerez (à l’exception peut-être d’une nouvelle et éphémère démonstration à l’appui de nouvelles recherches scientifiques) vise à accomplir les souhaits des utilisateurs au niveau de dépense de ressources le plus bas possible.

Cela signifie s’appuyer sur les métadonnées existantes à partir des données fournies par l’utilisateur ou des reprises RAG, si possible; et extraire (si absolument nécessaire) des métadonnées pour des formats plus analysables tels que les documents, les images uniques.

Ce qui n’est pas sur la table, c’est de faire passer la vidéo téléchargée par CLIP ou la dernière version de YOLO, ou par n’importe quel VLM gourmand en ressources et prenant du temps qui peut réellement identifier ce qui se trouve dans les images et comprendre ce qui se passe dans la vidéo fournie, en tenant compte de la temporalité.

Cependant, cela ne signifie pas que les phénomènes que documente l’article actuel découlent nécessairement d’approches architecturales parcimonieuses. Les auteurs observent que le texte domine les paradigmes de formation multimodaux actuels dans tous les cas, indiquant que le « langage visuel » est soit moins développé, moins important ou informatif dans un contexte multimodal, soit (pour le moment) moins bien compris,

* Intéressant, le matériel que NotebookLM a créé semble être soit entièrement original, soit totally non répertorié par Google, car je ne suis pas en mesure de trouver des résultats qui auraient pu s’infiltrer dans les données de formation et provoquer cette sortie.

Publié pour la première fois vendredi 31 octobre 2025; édité 14h20 pour la mise en page