Lecture labiale avec des visèmes et l’apprentissage automatique

Une nouvelle recherche de l’École d’ingénierie informatique de Téhéran propose une approche améliorée pour relever le défi de création de systèmes d’apprentissage automatique capables de lire les lèvres.

Le document, intitulé Lecture labiale en utilisant la décoding des visèmes, rapporte que le nouveau système obtient une amélioration de 4 % du taux d’erreur de mot par rapport aux meilleurs modèles précédents similaires. Le système traite le manque général de données de formation utiles dans ce secteur en associant des visèmes à du contenu textuel dérivé des six millions d’échantillons de la base de données OpenSubtitles de titres de films traduits.

Un visème est l’équivalent visuel d’un phonème, effectivement une carte audio-vidéo qui peut constituer une « fonction » dans un modèle d’apprentissage automatique.

Visèmes en action. Source: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

Les chercheurs ont commencé par établir le taux d’erreur le plus bas sur les ensembles de données disponibles, et en développant des séquences de visèmes à partir de procédures de mapping établies. Progressivement, ce processus développe un lexique visuel de mots – bien qu’il soit nécessaire de définir des probabilités de précision pour différents mots qui partagent un visème (tels que « cœur » et « art »).

Visèmes extraits du texte. Source: https://arxiv.org/pdf/2104.04784.pdf

Lorsque deux mots identiques donnent lieu au même visème, le mot le plus fréquemment rencontré est sélectionné.

Le modèle s’appuie sur l’apprentissage automatique traditionnel séquence-à-séquence en ajoutant une étape de sous-traitement dans laquelle les visèmes sont prédits à partir du texte et modélisés dans un pipeline dédié:

Au-dessus, les méthodes traditionnelles de séquence à séquence dans un modèle de caractères; en dessous, l’ajout de la modélisation de caractères de visème dans le modèle de recherche de Téhéran. Source: https://arxiv.org/pdf/2104.04784.pdf

Le modèle a été appliqué sans contexte visuel contre l’ensemble de données LRS3-TED, publié par l’Université d’Oxford en 2018, avec le taux d’erreur de mot (WER) le plus élevé obtenu à 24,29 %.

La recherche de Téhéran intègre également l’utilisation d’un convertisseur de graphème à phonème.

Dans un test contre la recherche d’Oxford de 2017 Lecture labiale de phrases dans la nature (voir ci-dessous), la méthode Vidéo-à-Visème a obtenu un taux d’erreur de mot de 62,3 %, contre 69,5 % pour la méthode d’Oxford.

Les chercheurs concluent que l’utilisation d’un volume plus élevé d’informations textuelles, combiné avec la conversion de graphème à phonème et la mise en correspondance de visème, promet des améliorations par rapport à l’état de l’art dans les systèmes de lecture labiale automatisés, tout en reconnaissant que les méthodes utilisées peuvent produire de meilleurs résultats lorsqu’elles sont intégrées dans des cadres plus sophistiqués.

La lecture labiale assistée par machine a été un domaine de recherche actif et en cours dans le domaine de la vision par ordinateur et du traitement automatique des langues naturelles au cours des deux dernières décennies. Parmi de nombreux autres exemples et projets, en 2006, l’utilisation de logiciels de lecture labiale automatisés a fait les gros titres lorsqu’il a été utilisé pour interpréter ce qu’Adolf Hitler disait dans certains des films muets pris à son refuge bavarois, bien que l’application semble avoir disparu dans l’obscurité depuis (douze ans plus tard, Sir Peter Jackson a eu recours à des lecteurs de lèvres humains pour restaurer les conversations de la Première Guerre mondiale dans le projet de restauration Ils ne vieilliront pas ).

En 2017, Lecture labiale de phrases dans la nature, une collaboration entre l’Université d’Oxford et la division de recherche en intelligence artificielle de Google, a produit un logiciel de lecture labiale capable d’inférer correctement 48 % du discours dans une vidéo sans son, alors qu’un lecteur de lèvres humain ne pouvait atteindre une précision de 12,4 % à partir du même matériel. Le modèle a été formé sur des milliers d’heures de footage de la BBC.

Ce travail a suivi une initiative distincte d’Oxford/Google de l’année précédente, intitulée LipNet, une architecture de réseau neuronal qui a cartographié des séquences de vidéo de longueurs variables sur des séquences de texte à l’aide d’un réseau neuronal récurrent à porte logique (GRN), qui ajoute une fonctionnalité à l’architecture de base d’un réseau neuronal récurrent (RNN). Le modèle a obtenu une performance améliorée de 4,1 fois par rapport aux lecteurs de lèvres humains.

En plus du problème de production d’une transcription précise en temps réel, le défi d’interpréter le discours à partir d’une vidéo se creuse à mesure que vous supprimez le contexte utile, tel que l’audio, les prises de vue « face à face » bien éclairées et une langue/culture où les phonèmes/visèmes sont relativement distincts.

Bien qu’il n’y ait actuellement aucune compréhension empirique des langues les plus difficiles à lire sur les lèvres en l’absence totale d’audio, le japonais est un candidat de premier plan. Les différentes manières dont les Japonais (ainsi que certains autres Asiatiques de l’Ouest et de l’Est) utilisent les expressions faciales contre le contenu de leur discours les rendent déjà un défi plus grand pour les systèmes d’analyse des sentiments.

Cependant, il est important de noter que la plupart de la littérature scientifique sur le sujet est généralement circonspecte, ne serait-ce que parce que même la recherche objective bien intentionnée dans ce domaine risque de dégénérer en profilage racial et en la propagation de stéréotypes existants.

Les langues avec une proportion élevée de composants gutturaux, tels que le tchétchène et le néerlandais, sont particulièrement problématiques pour les techniques d’extraction de parole automatisées, tandis que les cultures où le locuteur peut exprimer une émotion ou un dévouement en regardant ailleurs (encore une fois, généralement dans les cultures asiatiques) ajoutent une autre dimension où les chercheurs en lecture labiale assistée par machine devront développer des méthodes supplémentaires de « remplissage » à partir d’autres indices contextuels.