Déclasser les « vérités » obsolètes avec l’apprentissage automatique

Parfois, la vérité a une date d’expiration. Lorsqu’une affirmation à durée limitée (telle que « les masques sont obligatoires dans les transports en commun ») émerge dans les classements des moteurs de recherche, sa solution apparente « autoritaire » peut dépasser son utilité même après de nombreuses années, surpassant ainsi des contenus plus récents et plus précis sur le même sujet.

Ceci est un sous-produit de la détermination des algorithmes des moteurs de recherche pour identifier et promouvoir des solutions « définitives » à long terme, et de leur tendance à privilégier les contenus bien liés qui maintiennent le trafic au fil du temps – et d’une attitude de plus en plus circonspecte envers les nouveaux contenus dans l’ère émergente des fausses nouvelles.

Alternativement, dévaluer du contenu Web précieux simplement parce que la date associée à celui-ci a dépassé une « fenêtre de validité » arbitraire risque que toute une génération de contenus réellement utiles soit automatiquement déclassée au profit de matériaux ultérieurs qui pourraient être de moindre qualité.

Pour remédier à ce syndrome, un nouvel article de recherche publié par des chercheurs en Italie, en Belgique et au Danemark a utilisé diverses techniques d’apprentissage automatique pour développer une méthodologie de classement d’éléments de preuve en fonction du temps.

Au-delà des réponses obsolètes

L’article est rédigé par des chercheurs de la Commission européenne au Centre de recherche conjoint (JRC) à Ispra, de la Katholieke Universiteit à Louvain et de l’Université de Copenhague.

Le travail examine quatre méthodes de classement temporel appliquées à trois méthodologies de vérification des faits, chacune avec une approche différente du classement des preuves, et propose une nouvelle méthodologie de classement qui utilise les horodatages des preuves comme « étalon-or ». L’étude montre que le classement d’éléments de preuve en fonction du temps améliore la perspicacité des résultats et améliore également les prédictions d’autorité et de véracité des faits et des allégations sensibles au temps.

La recherche est proposée comme un éventuel complément aux systèmes existants ou futurs, et est conçue pour aider la recherche, ainsi que pour un facteur éventuel à inclure dans le développement de nouveaux algorithmes de moteurs de recherche évolués.

Le travail modélise la dynamique temporelle des preuves pour la vérification des faits basée sur le contenu, et surpasse les approches de « similarité sémantique » adoptées par les algorithmes de classement des moteurs de recherche typiques. Le modèle entraîné par les chercheurs utilise une fonction d’apprentissage à classement optimisée qui peut être facilement superposée à une architecture de vérification des faits existante. Les chercheurs soutiennent que le système constitue une contribution novatrice à la vérification des faits automatisée.

Modification de plusieurs architectures de vérification des faits

Les chercheurs ont imposé leur facteur temporel aux trois architectures de vérification des faits existantes. La première de ces architectures est le modèle à mémoire longue bidirectionnelle (BiLSTM) proposé dans le jeu de données MultiFC publié en 2019.

La deuxième est une modification de la première, avec un réseau neuronal récurrent unidirectionnel (RNN) remplaçant le composant LSTM.

Le troisième modèle utilisé par les chercheurs est un transformateur DistilBERT de la bibliothèque Hugging Faces, une version distillée du modèle NLP BERT de Google.

Sur les trois architectures, les chercheurs ont appliqué une perte ListMLE, issue de recherches menées par Microsoft, qui a constamment contribué à des recherches novatrices sur la vérification des faits au cours des deux dernières décennies.

Les deux principaux modèles de vérification des faits auxquels l’équipe de recherche a ajouté un composant temporel en tant que filtre pour l’autorité et les valeurs de classement ultérieures. Source: https://arxiv.org/pdf/2009.06402.pdf

Les valeurs d’horodatage ont été extraites des métadonnées d’entraînement et incluses en tant que facteurs de classement dans chaque modèle.

Test

L’évaluation expérimentale du système a impliqué l’utilisation du jeu de données MultiFC, puisqu’il s’agit actuellement du seul jeu de données ouvert à grande échelle disponible pour cet intérêt de recherche particulier. MultiFC contient 34 924 allégations réelles obtenues à partir de 26 domaines de vérification des faits différents, notamment Snopes et le Washington Post.

La prédiction de la véracité de chaque allégation est augmentée par dix extraits de preuves fournis par l’API de recherche Google, et les prédictions obtenues via une combinaison d’éléments, notamment l’orateur, les balises et les catégories.

Très souvent, l’horodatage pertinent n’est pas nécessairement celui qui est contenu dans les métadonnées; un article peut se référer à des événements antérieurs, et dans ce cas, les systèmes des chercheurs ont dû prendre soin d’extraire et de convertir ces données directement à partir du texte. Sans ce processus, une « réitération » de nouvelles obsolètes tendra à lui donner un nouveau lustre, en particulier dans le cas de sites à haute autorité, en propageant ainsi les données obsolètes.

Les dates ont été extraites avec une routine Python, et les dates de métadonnées officielles ont été testées pour la cohérence de la mise en forme (puisqu’il y a, par exemple, des différences dans la mise en forme des dates entre les États-Unis et le Royaume-Uni). Lorsqu’elles ont été vérifiées manuellement, aucune erreur n’a été trouvée dans les métadonnées d’horodatage.

Résultats

Par rapport à une vérification manuelle des résultats automatisés, les chercheurs ont constaté que le classement d’éléments de preuve en fonction du temps améliore de manière notable les hypothèses de pertinence basées sur la similarité sémantique pure ou les classements SERP. Ils constatent également que leur méthode améliore les prédictions de véracité pour les allégations sensibles au temps (c’est-à-dire les circonstances dans lesquelles une situation d’actualité peut évoluer rapidement, et où il est essentiel que les informations à jour soient privilégiées sans simplement forcer la priorisation des résultats les plus récents sur un sujet).

Les chercheurs notent que cette approche sera d’une grande valeur pour améliorer les modèles de classement pour les sujets volatils tels que la politique et le divertissement, où les informations changent rapidement, et où les développements à haute visibilité nécessitent un cadre pour une dégradation automatique des premières places dans le classement qu’ils ont pu atteindre lors de leur sortie.