Google Envisage un Système de Requête similaire à GPT-3, sans Résultats de Recherche

Un nouveau document de recherche de quatre chercheurs de Google propose un système ‘expert’ capable de répondre de manière autoritaire aux questions des utilisateurs sans présenter une liste de résultats de recherche possibles, similaire au paradigme Q&A qui a attiré l’attention du public grâce à l’avènement de GPT-3 au cours de la dernière année.

Le document, intitulé Repenser la Recherche: Faire des Experts de Dilettantes, suggère que la norme actuelle consistant à présenter à l’utilisateur une liste de résultats de recherche en réponse à une demande est une ‘charge cognitive’, et propose des améliorations dans la capacité d’un système de traitement du langage naturel (NLP) à fournir une réponse autoritaire et définitive.

Sous le modèle proposé d’un ‘expert’, oracle à domaine croisé, les milliers de sources de résultats de recherche possibles seront intégrés dans un modèle de langage au lieu d’être explicitement disponibles en tant que ressource exploratoire pour les utilisateurs pour évaluer et naviguer par eux-mêmes. Source: https://arxiv.org/pdf/2105.02274.pdf

Le document, dirigé par Donald Metzler à Google Research, propose des améliorations dans le type de réponses d’oracle à domaine multiple qui peuvent actuellement être obtenues à partir de modèles de langage autoregressifs profonds tels que GPT-3. Les principales améliorations envisagées sont a) que le modèle serait capable de citer avec précision les sources qui ont informé la réponse, et b) que le modèle serait empêché de ‘halluciner‘ des réponses ou d’inventer des matériaux sources non existants, ce qui est actuellement un problème avec de telles architectures.

Formation et Capacités Multi-Domaines

En outre, le modèle de langage proposé, caractérisé dans le document comme ‘Un seul modèle pour toutes les tâches de récupération d’information’, serait formé sur une variété de domaines, y compris des images et du texte. Il aurait également besoin d’une compréhension de la provenance des connaissances, qui fait défaut dans les architectures de style GPT-3.

‘Pour remplacer les index par un seul modèle unifié, il doit être possible pour le modèle lui-même d’avoir des connaissances sur l’univers des identificateurs de documents, de la même manière que les index traditionnels. Une façon de réaliser cela est de s’éloigner des modèles de langage traditionnels et de se diriger vers des modèles de corpus qui modélisent conjointement les relations terme-terme, terme-document et document-document.’

Dans l’image ci-dessus, issue du document, trois approches en réponse à une demande utilisateur: à gauche, les modèles de langage implicites dans les résultats de recherche algorithmiques de Google ont choisi et priorisé une ‘meilleure réponse’, mais l’ont laissée en tant que premier résultat parmi de nombreux. Au centre, une réponse conversationnelle de style GPT-3, qui parle avec autorité, mais ne justifie pas ses affirmations ni ne cite les sources. À droite, le système expert proposé intègre la ‘meilleure réponse’ des résultats de recherche classés directement dans une réponse didactique, avec des citations de style académique (non représentées dans l’image d’origine) indiquant les sources qui ont informé la réponse.

Suppression des Résultats Toxiques et Inexactes

Les chercheurs notent que la nature dynamique et constamment mise à jour des index de recherche est un défi à reproduire entièrement dans un modèle d’apprentissage automatique de ce type. Par exemple, lorsque une source autrefois fiable a été formée directement dans la compréhension du monde du modèle, supprimer son influence (par exemple, après qu’elle ait été discréditée) peut être plus difficile que de simplement supprimer une URL des résultats de recherche, car les concepts de données peuvent devenir abstraits et largement représentés lors de l’assimilation pendant la formation.

En outre, un tel modèle devrait être constamment formé pour fournir le même niveau de réactivité aux nouveaux articles et publications que celui actuellement fourni par le spidering constant des sources de Google. Cela signifie effectivement une mise à jour continue et automatisée, contrairement au régime actuel, où des amendements mineurs sont apportés aux poids et aux paramètres de l’algorithme de recherche libre, mais l’algorithme lui-même n’est généralement mis à jour que de manière occasionnelle.

Surfaces d’Attaque pour un Oracle Expert Centralisé

Un modèle centralisé constamment assimilant et généralisant de nouvelles données pourrait transformer la surface d’attaque pour les requêtes de recherche.

Actuellement, un attaquant peut obtenir un avantage en obtenant un classement élevé pour des domaines ou des pages qui contiennent des informations erronées ou du code malveillant. Sous la direction d’un ‘expert’ oracle plus opaque, l’opportunité de rediriger les utilisateurs vers des domaines d’attaque est grandement diminuée, mais la possibilité d’injecter des attaques de données toxiques est grandement accrue.

C’est parce que le système proposé ne supprime pas l’algorithme de classement de recherche, mais le cache de l’utilisateur, en automatisant effectivement la priorité du premier résultat/s, et en l’intégrant dans une déclaration didactique. Les utilisateurs malveillants ont longtemps pu orchestrer des attaques contre l’algorithme de recherche de Google, pour vendre des produits antivirus faux, diriger les utilisateurs vers des domaines répandant des logiciels malveillants, ou à des fins de manipulation politique, parmi de nombreux autres cas d’utilisation.

Pas d’IA Générale

Les chercheurs soulignent que tel un système serait peu susceptible de répondre aux critères d’une Intelligence Artificielle Générale (IAG), et placent la perspective d’un répondant expert universel dans le contexte du traitement du langage naturel, soumis à tous les défis que de tels modèles connaissent actuellement.

Le document énonce cinq exigences pour une réponse de ‘haute qualité’:

1: Autorité
Comme pour les algorithmes de classement actuels, l’ ‘autorité’ semble être dérivée de la citation de domaines de haute qualité qui sont considérés comme autoritaires en eux-mêmes. Les chercheurs observent:

‘Les réponses doivent générer du contenu en tirant de sources très autoritaires. C’est une autre raison pour laquelle établir des connexions explicites entre les séquences de termes et les métadonnées de document est si crucial. Si tous les documents d’un corpus sont annotés avec un score d’autorité, ce score doit être pris en compte lors de la formation du modèle, de la génération de réponses, ou les deux.’

Bien que les chercheurs ne suggèrent pas que les résultats de recherche traditionnels deviendraient indisponibles si un oracle expert de ce type était trouvé performant et populaire, l’ensemble du document présente le système de classement traditionnel, ainsi que les listes de résultats de recherche, comme un système de récupération d’information ‘vieux de plusieurs décennies’ et dépassé.

‘Le simple fait que le classement soit un composant critique de ce paradigme est un symptôme du système de récupération qui fournit aux utilisateurs une sélection de réponses potentielles, ce qui induit une charge cognitive assez importante pour l’utilisateur. Le désir de retourner des réponses au lieu de listes classées de résultats était l’un des facteurs de motivation pour développer des systèmes de réponse à questions. ‘

2: Transparence
Les chercheurs commentent:

‘Lorsque cela est possible, la provenance de l’information présentée à l’utilisateur doit être mise à sa disposition. Est-ce la source principale d’information? Si ce n’est pas le cas, quelle est la source principale?’

3: Gestion des Préjugés
Le document note que les modèles de langage préformés sont conçus non pour évaluer la vérité empirique, mais pour généraliser et donner la priorité aux tendances dominantes dans les données. Il reconnaît que cette directive ouvre le modèle à l’attaque (comme cela s’est produit avec le chatbot raciste involontaire de Microsoft en 2016), et que des systèmes auxiliaires seront nécessaires pour protéger contre de telles réponses biaisées du système.

4: Activation de Points de Vue Divers
Le document propose également des mécanismes pour garantir une pluralité de points de vue:

‘Les réponses générées doivent représenter une gamme de perspectives diverses mais ne doivent pas être polarisantes. Par exemple, pour les requêtes sur des sujets controversés, les deux côtés du sujet doivent être couverts de manière équitable et équilibrée. Cela a évidemment des liens étroits avec les préjugés du modèle.’

5: Langage Accessible
En plus de fournir des traductions précises dans les cas où la réponse autoritaire considérée est dans une langue différente, le document suggère que les réponses encapsulées devraient être ‘écrites dans des termes aussi clairs que possible’.