Le startup AI Diffbot lit l’ensemble d’Internet public pour poursuivre la génération de texte basée sur des faits

Les récents progrès réalisés dans le traitement du langage naturel et la génération de texte par OpenAI grâce à leurs modèles de langage GPT-2 et GPT-3 ont été impressionnants, capables de générer du texte qui ressemble à celui qui aurait pu être écrit par un humain. Malheureusement, bien que ces modèles excellent dans la rédaction de textes naturels, ils ne sont pas équipés pour écrire des textes factuels. Les modèles de langage avancés assemblent des phrases à partir de mots qui ont le plus de sens dans le contexte, sans prêter attention à la véracité des affirmations dans le texte généré. Selon un rapport de la revue technologique du MIT, une startup appelée Diffbot vise à résoudre ce problème en faisant extraire à un IA autant de faits que possible à partir d’Internet.

Diffbot est une startup qui espère rendre l’IA plus utile pour les tâches de génération de texte pratiques comme l’autoremplissage de feuilles de calcul et l’autocomplétion de phrases ou de code. Pour que le texte généré par l’IA soit fiable, l’IA elle-même doit être digne de confiance et doit avoir une certaine notion de déclarations factuelles par opposition aux déclarations fictives. L’approche de Diffbot pour donner à un programme de génération de texte la capacité de générer des déclarations factuelles commence par la collecte de quantités massives de texte à partir de la quasi-totalité du web public. Diffbot analyse le texte dans plusieurs langues et divise le texte en ensembles de triplets basés sur des faits, le sujet, l’objet et le verbe d’un fait étant utilisés pour relier un concept à un autre. Par exemple, il pourrait représenter des faits concernant Bill Gates et Microsoft (MSFT ) comme ceci:

Bill Gates est le fondateur de Microsoft. Microsoft est une entreprise de technologie informatique.

Diffbot prend tous ces petits faits et les joint pour créer un graphique de connaissances. Les graphiques de connaissances créent des réseaux de relations entre les concepts, souvent avec un raisonneur qui aide à la création de nouvelles conclusions basées sur ces relations. Pour le dire autrement, les graphiques de connaissances utilisent l’interconnexion des données et peuvent aider les algorithmes d’apprentissage automatique à modéliser les domaines de connaissances. Les graphiques de connaissances existent en fait depuis des décennies et de nombreux chercheurs en IA considéraient ces outils comme importants pour permettre à l’IA de comprendre le monde humain. Cependant, les graphiques de connaissances étaient généralement créés manuellement, ce qui est un processus difficile et fastidieux. L’automatisation de la création de graphiques de connaissances pourrait permettre aux IA d’acquérir une compréhension contextuelle beaucoup plus grande des concepts et de produire du texte basé sur des faits.

Google (GOOGL ) a commencé à utiliser des graphiques de connaissances il y a quelques années pour aider à fournir des résumés d’informations lorsque les sujets populaires sont recherchés. Le graphique de connaissances est utilisé pour extraire les faits les plus pertinents et les représenter sous forme de résumé. Diffbot veut faire la même chose pour tous les sujets, et pas seulement les plus populaires. Cela nécessite la construction d’un graphique de connaissances absolument massif, compilé en parcourant la totalité du web public, ce que seuls Google et Microsoft font autrement. Diffbot scanne l’ensemble du web et met à jour le graphique de connaissances avec de nouvelles informations tous les quatre ou cinq jours, et au cours d’un mois, il ajoute entre 100 millions et 150 millions d’entrées.

Diffbot ne lit pas le texte d’un site Web comme les crawlers Web normaux, mais utilise des algorithmes de vision par ordinateur pour extraire les pixels bruts d’une page Web et extraire des données de vidéo, d’image, d’article et de discussion à partir de la page. Il identifie les éléments clés de la page Web, puis extrait des faits dans diverses langues, conformément au schéma de faits à trois parties.

Actuellement, Diffbot propose un accès payant et gratuit à son graphique de connaissances. Alors que les chercheurs peuvent accéder au graphique gratuitement, des entreprises comme DuckDuckGo et Snapchat l’utilisent pour résumer du texte et extraire des extraits d’actualités tendances. Pendant ce temps, Nike et Adidas utilisent la plateforme pour trouver des sites qui vendent des produits contrefaits, ce qui est possible car Diffbot est capable de déterminer quels sites vendent réellement des chaussures, et non simplement en discutent.

À l’avenir, Diffbot prévoit d’étendre ses capacités et d’ajouter une interface en langage naturel à la plateforme, capable de répondre à presque toute question que vous lui posez et de justifier ces réponses avec des sources. Idéalement, les capacités de Diffbot seraient combinées avec un puissant modèle de synthèse de langage comme GPT-3.