Le nouveau chatbot Meena de Google peut tenir des conversations sensées et spécifiques sur presque tout

Aussi impressionnants et utiles que soient les assistants virtuels comme Siri, Alexa et Google Assistant, leurs compétences conversationnelles sont généralement limitées à la réception de certaines commandes et à la livraison de réponses prédéfinies. Des entreprises comme Google et Amazon (AMZN ) ont poursuivi des méthodes de formation et de développement de l’IA pour rendre les chatbots plus robustes et flexibles, capables de mener des conversations avec les utilisateurs de manière plus naturelle. Selon DigitalTrends, Google a récemment publié un article démontrant les capacités de son nouveau chatbot, baptisé « Meena ». Selon un billet de blog des chercheurs, Meena peut engager une conversation avec ses utilisateurs sur pratiquement n’importe quel sujet.

Meena est un chatbot à domaine ouvert, ce qui signifie qu’il répond au contexte de la conversation jusqu’à présent et s’adapte aux entrées pour fournir des réponses plus naturelles. La plupart des autres chatbots sont à domaine fermé, ce qui signifie que leurs réponses sont axées sur certaines idées et limitées à l’accomplissement de tâches spécifiques.

Selon le rapport de Google, la flexibilité de Meena était le résultat d’un énorme jeu de données de formation. Meena a été formé sur environ 40 milliards de mots extraits de conversations sur les médias sociaux et filtrés pour les mots les plus pertinents et les plus représentatifs. Google a cherché à résoudre certains des problèmes trouvés dans la plupart des assistants vocaux, tels que la capacité à gérer les sujets et les commandes qui se déroulent sur plusieurs tours de conversation, avec l’utilisateur fournissant des entrées supplémentaires après que le bot a répondu à une entrée. Cela signifie que de nombreux chatbots sont incapables de demander des éclaircissements et que, lorsqu’il y a une requête qui ne peut pas être interprétée, ils retombent souvent simplement sur les résultats Web.

Afin de résoudre ce problème en particulier, les chercheurs de Google ont permis à leurs algorithmes de suivre le contexte de la conversation, ce qui signifie qu’il peut générer des réponses spécifiques. Le modèle utilisé un encodeur qui traite ce qui a déjà été dit dans la conversation et un décodeur qui crée une réponse en fonction du contexte. Le modèle a été formé sur des données spécifiques et non spécifiques. Les données spécifiques sont des mots étroitement liés à l’énoncé précédent. Comme l’explique le billet de Google:

« Par exemple, si A dit : « J’adore le tennis », et que B répond : « C’est bien », alors l’énoncé doit être marqué « non spécifique ». Cette réponse pourrait être utilisée dans des dizaines de contextes différents. Mais si B répond : « Moi aussi, je ne peux pas en avoir assez de Roger Federer ! », alors il est marqué comme « spécifique » puisqu’il est étroitement lié à ce qui est discuté.

Les données utilisées pour former le modèle consistaient en sept « tours » de conversation. Lors de la formation, le modèle avait 2,6 milliards de paramètres qui examinaient 341 Go de données texte pour les modèles, un jeu de données environ 8,5 fois plus grand que le jeu de données utilisé pour former le modèle GPT-2 créé par OpenAI.

Google a rapporté les performances de Meena au moyen du metric Sensibleness and Specificity Average (SSA). Le SSA est une métrique conçue par les chercheurs de Google et destinée à quantifier la capacité d’une entité conversationnelle à répondre avec des réponses spécifiques et pertinentes au fur et à mesure que la conversation progresse.

Les scores SSA sont calculés en testant un modèle contre un nombre fixe de prompts, et le nombre de réponses sensées que le modèle fournit est suivi. Le score du modèle est dérivé sur la base du pourcentage de réponses sensées/spécifiques que le modèle a pu fournir par rapport aux prompts. Les réponses génériques sont pénalisées. Selon Google, une personne moyenne obtient environ 86 % au SSA, tandis que Meena a obtenu un score de 79 %. Un autre modèle d’IA célèbre, un agent créé par Pandora Bots, a remporté le prix Loebner en reconnaissance du fait que leurs bots d’IA avaient atteint une communication sophistiquée et similaire à celle des humains. L’agent Pandora Bots a obtenu environ 56 % au test SSA.

Microsoft (MSFT ) et Amazon tentent également de créer des chatbots plus flexibles et plus naturels. Microsoft tente de créer un dialogue à plusieurs tours dans les chatbots depuis deux ans, en acquérant Semantic Machines, une startup d’IA, pour améliorer Cortana. Amazon a récemment organisé le défi Alexa Prize, qui a incité les participants à concevoir un bot capable de converser pendant environ 20 minutes.