Le nouveau chatbot Meena de Google peut tenir des conversations sensées et spécifiques sur presque tout

Aussi impressionnants et utiles que soient les assistants virtuels comme Siri, Alexa et Google Assistant, leurs compétences conversationnelles se limitent généralement à recevoir certaines commandes et à fournir des réponses prédéfinies. Des entreprises comme Google et Amazon ont poursuivi des méthodes de formation et de développement de l'IA qui peuvent rendre les chatbots IA plus robustes et flexibles, capables de mener des conversations avec les utilisateurs de manière beaucoup plus naturelle. Tel que rapporté par DigitalTrends, Google a récemment publié un document démontrant les capacités de son nouveau chatbot, baptisé "Meena". Selon un article de blog des chercheurs, Meena peut engager une conversation avec ses utilisateurs sur à peu près n'importe quel sujet.

Meena est un chatbot à domaine ouvert, ce qui signifie qu'il répond au contexte de la conversation jusqu'à présent et s'adapte aux entrées afin de fournir des réponses plus naturelles. La plupart des autres chatbots sont à domaine fermé, ce qui signifie que leurs réponses sont thématiques autour de certaines idées et limitées à l'accomplissement de tâches spécifiques.

Selon le rapport de Google, la flexibilité de Meena était le résultat d'un ensemble de données de formation massif. Meena a été formée sur environ 40 milliards de mots extraits de conversations sur les réseaux sociaux et filtrés pour les mots les plus pertinents et les plus représentatifs. Google visait à résoudre certains des problèmes rencontrés dans la plupart des assistants vocaux, tels que la capacité à gérer des sujets et des commandes qui se déroulent sur plusieurs tours de conversation, l'utilisateur fournissant des entrées supplémentaires après que le bot a répondu à une entrée. Cela signifie que les chatbots humains ne sont pas en mesure d'inviter l'utilisateur à obtenir des éclaircissements et lorsqu'il y a une requête qui ne peut pas être interprétée, ils se contentent souvent par défaut de résultats Web.

Afin de faire face à ce problème particulier, les chercheurs de Google ont activé ses algorithmes pour garder une trace du contexte de la conversation, ce qui signifie qu'il peut générer des réponses spécifiques. Le modèle utilise un encodeur qui traite ce qui a déjà été dit dans la conversation et un décodeur qui crée une réponse en fonction du contexte. Le modèle a été entraîné sur des données spécifiques et non spécifiques. Les données spécifiques sont des mots qui sont étroitement liés à la déclaration de procédure. Comme l'explique le post de Google :

« Par exemple, si A dit : « J'adore le tennis » et que B répond : « C'est bien », alors l'énoncé doit être marqué, « Pas spécifique ». Cette réponse pourrait être utilisée dans des dizaines de contextes différents. Mais si B répond : "Moi aussi, je ne me lasse pas de Roger Federer !", alors il est marqué comme "spécifique" car il est étroitement lié à ce qui est discuté.

Les données qui ont été utilisées pour former le modèle consistaient en sept "tours" dans la conversation. Pendant la formation, le modèle avait 2.6 milliards de paramètres qui examinaient 341 Go de données textuelles pour les modèles, un ensemble de données environ 8.5 fois plus grand que l'ensemble de données utilisé pour former le modèle GPT-2. créé par OpenAI.

Google a rapporté les performances de Meena au niveau de la métrique de sensibilité et de spécificité moyenne (SSA). Le SSA est une métrique conçue par les chercheurs de Google et destinée à quantifier la capacité d'une entité conversationnelle à répondre avec des réponses spécifiques et pertinentes au fur et à mesure qu'une conversation se poursuit.

Les scores SSA sont calculés en testant un modèle par rapport à un nombre fixe d'invites, et le nombre de réponses sensibles que le modèle donne est suivi. Le score du modèle est dérivé en fonction du pourcentage de réponses sensibles/spécifiques que le modèle a pu donner par rapport aux invites. Les réponses génériques sont pénalisées. Selon Google, une personne moyenne obtient un score d'environ 86 % au SSA, tandis que Meena a pu obtenir un score de 79 %. Un autre célèbre modèle d'IA, un agent créé par Robots de Pandore, ont remporté le prix Loebner en reconnaissance du fait que leurs robots IA ont atteint une communication sophistiquée de type humain. L'agent Pandora Bots a obtenu environ 56 % au test SSA.

Microsoft et Amazon essaient également de rendre les chatbots plus flexibles et naturels. Microsoft tente depuis deux ans de créer un dialogue multitours dans les chatbots, acquérir des machines sémantiques, une startup d'IA, pour améliorer Cortana. Amazon a récemment lancé le Défi du prix Alexa, qui a incité les participants à concevoir un bot capable de converser pendant environ 20 minutes.