O novo Meena Chatbot do Google pode manter conversas sensatas e específicas sobre quase tudo

Por mais impressionantes e úteis que sejam os assistentes virtuais como Siri, Alexa e Google Assistant, suas habilidades de conversação geralmente se limitam a receber determinados comandos e fornecer respostas predefinidas. Empresas como Google e Amazon vêm buscando métodos de treinamento e desenvolvimento de IA que podem tornar os chatbots de IA mais robustos e flexíveis, capazes de manter conversas com os usuários de maneira muito mais natural. Conforme relatado por DigitalTrends, o Google recentemente publicou um artigo demonstrando as capacidades do seu novo chatbot, apelidado de “Meena”. De acordo com uma postagem no blog Segundo os pesquisadores, o Meena pode conversar com seus usuários sobre praticamente qualquer assunto.

O Meena é um chatbot de domínio aberto, o que significa que ele responde ao contexto da conversa até o momento e se adapta às entradas para fornecer respostas mais naturais. A maioria dos outros chatbots são de domínio fechado, o que significa que suas respostas são baseadas em certas ideias e limitadas à realização de tarefas específicas.

De acordo com o relatório do Google, a flexibilidade de Meena foi resultado de um enorme conjunto de dados de treinamento. Meena foi treinada em cerca de 40 bilhões de palavras extraídas de conversas em redes sociais e filtradas para as palavras mais relevantes e representativas. O Google pretendia lidar com alguns dos problemas encontrados na maioria dos assistentes de voz, como a capacidade de lidar com tópicos e comandos que se desenrolam em vários turnos da conversa, com o usuário fornecendo entradas adicionais após o bot responder a uma entrada. Isso significa que os chatbots do homem são incapazes de solicitar esclarecimentos ao usuário e, quando há uma consulta que não pode ser interpretada, eles geralmente são padronizados para os resultados da web.

Para lidar com esse problema específico, os pesquisadores do Google habilitaram seus algoritmos para rastrear o contexto da conversa, o que significa que ele pode gerar respostas específicas. O modelo utilizou um codificador que processa o que já foi dito na conversa e um decodificador que cria uma resposta com base no contexto. O modelo foi treinado em dados específicos e não específicos. Dados específicos são palavras que estão intimamente relacionadas com a declaração de procedimento. Como a postagem do Google explicou:

“Por exemplo, se A disser 'Adoro tênis' e B responder 'Isso é legal', então o enunciado deve ser marcado como 'não específico'. Essa resposta pode ser usada em dezenas de contextos diferentes. Mas se B responder, 'Eu também, não me canso de Roger Federer!', então isso é marcado como 'específico', uma vez que se relaciona intimamente com o que está sendo discutido.

Os dados usados ​​para treinar o modelo consistiam em sete “vezes” na conversa. Durante o treinamento, o modelo tinha 2.6 bilhões de parâmetros que examinavam 341 GB de dados de texto em busca de padrões, um conjunto de dados cerca de 8.5 vezes maior que o conjunto de dados usado para treinar o modelo GPT-2 criado por OpenAI.

O Google relatou como Meena se saiu na métrica Sensibilidade e Especificidade Média (SSA). O SSA é uma métrica projetada por pesquisadores do Google e destina-se a quantificar a capacidade de uma entidade conversacional responder com respostas específicas e relevantes à medida que a conversa ocorre.

As pontuações SSA são calculadas testando um modelo em relação a um número fixo de prompts, e o número de respostas sensatas fornecidas pelo modelo é rastreado. A pontuação do modelo é derivada com base na porcentagem de respostas sensatas/específicas que o modelo foi capaz de fornecer em relação aos prompts. Respostas genéricas são penalizadas. De acordo com o Google, uma pessoa média pontua cerca de 86% no SSA, enquanto Meena conseguiu uma pontuação de 79%. Outro famoso modelo de IA, um agente criado por Bots Pandora, ganhou o Prêmio Loebner em reconhecimento ao fato de que seus bots de IA alcançaram comunicação sofisticada semelhante à humana. O agente Pandora Bots alcançou aproximadamente 56% no teste SSA.

A Microsoft e a Amazon também estão tentando criar chatbots mais flexíveis e naturais. A Microsoft tem tentado criar um diálogo multiturn em chatbots por dois anos, aquisição de máquinas semânticas, uma startup de IA, para melhorar a Cortana. A Amazon recentemente executou o Desafio Alexa Prize, que levou os participantes a projetar um bot capaz de conversar por aproximadamente 20 minutos.