El nuevo Meena Chatbot de Google puede mantener conversaciones sensatas y específicas sobre casi cualquier cosa

A pesar de lo impresionantes y útiles que son los asistentes virtuales como Siri, Alexa y Google Assistant, sus habilidades de conversación generalmente se limitan a recibir ciertos comandos y dar respuestas predefinidas. Empresas como Google y Amazon han estado buscando métodos de capacitación y desarrollo de IA que puedan hacer que los chatbots de IA sean más robustos y flexibles, capaces de mantener conversaciones con los usuarios de una manera mucho más natural. Según lo informado por DigitalTrends, Google recientemente publicado un documento demostrando las capacidades de su nuevo chatbot, denominado "Meena". Según una publicación de blog de los investigadores, Meena puede entablar una conversación con sus usuarios sobre casi cualquier tema.

Meena es un chatbot de dominio abierto, lo que significa que responde al contexto de la conversación hasta el momento y se adapta a las entradas para ofrecer respuestas más naturales. La mayoría de los otros chatbots son de dominio cerrado, lo que significa que sus respuestas están basadas en ciertas ideas y se limitan a realizar tareas específicas.

Según el informe de Google, la flexibilidad de Meena fue el resultado de un conjunto de datos de entrenamiento masivo. Meena fue entrenada en alrededor de 40 mil millones de palabras extraídas de conversaciones en las redes sociales y filtradas para encontrar las palabras más relevantes y representativas. Google tuvo como objetivo abordar algunos de los problemas que se encuentran en la mayoría de los asistentes de voz, como la capacidad de manejar temas y comandos que se desarrollan en múltiples turnos en la conversación, con el usuario proporcionando entradas adicionales después de que el bot haya respondido a una entrada. Esto significa que los chatbots de hombre no pueden pedir aclaraciones al usuario y cuando hay una consulta que no se puede interpretar, a menudo simplemente usan los resultados web de forma predeterminada.

Para hacer frente a este problema en particular, los investigadores de Google habilitaron sus algoritmos para realizar un seguimiento del contexto de la conversación, lo que significa que puede generar respuestas específicas. El modelo utilizó un codificador que procesa lo que ya se ha dicho en la conversación y un decodificador que crea una respuesta basada en el contexto. El modelo fue entrenado en datos específicos y no específicos. Los datos específicos son palabras que están estrechamente relacionadas con la declaración anterior. Como explica la publicación de Google:

“Por ejemplo, si A dice, 'Me encanta el tenis', y B responde, 'Eso es bueno', entonces el enunciado debe marcarse como 'no específico'. Esa respuesta podría usarse en docenas de contextos diferentes. Pero si B responde, '¡Yo también, no me canso de Roger Federer!', entonces se marca como 'específico' ya que se relaciona estrechamente con lo que se está discutiendo.

Los datos que se usaron para entrenar el modelo consistieron en siete “turnos” en la conversación. Durante el entrenamiento, el modelo tenía 2.6 millones de parámetros que examinaron 341 GB de datos de texto en busca de patrones, un conjunto de datos alrededor de 8.5 veces más grande que el conjunto de datos utilizado para entrenar el modelo GPT-2. creado por OpenAI.

Google informó cómo se desempeñó Meena en la métrica Promedio de sensibilidad y especificidad (SSA). La SSA es una métrica diseñada por los investigadores de Google y su objetivo es cuantificar la capacidad de una entidad conversacional para responder con respuestas específicas y relevantes a medida que avanza una conversación.

Los puntajes de SSA se calculan probando un modelo contra un número fijo de indicaciones, y se realiza un seguimiento del número de respuestas sensatas que da el modelo. La puntuación del modelo se deriva en función del porcentaje de respuestas sensatas/específicas que el modelo pudo dar con respecto a las indicaciones. Las respuestas genéricas son penalizadas. Según Google, una persona promedio obtiene un puntaje de alrededor del 86 % en la SSA, mientras que Meena pudo obtener un puntaje del 79 %. Otro famoso modelo de IA, un agente creado por Robots de Pandora, ganó el Premio Loebner en reconocimiento al hecho de que sus bots de IA lograron una comunicación sofisticada similar a la humana. El agente de Pandora Bots logró aproximadamente un 56 % en la prueba SSA.

Microsoft y Amazon también están tratando de hacer chatbots más flexibles y naturales. Microsoft ha estado intentando crear un diálogo de varios turnos en chatbots durante dos años, adquirir máquinas semánticas, una startup de IA, para mejorar Cortana. Amazon ejecutó recientemente el Reto del Premio Alexa, que incitó a los participantes a diseñar un bot capaz de conversar durante aproximadamente 20 minutos.