El nuevo chatbot Meena de Google puede mantener conversaciones sensatas y específicas sobre casi cualquier cosa

Tan impresionantes y útiles como son los asistentes virtuales como Siri, Alexa y Google Assistant, sus habilidades conversacionales suelen limitarse a recibir ciertos comandos y entregar respuestas predefinidas. Empresas como Google y Amazon han estado buscando métodos de entrenamiento y desarrollo de IA que puedan hacer que los chatbots de IA sean más robustos y flexibles, capaces de llevar a cabo conversaciones con los usuarios de una manera mucho más natural. Como informó DigitalTrends, Google acaba de publicar un artículo que demuestra las capacidades de su nuevo chatbot, apodado “Meena”. Según una publicación en el blog de los investigadores, Meena puede participar en conversaciones con sus usuarios sobre casi cualquier tema.

Meena es un chatbot de dominio abierto, lo que significa que responde al contexto de la conversación hasta el momento y se adapta a las entradas para entregar respuestas más naturales. La mayoría de los demás chatbots son de dominio cerrado, lo que significa que sus respuestas están tematizadas alrededor de ciertas ideas y limitadas a realizar tareas específicas.

Según el informe de Google, la flexibilidad de Meena fue el resultado de un conjunto de datos de entrenamiento masivo. Meena se entrenó con alrededor de 40 mil millones de palabras extraídas de conversaciones en las redes sociales y filtradas para obtener las palabras más relevantes y representativas. Google buscaba abordar algunos de los problemas que se encuentran en la mayoría de los asistentes de voz, como la capacidad de manejar temas y comandos que se desarrollan a lo largo de varias vueltas en la conversación, con el usuario que proporciona entradas adicionales después de que el bot ha respondido a una entrada. Esto significa que muchos chatbots no pueden solicitar aclaraciones al usuario y, cuando hay una consulta que no se puede interpretar, a menudo simplemente se defaul a los resultados de la web.

Para abordar este problema en particular, los investigadores de Google habilitaron sus algoritmos para seguir el contexto de la conversación, lo que significa que puede generar respuestas específicas. El modelo utilizó un codificador que procesa lo que ya se ha dicho en la conversación y un decodificador que crea una respuesta en función del contexto. El modelo se entrenó con datos específicos y no específicos. Los datos específicos son palabras que están estrechamente relacionadas con la declaración anterior. Como explicó la publicación de Google:

“Por ejemplo, si A dice: ‘Me encanta el tenis’, y B responde: ‘Eso es genial’, entonces la declaración debe marcarse como ‘no específica’. Esa respuesta podría usarse en docenas de contextos diferentes. Pero si B responde: ‘Yo también, no puedo dejar de pensar en Roger Federer’, entonces se marca como ‘específico’ ya que se relaciona estrechamente con lo que se está discutiendo.

Los datos utilizados para entrenar el modelo consistieron en siete “vueltas” en la conversación. Durante el entrenamiento, el modelo tenía 2,6 mil millones de parámetros que examinaron 341 GB de datos de texto para encontrar patrones, un conjunto de datos alrededor de 8,5 veces más grande que el conjunto de datos utilizado para entrenar el modelo GPT-2 creado por OpenAI.

Google informó cómo Meena se desempeñó en la métrica de Sensatez y Especificidad Promedio (SSA). La SSA es una métrica diseñada por los investigadores de Google y tiene como objetivo cuantificar la capacidad de una entidad conversacional para responder con respuestas específicas y relevantes a medida que avanza la conversación.

Las puntuaciones de SSA se calculan probando un modelo contra un número fijo de solicitudes y se sigue la cantidad de respuestas sensatas que el modelo da. La puntuación del modelo se deriva en función del porcentaje de respuestas sensatas y específicas que el modelo pudo dar con respecto a las solicitudes. Las respuestas genéricas son penalizadas. Según Google, una persona promedio obtiene alrededor del 86% en la SSA, mientras que Meena pudo obtener un 79%. Otro modelo de IA famoso, un agente creado por Pandora Bots, ganó el Premio Loebner en reconocimiento al hecho de que sus bots de IA lograron una comunicación similar a la humana sofisticada. El agente de Pandora Bots obtuvo aproximadamente un 56% en la prueba de SSA.

Microsoft y Amazon también están tratando de crear chatbots más flexibles y naturales. Microsoft ha estado tratando de crear diálogos de varias vueltas en chatbots durante dos años, adquiriendo Semantic Machines, una startup de IA, para mejorar a Cortana. Amazon recientemente realizó el desafío Alexa Prize, que instó a los participantes a diseñar un bot capaz de conversar durante aproximadamente 20 minutos.