De nieuwe Meena-chatbot van Google kan verstandige, specifieke gesprekken voeren over bijna alles

Hoe indrukwekkend en nuttig virtuele assistenten zoals Siri, Alexa en Google Assistant ook zijn, hun gespreksvaardigheden zijn doorgaans beperkt tot het ontvangen van bepaalde opdrachten en het geven van vooraf gedefinieerde antwoorden. Bedrijven als Google en Amazon hebben methoden voor AI-training en -ontwikkeling nagestreefd die AI-chatbots robuuster en flexibeler kunnen maken, zodat ze op een veel natuurlijkere manier gesprekken met gebruikers kunnen voeren. Dat meldt DigitalTrends, heeft Google onlangs een paper gepubliceerd demonstreert de mogelijkheden van zijn nieuwe chatbot, genaamd "Meena". Volgens een blogpost van de onderzoekers kan Meena met haar gebruikers in gesprek gaan over zowat elk onderwerp.

Meena is een open-domein chatbot, wat betekent dat hij reageert op de context van het gesprek tot nu toe en zich aanpast aan input om meer natuurlijke antwoorden te geven. De meeste andere chatbots hebben een gesloten domein, wat betekent dat hun reacties zijn gebaseerd op bepaalde ideeën en beperkt zijn tot het uitvoeren van specifieke taken.

Volgens het rapport van Google was de flexibiliteit van Meena het resultaat van een enorme trainingsdataset. Meena is getraind op ongeveer 40 miljard woorden uit conversaties op sociale media en gefilterd op de meest relevante en representatieve woorden. Google probeerde enkele van de problemen op te lossen die bij de meeste stemassistenten voorkomen, zoals de mogelijkheid om onderwerpen en opdrachten af ​​te handelen die zich over meerdere beurten in het gesprek ontvouwen, waarbij de gebruiker aanvullende invoer levert nadat de bot op één invoer heeft gereageerd. Dit betekent dat mannelijke chatbots de gebruiker niet om opheldering kunnen vragen en wanneer er een vraag is die niet kan worden geïnterpreteerd, gaan ze vaak standaard naar webresultaten.

Om dit specifieke probleem aan te pakken, hebben de onderzoekers van Google zijn algoritmen in staat gesteld om de context van het gesprek bij te houden, wat betekent dat het specifieke antwoorden kan genereren. Het model gebruikte een encoder die verwerkt wat er al in het gesprek is gezegd en een decoder die een reactie creëert op basis van de context. Het model is getraind op specifieke en niet-specifieke gegevens. Specifieke gegevens zijn woorden die nauw verband houden met de procedureverklaring. Zoals de Google-post uitlegde:

“Als A bijvoorbeeld zegt: 'Ik hou van tennis', en B antwoordt: 'Dat is leuk', dan moet de uiting worden gemarkeerd met 'niet specifiek'. Dat antwoord kan in tientallen verschillende contexten worden gebruikt. Maar als B antwoordt: 'Ik ook, ik kan geen genoeg krijgen van Roger Federer!', dan wordt het gemarkeerd als 'specifiek' omdat het nauw verband houdt met wat er wordt besproken.

De gegevens die werden gebruikt om het model te trainen, bestonden uit zeven "beurten" in het gesprek. Tijdens de training had het model 2.6 miljard parameters die 341 GB aan tekstgegevens onderzochten op patronen, een dataset die ongeveer 8.5 keer groter was dan de dataset die werd gebruikt om het GPT-2-model te trainen gemaakt door OpenAI.

Google meldde hoe Meena presteerde op de Sensibleness and Specificity Average (SSA) -metriek. De SSA is een statistiek die is ontworpen door Google-onderzoekers en is bedoeld om het vermogen van een gespreksentiteit te kwantificeren om te antwoorden met specifieke, relevante antwoorden terwijl een gesprek gaande is.

SSA-scores worden berekend door een model te testen aan de hand van een vast aantal prompts en het aantal verstandige reacties dat het model geeft, wordt bijgehouden. De score van het model wordt afgeleid op basis van het percentage verstandige/specifieke antwoorden dat het model kon geven met betrekking tot de prompts. Generieke reacties worden bestraft. Volgens Google scoort een gemiddeld persoon ongeveer 86% op de SSA, terwijl Meena 79% kon scoren. Een ander beroemd AI-model, een agent gemaakt door Pandora-bots, won de Loebner-prijs als erkenning voor het feit dat hun AI-bots geavanceerde mensachtige communicatie tot stand brachten. De Pandora Bots-agent behaalde ongeveer 56% in de SSA-test.

Microsoft en Amazon proberen ook meer flexibele en natuurlijke chatbots te maken. Microsoft probeert al twee jaar een multiturn-dialoog in chatbots te creëren, semantische machines verwerven, een AI-startup, om Cortana te verbeteren. Amazon heeft onlangs de Alexa Prize-uitdaging, wat deelnemers ertoe aanzette een bot te ontwerpen die ongeveer 20 minuten kon communiceren.