Google’s Nieuwe Meena Chatbot Kan Zinnige, Specifieke Conversaties Voeren Over Bijna Alles

Zo indrukwekkend en nuttig als virtuele assistenten zoals Siri, Alexa en Google Assistant zijn, hun conversatievaardigheden zijn meestal beperkt tot het ontvangen van bepaalde opdrachten en het leveren van vooraf gedefinieerde antwoorden. Bedrijven zoals Google en Amazon hebben methoden van AI-training en -ontwikkeling nagestreefd die AI-chatbots meer robuust en flexibel kunnen maken, zodat ze conversaties met gebruikers op een veel natuurlijkere manier kunnen voeren. Volgens DigitalTrends heeft Google onlangs een paper gepubliceerd waarin de mogelijkheden van zijn nieuwe chatbot, genaamd “Meena”, worden gedemonstreerd. Volgens een blogpost van de onderzoekers kan Meena conversaties voeren met zijn gebruikers over bijna elk onderwerp.

Meena is een open-domein chatbot, wat betekent dat hij reageert op de context van het gesprek tot nu toe en zich aanpast aan invoer om meer natuurlijke antwoorden te geven. De meeste andere chatbots zijn gesloten-domein, wat betekent dat hun antwoorden thematisch zijn rond bepaalde ideeën en beperkt zijn tot het uitvoeren van specifieke taken.

Volgens Google’s rapport was Meena’s flexibiliteit het resultaat van een enorme trainingsdataset. Meena werd getraind op ongeveer 40 miljard woorden die uit sociale media-conversaties zijn gehaald en gefilterd op de meest relevante en representatieve woorden. Google probeerde enkele van de problemen aan te pakken die worden aangetroffen in de meeste spraakassistenten, zoals de mogelijkheid om onderwerpen en opdrachten te behandelen die zich over meerdere beurten in het gesprek ontvouwen, met de gebruiker die extra invoer levert nadat de bot heeft gereageerd op één invoer. Dit betekent dat veel chatbots niet in staat zijn de gebruiker om verduidelijking te vragen en wanneer er een query is die niet kan worden geïnterpreteerd, vallen ze vaak terug op webresultaten.

Om dit specifieke probleem aan te pakken, hebben Google’s onderzoekers hun algoritmes in staat gesteld om de context van het gesprek bij te houden, wat betekent dat het specifieke antwoorden kan genereren. Het model gebruikte een encoder die verwerkt wat er al is gezegd in het gesprek en een decoder die een antwoord creëert op basis van de context. Het model werd getraind op specifieke en niet-specifieke gegevens. Specifieke gegevens zijn woorden die nauw verwant zijn aan de voorgaande verklaring. Zoals de Google-post uitlegt:

“Voorbeeld: als A zegt: ‘Ik hou van tennis’, en B reageert: ‘Dat is leuk’, dan moet de uitspraak worden gemarkeerd als ‘niet specifiek’. Dat antwoord kan in tientallen verschillende contexten worden gebruikt. Maar als B reageert: ‘Ik ook, ik kan niet genoeg krijgen van Roger Federer!’, dan wordt het gemarkeerd als ‘specifiek’ omdat het nauw verwant is aan wat wordt besproken.

De gegevens die werden gebruikt om het model te trainen, bestonden uit zeven “beurten” in het gesprek. Tijdens de training had het model 2,6 miljard parameters die 341 GB aan tekstgegevens onderzochten op patronen, een dataset die ongeveer 8,5 keer groter was dan de dataset die werd gebruikt om het GPT-2-model te trainen gemaakt door OpenAI.

Google rapporteerde hoe Meena presteerde op de Sensibleness and Specificity Average (SSA)-metriek. De SSA is een metriek ontworpen door Google-onderzoekers en is bedoeld om de mogelijkheid van een conversatie-entity te kwantificeren om specifieke, relevante antwoorden te geven als een gesprek voortduurt.

SSA-scores worden berekend door een model te testen tegen een vaste hoeveelheid prompts en het aantal zinnige antwoorden dat het model geeft, wordt bijgehouden. De score van het model wordt afgeleid op basis van het percentage zinnige/specifieke antwoorden dat het model kon geven met betrekking tot de prompts. Algemene antwoorden worden bestraft. Volgens Google scoort een gemiddelde persoon ongeveer 86% op de SSA, terwijl Meena een score van 79% behaalde. Een andere beroemde AI-model, een agent gemaakt door Pandora Bots, won de Loebner Prize vanwege het feit dat hun AI-bots geavanceerde, mensachtige communicatie bereikten. De Pandora Bots-agent behaalde ongeveer 56% in de SSA-test.

Microsoft en Amazon proberen ook meer flexibele en natuurlijke chatbots te maken. Microsoft heeft geprobeerd om multiturn-dialogen in chatbots te creëren voor twee jaar, door Semantic Machines over te nemen, een AI-startup, om Cortana te verbeteren. Amazon heeft onlangs de Alexa Prize-uitdaging uitgevoerd, die deelnemers aanmoedigde om een bot te ontwerpen dat ongeveer 20 minuten kon converseren.