Google’s Nieuwe Meena Chatbot Kan Zinnige, Specifieke Conversaties Voeren Over Bijna Alles

Hoewel virtuele assistenten zoals Siri, Alexa en Google Assistant indrukwekkend en nuttig zijn, zijn hun conversatievaardigheden meestal beperkt tot het ontvangen van bepaalde opdrachten en het leveren van vooraf gedefinieerde antwoorden. Bedrijven zoals Google en Amazon (AMZN ) hebben methoden van AI-training en -ontwikkeling nagestreefd om AI-chatbots meer robuust en flexibel te maken, zodat ze conversaties met gebruikers op een veel natuurlijkere manier kunnen voeren. Volgens DigitalTrends heeft Google onlangs een paper gepubliceerd waarin de mogelijkheden van zijn nieuwe chatbot, Meena, worden gedemonstreerd. Volgens een blogpost van de onderzoekers kan Meena conversaties voeren met zijn gebruikers over bijna elk onderwerp.

Meena is een open-domain chatbot, wat betekent dat hij reageert op de context van de conversatie tot nu toe en zich aanpast aan invoer om meer natuurlijke antwoorden te geven. De meeste andere chatbots zijn closed-domain, wat betekent dat hun antwoorden zijn gericht op bepaalde ideeën en beperkt zijn tot het uitvoeren van specifieke taken.

Volgens Google’s rapport was Meena’s flexibiliteit het resultaat van een enorme trainingsdataset. Meena werd getraind op ongeveer 40 miljard woorden die waren afgeleid van sociale media-conversaties en gefilterd op de meest relevante en representatieve woorden. Google probeerde enkele van de problemen aan te pakken die worden aangetroffen in de meeste spraakassistenten, zoals de mogelijkheid om onderwerpen en opdrachten te behandelen die zich over meerdere beurten in de conversatie ontvouwen, met de gebruiker die extra invoer biedt nadat de bot heeft gereageerd op een invoer. Dit betekent dat veel chatbots niet in staat zijn de gebruiker om verduidelijking te vragen en wanneer er een vraag is die niet kan worden geïnterpreteerd, vallen ze vaak terug op webresultaten.

Om dit specifieke probleem aan te pakken, hebben Google’s onderzoekers hun algoritmes zo ingesteld dat ze de context van de conversatie bijhouden, waardoor ze specifieke antwoorden kunnen genereren. Het model gebruikte een encoder die verwerkte wat er al was gezegd in de conversatie en een decoder die een antwoord creëerde op basis van de context. Het model werd getraind op specifieke en niet-specifieke gegevens. Specifieke gegevens zijn woorden die nauw verwant zijn aan de voorgaande verklaring. Zoals de Google-post uitlegt:

“Bijvoorbeeld, als A zegt: ‘Ik hou van tennis’, en B antwoordt: ‘Dat is leuk’, dan moet de uitspraak worden gemarkeerd als ‘niet specifiek’. Dat antwoord kan in tientallen verschillende contexten worden gebruikt. Maar als B antwoordt: ‘Ik ook, ik kan niet genoeg krijgen van Roger Federer!’, dan wordt het gemarkeerd als ‘specifiek’ omdat het nauw verwant is aan wat wordt besproken.

De gegevens die werden gebruikt om het model te trainen, bestonden uit zeven “beurten” in de conversatie. Tijdens de training had het model 2,6 miljard parameters die 341 GB aan tekstgegevens onderzochten op patronen, een dataset die ongeveer 8,5 keer groter was dan de dataset die werd gebruikt om het GPT-2-model gemaakt door OpenAI te trainen.

Google rapporteerde hoe Meena presteerde op de Sensibleness and Specificity Average (SSA)-metriek. De SSA is een metriek ontwikkeld door Google-onderzoekers en is bedoeld om de mogelijkheid van een conversatie-entity te kwantificeren om te reageren met specifieke, relevante antwoorden naarmate de conversatie vordert.

SSA-scores worden berekend door een model te testen tegen een vaste set prompts, en het aantal zinnige antwoorden dat het model geeft, wordt bijgehouden. De score van het model wordt afgeleid op basis van het percentage zinnige/specifieke antwoorden dat het model kon geven met betrekking tot de prompts. Algemene antwoorden worden bestraft. Volgens Google scoort een gemiddelde persoon ongeveer 86% op de SSA, terwijl Meena een score van 79% behaalde. Een andere bekende AI-model, een agent gemaakt door Pandora Bots, won de Loebner Prize als erkenning voor het feit dat hun AI-bots geavanceerde, mensachtige communicatie bereikten. De Pandora Bots-agent behaalde ongeveer 56% op de SSA-test.

Microsoft (MSFT ) en Amazon proberen ook meer flexibele en natuurlijke chatbots te maken. Microsoft heeft twee jaar lang geprobeerd om multiturn-gesprekken in chatbots te creëren, door Semantic Machines, een AI-startup, over te nemen om Cortana te verbeteren. Amazon heeft onlangs de Alexa Prize-uitdaging uitgevoerd, die deelnemers aanspoorde om een bot te ontwerpen dat ongeveer 20 minuten kon converseren.