Googles nye Meena Chatbot kan føre fornuftige og specifikke samtaler om næsten alt

Så imponerende og nyttige virtuelle assistenter som Siri, Alexa og Google Assistant er, er deres konversationsfærdigheder typisk begrænset til at modtage bestemte kommandoer og levere foruddefinerede svar. Virksomheder som Google og Amazon har været på udkig efter metoder til AI-træning og udvikling, der kan gøre AI-chatbots mere robuste og fleksible, så de kan føre samtaler med brugere på en langt mere naturlig måde. Som rapporteret af DigitalTrends, har Google nylig offentliggjort en rapport, der demonstrerer evnerne af dens nye chatbot, kaldet “Meena”. Ifølge en blogindlæg fra forskerne, kan Meena engagere sig i samtale med brugerne om næsten hvilket emne som helst.

Meena er en open-domain chatbot, hvilket betyder, at den reagerer på samtalekonteksten og tilpasser sig input for at levere mere naturlige svar. De fleste andre chatbots er closed-domain, hvilket betyder, at deres svar er temaområder omkring bestemte ideer og begrænset til at udføre bestemte opgaver.

Ifølge Googles rapport var Meenas fleksibilitet resultatet af en massiv træningsdataset. Meena blev trænet på omkring 40 milliarder ord hentet fra sociale medie-samtaler og filtreret for de mest relevante og repræsentative ord. Google havde til hensigt at tackle nogle af de problemer, der findes i de fleste stemmeassistenter, såsom evnen til at håndtere emner og kommandoer, der udvikler sig over flere omgange i samtalen, hvor brugeren giver yderligere input efter, at bot’en har svaret på én input. Dette betyder, at mange chatbots er ude af stand til at bede brugeren om klarificering, og når der er en forespørgsel, der ikke kan fortolkes, vil de ofte bare gå til webresultater.

For at tackle dette specifikke problem aktiverede Googles forskere algoritmerne til at holde øje med samtalekonteksten, hvilket betyder, at den kan generere specifikke svar. Modellen brugte en encoder, der behandler, hvad der allerede er sagt i samtalen, og en decoder, der opretter et svar baseret på konteksten. Modellen blev trænet på specifik og ikke-specifik data. Specifik data er ord, der er tæt relateret til den foregående udtalelse. Som Google-indlægget forklarede:

“For eksempel, hvis A siger, ‘Jeg elsker tennis,’ og B svarer, ‘Det er rart,’ så skal udtalelsen markeres som ‘ikke specifik’. Det svar kunne bruges i dusinvis af forskellige kontekster. Men hvis B svarer, ‘Mig også, jeg kan ikke få nok af Roger Federer!’, så er det markeret som ‘specifik’, da det relaterer tæt til, hvad der diskuteres.

Data, der blev brugt til at træne modellen, bestod af syv “omgange” i samtalen. Under træningen havde modellen 2,6 milliarder parametre, der undersøgte 341 GB tekstdata for mønstre, en dataset, der var omkring 8,5 gange større end datasettet, der blev brugt til at træne GPT-2-modellen skabt af OpenAI.

Google rapporterede, hvordan Meena opførte sig på Sensibleness og Specificity Average (SSA)-metrikken. SSA er en metrik designet af Google-forskere og er beregnet til at kvantificere evnen af en konversationsentitet til at svare med specifikke, relevante svar, mens samtalen skrider frem.

SSA-scores beregnes ved at teste en model mod en fast mængde prompts, og antallet af fornuftige svar, som modellen giver, spores. Modellens score er afledt på basis af procentdelen af fornuftige/specifikke svar, som modellen var i stand til at give i forhold til prompts. Generiske svar straffes. Ifølge Google scorer en gennemsnitsperson omkring 86% på SSA, mens Meena var i stand til at score 79%. En anden berømt AI-model, en agent skabt af Pandora Bots, vandt Loebner-prisen for anerkendelse af, at deres AI-bots opnåede sofistikeret, menneske-lignende kommunikation. Pandora Bots-agenten opnåede omkring 56% i SSA-testen.

Microsoft og Amazon forsøger også at skabe mere fleksible og naturlige chatbots. Microsoft har forsøgt at skabe multiturn-dialog i chatbots i to år, erhvervet Semantic Machines, en AI-startup, for at forbedre Cortana. Amazon har nylig afholdt Alexa Prize-udfordringen, der opfordrede deltagerne til at designe en bot, der kan føre samtale i omkring 20 minutter.