Googles nye Meena-chatbot kan holde fornuftige og spesifikke samtaler om nesten hva som helst

Så imponerende og nyttige virtuelle assistenter som Siri, Alexa og Google Assistant er, er deres konversasjonsferdigheter vanligvis begrenset til å motta bestemte kommandoer og levere forhåndsdefinerte svar. Selskaper som Google og Amazon (AMZN ) har vært opptatt av metoder for AI-trening og utvikling som kan gjøre AI-chatboter mer robuste og fleksible, i stand til å føre samtaler med brukerne på en mye mer naturlig måte. Ifølge DigitalTrends, har Google nylig publisert en artikkel som demonstrerer evnene til sin nye chatbot, kalt “Meena”. Ifølge en blogginnlegg fra forskerne, kan Meena engasjere i samtale med brukerne om nesten hva som helst.

Meena er en åpen-domene chatbot, det vil si at den responderer til samtalekonteksten så langt og tilpasser seg innmat til å levere mer naturlige svar. De fleste andre chatboter er lukkede-domene, som betyr at deres svar er tema-basert og begrenset til å utføre bestemte oppgaver.

Ifølge Googles rapport, var Meenas fleksibilitet et resultat av en enorm treningsdatasett. Meena ble trent på rundt 40 milliarder ord hentet fra sosiale medier-samtaler og filtrert for de mest relevante og representative ordene. Google forsøkte å håndtere noen av problemene som finnes i de fleste taleassistenter, som evnen til å håndtere emner og kommandoer som utvikler seg over flere vendinger i samtalen, med brukeren som gir ytterligere innmat etter at boten har svart på ett innmat. Dette betyr at mange chatboter ikke kan be brukeren om klargjøring og når det er et spørsmål som ikke kan tolkes, ofte bare standardiserer til websøk.

For å håndtere dette spesielle problemet, aktiverte Googles forskere algoritmene til å holde konteksten av samtalen, det vil si at den kan generere spesifikke svar. Modellen brukte en encoder som prosesserer hva som allerede er sagt i samtalen og en decoder som skaper et svar basert på konteksten. Modellen ble trent på spesifikke og ikke-spesifikke data. Spesifikke data er ord som er nært relatert til den foregående uttalelsen. Som Googles innlegg forklarer:

“For eksempel, hvis A sier, ‘Jeg elsker tennis,’ og B svarer, ‘Det er fint,’ så skal uttalelsen merkes som ‘ikke spesifik’. Den svaret kan brukes i dusinvis av forskjellige kontekster. Men hvis B svarer, ‘Meg også, jeg kan ikke få nok av Roger Federer!’, så er det merket som ‘spesifik’ siden det er nært relatert til hva som diskuteres.

Datasett som ble brukt til å trene modellen bestod av syv “vendinger” i samtalen. Under trening hadde modellen 2,6 milliarder parametre som undersøkte 341 GB tekstdata for mønster, en datasett rundt 8,5 ganger større enn datasett brukt til å trene GPT-2-modellen laget av OpenAI.

Google rapporterte hvordan Meena fungerte på Sensibleness og Specificity Average (SSA)-metrikken. SSA er en metrikk designet av Google-forskere og er ment å kvantifisere evnen til en konversasjonsentitet til å svare med spesifikke, relevante svar mens samtalen fortsetter.

SSA-poeng blir beregnet ved å teste en modell mot et fast antall promter, og antallet fornuftige svar som modellen gir, blir sporet. Modellens poeng blir avledet basert på prosenten av fornuftige/spesifikke svar modellen var i stand til å gi i forhold til promptene. Generiske svar blir straffet. Ifølge Google, scorer en gjennomsnittsperson rundt 86% på SSA, mens Meena var i stand til å score 79%. En annen berømt AI-modell, en agent laget av Pandora Bots, vant Loebner-prisen i anerkjennelse av at deres AI-boter oppnådde sofistikert menneske-liknende kommunikasjon. Pandora Bots-agenten oppnådde rundt 56% på SSA-testen.

Microsoft (MSFT ) og Amazon prøver også å lage mer fleksible og naturlige chatboter. Microsoft har forsøkt å lage multiturn-samtale i chatboter i to år, ved å kjøpe opp Semantic Machines, en AI-startup, for å forbedre Cortana. Amazon har nylig kjørt Alexa Prize-utfordringen, som oppmuntret deltakere til å designe en bot i stand til å konversere i rundt 20 minutter.