Googles nya Meena-chattbot kan ha meningsfulla och specifika samtal om nästan allt

Så imponerande och användbara som virtuella assistenter som Siri, Alexa och Google Assistant är, är deras konversationsförmåga vanligtvis begränsad till att ta emot vissa kommandon och leverera fördefinierade svar. Företag som Google och Amazon (AMZN ) har varit engagerade i metoder för AI-utbildning och utveckling som kan göra AI-chattbotar mer robusta och flexibla, så att de kan föra samtal med användare på ett mycket mer naturligt sätt. Enligt DigitalTrends har Google nyligen publicerat en rapport som visar förmågan hos sin nya chattbot, som kallas “Meena”. Enligt en bloggpost från forskarna kan Meena engagera sig i samtal med användarna om nästan alla ämnen.

Meena är en öppen-domänchattbot, vilket innebär att den svarar på samtalets kontext hittills och anpassar sig till indata för att leverera mer naturliga svar. De flesta andra chattbotar är stängda-domän, vilket innebär att deras svar är tematiska kring vissa idéer och begränsade till att utföra specifika uppgifter.

Enligt Googles rapport var Meenas flexibilitet resultatet av en enorm utbildningsdataset. Meena tränades på cirka 40 miljarder ord som hämtades från sociala medie-samtal och filtrerades för de mest relevanta och representativa orden. Google syftade till att hantera några av de problem som finns i de flesta röstassistenter, såsom förmågan att hantera ämnen och kommandon som utvecklas över flera turordningar i samtalet, med användaren som tillhandahåller ytterligare indata efter att boten har svarat på en indata. Detta innebär att många chattbotar inte kan be användaren om förtydligande och när det finns en fråga som inte kan tolkas, så förlitar de sig ofta till webbresultat.

För att hantera detta specifika problem aktiverade Googles forskare algoritmerna för att spåra samtalets kontext, så att den kan generera specifika svar. Modellen använde en encoder som bearbetar vad som redan har sagts i samtalet och en decoder som skapar ett svar baserat på kontexten. Modellen tränades på specifik och icke-specifik data. Specifik data är ord som är nära relaterade till den föregående uttalandet. Som Google-inlägget förklarar:

“Till exempel, om A säger, ‘Jag älskar tennis,’ och B svarar, ‘Det är trevligt,’ då bör uttalandet markeras som ‘icke-specifikt’. Detta svar kunde användas i dussintals olika sammanhang. Men om B svarar, ‘Jag också, jag kan inte få nog av Roger Federer!’, då markeras det som ‘specifikt’ eftersom det är nära relaterat till vad som diskuteras.

Den data som användes för att träna modellen bestod av sju “turordningar” i samtalet. Under träningen hade modellen 2,6 miljarder parametrar som undersökte 341 GB textdata för mönster, en dataset som var cirka 8,5 gånger större än den dataset som användes för att träna GPT-2-modellen skapad av OpenAI.

Google rapporterade hur Meena presterade på Sensibleness och Specificity Average (SSA)-metriken. SSA är en metric som utvecklats av Google-forskare och som syftar till att kvantifiera en konversationsenhets förmåga att svara med specifika, relevanta svar allteftersom samtalet fortskrider.

SSA-poäng beräknas genom att testa en modell mot ett fast antal utlösare, och antalet meningsfulla svar som modellen ger spåras. Modellens poäng beräknas baserat på procenten meningsfulla/specifika svar som modellen kunde ge i förhållande till utlösarna. Generiska svar bestraffas. Enligt Google får en genomsnittlig person en poäng på cirka 86% på SSA, medan Meena kunde uppnå en poäng på 79%. En annan berömd AI-modell, en agent skapad av Pandora Bots, vann Loebner-priset för att deras AI-botar uppnådde sofistikerad, mänsklig kommunikation. Pandora Bots-agenten uppnådde cirka 56% på SSA-testet.

Microsoft (MSFT ) och Amazon försöker också skapa mer flexibla och naturliga chattbotar. Microsoft har under två år försökt skapa multiturn-samtal i chattbotar, genom att förvärva Semantic Machines, ett AI-startup, för att förbättra Cortana. Amazon nyligen genomförde Alexa Prize-utmaningen, som uppmanade deltagarna att designa en bot som kunde konversera i cirka 20 minuter.