Googles nya Meena-chattbot kan hålla meningsfulla, specifika samtal om nästan allt

Så imponerande och användbara virtuella assistenter som Siri, Alexa och Google Assistant är, så är deras konversationsförmågor vanligtvis begränsade till att ta emot vissa kommandon och leverera fördefinierade svar. Företag som Google och Amazon har eftersträvat metoder för AI-utbildning och utveckling som kan göra AI-chattbotar mer robusta och flexibla, så att de kan föra samtal med användare på ett mycket mer naturligt sätt. Som rapporterats av DigitalTrends, har Google nyligen publicerat en rapport som demonstrerar förmågor hos sin nya chattbot, som kallas “Meena”. Enligt en bloggpost från forskarna, kan Meena engagera sig i samtal med användare om nästan alla ämnen.

Meena är en öppen-domänchattbot, vilket innebär att den svarar på samtalets kontext hittills och anpassar sig till indata för att leverera mer naturliga svar. De flesta andra chattbotar är slutna-domän, vilket innebär att deras svar är tematiska kring vissa idéer och begränsade till att utföra specifika uppgifter.

Enligt Googles rapport var Meenas flexibilitet resultatet av en enorm träningsdataset. Meena tränades på cirka 40 miljarder ord som hämtades från sociala medie-samtal och filtrerades för de mest relevanta och representativa orden. Google syftade till att hantera vissa problem som finns i de flesta röstassistenter, såsom förmågan att hantera ämnen och kommandon som utvecklas över flera omgångar i samtalet, med användaren som tillhandahåller ytterligare indata efter att boten har svarat på en inmatning. Detta innebär att många chattbotar inte kan be användaren om förtydligande och när det finns en fråga som inte kan tolkas, så förlitar de sig ofta bara till webbresultat.

För att hantera detta specifika problem, aktiverade Googles forskare algoritmerna för att hålla reda på samtalets kontext, så att den kan generera specifika svar. Modellen använde en encoder som bearbetar vad som redan har sagts i samtalet och en decoder som skapar ett svar baserat på kontexten. Modellen tränades på specifik och icke-specifik data. Specifik data är ord som är nära relaterade till den föregående uttalandet. Som Google-inlägget förklarade:

“Till exempel, om A säger, ‘Jag älskar tennis,’ och B svarar, ‘Det är trevligt,’ då ska uttalandet markeras som ‘icke-specifikt’. Detta svar kan användas i dussintals olika sammanhang. Men om B svarar, ‘Mig också, jag kan inte få nog av Roger Federer!’, då markeras det som ‘specifikt’ eftersom det relaterar nära till vad som diskuteras.

Datamaterialet som användes för att träna modellen bestod av sju “omgångar” i samtalet. Under träningsprocessen hade modellen 2,6 miljarder parametrar som undersökte 341 GB textdata för mönster, en dataset som var cirka 8,5 gånger större än dataseten som användes för att träna GPT-2-modellen skapad av OpenAI.

Google rapporterade hur Meena presterade på Sensibleness och Specificity Average (SSA)-metriken. SSA är en metric som utvecklats av Google-forskare och som syftar till att kvantifiera en konversationsentitets förmåga att svara med specifika, relevanta svar allteftersom samtalet fortskrider.

SSA-poäng beräknas genom att testa en modell mot ett fast antal prompter, och antalet meningsfulla svar som modellen ger spåras. Modellens poäng beräknas baserat på procentandelen meningsfulla/specifika svar som modellen kunde ge med avseende på prompterna. Generiska svar bestraffas. Enligt Google, får en genomsnittsperson en poäng på cirka 86% på SSA, medan Meena kunde uppnå en poäng på 79%. En annan känd AI-modell, en agent skapad av Pandora Bots, vann Loebner-priset för att deras AI-botar uppnådde sofistikerad, mänsklig kommunikation. Pandora Bots-agenten uppnådde ungefär 56% på SSA-testet.

Microsoft och Amazon försöker också skapa mer flexibla och naturliga chattbotar. Microsoft har försökt skapa multiturn-dialog i chattbotar under två år, förvärvat Semantic Machines, ett AI-startup, för att förbättra Cortana. Amazon nyligen genomförde Alexa Prize-utmaningen, som uppmanade deltagare att utforma en bot som kan föra samtal i ungefär 20 minuter.