Facebook lager en naturlig lydende åpen-domene chatbot trent på 1,5 milliarder Reddit-innlegg

Facebook (META ) har nylig lansert en åpen-domene chatbot kalt “Blender”. Ifølge BBC, er Facebooks Blender deres største noen gang åpen-domene chatbot, og ifølge selskapet, kan den vise empati, personlighet og kunnskap, og overgår og føles mer menneskelig enn andre chatboter. Blender er tilgjengelig for bruk i tre forskjellige varianter, hver med et forskjellig nivå av kompleksitet og modell-sophistikasjon. Det finnes en 90 millioner parameter neural modell, en 2,7 milliarder parameter modell og en 9,4 milliarder parameter modell. 9,4 milliarder parameter modellen er omtrent 3,6 ganger større enn den største eksisterende chatboten.

Facebook hevder at Blender er den første bredt tilgjengelige chatboten som kombinerer en kompleks, diversifisert sett av konversasjonelle ferdigheter som kunnskap og empati. Blender-chatboten kan diskutere en rekke emner og føre en konversasjon som sporer opp til 14 konversasjonelle “omgang”. Ifølge rapporter, foretrakk omtrent 49% av personene som interagerte med chatboten å interagere med boten i stedet for et annet menneske.

Blender ble trent ved hjelp av data samlet fra offentlige domene-konversasjoner samlet fra sosiale medier som Reddit. Datamengden som ble brukt til å trene Blender inkluderte omtrent 1,5 milliarder eksempler på konversasjoner. Mens treningdataene og modellens sofistikasjon gjorde det mulig for chatboten å føre komplekse diskusjoner og ha en mer naturlig, menneske-lignende følelse, var det noen problemer som manifesterte seg som et resultat av denne treningsmetoden. Ifølge forskerne, svarte Blender noen ganger aggressivt eller med støtende språk på konversasjonelle prompter. I tillegg svarte chatboten noen ganger med usannheter og oppdiktet fakta. Forskningsgruppen er optimistisk om at revisjoner av modellen vil løse disse problemene, men de ønsket å utgi modellene likevel.

Ifølge en Facebook-talsperson, som sitert av BBC, “å utgi modeller er essensielt for å aktivere fullstendige og pålitelige innsikter i deres evner”.

Facebook-forskerne må fortsatt overvinne to store utfordringer for å være suksessfulle, ifølge sjefen for kunstig intelligens-konsulenttjenesten The Envisioners, Dave Choplin. Ifølge BBC, mener Choplin at forskerne vil møte store utfordringer i å gjenskape de mange nyansene i konversasjoner som mennesker ofte tar for gitt, og at dataene som ble brukt til å trene modellen kan hemme den på måter som Facebooks forskere kan finne vanskelig å overvinne.

“Så god en plattform som Reddit er, å trene algoritmer basert på konversasjonene du finner der, vil gi deg mye ugress blant kornet,” sa Choplin.

Facebook gjorde sammenligninger mellom sin egen Blender-chatbot og Googles samtids chatbot kalt Meena. Facebooks blogginnlegg viste sammenligninger mellom Meena og Blender, og ifølge Facebooks data sa omtrent 75% av respondentene som hadde ført en konversasjon med Blender at de foretrakk å ha en lengre diskusjon med Blender enn Meena. I tillegg sa omtrent 67% av respondentene at Blender var mer naturlig og menneske-lignende enn Meena når det kom til lange konversasjoner.

I fremtiden ønsker Facebook-forskningsgruppen å forbedre konversasjons-evnen til modellene, ved å designe modeller som kan støtte enda lengre konversasjoner med hjelp av nye tap-funksjoner og arkitekturer. I tillegg søker forskerne å løse kjønnsbias og potensielt skadelig språk ved å bygge bedre klassifiserere og mer representative treningdata.