Facebook skaber naturlig lydende åben-domæne chatbot trænet på 1,5 mia. Reddit-indlæg

Facebook (META ) har nylig lanceret en åben-domæne chatbot kaldet “Blender”. Ifølge BBC er Facebooks Blender dens største nogensinde åben-domæne chatbot, og ifølge virksomheden kan den vise empati, personlighed og viden, og overgår og føles mere menneskeligt end andre chatbots. Blender er tilgængelig for brug i tre forskellige varianter, hver med et forskelligt niveau af kompleksitet og model-sophistication. Der er en 90 million parameter neural model, en 2,7 milliard parameter model og en 9,4 milliard parameter model. 9,4 milliard parameter modellen er ca. 3,6 gange større end den største eksisterende chatbot.

Facebook hævder, at Blender er den første bredt tilgængelige chatbot, der kombinerer en kompleks, divers samling af konversationsfærdigheder som viden og empati. Blender chatbot kan diskutere en række emner og føre en konversation, der sporer op til 14 konversations-“omdrejninger”. Ifølge rapporten foretrak ca. 49% af personerne, der interagerede med chatbot’en, at interagere med bot’en i stedet for et andet menneske.

Blender blev trænet ved hjælp af data indsamlet fra offentlige domæne-konversationer indsamlet fra sociale medie-sites som Reddit. Datamængden, der blev brugt til at træne Blender, omfattede ca. 1,5 milliarder eksempler på konversationer. Mens træningsdata og model-sophisticationen enablede chatbot’en til at føre komplekse diskussioner og have en mere naturlig, menneske-lignende følelse, var der nogle problemer, dermanifestede sig som følge af denne træningsteknik. Ifølge forskerne svarede Blender nogen gange aggressivt eller med stødende sprog på konversations-prompts. Derudover svarede chatbot’en lejlighedsvis med usandheder og opdigtede fakta. Forskningsholdet er optimistisk om, at revisioner af modellen vil løse disse problemer, men de ønskede at udgive modellerne alligevel.

Ifølge en Facebook-talsperson, citeret af BBC, “at udgive modeller er essentiel for at aktivere fulde, pålidelige indsigt i deres evner”.

Facebook-forskerne skal stadig overvinde to store udfordringer for at være succesfulde, ifølge den administrative direktør for kunstig intelligens-konsulenten The Envisioners, Dave Choplin. Ifølge BBC mener Choplin, at forskerne vil stå over for store udfordringer i at genskabe de mange nuancer i konversationer, som mennesker ofte tager for givet, og at data, der blev brugt til at træne modellen, kan hæmme den på måder, som Facebooks forskere kan finde vanskeligt at overvinde.

“Som stor en platform, som Reddit er, vil træning af algoritmer baseret på konversationerne, du finder der, give dig meget afkast blandet med kornet,” sagde Choplin.

Facebook gjorde sammenligninger mellem sin egen Blender chatbot og Googles samtale-chatbot kaldet Meena. Facebooks blogindlæg viste sammenligninger mellem Meena og Blender, og ifølge Facebooks data sagde ca. 75% af respondentende, der havde ført en konversation med Blender, at de ville foretrække at have en forlænget diskussion med Blender fremfor Meena. Derudover sagde ca. 67% af respondentende, at Blender var mere naturlig og menneske-lignende end Meena, når det kom til lange konversationer.

I fremtiden ønsker Facebooks forskningshold at forbedre konversations-evnen hos modellerne, ved at designe modeller, der kan understøtte endnu længere konversationer med hjælp af nye tab-funktioner og arkitekturer. Derudover sigter forskerne efter at tackle kønsbias og potentielt skadeligt sprog ved at bygge bedre klassificatorer og mere repræsentative træningsdata.