Facebook Creëert Natuurlijk Klinkende Open-Domein Chatbot Getraind Op 1,5 Miljard Reddit Berichten

Facebook (META ) heeft onlangs een open-domein chatbot gelanceerd met de naam “Blender”. Volgens de BBC, is Facebook’s Blender de grootste open-domein chatbot van het bedrijf en kan het volgens het bedrijf empathie, persoonlijkheid en kennis tonen, waardoor het beter presteert en meer menselijk aanvoelt dan andere chatbots. Blender is beschikbaar voor gebruik in drie verschillende varianten, elk met een verschillend niveau van complexiteit en modelverfijning. Er is een 90 miljoen parameter neurale model, een 2,7 miljard parameter model en een 9,4 miljard parameter model. Het 9,4 miljard parameter model is ongeveer 3,6 keer groter dan de grootste bestaande chatbot.

Facebook beweert dat Blender de eerste breed beschikbare chatbot is die een complexe, diverse set van conversatievaardigheden combineert, zoals kennis en empathie. De Blender-chatbot kan over een breed scala aan onderwerpen praten en een conversatie voeren die tot 14 conversatieronden volgt. Volgens rapporten gaven ongeveer 49% van de mensen die met de chatbot interacteerden de voorkeur aan interactie met de bot boven een andere mens.

Blender is getraind met data die zijn verzameld uit openbare domeinconversaties van sociale mediasites zoals Reddit. De dataset die werd gebruikt om Blender te trainen, bevatte ongeveer 1,5 miljard voorbeelden van conversaties. Hoewel de trainingsdata en de verfijning van het model de chatbot in staat stelden om complexe discussies te voeren en een meer natuurlijk, menselijk gevoel te hebben, waren er enkele problemen die zich manifesteerden als gevolg van deze trainingsmethode. Volgens de onderzoekers reageerde Blender soms agressief of met offensieve taal op conversatieprompts. Bovendien reageerde de chatbot soms met leugens en verzonnen feiten. Het onderzoeksteam is optimistisch dat revisies van het model deze problemen zullen aanpakken, maar ze wilden de modellen toch vrijgeven.

Volgens een Facebook-woordvoerder, zoals geciteerd door de BBC, “is het vrijgeven van modellen essentieel om volledige, betrouwbare inzichten in hun mogelijkheden te krijgen”.

De Facebook-onderzoekers zullen nog twee grote uitdagingen moeten overwinnen om succesvol te zijn, volgens de chief executive van de artificial intelligence-consultancy The Envisioners, Dave Choplin. Zoals door de BBC geciteerd, gelooft Choplin dat de onderzoekers grote uitdagingen zullen tegenkomen bij het repliceren van de vele nuances van conversaties die mensen vaak als vanzelfsprekend beschouwen en dat de data die werd gebruikt om het model te trainen het mogelijk in de weg zullen zitten op manieren die Facebook’s onderzoekers moeilijk zullen kunnen overwinnen.

“Als geweldig platform als Reddit is, zal het trainen van algoritmes op basis van de conversaties die je daar vindt, veel kaf tussen het koren opleveren,” zei Choplin.

Facebook maakte vergelijkingen tussen zijn eigen Blender-chatbot en Google’s hedendaagse chatbot met de naam Meena. Facebook’s blogpost toonde vergelijkingen tussen Meena en Blender, en volgens Facebook’s gegevens gaven ongeveer 75% van de respondenten die een conversatie hadden gevoerd met Blender aan dat ze liever een langere discussie zouden hebben met Blender dan met Meena. Bovendien zei ongeveer 67% van de respondenten dat Blender meer natuurlijk en menselijk was dan Meena bij lange conversaties.

In de toekomst wil het Facebook-onderzoeksteam de conversatievaardigheden van de modellen verbeteren, door modellen te ontwerpen die nog langere conversaties kunnen ondersteunen met de hulp van nieuwe verliesfuncties en architectuur. Bovendien willen de onderzoekers genderbias en potentieel schadelijke taal aanpakken door betere classificatoren en meer representatieve trainingsdata te bouwen.