Facebook erstellt klingenden Open-Domain-Chatbot, der mit 1,5 Mrd. Reddit-Beiträgen trainiert wurde

Facebook (META ) hat kürzlich einen Open-Domain-Chatbot namens “Blender” veröffentlicht. Wie die BBC berichtete, ist Facebooks Blender der größte jemals entwickelte Open-Domain-Chatbot und kann laut dem Unternehmen Empathie, Persönlichkeit und Wissen zeigen, was ihn von anderen Chatbots abhebt. Blender ist in drei verschiedenen Varianten verfügbar, jede mit einem unterschiedlichen Komplexitäts- und Modellgrad. Es gibt ein 90-Millionen-Parameter-Neuronales-Modell, ein 2,7-Milliarden-Parameter-Modell und ein 9,4-Milliarden-Parameter-Modell. Das 9,4-Milliarden-Parameter-Modell ist etwa 3,6-mal größer als der größte derzeit existierende Chatbot.

Facebook behauptet, dass Blender der erste weit verbreitete Chatbot ist, der eine komplexe, vielfältige Menge an Gesprächsfähigkeiten wie Wissen und Empathie miteinander verbindet. Der Blender-Chatbot kann eine Vielzahl von Themen diskutieren und ein Gespräch führen, das bis zu 14 Gesprächsrunden umfasst. Laut Berichten bevorzugten etwa 49% der Menschen, die mit dem Chatbot interagierten, es, mit dem Bot statt mit einem anderen Menschen zu sprechen.

Blender wurde mit Daten trainiert, die aus öffentlich zugänglichen Konversationen von sozialen Medien wie Reddit gesammelt wurden. Das Datenset, das zum Trainieren von Blender verwendet wurde, enthielt etwa 1,5 Milliarden Konversationsbeispiele. Während die Trainingsdaten und die Komplexität des Modells es dem Chatbot ermöglichten, komplexe Diskussionen zu führen und ein natürliches, menschliches Gefühl zu vermitteln, gab es einige Probleme, die durch diese Trainingsmethode verursacht wurden. Laut den Forschern reagierte Blender manchmal aggressiv oder mit anstößigen Sprachauf konversationsanfragen. Zusätzlich antwortete der Chatbot gelegentlich mit Falschinformationen und erfundenen Fakten. Das Forschungsteam ist optimistisch, dass Revisionen des Modells diese Probleme lösen werden, aber sie wollten die Modelle dennoch veröffentlichen.

Laut einem Facebook-Sprecher, wie die BBC zitierte, “ist die Veröffentlichung von Modellen unerlässlich, um vollständige und zuverlässige Einblicke in ihre Fähigkeiten zu ermöglichen”.

Die Facebook-Forscher werden noch zwei große Herausforderungen überwinden müssen, um erfolgreich zu sein, laut Dave Choplin, dem CEO der KI-Beratungsfirma The Envisioners. Wie die BBC zitierte, glaubt Choplin, dass die Forscher große Herausforderungen bei der Nachbildung der vielen Nuancen von Gesprächen haben werden, die Menschen oft als selbstverständlich annehmen, und dass die Daten, die zum Trainieren des Modells verwendet wurden, es auf eine Weise behindern könnten, die Facebooks Forschern möglicherweise schwer zu überwinden ist.

“Als großartige Plattform Reddit ist, wird das Trainieren von Algorithmen aufgrund der Konversationen, die man dort findet, viel Spreu unter dem Weizen ergeben”, sagte Choplin.

Facebook verglich seinen eigenen Blender-Chatbot mit dem zeitgenössischen Chatbot von Google (GOOGL ) namens Meena. Facebooks Blog-Beitrag zeigte Vergleiche zwischen Meena und Blender, und laut Facebooks Daten sagten etwa 75% der Befragten, die ein Gespräch mit Blender geführt hatten, dass sie lieber ein längeres Gespräch mit Blender als mit Meena führen würden. Zusätzlich sagten etwa 67% der Befragten, dass Blender natürlicher und menschlicher als Meena bei langen Gesprächen sei.

In der Zukunft will das Facebook-Forschungsteam die Gesprächsfähigkeit der Modelle verbessern, indem es Modelle entwickelt, die noch längere Gespräche mit Hilfe neuer Verlustfunktionen und Architekturen unterstützen können. Darüber hinaus zielen die Forscher darauf ab, Geschlechtervorurteile und potenziell schädliche Sprache zu bekämpfen, indem sie bessere Klassifizierer und repräsentativere Trainingsdaten entwickeln.