Facebook створила чат-бота з природною мовою, навченого на 1,5 млрд публікацій Reddit

Facebook (META ) недавно запустила чат-бот відкритої області під назвою “Blender”. За повідомленням BBC, чат-бот Facebook Blender – це найбільший чат-бот відкритої області, створений компанією, і, згідно з компанією, він здатний показувати емпаті, особистість і знання, перевершуючи інші чат-боти і відчувається більш людським. Blender доступний для використання у трьох різних варіантах, кожний з яких має різний рівень складності та моделі. Є модель нейронної мережі з 90 мільйонами параметрів, модель з 2,7 мільярдами параметрів та модель з 9,4 мільярдами параметрів. Модель з 9,4 мільярдами параметрів у близько 3,6 рази більша, ніж найбільший чинний чат-бот.

Facebook заявляє, що Blender – це перший широко доступний чат-бот, який поєднує складний, різноманітний набір розмовних навичок, таких як знання та емпатія. Чат-бот Blender здатний обговорювати різні теми та вести розмову, яка триває до 14 розмовних “поворотів”. Згідно з повідомленнями, близько 49% людей, які взаємодіють з чат-ботом, віддають перевагу взаємодії з ботом, ніж з людиною.

Blender був навчений за допомогою даних, зібраних з публічних розмов на соціальних мережах, таких як Reddit. Набір даних, використаний для навчання Blender, містив близько 1,5 мільярдів прикладів розмов. Хоча дані для навчання та складність моделі дозволили чат-боту вести складні розмови та мати більш природний, людський характер, виникли деякі проблеми внаслідок цього методу навчання. Згідно з повідомленнями дослідників, Blender іноді реагував на розмовні запитання агресивно або з образливою мовою. Крім того, чат-бот іноді відповідав брехнею та вигаданими фактами. Дослідницька команда оптимістично налаштована щодо того, що зміни моделі допоможуть вирішити ці проблеми, але вони вирішили випустити моделі в будь-якому випадку.

За словами представника Facebook, як повідомляє BBC, “випуск моделей є необхідним для отримання повних та надійних даних про їхні можливості”.

Дослідники Facebook ще повинні подолати дві великі проблеми, щоб досягти успіху, згідно з генеральним директором компанії з консалтингу штучного інтелекту The Envisioners Дейвом Чопліном. За словами Чопліна, як повідомляє BBC, дослідники будуть стикатися з великими проблемами у відтворенні багатьох нюансів розмов, які люди часто приймають як належне, і дані, використані для навчання моделі, можуть обмежувати її способами, які дослідники Facebook можуть знайти складними для подолання.

“Хоча Reddit є великою платформою, навчання алгоритмів на основі розмов, які ви знаходитьесь там, дасть вам багато зайвого серед зерна”, – сказав Чоплін.

Facebook провела порівняння між своїм чат-ботом Blender та сучасним чат-ботом Google (GOOGL ) Meena. У пості на блозі Facebook порівняно Blender та Meena, і згідно з даними Facebook близько 75% респондентів, які вели розмову з Blender, сказали, що вони віддають перевагу тривалій розмові з Blender, ніж з Meena. Крім того, близько 67% респондентів заявили, що Blender є більш природнім та людським у тривалих розмовах, ніж Meena.

У майбутньому команда дослідників Facebook хоче покращити розмовні можливості моделей, проектуючи моделі, які можуть підтримувати ще довші розмови за допомогою нових функцій втрат та архітектур. Крім того, дослідники намагаються вирішити проблему гендерної упередженості та потенційно шкідливої мови, створюючи кращі класифікатори та більш репрезентативні навчальні дані.