페이스북, 15억 개의 Reddit 게시물로 훈련된 자연스러운 오픈 도메인 채팅봇 출시

페이스북은 최근에 “블렌더”라는 오픈 도메인 채팅봇을 출시했습니다. BBC에 따르면, 페이스북의 블렌더는 가장 큰 오픈 도메인 채팅봇이며, 회사에 따르면, 감정, 성격, 지식을 보여주고 다른 채팅봇보다 더 인간적으로 느껴집니다. 블렌더는 사용 가능하며, 세 가지 버전이 있습니다. 각 버전은 서로 다른 복잡도와 모델의 복잡성을 가지고 있습니다. 9,000만 파라미터 신경 모델, 27억 파라미터 모델, 94억 파라미터 모델이 있습니다. 94억 파라미터 모델은 현재 가장 큰 채팅봇보다 약 3.6배 더 큽니다.

페이스북은 블렌더가 지식과 감정과 같은 다양한 대화 스킬을 결합한 첫 번째 대중적으로 사용 가능한 채팅봇이라고 주장합니다. 블렌더 채팅봇은 다양한 주제를 논의하고 14개의 대화 “턴”을 따라갈 수 있습니다. 약 49%의 사람들이 채팅봇과 상호작용했으며, 사람보다 봇과 상호작용하는 것을 선호합니다.

블렌더는 Reddit와 같은 소셜 미디어 사이트에서 수집된 공개 도메인 대화에서 데이터를 사용하여 훈련되었습니다. 블렌더를 훈련하는 데 사용된 데이터 세트에는 약 15억 개의 대화 예가 포함되어 있습니다. 훈련 데이터와 모델의 복잡성이 채팅봇이 복잡한 대화를 수행하고 더 자연스럽고 인간적인 느낌을 주도록 허용했지만, 이 훈련 기술로 인해 일부 문제가 발생했습니다. 연구원에 따르면, 블렌더는 때때로 공격적으로 또는 비방 언어로 응답했습니다. 또한 채팅봇은 가끔 거짓말이나 허구的事実을 말했습니다. 연구 팀은 모델의 수정이 이러한 문제를 해결할 것이라고 낙관적으로 생각하지만, 모델을 출시하기로 결정했습니다.

페이스북 대변인에 따르면, BBC가 인용한 대로, “모델을 출시하는 것은 그들의 능력에 대한 완전한 안정적인 통찰력을 얻을 수 있도록 필수적입니다.”

인공 지능 컨설팅 회사인 The Envisioners의 최고 경영자 인 데이브 초플린(Dave Choplin)에 따르면, 페이스북 연구원들은 두 가지 주요 도전을 극복해야 합니다. BBC가 인용한 대로, 초플린은 연구원들이 인간이 종종 당연하게 여기는 많은 대화의ニュアンス를 복제하는 데 어려움을 겪을 것이라고 믿습니다. 또한 모델을 훈련하는 데 사용된 데이터가 페이스북 연구원들이 극복하기 어려운 방식으로 모델을 억제할 수 있다고 합니다.

“Reddit는 훌륭한 플랫폼이지만, 그곳에서 찾은 대화에 기반한 알고리즘을 훈련시키면 많은 불필요한 데이터가 생길 것입니다.”라고 초플린은 말했다.

페이스북은 자체 블렌더 채팅봇과 구글의 현대적인 채팅봇인 미나(Meena)를 비교했습니다. 페이스북의 블로그 게시물에는 미나와 블렌더의 비교가 표시되어 있으며, 페이스북의 데이터에 따르면, 블렌더와 대화를 나눈 약 75%의 응답자가 미나보다 블렌더와 더 긴 대화를 나누기를 원한다고 말했습니다. 또한 약 67%의 응답자가 블렌더가 긴 대화에서 미나보다 더 자연스럽고 인간적인 것으로 느껴진다고 말했습니다.

미래에, 페이스북 연구 팀은 새로운 손실 함수와 아키텍처의 도움으로 더 긴 대화를 지원할 수 있는 모델을 설계하여 대화 능력을 향상시키고자 합니다. 또한 연구원들은 더 나은 분류기와 더 대표적인 훈련 데이터를 구축하여 성별 편향과 잠재적으로 유해한 언어를 다루고자 합니다.