연구자들, 컴퓨터를 혼란시키는 질문 세트 개발

메릴랜드 대학교의 연구자들은 사람들이 쉽게 대답할 수 있지만 현재 존재하는 최고의 컴퓨터 시스템이 어려워하는 질문 세트를 만들었다. 팀은 인간-컴퓨터 협력을 통해 질문을 생성했으며 1,200개가 넘는 단어의 데이터베이스를 만들었다. 컴퓨터 시스템이 이러한 질문을 학습하고 마스터한다면, 현재 존재하는 컴퓨터 시스템 중에서 인간 언어를 가장 잘 이해할 수 있을 것이다.

이 연구는 Transactions of the Association for Computational Linguistics 저널에 발표되었다.

UMD의 컴퓨터 과학 부교수이자 논문의 선임 저자인 Jordan Boyd-Gaber는 새로운 개발에 대해 말했다.

“대부분의 질문-대답 컴퓨터 시스템은 왜 그렇게 대답하는지 설명하지 않지만, 우리의 연구는 컴퓨터가 실제로 무엇을 이해하는지 보여준다”라고 그는 말했다. “또한, 우리는 컴퓨터 언어 시스템이 실제로 읽고 인간이 하는 것과 같은 처리를 하는지 테스트할 수 있는 데이터세트를 생성했다.”

현재, 이러한 프로그램과 시스템의 질문은 인간 저자나 컴퓨터에 의해 생성된다. 문제는 인간이 질문을 생성할 때, 컴퓨터에게 혼란을 줄 수 있는 질문의 모든 요소를 인식하지 못한다는 것이다. 컴퓨터 시스템은 수식, 빈칸을 채우는 질문, 또는 오류를 사용하여 무의미한 질문을 생성할 수 있다.

인간과 컴퓨터가 협력하여 질문을 생성할 수 있는 특별한 컴퓨터 인터페이스를 만들기 위해, Boyd-Garber와 연구 팀은 인간이 질문을 입력하는 동안 컴퓨터가 무엇을 “생각”하는지 알 수 있는 인터페이스를 개발했다. 작가는 컴퓨터의 약점에 따라 질문을 편집하고 변경할 수 있다. 이것은 컴퓨터에게 혼란을 줄 수 있다.

작가가 질문을 입력하는 동안, 컴퓨터의 추측은 순위로 표시된다. 컴퓨터의 추측을 responsable한 단어는 강조된다.

시스템은 질문에 정상적으로 대답할 수 있으며, 인터페이스는 대답에 dẫn致한 단어 또는 구를 강조한다. 이러한 정보를 사용하여, 작가는 질문을 편집하여 컴퓨터에게 더 어려운 질문을 만들 수 있지만, 질문의 의미는 동일하게 유지된다. 컴퓨터는 결국 혼란을 겪을 수 있지만, 전문가들은 여전히 대답할 수 있다.

인간과 컴퓨터가 협력하여, 1,213개의 컴퓨터 질문을 개발할 수 있었다. 연구자들은 인간 플레이어와 컴퓨터 사이의 경쟁에서 이러한 질문을 테스트했다. 인간 플레이어는 고등학교 퀴즈 팀과 “Jeopardy!” 챔피언을 포함했다. 가장 약한 인간 팀은 가장 강한 컴퓨터 시스템을 물리칠 수 있었다.

UMD의 컴퓨터 과학 대학원생이자 논문의 공동 저자인 Shi Feng는 새로운 연구에 대해 말했다.

“3년 또는 4년 동안, 사람들은 컴퓨터 질문-대답 시스템이 매우 취약하고 쉽게 속아 넘어갈 수 있다는 것을 알고 있었다”라고 그는 말했다. “하지만 이것은 인간이 시스템 자체를 깨뜨리기 위해 기계를 사용하는 첫 번째 논문이다.”

사용된 질문은 컴퓨터를 혼란시키는 여섯 가지 언어 현상을 드러낼 수 있었다. 두 가지 카테고리가 있다. 첫 번째는 언어 현상으로, 재구성, 방해 언어, 예상치 못한 상황을 포함한다. 두 번째는 추론 능력으로, 논리와 계산, 질문의 요소에 대한 정신적 삼각 측정, 결론을 형성하기 위한 여러 단계의 조합을 포함한다.

“인간은 더 일반화하고 더 깊은 연결을 볼 수 있다”라고 Boyd-Garber는 말했다. “컴퓨터와 같은 무한한 기억력을 갖고 있지 않지만, 여전히 숲을 보는 능력이 있다. 컴퓨터의 문제를 카탈로그하면, 인간이 하는 것과 같은 방식으로 질문에 대답할 수 있도록 컴퓨터를 실제로 만들 수 있다.”

이 연구는 컴퓨터 시스템이 궁극적으로 인간 언어를 마스터할 수 있는 기초를奠한다. 이는 분명히 개발되고 개선될 것이다.

“이 논문은 실제로 컴퓨터가 질문에 잘 대답할 수 있도록 다음 몇 년 동안의 연구 계획을 제시한다”라고 Boyd-Garber는 말했다.