GPT-3 및 기타 복잡한 언어 모델에서 ‘환각’을 방지하는 방법

‘가짜 뉴스’의 특징은 사실적으로 정확한 정보의 맥락에서 거짓 정보를 자주 제시하며, 거짓 데이터는 문학적 오스모시스라는 방식으로 권위를 얻는다는 점입니다. 이는 반-truths의 힘이라는 점을令人不安하게 보여줍니다.

고급 자연어 처리(NLP) 모델인 GPT-3도 이러한 종류의 속임수 데이터를 ‘환각’하는 경향이 있습니다. 이는 언어 모델이 긴 텍스트를 재구성하고 요약하는 기능이 필요하지만, 이벤트와 사실을 정의하고 캡슐화하여 의미적 재구성의 과정에서 보호할 수 있는 구조적 제약이 없기 때문입니다.

따라서 사실은 NLP 모델에게 신성하지 않습니다. 특히 복잡한 문법이나 미묘한 출처 자료로 인해 언어 구조에서 별개의 엔티티를 분리하기 어려울 때, 의미적 레고 블록으로 취급될 수 있습니다.

이 문제는 텍스트 기반 기계 학습에서 컴퓨터 비전 연구로 넘어가며, 특히 의미적 차별을 이용하여 객체를 식별하거나 설명하는 분야에서 더욱 두드러집니다.

GPT-3의 경우, 이미 처리한 주제에 대해 반복적으로 질문을 받으면 답을 찾지 못할 수 있습니다. 최선의 경우, 패배를 인정할 것입니다.

다빈치와 다빈치 인스트럭트(베타) 모델은 이러한 문제에서 다른 GPT-3 모델보다 나은 성능을 보입니다. 그러나 커리 모델은 잘못된 답변을 주고, 바바지 모델은 잘못된 답변에 대해 자신감을 가지고 확장합니다.

아이젠하워가 결코 말하지 않은 것

GPT-3 다빈치 인스트럭트 엔진에 아이젠하워의 유명한 인용문을 요청하면, 인용문을 찾지 못하고不存在한 인용문을 발명해냅니다.

만약 GPT-3가 일관되게 잘못된 인용문을 제공한다면, 이러한 환각을 프로그램적으로 쉽게 식별할 수 있을 것입니다. 그러나 인용문이 유명하고 확산된 경우, GPT-3는 인용문을 올바르게 찾을 가능성이 더 높습니다.

환각을 경제적으로 해결하는 방법

환각은 고급 NLP 모델을 연구 도구로 채택하는 데 있어 주목할만한 장애물입니다. 특히 이러한 엔진의 출력은 원본 자료에서高度抽象化되어 있으므로, 인용문과 사실의 진실성을 검증하는 것이 문제가 됩니다.

환각 콘텐츠를 식별하고 생성하는 방법

카네기 멜런 대학교와 페이스북 AI 연구소의 새로운 협력은 환각 문제에 대한 새로운 접근법을 제시합니다. 환각 출력을 식별하고 합성 환각 텍스트를 생성하여 향후 필터와 메커니즘을 개발하는 데 사용할 수 있는 데이터세트를 만드는 방법입니다.

이 시스템은事前 학습된 디노이징 오토인코더를 사용하여 환각 문자열을 원본 텍스트로 매핑할 수 있습니다. 페이스북의 BART 오토인코더 모델을 사용하여 오류가 있는 문장을 생성합니다.

과적합을 해결하는 방법

과적합을 피하고 광범위하게 배포 가능한 아키텍처를 개발하기 위해, 연구자들은 프로세스에서 토큰을 무작위로 삭제하고, 재구성 및 기타 노이즈 함수를 사용했습니다.

기계 번역도 이 혼란 과정의 일부입니다. 텍스트를 언어로 번역하면 의미를 강력하게 보존하고 과적합을 방지할 수 있습니다. 따라서 이 프로젝트에서는 이중 언어 사용자들이 수동으로 주석을 달아 환각을 식별했습니다.

이 프로젝트는 여러 표준 섹터 테스트에서 새로운 최고 성적을 달성했으며, 1,000만 토큰을 초과하는 데이터에서 수용 가능한 결과를 달성한 최초의 프로젝트입니다.

Detecting Hallucinated Content in Conditional Neural Sequence Generation이라는 프로젝트의 코드는 깃허브에 공개되어 있으며, 사용자는 BART를 사용하여任意 텍스트 코퍼스에서 합성 데이터를 생성할 수 있습니다. 또한 환각検出 모델을 생성하기 위한 준비가 되어 있습니다.