구글, GPT-3와 유사한 쿼리 시스템 제안, 검색 결과 없이 전문가 시스템

구글의 4명의 연구자들이 전문가 시스템을 제안하였는데, 이는 사용자의 질문에 대해 권위적으로 답변을 제공하는 시스템으로, GPT-3와 유사한 Q&A 패러다임을 따릅니다.

연구 논문 《Rethinking Search: Making Experts out of Dilettantes》는 현재의 검색 결과를 목록으로 제공하는 방식이 사용자에게 인지적 부담을 준다고 주장하며, 자연어 처리 시스템(NLP)의 능력을 향상시켜 권위적이고 결정적인 답변을 제공하는 방안을 제시합니다.

제안된 전문가 시스템 모델에서 수천 개의 검색 결과 소스는 언어 모델에 통합되어 사용자에게 제공되는 것이 아니라, 사용자가 평가하고 탐색할 수 있는 탐색 자원으로 제공됩니다. 출처: https://arxiv.org/pdf/2105.02274.pdf

구글 연구소의 도날드 메츠러(Donald Metzler)가 이끄는 연구 논문은 GPT-3와 같은 딥 러닝 오토레그레시브 언어 모델에서 현재 얻을 수 있는 멀티 도메인 오라클 응답의 유형을 개선하는 방안을 제시합니다. 주요 개선 사항은 다음과 같습니다.
– 모델이 응답에 영향을 미친 소스를 정확하게 인용할 수 있는 능력
– 모델이 허구의 응답이나 존재하지 않는 소스를 생성하는 것을 방지하는 능력

멀티 도메인 트레이닝 및 능력

또한, 제안된 언어 모델은 ‘모든 정보 검색 작업을 위한 단일 모델’로 특징지어지며, 이미지와 텍스트를 포함한 다양한 도메인에서 트레이닝됩니다. 또한, 지식의 출처에 대한 이해가 필요합니다. 이는 GPT-3와 같은 아키텍처에서 부족한 능력입니다.

‘인덱스를 단일 통합 모델로 대체하려면 모델 자체가 문서 식별자의 우주에 대한 지식을 갖고 있어야 합니다. 이를 달성하는 한 가지 방법은 전통적인 언어 모델에서 벗어나 공동체 모델로 이동하는 것입니다. 공동체 모델은 용어-용어, 용어-문서, 문서-문서 관계를 공동으로 모델링합니다.’

위의 이미지에서, 사용자 질의에 대한 세 가지 접근 방식이 나타납니다. 왼쪽: 언어 모델은 구글의 알고리즘 검색 결과에서 최고의 답변을 선택하고 우선순위를 정합니다. 중간: GPT-3와 같은 대화식 응답은 권위적으로 말하지만, 주장을 정당화하거나 소스를 인용하지 않습니다. 오른쪽: 제안된 전문가 시스템은 순위 검색 결과에서 최고의 응답을 직접적으로 제공하며, 학술식 주석을 통해 응답에 기여한 소스를 나타냅니다(원본 이미지에는 나타나지 않음).

유독하고 부정확한 결과 제거

연구자들은 검색 인덱스의 동적이고不断 업데이트되는 특성이 이런 종류의 기계 학습 모델을 완전히 복제하는 데 도전이 된다고 지적합니다. 예를 들어, 한 번 신뢰할 수 있는 소스가 모델의 세계 이해에 직접 트레이닝된 경우, 이후에 그 소스가 신뢰할 수 없게 된 경우에 그 영향을 제거하는 것이 더 어려울 수 있습니다. 이는 데이터 개념이 트레이닝 중에 추상화되고 광범위하게 표현될 수 있기 때문입니다.

또한, 이런 모델은 새로운 기사와 출판물에 대한 동일한 수준의 반응성을 제공하기 위해 지속적으로 트레이닝되어야 합니다. 이는 현재의 자유 형식 검색 알고리즘과는 대조적으로, 알고리즘 자체는 일반적으로 빈번하게 업데이트되지 않지만, 가중치와 설정의 소규모 수정이 이루어집니다.

중앙 집중식 전문가 오라클의 공격 표면

새로운 데이터를 지속적으로 통합하고 일반화하는 중앙 집중식 모델은 검색 질의에 대한 공격 표면을 변경할 수 있습니다.

현재, 공격자는 잘못된 정보나 악성 코드를 포함하는 도메인 또는 페이지에 대한 높은 순위를 얻음으로써 이익을 얻을 수 있습니다. 더 불투명한 ‘전문가’ 오라클 아래에서, 사용자를 공격 도메인으로.redirect하는 기회는 줄어들지만, 유독한 데이터 공격의 가능성은 증가합니다.

이는 제안된 시스템이 검색 순위 알고리즘을 제거하지 않고 사용자로부터 숨기기 때문입니다. 즉, 최상위 결과/결과를 자동화하고 didactic 문장으로 통합합니다. 악의적인 사용자는 이미 구글 검색 알고리즘을 조작하여 가짜 제품을 판매하거나, 사용자를 악성 코드가 포함된 도메인으로.redirect하거나, 정치적 조작을 위해 사용했습니다.

AGI가 아님

연구자들은 이런 시스템이 인공 일반 지능(AGI)에 해당하지 않을 것이라고 강조하며, 자연어 처리의 관점에서 보편적인 전문가 응답의 가능성을 논의합니다.

연구 논문은 ‘고품질’ 응답을 위한 다섯 가지 요구 사항을 제시합니다.

1: 권위
현재의 순위 알고리즘과 마찬가지로, ‘권위’는 권위 있는 도메인에서 인용된 것으로 파악됩니다. 연구자들은 다음과 같이 말합니다:

‘응답은 높은 권위의 소스에서 내용을 생성해야 합니다. 이는 용어 시퀀스와 문서 메타데이터 간의 더 명시적인 연결을 설정하는 것이 왜 så 중요하냐면, 코퍼스 내의 모든 문서가 권위성 점수를 갖고 있다면, 모델 트레이닝이나 응답 생성 시에 이를 고려해야 합니다.’

연구자들은 전통적인 SERP 결과가 이런 전문가 오라클이 수행적이고 인기 있을 경우 사용할 수 없게 될 것이라고 제안하지 않습니다. 그러나 전체 논문은 전통적인 순위 시스템과 검색 결과 목록을 ‘수십 년 된’이고 구식의 정보 검색 시스템으로 보입니다.

‘순위가 이 패러다임의 중요한 구성 요소라는 사실은 검색 시스템이 사용자에게 잠재적인 답변의 선택을 제공한다는 것을 의미하며, 이는 사용자에게 상당한 인지적 부담을 줍니다. 답변을 반환하는 대신 순위된 결과 목록을 반환하는 жел함은 질문 응답 시스템을 개발하는 데 동기를 부여한 요소 중 하나입니다.’

2: 투명성
연구자들은 다음과 같이 말합니다:

‘사용자에게 정보를 제공할 때, 정보의 출처를 사용자에게 제공하는 것이 가능하다면 그렇게 해야 합니다. 이것이 주요 정보 소스인가? 그렇지 않으면, 주요 소스는 무엇인가?’

3: 편향성 처리
연구 논문은 사전 트레이닝된 언어 모델이 경험적 진리를 평가하기보다는 데이터의 지배적인 경향을 일반화하고 우선순위를 정하도록 설계되어 있음을 지적합니다. 이는 모델이 공격에 취약하다는 것을 인정하며, 마이크로소프트의 2016년 의도하지 않은 인종차별적 채팅봇과 같은 경우에서 볼 수 있습니다. 또한, 편향된 시스템 응답을 방지하기 위한 보조 시스템이 필요하다고 주장합니다.

4: 다양한 관점 허용
연구 논문은 또한 다양한 관점을 보장하는 메커니즘을 제안합니다:

‘생성된 응답은 다양한 관점을 대표해야 하지만, 극단적이지 않아야 합니다. 예를 들어, 논란의 여지가 있는 주제에 대한 질의에 대해서는 주제의 양쪽 면이 공정하고 균형된 방식으로 다루어져야 합니다. 이는 모델 편향성과 밀접한 관련이 있습니다.’

5: 접근 가능한 언어
권위적인 응답이 다른 언어로 된 경우에 정확한 번역을 제공하는 것 외에도, 연구 논문은 캡슐화된 응답이 ‘가능한 한 단순한 용어’로 작성되어야 한다고 제안합니다.