AI가 시험에서 부정행위를 하는 것을 막는 어려움

중국 대학의 새로운 연구 결과는 GPT-3와 같은 생성 자연어 처리 모델이 어려운 질문에 대해 ‘부정행위’하는 이유를 설명합니다. 이러한 모델은 기술적으로 올바른 답변을 생성하지만, 왜 그런 答案이 올바른지에 대한 실제 이해는 없습니다. 또한 이러한 모델은 자신의 ‘쉬운’ 답변의 논리를 설명하는 능력이 거의 없거나 전혀 없습니다. 연구자들은 이러한 시스템을 더 잘 훈련시키기 위한 새로운 방법을 제안했습니다.

문제는 두 가지입니다. 첫째, 우리는 빠르고 최적의 자원 사용으로 결과를 얻으려는 시스템을 설계합니다. GPT-3와 같은 경우에라도, 평균적인 NLP 연구 프로젝트보다 훨씬 더 많은 자원을 사용하지만, 결과 중심의 최적화 문화는 여전히 방법론을 지배합니다. 이는 학술 규범에 의해 지배되기 때문입니다.

따라서, 우리의 훈련 아키텍처는 질문에 대한 명확한 답변을 제공하는 모델을奖励합니다. 그러나 이러한 모델은 이후에 자신의 답변을 정당화하거나, 어떻게 그 결론에 도달했는지 설명할 수 없습니다.

초기 부정행위 성향

이러한 모델은 훈련 초기에 ‘단축 응답’을 배우기 때문에 이러한 현상이 발생합니다. 이러한 단축 응답은 더 복잡한 지식 습득보다 먼저 학습됩니다. 정확도가 향상되면, 모델은 실제 통찰력 없이 ‘쉽게’ 답변할 수 있는 접근 방식을 우선시합니다.

단축 학습은 훈련 초기에 성공을 가져오기 때문에, 모델은 더 어려운 과제인 유용한 지식과 더 깊은 이해를 얻는 것을 피하게 됩니다.

AI에 ‘쉬운’ 답변 제공

두 번째 문제는 최근 연구에서 AI의 이러한 부정행위를 연구하고, ‘단축’ 현상을 식별했지만, 아직까지는 이러한 단축을 가능하게 하는 데이터를 분류하지 않았습니다. 이는 기계 독해 이해(MRC) 시스템의 기본적인 구조적 결함을 해결하는 첫 번째 단계입니다.

新的 연구에서는 언어 모델을 새로운 데이터셋에 테스트합니다. 이 데이터셋은 ‘쉬운’과 ‘어려운’ 답변을 분류합니다.

출처: https://arxiv.org/pdf/2106.01024.pdf

데이터셋은 더 복잡한 답변을 위해 문장의 의미를 이해하는 능력이 필요한 반면, ‘단축’ 답변은 날짜나 키워드와 같은 단어를 사용하여 사실적으로 정확한 답변을 생성할 수 있습니다.

단축 구성 요소는 질문 단어 일치(QWM)와 단순 일치(SpM)를 특징으로 합니다. QWM에서는 모델이 제공된 텍스트 데이터에서 엔티티를 추출하고, SpM에서는 모델이 답변 문장과 질문 사이의 중복을 식별합니다.

데이터셋에서 거의 ‘바이러스’와 같은 단축 데이터의 영향

연구자들은 데이터셋이 많은 단축 질문을 포함하고 있기 때문에, 훈련된 모델이 이러한 단축 트릭에 의존하게 된다고 주장합니다.

실험에서 사용된 두 모델은 BiDAF와 Google의 BERT-base입니다. 연구자들은 두 모델이 더 어려운 질문보다 단축 질문에서 더 잘 수행된다고 관찰합니다.

이러한 단축 데이터는 바이러스와 같은 영향을 미치기 때문에, 데이터셋에 매우 적은 양의 단축 데이터만 있어도, 모델은 이러한 단축 트릭을 채택하고, 우선시하게 됩니다.

부정행위 증명

연구에서 사용된 방법 중 하나는 ‘쉬운’ 엔티티 단어를異常한 단어로 대체하여, 모델이 실제로 이해를 기반으로 답변을 생성했는지 확인하는 것입니다.

베이욘스를 미국으로 대체하여, 모델이 실제로 논리를 이해하고 있는지 확인합니다.

경제적 필연성으로 인한 단축

연구자들은 이러한 단축이 우선시되는 이유 중 하나는 MRC 모델이 이러한 단축 트릭을 배우는 데 필요한 계산 자원이 더 적기 때문이라고 주장합니다.

이러한 단축 트릭은 더 복잡한 과제를 해결하는 것보다 더 적은 자원으로 배울 수 있습니다. 따라서, 모델은 이러한 단축 트릭을 배우고, 우선시하게 됩니다.

연구자들은 또한 “[단축 트릭을 사용하여 대부분의 훈련 질문에 대한 답변을 생성할 수 있기 때문에, 모델은 더 복잡한 과제를 해결하는 데 필요한 자원을 사용하지 않습니다.”라고 주장합니다.

이러한 연구 결과가 이후 확인된다면, 데이터 전처리 분야는 이러한 ‘숨겨진 단축’을 문제로 해결해야 하거나, 더 어려운 데이터 처리 루틴을 우선시하는 NLP 아키텍처를 수정해야 할 것입니다.