인공지능의 유추적 추론 능력: 인간 지능에 도전?

유추적 추론, 즉 익숙하지 않은 문제를 해결하기 위해 알려진 문제와 유사성을 찾는 인간의 고유한 능력은 오랫동안 인간의 독특한 인지 기능으로 여겨져 왔다. 그러나 UCLA的心理학자들이 수행한 획기적인 연구는 이러한 생각을 재고하게 하는 설득력 있는 발견을 제시한다.

GPT-3: 인간 지능에 필적하는가?

UCLA 연구진은 OpenAI에서 개발한 AI 언어 모델인 GPT-3가 인간 지능과 거의 같은 수준의 추론 능력을 보인다는 것을 발견했다. 특히 지능 테스트와 표준화된 시험 như SAT와 같은 문제를 해결할 때 이는 대학 신입생과 거의 같은 수준이었다. Nature Human Behaviour에 발표된 이 발견은 흥미로운 질문을 제기한다: GPT-3는 광범위한 언어 훈련 데이터셋으로 인해 인간의 추론을 모방하는 것인지, 아니면 완전히 새로운 인지 프로세스에 접근하는 것인지?
GPT-3의 정확한 작동 메커니즘은 OpenAI에 의해 숨겨져 있기 때문에 UCLA 연구진은 GPT-3의 유추적 추론 능력의 메커니즘에 대해 궁금해한다. GPT-3는 특정 추론 작업에서 훌륭한 성과를 보였지만, 이 도구는 결점이 없다. 연구의 주요 저자이자 UCLA의 박사 후 연구원인 Taylor Webb는 “我们的 발견은 인상적이지만, 이 시스템에는重大한 제한이 있다는 것을 강조하는 것이 중요하다. GPT-3는 유추적 추론을 수행할 수 있지만, 인간에게는 간단한 작업인 물리적 작업을 위한 도구 사용과 같은 작업에 어려움을 겪는다”고 말했다.
GPT-3의 능력을 테스트하기 위해 Raven의 Progressive Matrices와 같은 문제를 사용했다. 이러한 문제는 복잡한 모양의 시퀀스를 포함한다. Webb는 이러한 문제를 GPT-3가 해석할 수 있는 텍스트 형식으로 변환하여, 이러한 문제가 완전히 새로운 도전이 되도록 했다. 40명의 UCLA 대학생과 비교했을 때, GPT-3는 인간의 성과를 따라가며, 인간이犯한 실수도 반영했다. AI 모델은 80%의 문제를 정확하게 해결했으며, 평균 인간 점수를 초과하여 최고의 인간 수행자 범위 내에 들었다.
연구진은 또한 GPT-3의 능력을 테스트하기 위해 출판되지 않은 SAT 유추 문제를 사용했다. AI는 인간 평균을 초과했다. 그러나 짧은 이야기에서 유추를 내리는 작업에서는 약간의 어려움을 겪었지만, 새로운 GPT-4 모델은 개선된 결과를 보였다.

인공지능과 인간 인지의 간극을 메우다

UCLA 연구진은 단순한 비교에 그치지 않고, 인간 인지에 기반한 컴퓨터 모델을 개발하고 있다. 이 모델의 능력을 상업용 AI 모델과 비교하고 있다. UCLA的心理学 교수이자 공동 저자인 Keith Holyoak은 “우리의 심리학적 AI 모델은 GPT-3의 최신 업그레이드 이전까지 유추 문제에서 다른 모델을 능가했다. 그러나 GPT-3의 최신 업그레이드는 우수하거나 동등한 능력을 보였다”고 말했다.
그러나 연구진은 GPT-3가 물리적 공간을 이해하는 작업에서 약점을 보인다는 것을 발견했다. 도구 사용과 관련된 작업에서는 GPT-3의 해결책이 현저하게 부정확했다.
연구의 선임 저자인 Hongjing Lu는 지난 2년 동안 기술이 이루어진 발전, 특히 AI의 추론 능력에 대해 놀라움을 표현했다. 그러나 이러한 모델이真正로 인간처럼 “생각”하는지, 또는 단순히 인간의 생각을 모방하는지 여부는まだ 논쟁의 여지가 있다. AI의 인지 프로세스에 대한 통찰력을 얻기 위해서는 AI 모델의 백엔드에 접근할 필요가 있으며, 이는 AI의 미래 방향을 결정할 수 있을 것이다.
Webb는 “GPT 모델의 백엔드에 접근할 수 있다면, AI와 인지 연구자에게 엄청난 도움이 될 것이다. 현재 우리는 입력과 출력만으로 제한되어 있으며, 우리가 원하는 결정적인 깊이를 缺하고 있다”고 말했다.