사상 리더
수학에서 LLM의 실패와 해결 방법
Unite.AI를 Google의 선호 소스에 추가
수학은 항상 AI 모델에게 큰 도전을 제기했습니다. 수학을 마스터하는 것은 복잡한 추론 능력이 필요하며, 이는 AI에게 간단한 일이 아닙니다. 이는 전문적인, 개인적인, 학문적인 성공을 위해 수학적 능력이 중요함에 따라 큰 문제를 야기합니다.
그들의 놀라운 능력에도 불구하고, 대규모 언어 모델(LLM)은 종종 복잡한 수학적 작업에서 어려움을 겪습니다. 예를 들어, 기하학과 같은 작업은 고급 추론 능력이 필요합니다. 이는 중요한 질문을 제기합니다. AI 모델의 수학적 능력은 실제 추론에서 얼마나 비롯되는지, 그리고 훈련 데이터의 단순한 회상에서 얼마나 비롯되는지입니다.
애플의 최근 연구에 따르면, 심지어 초등학교 수학 단어 문제에 초점을 맞춘 경우에도 가장 복잡한 모델은 완전히 “추론”에 의해 구동되지 않는다는 것을 보여줍니다.
이를一步 더 나아가서, MathGPT.ai의 연구 개발 팀은 대수부터 미적분까지의 수학 영역에서 가장 개선이 필요한 분야에 대한 새로운 통찰력을 제공했습니다.
이 데이터는 문제의 맥락과 언어가 다양한 LLM의 성능에 미치는 영향을 조사했습니다. 여기에는 OpenAI의 최신 o1-preview와 o1-mini 모델이 포함되었습니다. 연구 결과는 우려할 만한 경향을 보여주었습니다. 정확도는 일관되게 훈련 데이터의 원래 질문에서 벗어날 때마다 떨어졌으며, 초등학교 수학 수준 이상의 더 어려운 수학적 벤치마크에서 성능이 크게 떨어졌습니다.
회상과 추론의 딜레마
조사는 세 가지 주요 요인을 중점으로 조사했습니다.
- 초등 수학 이상의 더 어려운 수학적 벤치마크 사용
- 테스트 문제와 매우 가까운 “1샷 프롬프트” 탐색
- 추론 시에 동일한 문제에 대한 n번의 시도에 대한 “최선의 n” 전략 구현 – 효과적으로 통계적 이상을 제거하기 위한 다수결 투표
결과는 흥미롭고 우려할 만했습니다. 문제 변형의 경계를 넓히면서, 수학적 방정식이 더 복잡해질수록 AI 모델의 성능이 일관되게 떨어지는 것을 보여주었습니다.
MATH 데이터셋 챌린지
MATH 데이터셋은 고등학교 수준의 문제로 구성되어 있으며, Grade School Math 8K 데이터셋과는 달리 8,500개의 언어적으로 다양한 초등 수준 문제를 포함합니다. MATH 데이터셋은 사전 대수부터 수론까지 다양한 난이도의 문제를 제시하여 모델의 성능을 평가할 수 있습니다. 이 선택은 MathGPT.ai가 다양한 난이도의 모델 성능을 더 잘 조사할 수 있도록 허용했습니다.
테스트에서, 숫자 값과 최종 답변은 변경되지 않았지만, 문제의 언어, 변수 및 맥락을 변경했습니다. 예를 들어, “개의 산책” 시나리오는 “식기세척기” 문제로 변환될 수 있습니다. 이 방법은 MATH 데이터셋의 복잡성을 완화하면서도 모델의 추론 능력을 여전히 도전할 수 있도록 했습니다.
결과 공개
결과는 놀라웠습니다. 가장 발전된 모델조차도 훈련 데이터에 포함된 문제의 변형에 직면했을 때 어려움을 겪었습니다. 예를 들어, o1-mini 모델의 정확도는 원래 질문에서 93.66%에서 가장 어려운 변형에서 88.54%로 떨어졌습니다. o1-preview 모델도 정확도가 91.22%에서 82.93%로 떨어지는 유사한 하락을 경험했습니다. 이는 그들의 견고성에 대한 중요한 간격을 강조하기에 충분한 급격한 하락이었습니다.
이 발견은 애플의 이전 연구와 일치하며, AI의 수학적 추론의 한계가 문제가 더 복잡해지고 더 깊은 이해가 필요한 경우에 더 명확해짐을 보여줍니다.
앞으로의 길
우리가 LLM 추론의 경계를 계속 넓히는 동안, 그들의驚異적인 잠재력과 현재의 한계를 모두 인정하는 것이 중요합니다. 새로운 연구는 더 강력하고 일반화된 문제 해결 능력을 달성하기 위해 AI 모델을 개발하기 위한 지속적인 혁신의 필요성을 강조합니다.
이것은 특히 고등 교육에서 중요합니다. 여기서 AI는 교사의 보조 도구로 더 많이 사용되고 있으며, 수학 학생들이 준비되지 않은 경우 높은 실패율을 보입니다.
인간과 같은 인지 능력 또는 일반 지성을 AI에서 달성하는 것은 기술적인 발전만이 아니라 회상과 실제 추론 사이의 간격을 메우는 방법을 이해하는 데에도 필요합니다.
이 길을 따라 성공한다면, 수백만 명의 학생들과 전문가들의 삶을 완전히 새로운 궤도에 올려놓을 수 있을 것으로 확신합니다.
