LLMs Are Not Reasoning—They’re Just Really Good at Planning

대규모 언어 모델(LLMs)인 OpenAI의 o3, Google의 Gemini 2.0, 및 DeepSeek의 R1은 복잡한 문제를 해결하고 인간과 같은 텍스트를 생성하며 코드를 정밀하게 작성하는 데 상당한 진전을 보였다. 이러한 고급 LLMs는 복잡한 문제를 분석하고 해결하는 놀라운 능력으로 인해 종종 “추론 모델”로 언급된다. 그러나 이러한 모델이 실제로 추론을 하는지, 아니면 그냥 계획을 매우 잘하는지에 대한 구별은 미묘하지만 심오하며, 이는 LLMs의 능력과 한계를 이해하는 방식에重大한 영향을 미친다.

이 구별을 이해하기 위해 두 시나리오를 비교해 보자:

• 추론: 범죄를 조사하는 탐정은 충돌하는 증거를 조각조각 맞추고, 어떤 증거가 거짓인지 추론하며, 제한된 증거에 근거하여 결론을 도출해야 한다. 이 과정에는 추론, 모순 해결, 및 추상적思考이 포함된다.
• 계획: 체스 플레이어가 체크메이트를 하기 위한 최상의 이동 순서를 계산한다.

두 과정 모두 여러 단계를 포함하지만, 탐정은 추론, 모순 해결, 및 일반 원칙을 특정 사례에 적용하는 등 깊은 추론을 수행한다. 반면 체스 플레이어는 주로 계획에 참여하여 게임을 이기기 위한 최적의 이동 순서를 선택한다. LLMs는 체스 플레이어와 더 비슷한 방식으로 작동한다.

차이 이해: 추론 대 계획

LLMs가 추론보다는 계획을 잘하는 이유를 알기 위해 먼저 두 용어의 차이를 이해하는 것이 중요하다. 추론은 주어진 전제에서 논리와 추론을 사용하여 새로운 결론을 도출하는 과정이다. 이는 불일치를 식별하고 수정하고, 새로운 통찰력을 생성하는 것보다 단순히 정보를 제공하는 것, 모호한 상황에서 결정을 내리는 것, 및 원인과 결과를 이해하고 반事實思考과 같은 “무엇이 될까?” 시나리오를 포함한다.

계획은 특정 목표를 달성하기 위한 일련의 행동을 구조화하는 것에 중점을 둔다. 이는 복잡한 작업을 더 작은 단계로 나누고, 알려진 문제 해결 전략을 따르고, 이전에 학습한 패턴을 유사한 문제에 적용하며, 구조화된 순서를 따르는 것보다 새로운 통찰력을 도출하는 것을 포함한다. 추론과 계획 모두 단계별 처리를 포함하지만, 추론은 더 깊은 추상화와 추론을 요구하는 반면, 계획은 새로운 지식을 생성하지 않고 확립된 절차를 따른다.

LLMs의 “추론” 접근

최근의 LLMs인 OpenAI의 o3 및 DeepSeek-R1은 문제 해결 능력을 향상시키기 위한 Chain-of-Thought (CoT) 추론 기술을 사용한다. 이 방법은 모델이 문제를 중간 단계로 나누어 논리적으로 생각하는 방식을 모방한다. 이를 어떻게 작동하는지 보려면 간단한 수학 문제를 고려해 보자:

사과를 2달러에 판매하는 가게에서 5개 이상 사면 사과당 1달러 할인해준다면, 7개의 사과는 얼마일까?

CoT 프롬프트를 사용하는 일반적인 LLM은 다음과 같이 문제를 해결할 수 있다:

1. 정규 가격을 결정한다: 7 * $2 = $14.
2. 할인이 적용되는지 확인한다(7 > 5).
3. 할인을 계산한다: 7 * $1 = $7.
4. 총액에서 할인을 뺀다: $14 – $7 = $7.

명시적인 단계별 분해로 모델은 한 번에 답을 예측하려고 시도하는 것에서 발생하는 오류의 가능성을 최소화한다. 이러한 단계별 분해로 LLMs가 추론하는 것처럼 보이지만, 이는 본질적으로 구조화된 문제 해결의 한 형태이다. 반면에真正한 추론 과정은 일반적인 규칙을 인식할 수 있다: 5개 이상의 사과에 대한 할인은 각 사과당 1달러이다. 인간은 이러한 규칙을 즉시 추론할 수 있지만, LLMs는 구조화된 계산 순서만 따른다.

Chain-of-Thought는 추론이 아니라 계획

Chain-of-Thought (CoT)는 수학 단어 문제 및 코딩 과제와 같은 논리 지향적인 작업에서 LLMs의 성능을 향상시켰지만, 이는真正한 논리적 추론을 포함하지 않는다. 이는 CoT가 절차적 지식을 따르고, 구조화된 단계에 의존하며, 새로운 통찰력을 생성하는 것이 아니라, 원인과 결과를 이해하고, 추상적 관계를 이해하는 것을 포함하지 않기 때문이다. 또한 CoT는 본질적으로 새로운 패턴을 생성할 수 없으며, 이전에 학습한 패턴을 벗어난 시나리오에서 적응할 수 없다.

LLMs가真正한 추론 기계가 되기 위한 조건

LLMs가真正로 인간처럼 추론하기 위해서는 무엇이 필요한가? 다음과 같은 주요 영역에서 개선이 필요하다:

1. 기호적 이해: 인간은 추상적인 기호와 관계를 조작하여 추론한다. 그러나 LLMs는真正한 기호적 추론 메커니즘을缺하고 있다. 기호적 AI 또는 신경망과 형식적 논리 시스템을 결합한 하이브리드 모델을 통합하면 추론 능력을 향상시킬 수 있다.
2. 인과적 추론:真正한 추론을 위해서는 인과관계를 이해하는 것이 필요하다. 통계적 상관관계가 아니라, 데이터에서 기본 원리를 추론하는 모델이 필요하다. 인과적 AI에 대한 연구는 LLMs가 계획에서 추론으로 전환하는 데 도움이 될 수 있다.
3. 자기 반성 및 메타인지: 인간은 자신의 생각 과정을 평가한다. “이 결론이 합理적합니까?”라고 묻는다. LLMs는 자신의 출력을 비판적으로 평가할 수 있는 메커니즘이 없다. 자신의 출력을 평가할 수 있는 모델을 구축하면真正한 추론으로의 단계가 될 수 있다.
4. 상식 및 직관: LLMs는大量의 지식에 접근할 수 있지만, 기본적인 상식적 추론에 어려움을 겪는다. 이는 실제 세계의 경험을 통해 직관을 형성하지 못하기 때문이다. 또한 실제 세계의 역동성을 의사 결정에 통합할 수 없다. 이러한 문제를 해결하는 한 가지 방법은 실제 세계의 감각 입력을 통합하거나 지식 그래프를 사용하여 모델이 인간과 같은 방식으로 세계를 이해하도록 하는 것이다.
5. 반事實思考: 인간의 추론은 “무엇이 될까?”라는 질문을 포함한다. LLMs는 이러한 종류의 “무엇이 될까?” 시나리오에서 어려움을 겪는다. 이는 데이터에 의해 제한되기 때문이다. 모델이 인간과 같은 방식으로 이러한 상황에서 생각하기 위해서는 가상 시나리오를 시뮬레이션하고 변수의 변경이 결과에 미치는 영향을 이해해야 한다. 또한 다양한 가능성을 테스트하고 새로운 통찰력을 생성해야 한다. 이러한 능력이 없으면, LLMs는真正한 대안적인 미래를 상상할 수 없다. 오직 학습한 데이터에基づいて 예측할 수 있다.

결론

LLMs는 추론하는 것처럼 보일 수 있지만, 실제로는 계획 기술을 사용하여 복잡한 문제를 해결한다. 수학 문제를 해결하거나 논리적 추론에 참여하는 경우, 구조화된 패턴을 조직하는 것보다 원리들을 깊이 이해하지 않는다. 이는 AI 연구에서 중요한 구별이다. 만약 우리는 정교한 계획을真正한 추론으로 착각한다면, 우리는 AI의真正한 능력을 과대평가할 수 있다.

真正한 추론 AI를 개발하기 위한 길은 토큰 예측 및 확률적 계획을 넘어서서 기본적인 진전이 필요하다. 기호적 논리, 인과적 이해, 및 메타인지에 대한 돌파구가 필요하다. 그 때까지 LLMs는 구조화된 문제 해결을 위한 강력한 도구로 남을 것이지만,真正로 인간과 같은 방식으로 생각하지는 않을 것이다.