최근 몇 년 동안, 대규모 언어 모델(LLM)은 인간과 같은 텍스트를 이해하고 생성하는 능력에서 놀라운 발전을 이루었습니다. OpenAI의 GPT와 Anthropic의 Claude를 포함한 이러한 모델은 자연어 처리 작업의 광범위한 영역에서 인상적인 성능을 보여주었습니다. 그러나 다중 단계의 논리적思考을 요구하는 복잡한 推論 작업의 경우, 전통적인 프롬프팅 방법은 종종 부족합니다. 이것이 체인 오브 사고 (CoT) 프롬프팅이 등장하는 곳입니다. 이는 대규모 언어 모델의 推論 능력을 향상시키기 위한 강력한 프롬프트 엔지니어링 기술입니다.

주요 내용

1. CoT 프롬프팅은 중간 단계를 생성하여 推論 능력을 향상시킵니다.
2. 복잡한 문제를 더 작은 하위 문제로 분해합니다.
3. 이점으로는 성능, 해석 가능성, 일반화의 향상이 있습니다.
4. CoT 프롬프팅은 산술, 상식, 기호 推論에 적용됩니다.
5. 다양한 영역에서 AI에 큰 영향을 미칠 수 있습니다.

체인 오브 사고 (CoT) 프롬프팅이란?

체인 오브 사고 프롬프팅은 중간 단계를 생성하여 대규모 언어 모델의 복잡한 推論 작업 성능을 향상시키는 기술입니다. 전통적인 프롬프팅 방법과 달리, 체인 오브 사고 프롬프팅은 언어 모델이 중간 단계를 생성하도록 유도하여 최종答案에 도달합니다.
체인 오브 사고 프롬프팅의 핵심은 언어 모델에 질문이나 문제를 제시하고, 중간 단계를 생성하도록 유도하는 것입니다. 이렇게 하면 언어 모델이 복잡한 推論 작업을 더 효과적으로 처리할 수 있습니다.
체인 오브 사고 프롬프팅의 주요 이점 중 하나는 언어 모델이 복잡한 문제를 더 작은 하위 문제로 분해할 수 있다는 것입니다. 중간 단계를 생성하여 언어 모델은 전체 推論 작업을 더 작은 단계로 나눌 수 있습니다.
체인 오브 사고 프롬프팅은 산술 推論, 상식 推論, 기호 推論 등 다양한 복잡한 推論 작업에서 언어 모델의 성능을 향상시키는 데 성공적으로 적용되었습니다.

Standard vs COT 프롬프팅 (Wei et al., Google Research, Brain Team)

체인 오브 사고 프롬프팅의 작동 원리

체인 오브 사고 프롬프팅은 중간 단계를 생성하여 언어 모델이 推論 과정을 거치도록 유도합니다. 언어 모델에 질문이나 문제를 제시하면, 중간 단계를 생성하여 최종答案에 도달합니다.
이 과정은 언어 모델에 프롬프트를 제시하여 시작합니다. 이 프롬프트는 질문, 문제 문장, 또는 논리적思考을 요구하는 시나리오일 수 있습니다. 언어 모델은 중간 단계를 생성하여 推論 과정을 거칩니다.
중간 단계는 언어 모델이 해결해야 하는 작은 하위 문제를 나타냅니다. 중간 단계를 생성하여 언어 모델은 전체 推論 작업을 더 작은 단계로 나눌 수 있습니다.
언어 모델은 중간 단계를 생성하여 推論 과정을 거칩니다. 각 중간 단계는 이전과 다음 단계에 연결되어 논리적인 推論 과정을 형성합니다.
체인 오브 사고 프롬프팅은 언어 모델의 성능을 향상시키는 데 성공적으로 적용되었습니다. 언어 모델은 중간 단계를 생성하여 복잡한 推論 작업을 더 효과적으로 처리할 수 있습니다.

5-Step COT 프롬프팅 과정