유사성 및 후퇴 프롬프팅: 구글 딥마인드의 최근 발전을 탐구

소개

프롬프팅 엔지니어링은 대규모 언어 모델(LLM)과 같은 GPT-4를 원하는 응답을 생성하도록 안내하는 효과적인 프롬프팅을 개발하는 것을 중점으로 합니다. 잘 짜여진 프롬프팅은 모호하거나 부정확한 응답과 정확하고 통찰력 있는 응답을 구분하는 데 결정적인 역할을 합니다.

인공 지능의 더广い 생태계에서 프롬프팅 엔지니어링은 언어 모델에서 더 정확하고 맥락적으로 관련된 정보를 추출하기 위해 사용되는 여러 방법 중 하나입니다. 다른 방법으로는 모델에 몇 가지 예를 제공하여 작업을 이해하도록 도와주는 few-shot learning과 모델을 더 작은 데이터셋으로 추가로 훈련하여 응답을 전문화하는 fine-tuning이 있습니다.

구글 딥마인드는 최근 프롬프팅 엔지니어링의 잠재력을 강화하는 두 가지 논문을 발표했습니다.

이 논문들은 언어 모델과 어떻게 더 잘 소통할 수 있는지에 대한 탐구의 일부로, 프롬프팅을 구조화하고 데이터베이스 상호작용을 개선하기 위한 새로운 통찰력을 제공합니다.

이 기사는 이러한 연구 논문의 세부 사항을 살펴보며, 제시된 기술의 개념, 방법론, 그리고 의미를 설명하여 AI와 NLP에 대한 지식이 제한적인 독자들도 이해할 수 있도록 합니다.

논문 1: 대규모 언어 모델을 유사성 추론자로

첫 번째 논문인 “대규모 언어 모델을 유사성 추론자로”는 새로운 프롬프팅 접근 방식인 유사성 프롬프팅을 소개합니다. 저자 미치히로 야스나가, 신윈 첸 등은 인간이 과거 경험을 활용하여 새로운 문제를 해결하는 인지 과정인 유사성 추론에서 영감을 얻었습니다.

핵심 개념 및 방법론

유사성 프롬프팅은 LLM이 문제를 해결하기 전에 관련된 예시나 지식을 스스로 생성하도록鼓励합니다. 이 접근 방식은 레이블이 붙은 예시가 필요 없으며, 일반성과 편리성을 제공하며, 생성된 예시는 각 문제에 맞게 적응합니다.

왼쪽: 전통적인 LLM 프롬프팅 방법은 일반 입력(0샷 CoT)이나 레이블이 붙은 예시(few-shot CoT)를 필요로 합니다. 오른쪽: 새로운 접근 방식은 LLM이 문제 해결 전에 관련 예시를 스스로 생성하도록鼓励합니다.

자체 생성 예시

논문에서 제시된 첫 번째 기술은 자체 생성 예시입니다. 이 아이디어는 LLM이 새로운 문제를 해결하는 데 도움을 주기 위해 훈련 과정에서 습득한 광범위한 지식을 활용하는 것입니다. 이 과정은 대상 문제에 관련된 문제와 해결책을 회상하거나 생성하도록 모델을 지시하는 것입니다.

예를 들어, 문제가 주어졌을 때, 모델은 세 가지 다른 관련 문제와 그 해결책을 설명하도록 지시받습니다. 이 과정은 단일 패스로 수행되도록 설계되어 있으며, LLM이 관련 예시를 생성하고 초기 문제를 원활하게 해결하도록 허용합니다. 프롬프팅에서 ‘#’ 기호를 사용하면 모델의 응답을 더 조직적이고 쉽게 따라갈 수 있도록 합니다.

논문에서 강조되는 주요 기술 결정 사항에는 관련성과 다양성을 가진 예시를 생성하는 것의 중요성, 단일 패스 접근 방식의 편리성, 그리고 세 가지에서 다섯 가지 예시를 생성하는 것이 가장 좋은 결과를 산출한다는 사실이 포함됩니다.

자체 생성 지식 + 예시

두 번째 기술인 자체 생성 지식 + 예시는 코드 생성과 같은 더 복잡한 작업에서 도전을 해결하기 위해 도입되었습니다. 이러한 시나리오에서 LLM은 낮은 수준의 예시에過度로 의존하고, 대상 문제를 해결할 때 일반화하는 데 어려움을 겪을 수 있습니다. 이를 완화하기 위해, 저자는 모델이 문제의 핵심 개념을 식별하고 튜토리얼이나 높은 수준의 요약을 제공하도록鼓励하는 추가 지시를 포함하는 프롬프팅을 제안합니다.

한 가지 중요한 고려 사항은 지식과 예시를 생성하는 순서입니다. 저자는 지식이 먼저 생성된 후에 예시를 생성하면, 모델이 근본적인 문제 해결 접근 방식에 집중할 수 있으므로 더好的 결과를 산출한다는 것을 발견했습니다.

이점과 적용

유사성 프롬프팅 접근 방식은 여러 가지 이점을 제공합니다. 레이블이 붙은 예시가 필요 없으며, 각 문제에 맞게 맞춤형 예시를 제공하여 전통적인 few-shot CoT 방법의 제한을 해결합니다.

논문은 이 접근 방식의 효과를 다양한 추론 작업, 수학 문제 해결, 코드 생성, BIG-Bench의 다른 추론 작업에서展示합니다.

수학 작업의 성능, GSM8K 및 MATH

두 번째 표에서, GPT3.5-turbo-16k와 GPT4 모델에서 “자체 생성 지식 + 예시”가 최고의 성능을 보여줍니다.

Codeforces 코드 생성 작업의 성능

논문 2: 후퇴 프롬프팅

개요

두 번째 논문 “후퇴 프롬프팅“은 LLM이 세부 사항에 매몰되지 않고, 높은 수준의 개념과 원리를 추출하여 문제 해결을 위한 올바른 추론 경로를 따르도록鼓励하는 후퇴 프롬프팅 기술을 제시합니다. 저자 후아이시우 스티븐 정, 스와루프 미슈라 등은 LLM의 추론 능력을 향상시키기 위해 모델이 올바른 추론 경로를 따르도록 지시하는 프롬프팅을 설계합니다.

추상화와 추론의 두 단계를 통해 후퇴 프롬프팅을 나타내는図

기본적인 수학 문제를 사용하여 “후퇴 질문” 기술을示하는 더 간단한 예를 만들어 보겠습니다:

원래 질문: 기차가 60 km/h의 속도로 이동하여 120 km의 거리를 이동하면 몇 시간이 걸릴까요?

옵션:

3시간
2시간
1시간
4시간
원래 답변 [잘못됨]: 정답은 1)입니다.

후퇴 질문: 속도와 거리를 사용하여 시간을 계산하는 기본 수식은 무엇인가?

원리:
시간을 계산하기 위해, 우리는 다음 수식을 사용합니다:
시간 = 거리 / 속도

최종 답변:
수식을 사용하여, 시간 = 120 km / 60 km/h = 2시간.
정답은 2) 2시간입니다.

현재의 LLM은 위의 질문에 쉽게 대답할 수 있지만, 이 예는 후퇴 기술이 어떻게 작동하는지示하는 것입니다. 더 도전적인 시나리오에서는 동일한 기술을 적용하여 문제를 체계적으로 분해하고 해결할 수 있습니다. 아래는 논문에서示된 더 복잡한 경우입니다:

MMLU-Chemistry 데이터셋에서 후퇴 프롬프팅

핵심 개념 및 방법론

후퇴 프롬프팅의 핵심은 LLM이 세부 사항에 매몰되지 않고, 높은 수준의 개념과 원리를 추출하여 문제 해결을 위한 올바른 추론 경로를 따르도록鼓励하는 것입니다. 이는 모델이 추상화와 추론의 두 단계를 거치도록 지시하는 프롬프팅을 설계하여 달성됩니다.

이 과정은 모델이 주어진 인스턴스에서 세부 사항을 추상화하도록鼓励하면서 시작되며, 모델이 문제를 더 정보에 기반한 관점에서 접근하도록 합니다.

한번 높은 수준의 개념이 추출되면, 모델이 추론 단계를 통해 해결책으로 안내되도록 합니다. 이 지시는 모델이 올바른 추론 경로를 따르도록 하며, 추출된 개념과 원리에 기반한 논리적이고 일관된 경로를 따르도록 합니다.

저자는 PaLM-2L 모델을 사용하여 다양한 추론 작업, STEM 문제, 지식 QA, 멀티 홉 추론 등에서 후퇴 프롬프팅의 효과를 검증하기 위한 일련의 실험을 수행합니다.

작업 전반에서의 실질적인 개선

결과는 인상적이며, 후퇴 프롬프팅이 모든 작업에서 실질적인 성능 향상을 보여줍니다. 예를 들어, 이 기술은 MMLU Physics와 Chemistry에서 PaLM-2L 모델의 성능을 각각 7%와 11% 향상시킵니다. 마찬가지로, TimeQA에서 27%, MuSiQue에서 7%의 성능 향상을 보여줍니다.

후퇴 프롬프팅의 성능

이 결과는 LLM의 추론 능력을 크게 향상시키는 후퇴 프롬프팅의 잠재력을 강조합니다.

결론

구글 딥마인드의 두 논문은 프롬프팅 엔지니어링에 혁신적인 접근 방식을 제시하며, 대규모 언어 모델의 추론 능력을 향상시키는 것을 목표로 합니다. 유사성 프롬프팅은 유사성 추론의 개념을 활용하여 모델이 자체적으로 예시와 지식을 생성하도록鼓励합니다. 반면에, 후퇴 프롬프팅은 추상화를 강조하며, 모델이 높은 수준의 개념과 원리를 추출하여 문제 해결을 위한 올바른 추론 경로를 따르도록鼓励합니다.

이 연구 논문은 다양한 분야에서 적용할 수 있는 귀중한 통찰력과 방법론을 제공하며, 더 발전된 인공지능 시스템을 달성하는 데 중요한 발걸음입니다.