AI는 AI로부터 학습한다: 대규모 언어 모델 간의 사회적 학습의 등장

OpenAI가 2022년 말에 ChatGPT 3.5를 공개한 이후, 기초적인 대규모 언어 모델(LLM)의 역할이 인공지능(AI)에서 특히 자연어 처리(NLP)에서 점점 더 두드러지게 되었다. 이러한 LLM은 인간과 같은 텍스트를 처리하고 생성하도록 설계되었으며, 인터넷에서 책에서 웹사이트에 이르기까지 광범위한 텍스트 배열에서 학습한다. 이 학습 과정은 인간 언어의 본질을 포착하여 LLM이 일반적인 문제 해결자처럼 보이게 한다.

LLM의 개발은 새로운 기회를 열어주었지만, 이러한 모델을 특정 응용 프로그램에 맞게 조정하는 과정, 즉 미세 조정은自身의 도전을 안겨준다. 모델을 미세 조정하려면 더 집중적인 데이터셋에 대한 추가적인 훈련이 필요하며, 이는 레이블이 된 데이터의 필요성, 모델 드리프트와 과적합의 위험, 그리고 상당한 자원의 필요성과 같은 어려움을 초래할 수 있다.

이러한 도전을 해결하기 위해, 구글의 연구자들은 최근에 ‘사회적 학습’이라는 아이디어를 채택하여 AI가 AI로부터 학습하도록 도왔다. 핵심 아이디어는 LLM을 채팅봇으로 변환하여 인간의 사회적 학습과 유사한 방식으로 서로 상호작용하고 학습할 수 있다는 것이다. 이러한 상호작용을 통해 서로로부터 학습하여 능력을 향상시킬 수 있다.

사회적 학습이란 무엇인가?

사회적 학습은 새로운 아이디어가 아니다. 1970년대 앨버트 반두라의 이론에 기반하여, 사람들이 다른 사람을 관찰함으로써 학습한다는 개념이다. AI에 적용된 이 개념은 AI 시스템이 서로 상호작용하고 학습함으로써 능력을 향상시킬 수 있으며, 직접적인 경험뿐만 아니라 동료들의 행동으로부터도 학습할 수 있다. 이 방법은 더 빠른 기술 습득을 가능하게 하며, AI 시스템이 자신의 ‘문화’를 개발하여 지식을 공유할 수 있다.

다른 AI 학습 방법과 달리, 사회적 학습은 상호작용을 통해 학습하는 것을 강조한다. 이는 더 직접적이고 공동의 방식으로 AI가 새로운 기술을 습득하도록 한다.

LLM에서 사회적 학습

사회적 학습의 중요한 측면은 원래의 민감한 정보를 공유하지 않고 지식을 교환하는 것이다. 따라서, 연구자들은 교사-학생 역할을 통해 교사 모델이 학생 모델의 학습 과정을 도와주면서도 기밀 정보를 공개하지 않는 방식을 채택하였다. 이를 위해 교사 모델은 합성 예제나 지시를 생성하여 학생 모델이 실제 데이터를 공유하지 않고도 학습할 수 있도록 한다. 예를 들어, 교사 모델이 사용자에 의해 구분된 스팸 및 非스팸 텍스트 메시지 데이터를 사용하여 훈련된 경우, 다른 모델이 이 작업을 수행하도록 하기 위해 교사 모델은 합성 예제나 지시를 생성하여 학생 모델이 민감한 데이터에 직접 노출되지 않고도 스팸 메시지를 식별할 수 있도록 한다. 이 전략은 학습 효율성을 향상시키며, LLM이 동적이고 적응 가능한 방식으로 학습할 수 있는 잠재력을 보여준다. 이 접근법의 핵심 특징은 합성 예제와 지시를 생성하는 것이다. 교사 모델은 새로운 예제와 지시를 생성하여 학생 모델이 효과적으로 학습할 수 있도록 하면서도 개인 정보를 보호한다.

사회적 학습이 미세 조정의 도전을 어떻게 해결하는가?

사회적 학습은 LLM을 특정 작업에 맞게 조정하는 새로운 방법을 제공한다. 미세 조정의 도전을 해결하는 다음과 같은 방식으로 작용한다:

1. 레이블이 된 데이터의 필요성이 줄어든다: 모델 간에 합성 예제를 공유함으로써, 사회적 학습은 레이블이 된 데이터에 대한 의존도를 줄인다.
2. 과적합을 피한다: 모델이 더广い 범위의 예제에 노출되므로, 사회적 학습은 모델이 더 유연하게 되도록 한다.
3. 과적합을 줄인다: 사회적 학습은 모델이 더广い 범위의 예제에 노출되므로, 모델이 더 일반화되도록 도와주며 과적합을 줄인다.
4. 자원을 절약한다: 이 접근법은 모델이 직접적인 데이터에 접근하지 않고도 서로의 경험으로부터 학습할 수 있으므로, 자원을 더 효율적으로 사용할 수 있다.

미래 방향

LLM에서 사회적 학습의 잠재력은 다양한 흥미로운 방향으로 미래의 AI 연구를 안내한다:

1. 하이브리드 AI 문화: LLM이 사회적 학습에 참여함으로써, 공동의 방법론을 형성할 수 있다. 이러한 등장하는 AI ‘문화’의 영향과 관련된 윤리적 문제를 조사하는 연구가 수행될 수 있다.
2. 크로스 모달리티 학습: 사회적 학습을 텍스트를 넘어 이미지, 소리 등 다른 모달리티로 확장하면, AI 시스템이 더 풍부한 세계 이해를 가질 수 있다.
3. 분산 학습: AI 모델이 분산 네트워크에서 서로로부터 학습하는 아이디어는 지식 공유를 확장하는 새로운 방식을 제시한다. 이는 조정, 개인 정보, 보안과 관련된重大한 도전을 해결해야 한다.
4. 인간-AI 상호작용: 인간과 AI가 사회적 학습을 통해 상호적으로 이익을 얻을 수 있는 가능성이 있다. 특히 교육과 협력 환경에서 이는 지식 전달과 혁신의 방식을 재정의할 수 있다.
5. 윤리적인 AI 개발: AI가 사회적 학습을 통해 윤리적인 딜레마를 해결하도록 가르칠 수 있다. 이는 AI 시스템이 윤리적으로 사고하고 사회적 가치와 일치하도록 하는 데 중점을 둔다.
6. 자체 개선 시스템: AI 모델이 서로의 경험으로부터 지속적으로 학습하고 개선하는 생태계는 AI 혁신을 가속화할 수 있다. 이는 AI가 새로운 도전에 대해 더 자율적으로 적응할 수 있음을 시사한다.
7. 학습에서의 개인 정보 보호: AI 모델이 지식을 공유할 때, 기본 데이터의 개인 정보를 보호하는 것이 중요하다. 미래의 노력은 데이터 보안을 손상하지 않으면서 지식 전달을 가능하게 하는 더 정교한 방법을 탐색할 수 있다.

결론

구글의 연구자들은 인간의 사회적 학습 능력에서 영감을 받은 대규모 언어 모델 간의 사회적 학습이라는 혁신적인 접근법을 개발하였다. 이 프레임워크는 LLM이 민감한 데이터에 접근하거나 노출하지 않고 지식을 공유하고 능력을 향상시킬 수 있도록 한다. 합성 예제와 지시를 생성함으로써, LLM은 효과적으로 학습할 수 있으며, 레이블이 된 데이터의 필요성, 과적합, 과적합, 자원 소비와 같은 AI 개발의 주요 도전을 해결한다. 사회적 학습은 AI의 효율성과 적응성을 향상시키는 것뿐만 아니라, AI가 공동의 ‘문화’를 개발하고, 크로스 모달리티 학습에 참여하며, 분산 네트워크에서 상호작용하고, 인간과 새로운 방식으로 상호작용하며, 윤리적인 딜레마를 해결하고, 개인 정보를 보호하는 방향으로 나아갈 수 있다. 이는 더 협력적이고, 유연하며, 윤리적인 AI 시스템을 약속하며, 인공지능 연구와 응용의 지형을 재정의할 수 있다.