대규모 언어 모델에서 구식 事實를 최신으로 유지하는 3가지 방법

대규모 언어 모델(Large Language Model, LLM)인 GPT3, ChatGPT, BARD는 현재 많은 관심을 받고 있습니다. 이러한 도구가 사회에 미치는 영향과 미래의 인공지능에 대한 의미에 대해 모두가 의견을 가지고 있습니다. 구글의 새로운 모델 BARD가 복잡한 질문에 대해 약간 잘못된 답변을 한 것으로 알려졌습니다. “제임스 웹 우주망원경에서 9살 아이에게 말할 수 있는 새로운 발견은 무엇입니까?”라는 질문에 대해 채팅봇은 세 가지 답변을 제공했으며, 그 중 두 가지가 올바르고 하나가 잘못되었습니다. 잘못된 답변은 제임스 웹 우주망원경이 최초의 외계 행성 사진을 찍었다는 것이었습니다. 이는 모델이 잘못된 사실을 저장하고 있음을 의미합니다. 대규모 언어 모델이 효과적으로 작동하려면 이러한 사실을 업데이트하거나 새로운 지식으로 보충할 수 있어야 합니다.

먼저 대규모 언어 모델 내에서 事實이 저장되는 방식을 살펴보겠습니다. 대규모 언어 모델은 전통적인 의미에서 데이터베이스나 파일과 같이 정보를 저장하지 않습니다. 대신,大量의 텍스트 데이터에 대해 훈련을 받았으며, 이러한 데이터에서 패턴과 관계를 학습했습니다. 이는 인간과 같은 응답을 생성할 수 있게 해줍니다. 그러나 이러한 정보는 모델의 메모리 내에 명시적으로 저장되지 않습니다. 모델은 입력을 받았을 때 훈련을 통해 응답을 생성합니다. 언어 모델이 가지고 있는 지식은 명시적으로 저장된 것이 아니라, 훈련 데이터에서 학습한 패턴의 결과입니다. 대부분의 현대적인 LLM은 트랜스포머 아키텍처를 기반으로 하며, 내부적으로 事實을 인코딩하여 질문에 대한 답변을 생성합니다.

따라서, LLM 내부의 事實이 잘못되거나 구식이라면, 새로운 정보를 제공하기 위한 프롬프트가 필요합니다. 프롬프트는 언어 모델에 질의와 함께 제공되는 텍스트이며, 새로운 事實이나 수정된 事實을 포함할 수 있습니다. 이러한 접근 방법은 3가지가 있습니다.

1. LLM의 인코딩된 事實을 수정하는 한 가지 방법은 외부 지식베이스를 사용하여 관련 事實을 제공하는 것입니다. 이 지식베이스는 API 호출 또는 SQL, No-SQL, 벡터 데이터베이스의 조회일 수 있습니다. 더 복잡한 지식은 데이터 엔티티와 관계를 저장하는 지식 그래프에서 추출할 수 있습니다. 사용자가 조회하는 정보에 따라 관련 컨텍스트 정보를 검색하여 LLM에 추가的事實으로 제공할 수 있습니다. 이러한 事實은 모델의 학습 과정을 개선하기 위해 훈련 예제와 같은 형식으로 제공될 수 있습니다. 예를 들어, 모델이 답변을 제공하는 방법을 학습하기 위해 질문-답변 쌍을 여러 개 전달할 수 있습니다.

2. LLM을 보강하는 더 혁신적인 방법(그러나 더 비싼 방법)은 실제로 훈련 데이터를 사용하여 모델을 미세 조정하는 것입니다. 지식베이스에서 특정 事實을 조회하는 대신, 지식베이스를 샘플링하여 훈련 데이터셋을 구축합니다. 그런 다음 지도 학습 기법을 사용하여 새로운 지식을 포함하는 새로운 LLM 버전을 생성할 수 있습니다. 이 과정은 일반적으로 비용이 많이 들며, OpenAI에서 미세 조정된 모델을 구축하고 유지하는 데 몇 천 달러가 소요될 수 있습니다. 그러나 이 비용은 시간이 지남에 따라 감소할 것으로 예상됩니다.

3. 또 다른 방법은 강화 학습(RL)과 같은 방법을 사용하여 인간의 피드백을 통해 에이전트를 훈련시키고, 질문에 대한 답변을 제공하는 정책을 학습하는 것입니다. 이 방법은 특정 작업에 능숙한 작은 모델을 구축하는 데 매우 효과적입니다. 예를 들어, OpenAI에서 출시한 ChatGPT는 지도 학습과 인간의 피드백을 통해 훈련되었습니다.

요약하면, 이는 매우 발전하고 있는 분야이며, 모든 주요 회사들이 이 분야에 진출하여 차별화를 보여주고자 합니다. 우리는 곧 소매, 의료, 금융 등 대부분의 분야에서 인간과 같은 방식으로 언어의细微를 이해하는 주요 LLM 도구를 볼 수 있을 것입니다. 이러한 LLM 기반 도구는 기업 데이터와 통합되어 데이터에 대한 접근을 간소화하고, 올바른 데이터를 올바른 사람에게 올바른 시간에 제공할 수 있습니다.