대형 언어 모델(Large Language Model, LLM)이 미래의 애플리케이션을 구동하는 방법

생성적 인공지능, 특히 언어 형태의 인공지능은 ChatGPT와 같은 기술이 모든 곳에 존재한다. 대형 언어 모델(Large Language Model, LLM) 기술은 미래의 애플리케이션 개발에서 중요한 역할을 할 것이다. LLM은 광범위한 사전 훈련을 통해 언어를 이해하는 데 매우 좋다. 이러한 훈련은 코드를 포함한 수조 개의 공개 도메인 텍스트에서 수행되었다. 지도 학습 및 강화 학습과 같은 방법을 사용하여 이러한 LLM을 더욱 효율적으로 만들 수 있다. 다음은 이러한 기술의 발전 단계이다.

LLM 호출:

LLM 호출은 Azure OpenAI 또는 Google PaLM과 같은 LLM 제공업체가 제공하는 완성 또는 채팅 모델에 대한 직접 호출이다. 이러한 호출에는 매우 기본적인 프롬프트가 있으며 대부분 내부 메모리를 사용하여 출력을 생성한다.

예시: 기본 모델인 “text-davinci”에 “농담을 해줘”라고 요청하는 경우, 모델은 내부 사전 훈련된 메모리를 사용하여 응답을 생성한다(아래 그림에서 Azure OpenAI를 사용한 경우).

프롬프트:

지능의 다음 단계는 프롬프트에 더 많은 컨텍스트를 추가하는 것이다. LLM에 적용할 수 있는 프롬프트 엔지니어링 기술이 있다. 예를 들어, 사용자에게 이메일을 생성할 때, 사용자에 대한 컨텍스트, 과거 구매 내역 및 행동 패턴을 프롬프트로 사용하여 이메일을 더 잘 맞춤설정할 수 있다. ChatGPT를 사용하는 사용자는 다양한 프롬프트 방법을 알고 있을 것이다. 프롬프트는 LLM의 내부 메모리를 추가 컨텍스트로 보강한다.

임베딩:

임베딩은 프롬프트를 다음 단계로 끌어올리는 것으로, 지식 저장소를 검색하여 컨텍스트를 얻고 이를 프롬프트에 추가한다. 첫 번째 단계는 큰 문서 저장소를 생성하여 비정형 텍스트를 색인화하고 벡터 데이터베이스를 채우는 것이다. 이를 위해 OpenAI의 ‘ada’와 같은 임베딩 모델을 사용하여 텍스트를 n차원 벡터로 변환한다. 이러한 임베딩은 텍스트의 컨텍스트를 캡처하여 유사한 문장이 벡터 공간에서 가까운 임베딩을 갖는다. 사용자가 쿼리를 입력하면, 쿼리도 임베딩으로 변환되어 데이터베이스의 벡터와 일치한다. 이렇게 쿼리와 컨텍스트를 LLM에 전달하여 인간과 같은 방식으로 응답을 생성한다.

체인:

현재 체인은 가장 발전된 기술로, 광범위하게 사용되고 있다. 체인은 결정론적이며, LLM 호출의 순서가 연결되어 하나의 출력이 하나 이상의 LLM으로 흐른다. 예를 들어, SQL 데이터베이스를 쿼리하여 고객 이메일 목록을 얻고, 이를 다른 LLM으로 전달하여 개인화된 이메일을 생성할 수 있다. 이러한 LLM 체인은 기존 애플리케이션 흐름에 통합하여 더 가치 있는 결과를 생성할 수 있다. 체인을 사용하여 외부 입력과 지식 그래프를 통합하여 컨텍스트를 제공할 수 있다. 또한, 현재 여러 LLM 제공업체가 있으므로 체인 요소를 혼합하여 사용할 수 있다.

에이전트:

에이전트는 인공 일반 지능(AGI)와 관련하여 많은 온라인 논쟁의 주제이다. 에이전트는 사전 정의된 체인이 아닌 계획 작업을 위해 고급 LLM을 사용한다. 사용자 요청이 있을 때, 에이전트는 쿼리 기반으로 작업 세트를 결정하고 동적으로 체인을 구축한다. 예를 들어, 에이전트를 “정부 규제 업데이트로 대출 금리 변경 시 고객에게 알림”이라는 명령으로 구성할 수 있다. 에이전트 프레임워크는 LLM 호출을 통해 단계 또는 체인을 결정한다. 여기에서는 규제 웹사이트를 스크레이핑하여 최신 APR을 추출하고, 데이터베이스를 검색하여 영향을 받는 고객 이메일을 추출하고, 이를 알리는 이메일을 생성한다.

최종 생각

LLM은 빠르게 발전하는 기술이며, 더 나은 모델과 애플리케이션이 매주 출시되고 있다. LLM에서 에이전트까지는 지능 사다리이며, 위로 올라갈수록 복잡한 자율 애플리케이션을 구축한다. 더 나은 모델은 더 효과적인 에이전트를 의미하며, 차세대 애플리케이션은 이러한 에이전트에 의해 구동될 것이다. 시간이 지나면 차세대 애플리케이션이 얼마나 발전할지와 어떤 패턴으로 구동될지 알 수 있을 것이다.