대규모 언어 모델(LLM)이 미래의 앱을 강화하는 방법

Generative AI, 특히 그것의 언어적 특징 – ChatGPT는 어디에나 있습니다. LLM(Large Language Model) 기술은 향후 애플리케이션 개발에 중요한 역할을 할 것입니다. LLM은 코드를 포함하여 수조 줄의 공개 도메인 텍스트에 대해 기초 모델에 대해 수행된 광범위한 사전 교육으로 인해 언어를 이해하는 데 매우 능숙합니다. 감독된 미세 조정 및 사람의 피드백을 통한 강화된 학습(RLHF)과 같은 방법을 통해 이러한 LLM은 특정 질문에 답하고 사용자와 대화하는 데 훨씬 더 효율적입니다. LLM으로 구동되는 AI 앱의 다음 단계에 접어들면서 다음과 같은 핵심 구성 요소가 이러한 차세대 애플리케이션에 매우 중요할 것입니다. 아래 그림은 이러한 진행 상황을 보여 주며, 체인을 올라갈수록 애플리케이션에서 더 많은 인텔리전스와 자율성을 구축할 수 있습니다. 이러한 다양한 수준을 살펴보겠습니다.

LLM 통화:

Azure OpenAI, Google PaLM 또는 Amazon Bedrock과 같은 LLM 공급자의 완료 또는 채팅 모델에 대한 직접 호출입니다. 이러한 호출에는 매우 기본적인 프롬프트가 있으며 대부분 LLM의 내부 메모리를 사용하여 출력을 생성합니다.

예시: "text-davinci"와 같은 기본 모델에 "농담을 해주세요"라고 요청합니다. 매우 적은 컨텍스트를 제공하고 모델은 미리 훈련된 내부 메모리에 의존하여 답을 얻습니다(아래 그림에서 녹색으로 강조 표시된 – Azure OpenAI 사용).

프롬프트 :

다음 수준의 인텔리전스는 프롬프트에 점점 더 많은 컨텍스트를 추가하는 것입니다. 맞춤형 응답을 제공할 수 있는 LLM에 적용할 수 있는 신속한 엔지니어링 기술이 있습니다. 예를 들어, 사용자에게 이메일을 보낼 때 사용자에 대한 일부 컨텍스트, 과거 구매 및 행동 패턴은 이메일을 더 잘 사용자 지정하기 위한 프롬프트 역할을 할 수 있습니다. ChatGPT에 익숙한 사용자는 LLM에서 응답을 구축하는 데 사용되는 예를 제공하는 것과 같은 다양한 프롬프트 방법을 알고 있습니다. 프롬프트는 추가 컨텍스트로 LLM의 내부 메모리를 보강합니다. 예는 아래와 같습니다.

임베딩:

임베딩은 컨텍스트에 대한 지식 저장소를 검색하고 해당 컨텍스트를 얻고 프롬프트에 추가하여 프롬프트를 다음 단계로 가져갑니다. 여기서 첫 번째 단계는 텍스트를 인덱싱하고 벡터 데이터베이스를 채워 구조화되지 않은 텍스트가 있는 대형 문서 저장소를 검색할 수 있도록 만드는 것입니다. 이를 위해 OpenAI의 'ada'와 같은 임베딩 모델이 사용되어 텍스트 청크를 가져와서 n차원 벡터로 변환합니다. 이러한 임베딩은 텍스트의 컨텍스트를 캡처하므로 유사한 문장은 벡터 공간에서 서로 가까운 임베딩을 갖게 됩니다. 사용자가 쿼리를 입력하면 해당 쿼리도 임베딩으로 변환되고 해당 벡터는 데이터베이스의 벡터와 일치합니다. 따라서 컨텍스트를 형성하는 쿼리에 대해 일치하는 상위 5개 또는 10개의 텍스트 청크를 얻습니다. 쿼리와 컨텍스트는 LLM에 전달되어 인간과 같은 방식으로 질문에 대답합니다.

체인 :

오늘날 Chains는 LLM 응용 프로그램을 구축하는 데 광범위하게 사용되는 가장 발전되고 성숙한 기술입니다. 체인은 일련의 LLM 호출이 하나 이상의 LLM 중 하나로 흐르는 하나의 출력과 결합되는 결정론적입니다. 예를 들어 LLM 호출이 SQL 데이터베이스를 쿼리하고 고객 이메일 목록을 가져오고 해당 목록을 고객에게 개인화된 이메일을 생성하는 다른 LLM으로 보낼 수 있습니다. 이러한 LLM 체인은 기존 애플리케이션 흐름에 통합되어 더 가치 있는 결과를 생성할 수 있습니다. 체인을 사용하여 컨텍스트를 제공하기 위해 API 호출 및 지식 그래프와의 통합과 같은 외부 입력으로 LLM 호출을 보강할 수 있습니다. 또한 오늘날 OpenAI, AWS Bedrock, Google PaLM, MosaicML 등과 같은 여러 LLM 공급자를 사용하여 LLM 호출을 체인에 혼합하고 일치시킬 수 있습니다. 지능이 제한된 체인 요소의 경우 'gpt3.5-turbo'와 같은 낮은 LLM을 사용할 수 있는 반면 고급 작업에는 'gpt4'를 사용할 수 있습니다. 체인은 데이터, 애플리케이션 및 LLM 호출에 대한 추상화를 제공합니다.

자치령 대표:

에이전트는 특히 인공 일반 지능(AGI)과 관련하여 많은 온라인 논쟁의 주제입니다. 에이전트는 사전 정의된 체인이 아닌 'gpt4' 또는 'PaLM2'와 같은 고급 LLM을 사용하여 작업을 계획합니다. 이제 사용자 요청이 있을 때 쿼리를 기반으로 에이전트는 호출할 작업 집합을 결정하고 동적으로 체인을 구축합니다. 예를 들어 "정부 규제 업데이트로 인해 대출 APR이 변경되면 고객에게 알림"과 같은 명령으로 에이전트를 구성할 때. 에이전트 프레임워크는 LLM 호출을 통해 수행할 단계 또는 빌드할 체인을 결정합니다. 여기서는 규제 웹사이트를 스크랩하고 최신 연이율을 추출하는 앱을 호출한 다음 LLM 호출이 데이터베이스를 검색하고 영향을 받는 고객 이메일을 추출하고 마지막으로 모든 사람에게 알리는 이메일이 생성됩니다.

최종 생각

LLM은 고도로 진화하는 기술이며 매주 더 나은 모델과 애플리케이션이 출시되고 있습니다. 에이전트에 대한 LLM은 인텔리전스 사다리이며 위로 올라갈수록 복잡한 자율 애플리케이션을 구축합니다. 더 나은 모델은 더 효과적인 에이전트를 의미하며 차세대 애플리케이션은 이를 기반으로 합니다. 시간은 차세대 응용 프로그램이 얼마나 발전하고 어떤 패턴으로 구동될 것인지 알려줄 것입니다.