AI 모델 및 플랫폼
LlamaIndex: LLM 애플리케이션에 맞춤 데이터를 쉽게 추가합니다
핵심 포인트LlamaIndex는 맞춤형 데이터를 검색 증강 생성(Retrieval Augmented Generation)을 통해 LLM이 쿼리할 수 있도록 함으로써…
더 보기
- LlamaIndex는 맞춤형 데이터를 검색 증강 생성(Retrieval Augmented Generation)을 통해 LLM이 쿼리할 수 있도록 함으로써 파인튜닝에 대한 사용자 친화적인 대안을 제공합니다.
- 이 도구는 벡터 저장소(Vector Store) 및 트리 인덱스(Tree Index)와 같은 특수화된 데이터 인덱스를 제공하여 개인 정보를 효율적으로 구성하고 검색할 수 있게 합니다.
- LlamaIndex는 최근 자사 오픈소스 플랫폼을 개발하기 위해 850만 달러의 시드 자금을 조달했으며, 이 플랫폼은 독점 데이터로 LLM을 증강시키는 데 사용됩니다.
대규모 언어 모델(Large Language Models, LLM)인 OpenAI의 GPT 시리즈는 다양한 공개 데이터에 대해 훈련되어 텍스트 생성, 요약, 질문 답변, 계획 등에서 탁월한 능력을 보여주었습니다. 그러나 이러한 모델을 개인적이거나 사적인 데이터와 통합하는 문제가 빈번하게 제기됩니다.
기업과 개인은 Notion, Slack, Salesforce 같은 애플리케이션이나 개인 파일에 저장된 고유한 데이터를 많이 보유하고 있습니다. 이러한 데이터를 LLM에 활용하기 위한 여러 방법이 제안되고 실험되고 있습니다.
(CRM )Fine-tuning은 이러한 접근 방식 중 하나로, 모델의 가중치를 특정 데이터셋의 지식으로 조정하는 것을 포함합니다. 그러나 이 과정은 데이터 준비와 최적화에 상당한 노력이 필요하며, 또한 기계 학습 전문 지식이 필요합니다. 또한 대규모 데이터셋을 다루는 경우에는 비용이 상당할 수 있습니다.
인 컨텍스트 학습(In-context learning)은 대안으로 등장하여, 입력과 프롬프트를 조작하여 LLM이 정확한 출력을 생성할 수 있도록 합니다. 이 접근 방식은 대규모 재훈련의 필요성을 줄이며, 사적인 데이터를 통합하는 더 효율적이고 접근하기 쉬운 방법을 제공합니다.
그러나 이 접근 방식은 사용자의 프롬프트 엔지니어링 역량에 의존합니다. 특히 고도로 전문화된 기술 데이터에서는 미세 조정만큼 정확하거나 신뢰할 수 있지 않을 수 있습니다. 폭넓은 인터넷 텍스트로 사전 훈련했다고 해서 특정 전문 용어나 맥락을 이해하는 것은 아니므로, 틈새 분야의 데이터에서는 부정확하거나 관련 없는 결과가 나올 수 있습니다. 또한 프롬프트의 길이가 제한되어 있으며, 복잡한 작업의 경우 모델의 성능이 저하될 수 있습니다. 또한 데이터의 보안과 개인 정보 보호 문제도 있습니다.
이러한 기술을 탐색하는 동안, LlamaIndex와 같은 도구가 주목을 받고 있습니다.
LlamaIndex는 전직 Uber 연구 과학자인 Jerry Liu가 시작했습니다. 기사 작성 시점의 전년도 가을에 GPT-3를 실험하던 Liu는 개인 파일 같은 비공개 데이터를 다루는 모델의 한계를 발견했고, 이를 계기로 오픈 소스 프로젝트 LlamaIndex가 시작되었습니다.
이 프로젝트는 투자자들의 관심을 끌어 850만 달러의 시드 펀딩을 확보했습니다.
LlamaIndex는 사용자가 자신의 데이터를 LLM과 통합할 수 있도록 해주어, 지식 생성과 추론을 개인화된 통찰력으로 향상시킵니다. 사용자는 자신의 데이터를 제공하여 지식 생성과 추론을 개인화할 수 있습니다. 원문은 LlamaIndex가 더 사용하기 쉽고 안전한 데이터 상호작용 플랫폼을 제공해 인컨텍스트 학습의 한계를 보완하며, 머신러닝 전문성이 적은 사용자도 자신의 비공개 데이터를 활용할 수 있게 한다고 설명합니다.
고수준 개념 및 통찰력
1. 검색 증강 생성(Retrieval Augmented Generation, RAG):
RAG는 LLM을 맞춤 데이터와 결합하여 모델의 능력을 향상시키는 두 단계의 과정입니다. 이 과정은 다음과 같이 구성됩니다.
- 인덱싱 단계: 지식 기반을 생성하기 위한 준비 단계입니다.
- 쿼리 단계: 지식 기반에서 관련된 컨텍스트를 찾아서 LLM이 쿼리에 답변할 수 있도록 합니다.
LlamaIndex와 함께 인덱싱하기:
- 데이터 커넥터: 데이터 커넥터는 데이터를 다양한 소스와 형식에서 가져와서 LlamaIndex에서 사용할 수 있도록 합니다. 데이터 커넥터는 LlamaHub에서 찾을 수 있으며, 데이터는 간단한 Document 표현으로 통합됩니다. LlamaHub는 데이터 로더를 모은 오픈 소스 저장소이며, 로더는 모든 LlamaIndex 애플리케이션에서 손쉽게 연결해 사용할 수 있도록 설계되었습니다.
- 문서/노드: 문서는 PDF, API 출력, 데이터베이스 항목 등 다양한 데이터 유형을 담을 수 있는 범용 객체입니다. 노드는 문서의 일부분으로, 메타데이터와 다른 노드와의 관계를 포함하여 데이터를 효율적으로 검색할 수 있도록 합니다.
- 데이터 인덱스: 데이터를 가져온 후, LlamaIndex는 데이터를 검색할 수 있는 형식으로 인덱싱합니다. 뒤에서, 원시 문서를 중간 표현으로 변환하고, 벡터 임베딩을 계산하며, 메타데이터를 추론합니다. 인덱스 중에서 VectorStoreIndex를 자주 선택합니다.
LlamaIndex의 인덱스 유형: 데이터를 조직화하는 핵심
LlamaIndex는 다양한 인덱스 유형을 제공하며, 각 유형은 다른 요구 사항과 사용 사례에 적합합니다. 이러한 인덱스의 핵심은 노드입니다.
1. 리스트 인덱스:
- 메커니즘: 리스트 인덱스는 노드를 순차적으로 배열합니다. 입력 데이터를 노드로 나누고, 노드를 선형적으로 배열하여 순차적으로 또는 키워드 또는 임베딩으로 검색할 수 있도록 합니다.
- 장점: 이 인덱스 유형은 순차적 검색에 적합합니다. LlamaIndex는 LLM의 토큰 제한을 초과하는 경우에도 입력 데이터를 모두 사용하여 텍스트를 쿼리하고 답변을 개선합니다.
2. 벡터 스토어 인덱스:
- 메커니즘: 노드를 벡터 임베딩으로 변환하고, 로컬 또는 Milvus 같은 전문 벡터 데이터베이스에 저장합니다. 쿼리할 때 가장 유사한 top_k 노드를 찾아서 응답 생성기에 전달합니다.
- 장점: 텍스트 비교를 위한 벡터 검색이 필요한 경우에 사용할 수 있습니다.
3. 트리 인덱스:
- 메커니즘: 입력 데이터를 트리 구조로 변환하여, 노드를 요약하고, GPT를 사용하여 부모 노드를 생성합니다. 쿼리할 때, 트리 인덱스는 루트 노드에서 리프 노드로 이동하거나 선택된 리프 노드에서 직접 응답을 생성할 수 있습니다.
- 장점: 트리 인덱스를 사용하면 긴 텍스트를 효율적으로 검색하고, 다양한 텍스트 세그먼트에서 정보를 추출할 수 있습니다.
4. 키워드 인덱스:
- 메커니즘: 키워드와 노드를 매핑하여, 쿼리할 때 키워드를 추출하고 매핑된 노드를 사용할 수 있도록 합니다.
- 장점: 사용자 쿼리가 명확한 경우에 사용할 수 있습니다. 예를 들어, 의료 문서에서 COVID-19와 관련된 문서만 찾을 수 있습니다.
LlamaIndex 설치
LlamaIndex를 설치하는 것은 간단한 과정입니다. Pip 또는 소스에서 직접 설치할 수 있습니다. 시스템에 Python이 설치되어 있어야 하며 Google Colab을 사용할 수도 있습니다.
1. Pip에서 설치:
- 다음 명령을 실행합니다:
pip install llama-index
- 참고: 설치 중에 LlamaIndex는 NLTK와 HuggingFace와 같은 패키지에 대한 로컬 파일을 다운로드하고 저장할 수 있습니다. 이러한 파일을 위한 디렉토리를 지정하려면 “LLAMA_INDEX_CACHE_DIR” 환경 변수를 사용합니다.
2. 소스에서 설치:
- 먼저 GitHub에서 LlamaIndex 저장소를 클론합니다:
git clone https://github.com/jerryjliu/llama_index.git
- 클론한 후, 프로젝트 디렉토리로 이동합니다.
- Poetry를 사용하여 패키지 종속성을 관리합니다.
- 가상 환경을 생성합니다:
poetry shell - 코어 패키지 요구 사항을 설치합니다:
poetry install
환경 설정
1. OpenAI 설정:
- 기본적으로, LlamaIndex는 OpenAI의 gpt-3.5-turbo를 텍스트 생성에 사용하고, text-embedding-ada-002를 검색과 임베딩에 사용합니다.
- 이 설정을 사용하려면 OPENAI_API_KEY가 필요합니다. OpenAI 웹사이트에서 등록하여 새 API 토큰을 생성할 수 있습니다.
- 사용자는 프로젝트 요구 사항에 따라 기본 LLM을 사용자 지정할 수 있습니다. LLM 제공업체에 따라 추가 환경 키와 토큰이 필요할 수 있습니다.
2. 로컬 환경 설정:
- OpenAI를 사용하지 않으려면, LlamaIndex는 자동으로 로컬 모델로 전환합니다. LlamaCPP와 llama2-chat-13B를 텍스트 생성에 사용하고, BAAI/bge-small-en을 검색과 임베딩에 사용합니다.
- LlamaCPP를 사용하려면 제공된 설치 가이드를 따르세요. llama-cpp-python 패키지를 설치하여 GPU 지원을 포함하도록 합니다. 이 설정은 CPU와 GPU에서 약 11.5GB의 메모리를 사용합니다.
- 로컬 임베딩을 사용하려면 pip install sentence-transformers를 실행합니다. 이 로컬 설정은 약 500MB의 메모리를 사용합니다.
이러한 설정으로, 사용자는 프로젝트 요구 사항과 자원에 따라 OpenAI 또는 로컬 모델을 사용할 수 있습니다.
사용 사례: LlamaIndex와 OpenAI를 사용한 웹페이지 쿼리
다음은 Python 스크립트를 사용하여 웹페이지에서 특정 정보를 쿼리하는 예입니다.
!pip install llama-index html2text
import os
from llama_index import VectorStoreIndex, SimpleWebPageReader
# OpenAI 키를 입력하세요:
os.environ["OPENAI_API_KEY"] = ""
# URL을 입력하세요:
url = "http://www.paulgraham.com/fr.html"
# URL을 문서로 로드합니다:
documents = SimpleWebPageReader(html_to_text=True).load_data([url])
# 벡터 스토어를 생성합니다:
index = VectorStoreIndex.from_documents(documents)
# 쿼리 엔진을 생성합니다:
query_engine = index.as_query_engine()
# 질문을 합니다:
response = query_engine.query("Paul이 자금을 조달하기 위한 3가지 최선의 조언은 무엇입니까?")
print(response)
Paul이 자금을 조달하기 위한 3가지 최선의 조언은 다음과 같습니다. 1. 초기에 낮은 숫자에서 시작합니다. 이는 유연성을 제공하고, 장기적으로 더 많은 자금을 조달할 수 있는 기회를 증가시킵니다. 2. 가능하다면 이익을 낼 수 있도록 합니다. 추가 자금 없이 이익을 낼 수 있는 계획을 갖는 것은 스타트업을 투자자에게 더 매력적으로 만듭니다. 3. 기업가치 평가액을 극대화하는 데만 집중하지 마십시오. 기업가치 평가가 중요하지만, 자금 조달에서 가장 중요한 요소는 아닙니다. 필요한 자금을 얻고, 좋은 투자자를 찾는 것에 집중하세요.
이 스크립트를 사용하면, 웹페이지에서 특정 정보를 쿼리하는 강력한 도구를 만들 수 있습니다. 이는 LlamaIndex와 OpenAI를 사용하여 웹 데이터를 쿼리할 수 있는 것의 일부입니다.
LlamaIndex vs Langchain: 목표에 따라 선택
LlamaIndex와 Langchain 중 무엇을 선택할지는 프로젝트의 목표에 따라 다릅니다. 지능형 검색 도구를 개발하려면 LlamaIndex가 적합하며, 데이터 검색을 위한 지능형 저장 메커니즘에 강점이 있습니다. Langchain은 ChatGPT와 같은 시스템을 생성하고, 플러그인 기능을 제공하며, 여러 ChatGPT 및 LlamaIndex 인스턴스의 활용과 다중 작업 에이전트 구성을 지원합니다. 예를 들어, Langchain을 사용하여 Python 코드를 실행하고 Google 검색을 동시에 수행할 수 있는 에이전트를 생성할 수 있습니다. 간단히 말하면, LlamaIndex는 데이터 처리에 뛰어나고, Langchain은 여러 ChatGPT 및 LlamaIndex 인스턴스의 활용과 다중 작업 에이전트 구성을 지원합니다.

LlamaIndex Logo Artwork created using Midjourney


















