사상 리더
RAG 진화 – Agentic RAG 프라이머
Unite.AI를 Google의 선호 소스에 추가
RAG (Retrieval-Augmented Generation)란?
검색 증강 생성 (RAG)은 대규모 언어 모델 (LLM) 의 강점과 외부 데이터 검색을 결합하여 생성된 응답의 품질과 관련성을 개선하는 기술입니다.. 전통적인 LLM은 사전 훈련된 지식 베이스를 사용하는 반면, RAG 파이프라인은 런타임에 외부 데이터베이스 또는 문서를 쿼리하고 관련 정보를 검색하여 더 정확하고 상황에 맞는 응답을 생성합니다. 이것은 질문이 복잡하거나 특정하거나 특정 시간 프레임에 기반한 경우 특히 유용합니다. 모델의 응답은 최신 도메인별 정보로 thông하고 풍부합니다.
현재 RAG 랜드스케이프
대규모 언어 모델은 정보에 접근하고 처리하는 방식을 완전히 혁신했습니다. 그러나 내부 사전 입력 지식에만 의존하는 것은 그들의 답변의 유연성을 제한할 수 있습니다. RAG는 이 문제를 해결하기 위해 LLM이 외부 소스에서 데이터를 검색하고 분석하여 더 정확하고 통찰력 있는 답변을 생성하도록 합니다.
정보 검색 및 자연어 처리, 특히 LLM 및 RAG의 최근 개발은 효율성과 정교함의 새로운 전선을 열었습니다. 이러한 개발은 다음과 같은 широк은 윤곽으로 평가될 수 있습니다.
- 개선된 정보 검색: RAG 시스템에서 정보 검색의 개선은 효율적으로 작동하는 데 매우 중요합니다. 최근 연구에서는 정밀한 검색을 개선하기 위한 다양한 벡터, 재랭킹 알고리즘, 하이브리드 검색 방법을 개발했습니다.
- 시맨틱 캐싱: 이것은 계산 비용을 줄이는 주요 방법 중 하나입니다. 현재 쿼리의 응답을 시맨틱 및 실제적 맥락과 함께 캐싱하여 속도와 일관성을 높입니다.
- 멀티모달 통합: 텍스트 기반 LLM 및 RAG 시스템 외에도 시각적 및 기타 모달리티를 다룹니다. 이것은 더 다양한 소스 자료에 접근할 수 있으며 점점 더 정교하고 정확한 응답을 생성합니다.
전통적인 RAG 아키텍처의 도전
RAG는 다양한 요구 사항을 충족하기 위해 발전하고 있습니다. 그러나 여전히 전통적인 RAG 아키텍처 앞에 서 있는 도전이 있습니다.
- 요약: 큰 문서를 요약하는 것이 어려울 수 있습니다. 문서가 길면 전통적인 RAG 구조는 중요한 정보를 놓칠 수 있습니다.
- 문서 비교: 효과적인 문서 비교는 여전히 도전입니다. RAG 프레임워크는 문서의 상위 K 개의 랜덤 조각을 선택하여 비교가 불완전할 수 있습니다.
- 구조화된 데이터 분석: 구조화된 숫자 데이터 쿼리를 처리하는 것이 어려울 수 있습니다. 예를 들어, 직원의 다음 휴가일을 결정하는 데 필요한 데이터를 검색하고 분석하는 것이 정확하지 않을 수 있습니다.
- 여러 부분으로 구성된 쿼리 처리: 여러 부분으로 구성된 질문에 답변하는 것이 제한적입니다. 예를 들어, 큰 조직에서 모든 지역의 공통된 휴가 패턴을 발견하는 것이 어려울 수 있습니다.
Agentic RAG로의 이동
Agentic RAG는 복잡한 질문에 대한 답변을 생성하기 위해 지능형 에이전트를 사용합니다. 이러한 에이전트는 데이터를 분석하고 외부 도구를 통합하여 더 정확하고 정교한 답변을 생성합니다.
에이전트의 개념은 클래식 RAG 프레임워크에 포함되어 시스템의 기능과 능력을 향상시킵니다. 이러한 에이전트는 기본적인 정보 검색과 생성을 넘어선 추가적인 역할과推論을 수행합니다.
세 가지 주요 Agentic 전략
라우터는 쿼리 유형에 따라 적절한 모듈 또는 데이터베이스로 쿼리를 전송합니다. 라우터는 대규모 언어 모델을 사용하여 쿼리의 맥락을 동적으로 결정하고 정확성과 효율성을 높입니다.
쿼리 변환은 사용자의 쿼리를 정보에 가장 잘 맞는 형태로 재구성하는 프로세스입니다. 이것은 재구성, 확장 또는 복잡한 질문을 더 간단한 하위 질문으로 분해하는 것을 포함할 수 있습니다.
또한 하위 쿼리 엔진을 사용하여 복잡한 쿼리에 대한 답변을 생성해야 합니다.
まず, 복잡한 질문을 더 간단한 질문으로 분해합니다. 그런 다음, 중간 답변을 수집하고 최종 결과를 생성합니다.
Agentic RAG 파이프라인
- 라우팅: 질문은 관련성에 따라 적절한 지식 기반 처리로 라우팅됩니다. 예를 들어, 사용자가 특정 카테고리의 책에 대한 추천을 얻으려면 쿼리는 해당 카테고리의 책에 대한 지식 베이스로 라우팅됩니다.
- 쿼리 계획: 쿼리는 하위 쿼리로 분해되고 각 쿼리는 해당하는 파이프라인으로 전송됩니다. 에이전트는 각 항목에 대한 하위 쿼리를 생성하고 해당 지식 베이스로 전송합니다.
- 도구 사용: 언어 모델은 API 또는 외부 도구와 통신하여 필요한 정보를 검색합니다. 예를 들어, 사용자가 특정 날짜의 날씨 예보를 요청하면 언어 모델은 날씨 API와 통신하여 위치와 날짜를 식별하고 반환된 정보를 파싱하여 올바른 정보를 제공합니다.
- ReAct는 생각과 행동을 결합한 반복적인 프로세스입니다. 이것은 계획, 도구 사용 및 관찰을 포함합니다.
예를 들어, 종단 간 휴가 계획을 설계하는 경우, 시스템은 사용자의 요구 사항을 고려하고 루트, 관광 명소, 레스토랑 및 숙박 시설에 대한 세부 정보를 검색하여 사용자의 프롬프트와 일정을 고려하여 자세한 여행 계획을 생성합니다. - 동적 쿼리 계획: 에이전트는 순차적으로 실행하는 대신 여러 액션 또는 하위 쿼리를 동시에 실행하고 결과를 집계합니다.
예를 들어, 두 회사의 재무 결과를 비교하고 특정 지표의 차이를 결정하려면 에이전트는 두 회사의 데이터를 병렬로 처리하고 결과를 집계합니다.
Agentic RAG와 LLMaIndex
LLMaIndex는 RAG 파이프라인의 효율적인 구현을 나타냅니다. 라이브러리는 구조화된 조직 데이터를 생성적 AI 모델에 통합하는 데 필요한 MISSING PIECE를 제공하여 도구가 데이터를 처리하고 검색하는 데 편의를 제공하고 다양한 데이터 소스에 대한 인터페이스를 제공합니다. LlamaIndex의 주요 구성 요소는 아래에 설명되어 있습니다.
LlamaParse는 문서를 파싱합니다.
Llama Cloud는 RAG 파이프라인이 배포된 엔터프라이즈급 서비스입니다. 이 솔루션을 통해 AI 엔지니어는 데이터 랭글링의 복잡한 프로세스를 줄여 핵심 비즈니스 논리를 개발하는 데 집중할 수 있습니다.
다중 LLM과 벡터 저장소를 사용하여 LlamaIndex는 Python과 TypeScript에서 RAG를 사용한 애플리케이션을 구축하기 위한 통합된 방법을 제공합니다. 이러한 특징으로 인해 LlamaIndex는 AI를 사용한 데이터 驅動 의사 결정에 관심 있는 회사들에게 매우 인기 있는 백본이 되었습니다.
Agentic Rag 구현의 주요 구성 요소
Agentic RAG의 일부 요소와 LlamaIndex에서 어떻게 구현되는지 자세히 살펴보겠습니다.
1. 도구 사용 및 라우팅
라우팅 에이전트는 쿼리 유형에 따라 가장 적절한 LLM 또는 도구를 선택합니다. 이것은 사용자가 개요 또는 자세한 요약을 원하는지와 같은 맥락에 민감한 결정으로 이어집니다. LlamaIndex의 Router Query Engine과 같은 예는 쿼리에 대한 응답을 최대화하기 위해 도구를 동적으로 선택합니다.
2. 장기 컨텍스트 유지
메모리의 가장 중요한 역할은 여러 상호작용에 걸쳐 컨텍스트를 유지하는 것입니다. 반면, Agentic RAG의 에이전트는 지속적으로 상호작용의 결과로 일관성 있고 컨텍스트가 풍부한 응답을 생성합니다.
LlamaIndex에는 컨텍스트 대화와 단일 샷 쿼리에 대한 메모리가 있는 채팅 엔진도 포함되어 있습니다. 긴 대화 중에 컨텍스트 창이 넘치지 않도록 메모리를 제어해야 합니다.
3. 계획을 위한 하위 쿼리 엔진
때로는 복잡한 쿼리를 더 작은 작업으로 분해해야 합니다. 하위 쿼리 엔진은 LlamaIndex에서 사용되는 에이전트의 핵심 기능 중 하나입니다. 큰 쿼리를 더 작은 쿼리로 분해하고 순차적으로 실행한 다음 응답을 결합하여 일관된 답변을 생성합니다.
4. 반성 및 오류 수정
반성적인 에이전트는 출력을 생성한 다음 출력의 품질을 확인하여 필요한 경우 수정합니다. 이것은 정확성을 보장하고 의도한 대로 출력이 생성되는지 확인하는 데 매우 중요합니다. LlamaIndex의 자기 반성 워크플로우를 통해 에이전트는 성과를 검토하여 품질 수준을 충족하지 않는 활동을 다시 시도하거나 조정합니다.
5. 복잡한 에이전트 추론
트리 기반 탐색은 에이전트가 여러 경로를 조사하여 목표를 달성해야 하는 경우에 적용됩니다. 순차적 결정과 달리, 트리 기반 추론을 통해 에이전트는 여러 전략을 동시에 고려하고 실시간으로 업데이트되는 평가 기준에 따라 가장 약속된 전략을 선택할 수 있습니다.
LlamaCloud와 LlamaParse
LlamaCloud는 RAG 파이프라인이 배포된 엔터프라이즈급 서비스입니다. 이 솔루션을 통해 AI 엔지니어는 데이터 랭글링의 복잡한 프로세스를 줄여 핵심 비즈니스 논리를 개발하는 데 집중할 수 있습니다.
또한 LlamaParse는 LlamaIndex의 파싱 엔진입니다. 이것은 복잡한 반구조화된 문서와 내장된 객체를 처리하는 데 중요한 역할을 합니다.
결론
Agentic RAG는 정보 처리에서 지능을 더하는 것으로 나타납니다. 많은 상황에서 Agentic RAG는 더 정확하고 정교한 결과를 제공하기 위해 프로세스 또는 다른 API와 결합할 수 있습니다. 예를 들어, 문서 요약의 경우 Agentic RAG는 사용자의 목적을 평가한 다음 요약 또는 비교를 생성합니다. 고객 지원의 경우 Agentic RAG는 고객의 질문에 정확하게 답변할 수 있습니다. Agentic RAG는 생성 모델에서 더 정교한 시스템으로의 전환을 나타내며, 다른 유형의 소스를 활용하여 강력하고 정확한 결과를 달성합니다. 그러나 이러한 모델과 Agentic RAG는 이미 생성적이고 지능적인 모델이므로, 파이프라인에 더 많은 데이터가 추가됨에 따라 효율성을 높이는 데 관심이 있습니다.
