대규모 언어 모델(Large Language Model, LLM)을 실제 비즈니스 애플리케이션으로 이동시키기

대규모 언어 모델은 모든 곳에 존재합니다. 모든 고객 대화 또는 VC 피치에는 LLM 기술이 준비되어 있는지 및 미래 애플리케이션을 어떻게 구동할 것인지에 대한 질문이 포함됩니다. 이전 포스트에서 이에 대한 일부 패턴을 다루었습니다. 여기에서는 실제 패턴 중 하나인 제약업계 애플리케이션에 대해 Persistent Systems이 작업한 내용에 대해 이야기하겠습니다.

대규모 언어 모델과 핵심 강점

LLM은 언어를 이해하는 데 뛰어난 능력을 가지고 있습니다. 가장 일반적인 패턴은 외부 데이터 소스에서 컴파일된 지식을 제공하고 LLM이 응답을 다시 작성하는 검색 보강 생성(RAG)입니다. 이 경우 초고속 검색 메커니즘인 벡터 데이터베이스와 Elasticsearch 기반 엔진이 첫 번째 검색 줄로 작동합니다. 그런 다음 검색 결과는 프롬프트로 컴파일되고 LLM에 API 호출로 전송됩니다.

또 다른 패턴은 데이터 모델을 프롬프트로 사용하고 특정 사용자 쿼리를 제공하여 구조화된 데이터에서 쿼리를 생성하는 것입니다. 이 패턴은 Snowflake와 같은 SQL 데이터베이스 및 Neo4j와 같은 그래프 데이터베이스에 대한 고급 “데이터와 대화” 인터페이스를 개발하는 데 사용될 수 있습니다.

실제 세계의 통찰력을 위한 LLM 패턴 활용

Persistent Systems는 최근 Blast Motion과 같은 스포츠 텔레메트리 회사(야구, 골프 등 스윙 분석)에 대한 패턴을 분석하여 플레이어 요약에서 추천을 얻었습니다.

보다 복잡한 애플리케이션의 경우, 우리는 종종 LLM 요청을 중간 호출에서 처리하는 체인으로 연결해야 합니다. 제약회사의 경우, 우리는 임상시험 문서에서 기준을 추출하여 임상시험에 적합한 환자를 필터링하는 스마트 트레일 앱을 개발했습니다. 여기서 우리는 LLM 체인 접근 방식을 사용했습니다. 먼저 우리는 임상시험 PDF 문서를 읽고 RAG 패턴을 사용하여 포함 및 제외 기준을 추출하는 LLM을 개발했습니다.

이 경우, 상대적으로 더 간단한 LLM인 GPT-3.5-Turbo(ChatGPT)를 사용했습니다. 그런 다음 우리는 이러한 추출된 엔티티를 Snowflake의 환자 SQL 데이터베이스의 데이터 모델과 결합하여 프롬프트를 생성했습니다. 이 프롬프트는 더 강력한 LLM인 GPT4에 제공되어 Snowflake에서 실행할 수 있는 환자 필터링 쿼리를 생성했습니다. 우리는 LLM 체인을 사용하므로 체인의 각 단계에서 여러 LLM을 사용할 수 있어 비용을 관리할 수 있습니다.

현재, 우리는 이 체인을 결정론적으로 유지하기로 결정했습니다. 즉, 체인에 더 많은 지능을 가하고 오케스트레이션을 매우 간단하고 예측 가능한 상태로 유지했습니다. 체인의 각 요소는 자체적으로 몇 개월이 걸릴 수 있는 복잡한 애플리케이션입니다.

보다 고급 사용 사례 구동

보다 고급 사례의 경우, 우리는 특정 사용자 쿼리에 대한 단계별 지침을 생성하기 위해 ReAct와 같은 에이전트를 사용하여 LLM을 프롬프트할 수 있습니다. 이는 GPT4 또는 Cohere와 같은 고급 LLM이 필요할 것입니다. 그러나 그러면 모델이 잘못된 단계를 수행할 위험이 있으므로 가드레일을 사용하여 확인해야 합니다. 이는 체인의 제어 가능한 링크에 지능을 이동하는 것과 전체 체인을 자율적으로 만드는 것 사이의 트레이드오프입니다.

오늘날, 언어를 위한 생성적 인공지능의 시대에 접어들면서, 산업은 예측 가능한 체인을 갖는 LLM 애플리케이션을 채택하기 시작했습니다. 이 채택이 증가함에 따라, 우리는 곧 에이전트를 통해 이러한 체인에 대한 자율성을 실험하기 시작할 것입니다. 이것이 AGI에 대한 논쟁의 핵심입니다. 우리는 모든 것이 어떻게 진화하는지 보는 데 관심이 있습니다.