대규모 언어 모델과 비즈니스 연결: LLMOps

OpenAI의 GPT-3 또는 그 후속 모델인 GPT-4와 같은 대규모 언어 모델(LLM)의 기반은 인공 지능의 하위 집합인 딥 러닝에 있다. 이러한 모델은 광범위한 인터넷 텍스트를 포함하는 방대한 데이터셋에서 훈련된다. 훈련을 통해 LLM은 이전에 나온 단어들이 주어졌을 때 시퀀스의 다음 단어를 예측하는 것을 학습한다. 이러한 기능은 본질적으로 간단하지만, LLM이 확장된 시퀀스에서 일관성 있고 맥락적으로 관련된 텍스트를 생성하는 능력의基础를 제공한다.

잠재적인 응용 분야는 무한하다. 이메일 작성, 코드 생성, 질의 응답, 창의적인 글쓰기 등이 가능하다. 그러나 이러한 강력한 능력은 책임이 따른다. 생산 환경에서 이러한 거대한 모델을 관리하는 것은 간단하지 않다. 이때 LLMOps가 등장한다. LLMOps는 신뢰할 수 있는, 보안이 있으며, 효율적인 LLM 운영을 보장하는 일련의 모범 사례, 도구 및 프로세스를 나타낸다.

LLM 통합을 위한 로드맵에는 세 가지 주요 경로가 있다:

1. 일반 목적 LLM 프롬프팅:
   • ChatGPT와 Bard와 같은 모델은 낮은 도입 장벽과 최소한의 초기 비용을 제공한다. 그러나 장기적으로 잠재적인 비용이 있을 수 있다.
   • 금융 및 헬스케어와 같은 분야에서는 데이터 개인 정보 보호와 보안이 중요한 문제로 남아 있다.
2. 일반 목적 LLM 미세 조정:
   • Llama, Falcon, Mistral과 같은 오픈 소스 모델을 사용하면 조직은 특정 사용 사례에 맞게 이러한 LLM을 미세 조정할 수 있다. 이는 모델 훈련 리소스만을 비용으로 한다.
   • 이 접근 방식은 개인 정보 보호와 보안 문제를 해결하지만, 모델 선택, 데이터 준비, 미세 조정, 배포 및 모니터링과 같은 더 많은 작업이 필요하다.
   • 최근의 혁신으로 LoRA(Low-Rank Adaptation)와 Q(Quantized)-LoRA와 같은 기술이 미세 조정을 간소화하여 이것이 점점 더 인기 있는 선택이 되고 있다.
3. 사용자 정의 LLM 훈련:
   • 스크래치에서 LLM을 개발하면 작업에 맞게 정확도를 최적화할 수 있다. 그러나 이는 인공 지능 전문 지식, 계산 리소스, 광범위한 데이터 및 시간 투자가 필요하다.

세 가지 중에서 일반 목적 LLM의 미세 조정이 회사에 가장 유리한 옵션이다. 새로운 기초 모델을 만들 때는 1억 달러까지 비용이 들 수 있지만, 기존 모델을 미세 조정하는 경우에는 10만 달러에서 100만 달러 사이의 비용이 든다. 이러한 비용은 계산 비용, 데이터 수집 및 레이블링, 엔지니어링 및 연구 개발 비용에서 비롯된다.

LLMOps 대 MLOps

기계 학습 운영(MLOps)은 기계 학습 모델을 개발에서 생산까지 전환하는 구조화된 경로를 제공한다. 그러나 대규모 언어 모델(LLM)의 등장으로, LLM을 배포하고 관리하는 고유한挑戰을 해결하기 위한 새로운 운영 패러다임인 LLMOps가 등장했다. LLMOps와 MLOps의 차이점은 여러 요소에 있다:

1. 계산 리소스:
   • LLM은 훈련 및 미세 조정을 위해大量의 계산 능력이 필요하다. 이는 데이터 병렬 작업을 가속화하기 위한 특수 하드웨어인 GPU를 필요로 한다.
   • 추론 비용은 모델 압축 및 증류 기술을 사용하여 계산 비용을 줄이는 것이 중요함을 강조한다.
2. 전이 학습:
   • 전통적인 기계 학습 모델과 달리 LLM은 전이 학습에 크게 의존한다. 이는 사전 훈련된 모델에서 시작하여 특정 도메인 작업을 위해 미세 조정하는 것을 의미한다.
   • 이 접근 방식은 데이터와 계산 리소스를 절약하면서 최첨단 성능을 달성한다.
3. 인간 피드백 루프:
   • LLM의 반복적 개선은 인간 피드백에서 강화 학습(RLHF)에 크게 의존한다.
   • LLMOps 파이프라인 내에 피드백 루프를 통합하면 평가를 단순화하고 미세 조정 과정을 가속화할 수 있다.
4. 하이퍼파라미터 조정:
   • 기존 기계 학습에서 하이퍼파라미터 조정을 통해 정확도를 향상시키는 것과 달리, LLM에서는 계산需求을 줄이는 것도 중요하다.
   • 배치 크기와 학습률과 같은 매개변수를 조정하면 훈련 속도와 비용에 큰 영향을 미칠 수 있다.
5. 성능 지표:
   • 전통적인 기계 학습 모델은 정확도, AUC, F1 점수와 같은 잘 정의된 성능 지표를 사용한다. 반면에 LLM은 BLEU와 ROUGE와 같은 다른 지표 세트를 사용한다.
   • BLEU와 ROUGE는 기계 번역 및 요약의 질을 평가하는 데 사용되는 지표이다. BLEU는 주로 기계 번역 작업에 사용되며, ROUGE는 텍스트 요약 작업에 사용된다.
   • BLEU는 정밀도, 즉 기계 생성 요약에 나타나는 단어가 인간 참조 요약에 나타나는 단어의 비율을 측정한다. ROUGE는 재현율, 즉 인간 참조 요약에 나타나는 단어가 기계 생성 요약에 나타나는 단어의 비율을 측정한다.
6. 프롬프트 엔지니어링:
   • 정확하고 신뢰할 수 있는 응답을 얻기 위해 LLM에 대한 프롬프트를 정교하게 설계하는 것이 중요하다. 이는 모델의 환상과 프롬프트 해킹과 같은 위험을 완화하는 데 도움이 된다.
7. LLM 파이프라인 구축:
   • LangChain이나 LlamaIndex와 같은 도구를 사용하면 복잡한 작업을 위한 LLM 파이프라인을 구축할 수 있다. 이는 여러 LLM 호출 또는 외부 시스템 상호 작용을 결합한다.

https://www.fiddler.ai/llmops

LLMOps 워크플로우 이해: 심층 분석

언어 모델 운영, 또는 LLMOps는 대규모 언어 모델의 원활한 작동과 다양한 응용 프로그램에 걸친 통합을 보장하는 운영의 핵심이다. MLOps 또는 DevOps의 변형으로 보일 수 있지만, LLMOps는 대규모 언어 모델의 요구 사항에 맞춘 고유한 특징을 가지고 있다. 그림에 나타난 LLMOps 워크플로우를 자세히 살펴보자.

1. 훈련 데이터:
   • 언어 모델의 핵심은 훈련 데이터에 있다. 이 단계에서는 데이터셋을 수집하고, 데이터가 깨끗하고, 균형이 잡혀 있고, 적절하게 주석이 달린 것을 확인한다. 데이터의 품질과 다양성은 모델의 정확도와 유연성에 크게 영향을 미친다. LLMOps에서 모델의 의도된 사용 사례와 일치하는지 확인하는 것이 중요하다.
2. 오픈 소스 기초 모델:
   • 그림에서 “오픈 소스 기초 모델”이라고 언급된 것은 종종 주요 AI 엔티티에서 릴리스되는 사전 훈련된 모델이다. 이러한 모델은大量의 데이터셋에서 훈련되어 특정 작업을 위해 미세 조정하는 데 이상적인 출발점을 제공한다.
3. 훈련/미세 조정:
   • 기초 모델과 특정 훈련 데이터가 준비되면 미세 조정이 시작된다. 이 단계에서는 모델을 특정 목적, 예를 들어 의료 분야에 사용하기 위해 일반 텍스트 모델을 미세 조정한다. LLMOps에서 과적합을 방지하고 미래에 보지 못한 데이터에 잘 일반화되도록 하는 것이 중요하다.
4. 훈련된 모델:
   • 미세 조정 후, 특정 응용 프로그램에 맞게 전문가 모델이 준비된다. 이 모델은 기초 모델의 향상된 버전으로, 공개 또는 사적일 수 있다.
5. 배포:
   • 배포는 모델을 실제 환경에서 실시간 쿼리 처리를 위해 통합하는 것을 포함한다. 이는 호스팅, 온프레미스 또는 클라우드 플랫폼을 선택하는 것을 포함한다. LLMOps에서 대기 시간, 계산 비용, 접근성 및 모델의 확장성과 같은 요소를 고려하는 것이 중요하다.
6. 프롬프트:
   • 언어 모델에서 프롬프트는 입력 쿼리 또는 문장이다. 모델이 이 프롬프트를 처리하여 원하는 출력을 얻는 데 모델의 동작을 이해하는 것이 중요하다.
7. 임베딩 스토어 또는 벡터 데이터베이스:
   • 후처리 후, 모델은 단순한 텍스트 응답 외에도 임베딩을 반환할 수 있다. 임베딩은 의미적 내용을 나타내는 고차원 벡터이다. 이러한 임베딩은 저장되거나 서비스로 제공될 수 있으며, 의미적 정보의 빠른 검색 또는 비교를 가능하게 하여 모델의 능력을 텍스트 생성을 넘어서 활용할 수 있다.
8. 배포된 모델 (자체 호스팅 또는 API):
   • 처리 후, 모델의 출력이 준비된다. 전략에 따라 출력은 자체 호스팅 인터페이스 또는 API를 통해 액세스할 수 있다. 자체 호스팅은 조직에 더 많은 제어를 제공하며, API는 제3자 개발자에게 확장성과 통합을 제공한다.
9. 출력:
   • 이 단계에서는 워크플로우의 구체적인 결과가 생성된다. 모델은 프롬프트를 처리하고, 출력을 반환한다. 이는 응용 프로그램에 따라 텍스트 블록, 답변, 생성된 이야기 또는 임베딩이 될 수 있다.

최상위 LLM 스타트업

LLMOps의 풍경은 전문 플랫폼과 스타트업의 출현을 목격했다. 여기 두 가지 스타트업/플랫폼과 LLMOps 공간 관련 설명이 있다.

Comet

Comet은 기계 학습 수명 주기를 간소화하며, 특히 대규모 언어 모델 개발을 위해 설계되었다. 실험 추적 및 생산 모델 관리 기능을 제공한다. 이 플랫폼은 대규모 기업 팀에게 적합하며, 사내 클라우드, 하이브리드 및 온프레미스 설정을 포함한 다양한 배포 전략을 제공한다.

Dify

Dify는 GPT-4와 같은 대규모 언어 모델을 사용하여 AI 애플리케이션 개발을 지원하는 오픈 소스 LLMOps 플랫폼이다. 사용자 친화적인 인터페이스를 제공하며, 모델 액세스, 컨텍스트 임베딩, 비용 제어 및 데이터 주석 기능을 제공한다. 사용자는 모델을 시각적으로 관리하고 문서, 웹 콘텐츠 또는 Notion 노트를 AI 컨텍스트로 사용할 수 있다.

Portkey.ai

Portkey.ai는 언어 모델 운영(LLMOps)에 전문적인 인도 스타트업이다. 최근 Lightspeed Venture Partners가 주도한 300만 달러의 시드 자금을 확보했다. Portkey.ai는 OpenAI와 Anthropic의 주요 대규모 언어 모델과 통합을 제공한다. 생성적 AI 회사에 서비스를 제공하며, 실시간 캐나리 테스트 및 모델 미세 조정 기능을 포함한 LLM 운영 스택을 강화하는 데 중점을 둔다.