대규모 언어 모델과 비즈니스 연결: LLMops

OpenAI의 GPT-3 또는 그 후속작인 GPT-4와 같은 LLM의 기반은 AI의 하위 영역인 딥러닝에 있으며, XNUMX개 이상의 계층을 가진 신경망을 활용합니다. 이러한 모델은 광범위한 인터넷 텍스트를 포함하는 방대한 데이터 세트를 기반으로 학습됩니다. 학습을 통해 LLM은 이전 단어를 기반으로 시퀀스에서 다음 단어를 예측하는 법을 학습합니다. 본질적으로 단순한 이 기능은 LLM이 확장된 시퀀스에서 일관되고 맥락적으로 관련성 있는 텍스트를 생성하는 능력을 뒷받침합니다.

잠재적인 응용 프로그램은 이메일 초안 작성, 코드 작성, 쿼리 응답에서부터 창의적인 글쓰기에 이르기까지 무한합니다. 그러나 큰 힘에는 큰 책임이 따르며 생산 환경에서 이러한 거대 모델을 관리하는 것은 결코 쉬운 일이 아닙니다. LLM의 안정적이고 안전하며 효율적인 운영을 보장하기 위한 일련의 모범 사례, 도구 및 프로세스를 구현하는 LLMOps가 개입하는 곳입니다.

LLM 통합 로드맵에는 세 가지 주요 경로가 있습니다.

1. 범용 LLM 유도:
   • ChatGPT 및 Bard와 같은 모델은 장기적으로 잠재적인 가격표가 있더라도 최소한의 초기 비용으로 채택을 위한 낮은 임계값을 제공합니다.
   • 그러나 특히 엄격한 규제 프레임워크를 갖춘 핀테크 및 의료와 같은 부문의 경우 데이터 개인 정보 보호 및 보안의 그림자가 커집니다.
2. 미세 조정 범용 LLM:
   • 다음과 같은 오픈 소스 모델을 사용하면 야마, 팔콘 및 한랭 한 북서풍, 조직은 모델 튜닝 리소스를 비용으로 사용하여 특정 사용 사례에 부합하도록 이러한 LLM을 맞춤화할 수 있습니다.
   • 이 방법은 개인 정보 보호 및 보안 문제를 해결하는 동시에 보다 심층적인 모델 선택, 데이터 준비, 미세 조정, 배포 및 모니터링을 요구합니다.
   • 이 경로의 순환적 특성은 지속적인 참여를 요구하지만 LoRA(Low-Rank Adaptation) 및 Q(Quantized)-LoRa와 같은 최근 혁신으로 인해 미세 조정 프로세스가 간소화되어 점점 인기가 높아지고 있습니다.
3. 맞춤형 LLM 교육:
   • LLM을 처음부터 개발하면 당면한 작업에 맞는 비교할 수 없는 정확성이 보장됩니다. 그러나 AI 전문 지식, 계산 리소스, 광범위한 데이터 및 시간 투자에 대한 까다로운 요구 사항은 상당한 장애물을 제기합니다.

세 가지 중에서 범용 LLM의 미세 조정이 기업에 가장 유리한 옵션입니다. 새로운 기초 모델을 만드는 데는 최대 100억 달러가 소요될 수 있으며, 기존 모델을 미세 조정하는 데는 100만 달러에서 1만 달러 사이의 비용이 듭니다. 이 수치는 엔지니어링 및 R&D 비용과 함께 계산 비용, 데이터 수집 및 라벨링에서 비롯됩니다.

LLMOps와 MLOps 비교

MLOps(기계 학습 작업)는 잘 구축되어 기계 학습(ML) 모델을 개발에서 프로덕션으로 전환하기 위한 구조화된 경로를 제공합니다. 그러나 LLM(대형 언어 모델)이 등장하면서 LLM 배포 및 관리와 관련된 고유한 문제를 해결하기 위해 LLMOps라고 하는 새로운 운영 패러다임이 등장했습니다. LLMOps와 MLOps의 차이점은 다음과 같은 여러 요소에 따라 결정됩니다.

1. 전산 자원:
   • LLM은 교육 및 미세 조정을 위해 상당한 컴퓨팅 능력을 요구하며, 데이터 병렬 작업을 가속화하려면 GPU와 같은 특수 하드웨어가 필요한 경우가 많습니다.
   • 추론 비용은 계산 비용을 억제하기 위한 모델 압축 및 증류 기술의 중요성을 더욱 강조합니다.
2. 전학 학습:
   • 처음부터 학습하는 경우가 많은 기존 ML 모델과 달리 LLM은 사전 학습된 모델에서 시작하여 특정 도메인 작업에 맞게 미세 조정하는 전이 학습에 크게 의존합니다.
   • 이 접근 방식은 최첨단 성능을 달성하는 동시에 데이터 및 계산 리소스를 절약합니다.
3. 인간 피드백 루프:
   • LLM의 반복적 향상은 인간 피드백(RLHF)을 통한 강화 학습에 의해 크게 좌우됩니다.
   • LLMOps 파이프라인 내에 피드백 루프를 통합하면 평가가 단순화될 뿐만 아니라 미세 조정 프로세스도 촉진됩니다.
4. 하이퍼 파라미터 튜닝:
   • 기존 ML은 하이퍼파라미터 튜닝을 통한 정확성 향상을 강조하지만, LLM 분야에서는 계산 요구 사항을 줄이는 데에도 중점을 둡니다.
   • 배치 크기 및 학습 속도와 같은 매개변수를 조정하면 훈련 속도와 비용이 크게 바뀔 수 있습니다.
5. 실적 측정 항목:
   • 기존 ML 모델은 정확도, AUC 또는 F1 점수와 같이 잘 정의된 성능 측정항목을 따르는 반면, LLM은 BLEU 및 ROUGE와 같은 다양한 측정항목 세트를 사용합니다.
   • BLEU 및 ROUGE는 기계 생성 번역 및 요약의 품질을 평가하는 데 사용되는 측정항목입니다. BLEU는 주로 기계 번역 작업에 사용되고 ROUGE는 텍스트 요약 작업에 사용됩니다.
   • BLEU는 정밀도, 즉 기계가 생성한 요약의 단어가 인간 참조 요약에 얼마나 많이 나타나는지 측정합니다. ROUGE는 회상을 측정하거나 인간 참조 요약의 단어가 기계 생성 요약에 얼마나 많이 나타나는지 측정합니다.
6. 신속한 엔지니어링:
   • LLM으로부터 정확하고 신뢰할 수 있는 응답을 이끌어내고 다음과 같은 위험을 완화하려면 정확한 프롬프트를 엔지니어링하는 것이 중요합니다. 모델 환각 그리고 신속한 해킹.
7. LLM 파이프라인 건설:
   • LangChain 또는 LlamaIndex와 같은 도구를 사용하면 지식 기반 Q&A와 같은 복잡한 작업을 위해 여러 LLM 호출 또는 외부 시스템 상호 작용을 엮는 LLM 파이프라인 조립이 가능합니다.

https://www.fiddler.ai/llmops

LLMOps 워크플로 이해: 심층 분석

언어 모델 운영(LLMOps)은 대규모 언어 모델의 운영 백본과 유사하며, 다양한 애플리케이션에서 원활한 작동과 통합을 보장합니다. MLOps나 DevOps의 변형처럼 보일 수 있지만, LLMOps는 대규모 언어 모델의 요구를 충족하는 고유한 특징을 가지고 있습니다. 그림에 표시된 LLMOps 워크플로를 자세히 살펴보고 각 단계를 포괄적으로 살펴보겠습니다.

1. 훈련 데이터:
   • 언어 모델의 핵심은 학습 데이터에 있습니다. 이 단계는 데이터 세트를 수집하고, 정제되고, 균형 잡히고, 적절하게 주석 처리되었는지 확인하는 것을 포함합니다. 데이터의 품질과 다양성은 모델의 정확성과 다재다능함에 큰 영향을 미칩니다. LLMOps에서는 단순히 데이터 양뿐만 아니라 모델의 의도된 사용 사례와의 일치성에도 중점을 둡니다.
2. 오픈 소스 기반 모델:
   • 그림은 선도적인 AI 엔터티에서 종종 출시하는 사전 훈련된 모델인 "오픈 소스 기반 모델"을 참조합니다. 대규모 데이터 세트에 대해 훈련된 이러한 모델은 시간과 리소스를 절약하고 새로 훈련하는 대신 특정 작업에 대한 미세 조정을 가능하게 하는 탁월한 시작 역할을 합니다.
3. 훈련/튜닝:
   • 기초 모델과 특정 교육 데이터를 사용하여 튜닝이 이루어집니다. 이 단계에서는 의료 애플리케이션용 의학 문헌을 사용하여 일반 텍스트 모델을 미세 조정하는 등 특수한 목적에 맞게 모델을 개선합니다. LLMOps에서는 과적합을 방지하고 보이지 않는 데이터에 대한 좋은 일반화를 보장하기 위해 일관된 검사를 통한 엄격한 조정이 중요합니다.
4. 훈련된 모델:
   • 배포 준비가 완료된 학습된 모델인 사후 조정이 나타납니다. 기초 모델의 향상된 버전인 이 모델은 이제 특정 애플리케이션에 특화되었습니다. 공개적으로 액세스할 수 있는 가중치와 아키텍처를 갖춘 오픈 소스일 수도 있고, 조직에서 비공개로 유지하는 독점일 수도 있습니다.
5. 배포:
   • 배포에는 실제 쿼리 처리를 위해 모델을 실제 환경에 통합하는 작업이 수반됩니다. 여기에는 온프레미스 또는 클라우드 플랫폼에서의 호스팅과 관련된 결정이 포함됩니다. LLMOps에서는 지연 시간, 계산 비용, 접근성에 대한 고려 사항이 중요하며 동시에 수많은 동시 요청에 맞게 모델이 잘 확장되도록 보장합니다.
6. 신속한:
   • 언어 모델에서 프롬프트는 입력 쿼리 또는 명령문입니다. 종종 모델 행동 이해가 필요한 효과적인 프롬프트를 작성하는 것은 모델이 이러한 프롬프트를 처리할 때 원하는 출력을 도출하는 데 필수적입니다.
7. 임베딩 스토어 또는 벡터 데이터베이스:
   • 후처리 과정에서 모델은 일반 텍스트 응답 이상의 결과를 반환할 수 있습니다. 고급 애플리케이션에는 의미적 내용을 표현하는 고차원 벡터인 임베딩이 필요할 수 있습니다. 이러한 임베딩은 저장하거나 서비스 형태로 제공될 수 있으며, 이를 통해 의미적 정보를 빠르게 검색하거나 비교할 수 있고, 단순한 텍스트 생성을 넘어 모델의 기능을 더욱 풍부하게 활용할 수 있습니다.
8. 배포된 모델(자체 호스팅 또는 API):
   • 처리가 완료되면 모델의 출력이 준비됩니다. 전략에 따라 출력은 자체 호스팅 인터페이스 또는 API를 통해 액세스할 수 있습니다. 자체 호스팅 인터페이스는 호스트 조직에 더 많은 제어권을 제공하고, API는 타사 개발자에게 확장성과 손쉬운 통합을 제공합니다.
9. 출력:
   • 이 단계에서는 워크플로우의 실질적인 결과가 나옵니다. 모델은 프롬프트를 받아 처리한 후 출력을 반환합니다. 출력은 애플리케이션에 따라 텍스트 블록, 답변, 생성된 스토리 또는 논의된 임베딩일 수 있습니다.