MLflow를 사용한 대규모 언어 모델 추적: 완벽한 가이드

pip install mlflow>=2.8.1
pip install openai
pip install chromadb==0.4.15
pip install langchain==0.0.348
pip install tiktoken
pip install 'mlflow[genai]'
pip install databricks-sdk --upgrade

import mlflow
import chromadb

<p>print(f"MLflow 버전: {mlflow.__version__}")
print(f"ChromaDB 버전: {chromadb.__version__}")

import mlflow
import openai

<p>def query_llm(prompt, max_tokens=100):
response = openai.Completion.create(
engine="text-davinci-002",
prompt=prompt,
max_tokens=max_tokens
)
return response.choices[0].text.strip()</p>

<p>with mlflow.start_run():
prompt = "기계 학습의 개념을 간단하게 설명해 주세요."</p>

<p># 매개변수 로깅
mlflow.log_param("model", "text-davinci-002")
mlflow.log_param("max_tokens", 100)</p>

<p># LLM 쿼리 및 결과 로깅
result = query_llm(prompt)
mlflow.log_metric("response_length", len(result))</p>

<p># 프롬프트 및 응답 로깅
mlflow.log_table("prompt_responses", {"prompt": [prompt], "response": [result]})</p>

<p>print(f"응답: {result}")

import mlflow
from mlflow.deployments import get_deploy_client

<p># 배포 클라이언트 초기화
client = get_deploy_client("databricks")</p>

<p># 엔드포인트 구성 정의
endpoint_name = "llm-endpoint"
endpoint_config = {
"served_entities": [{
"name": "gpt-model",
"external_model": {
"name": "gpt-3.5-turbo",
"provider": "openai",
"task": "llm/v1/completions",
"openai_config": {
"openai_api_type": "azure",
"openai_api_key": "{{secrets/scope/openai_api_key}}",
"openai_api_base": "{{secrets/scope/openai_api_base}}",
"openai_deployment_name": "gpt-35-turbo",
"openai_api_version": "2023-05-15",
},
},
}],
}</p>

<p># 엔드포인트 생성
client.create_endpoint(name=endpoint_name, config=endpoint_config)

<div class="relative flex flex-col rounded-lg">

<p>response = client.predict(
endpoint=endpoint_name,
inputs={"prompt": "신경망의 개념을 간단하게 설명해 주세요.", "max_tokens": 100,}
)</p>

print(response)

이것은 배포된 모델에 프롬프트를 보내고 생성된 응답을 반환합니다.

MLflow를 사용한 LLM 평가

평가는 LLM의 성능과 동작을 이해하는 데 중요합니다. MLflow는 내장 및 사용자 정의 메트릭을 포함하여 LLM을 평가하기 위한 포괄적인 도구를 제공합니다.

LLM 평가를 위한 준비

LLM을 mlflow.evaluate()로 평가하려면, 모델이 다음 형식 중 하나여야 합니다.

1. MLflow pyfunc 모델 인스턴스 또는_logged MLflow 모델을 가리키는 URI
2. 입력 문자열을 받아 단일 문자열을 반환하는 Python 함수
3. MLflow 배포 엔드포인트 URI
4. 모델=None으로 설정하고 평가 데이터에 모델 출력을 포함

logged MLflow 모델을 사용하는 예를 살펴보겠습니다.

import mlflow
import openai

<p>with mlflow.start_run():
system_prompt = "다음 질문에 간단하게 대답해 주세요."
logged_model_info = mlflow.openai.log_model(
model="gpt-3.5-turbo",
task=openai.chat.completions,
artifact_path="model",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": "{question}"},
],
)</p>

<p># 평가 데이터 준비
eval_data = pd.DataFrame({
"question": ["기계 학습이 무엇인가요?", "신경망을 설명해 주세요."],
"ground_truth": [
"기계 학습은 명시적인 프로그래밍 없이 경험에서 학습하고 개선할 수 있는 인공 지능의 하위 집합입니다.",
"신경망은 생물학적 신경망에서 영감을 받은 컴퓨팅 시스템으로, 정보를 처리하고 전달하는 상호 연결된 노드로 구성됩니다.",
]
})</p>

<p># 모델 평가
results = mlflow.evaluate(
logged_model_info.model_uri,
eval_data,
targets="ground_truth",
model_type="question-answering",
)</p>

<p>print(f"평가 메트릭: {results.metrics}")

이 예제는 OpenAI 모델을 로깅하고, 평가 데이터를 준비하고, MLflow의 내장 메트릭을 사용하여 질문-답변 작업을 평가합니다.

사용자 정의 평가 메트릭

MLflow는 사용자 정의 메트릭을 정의하여 LLM을 평가할 수 있습니다. 응답의 전문성을 평가하는 사용자 정의 메트릭을 생성하는 예를 살펴보겠습니다.

from mlflow.metrics.genai import EvaluationExample, make_genai_metric

<p>professionalism = make_genai_metric(
name="professionalism",
definition="공식적이고 적절한 의사소통 스타일의 척도.",
grading_prompt=(
"답변의 전문성을 0-4의 척도에서 평가해 주세요.\n"
"0: 매우 캐주얼 또는 부적절\n"
"1: 캐주얼하지만 존중\n"
"2: 중간 정도 공식적\n"
"3: 전문적이고 적절\n"
"4: 매우 공식적이고 전문적"
),
examples=[
EvaluationExample(
input="기계 학습이 무엇인가요?",
output="기계 학습은 인공 지능의 하위 집합으로, 명시적인 프로그래밍 없이 경험에서 학습하고 개선할 수 있습니다.",
score=4,
justification="답변은 공식적이고 전문적입니다.",
),
],
model="openai:/gpt-3.5-turbo-16k",
parameters={"temperature": 0.0},
aggregations=["mean", "variance"],
greater_is_better=True,
)</p>

<p># 사용자 정의 메트릭을 평가에 사용
results = mlflow.evaluate(
logged_model_info.model_uri,
eval_data,
targets="ground_truth",
model_type="question-answering",
extra_metrics=[professionalism]
)</p>

<p>print(f"전문성 점수: {results.metrics['professionalism_mean']}")

이 사용자 정의 메트릭은 GPT-3.5-turbo를 사용하여 응답의 전문성을 평가합니다. 이는 LLM 자체를 평가에 사용하는 방법을 보여줍니다.

고급 LLM 평가 기술

LLM이 더 복잡해짐에 따라, 평가 기술도 더 복잡해지고 있습니다. MLflow를 사용하여 고급 평가 방법을 살펴보겠습니다.

검색-증강 생성(RAG) 평가

RAG 시스템은 검색 기반 및 생성 모델의 강점을 결합합니다. RAG 시스템을 평가하려면 검색 및 생성 구성 요소를 모두 평가해야 합니다. MLflow를 사용하여 RAG 시스템을 설정하고 평가하는 방법을 살펴보겠습니다.

from langchain.document_loaders import WebBaseLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

<p># 문서 로드 및 전처리
loader = WebBaseLoader(["https://mlflow.org/docs/latest/index.html"])
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)</p>

<p># 벡터 저장소 생성
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(texts, embeddings)</p>

<p># RAG 체인 생성
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(
llm=llm,
chain_type="stuff",
retriever=vectorstore.as_retriever(),
return_source_documents=True
)</p>

<p># 평가 함수
def evaluate_rag(question):
result = qa_chain({"query": question})
return result["result"], [doc.page_content for doc in result["source_documents"]]</p>

<p># 평가 데이터 준비
eval_questions = [
"기계 학습이 무엇인가요?",
"기계 학습의 주요 구성 요소는 무엇인가요?",
"신경망을 설명해 주세요.",
]</p>

<p># MLflow로 평가
with mlflow.start_run():
for question in eval_questions:
answer, sources = evaluate_rag(question)</p>

<p>mlflow.log_param(f"question", question)
mlflow.log_metric("num_sources", len(sources))
mlflow.log_text(answer, f"answer_{question}.txt")</p>

<p>for i, source in enumerate(sources):
mlflow.log_text(source, f"source_{question}_{i}.txt")</p>

<p># 사용자 정의 메트릭 로깅
mlflow.log_metric("avg_sources_per_question", sum(len(evaluate_rag(q)[1]) for q in eval_questions) / len(eval_questions))

이 예제는 LangChain과 Chroma를 사용하여 RAG 시스템을 설정하고, MLflow로 평가합니다.

문서 분할 전략 평가

문서를 분할하는 방법은 RAG 성능에 크게 영향을 미칠 수 있습니다. MLflow를 사용하여 다양한 문서 분할 전략을 평가하는 방법을 살펴보겠습니다.

import mlflow
from langchain.text_splitter import CharacterTextSplitter, TokenTextSplitter

<p>def evaluate_chunking_strategy(documents, chunk_size, chunk_overlap, splitter_class):
splitter = splitter_class(chunk_size=chunk_size, chunk_overlap=chunk_overlap)
chunks = splitter.split_documents(documents)</p>

<p>with mlflow.start_run():
mlflow.log_param("chunk_size", chunk_size)
mlflow.log_param("chunk_overlap", chunk_overlap)
mlflow.log_param("splitter_class", splitter_class.__name__)</p>

<p>mlflow.log_metric("num_chunks", len(chunks))
mlflow.log_metric("avg_chunk_length", sum(len(chunk.page_content) for chunk in chunks) / len(chunks))</p>

<p># 검색 성능 평가(간소화)
correct_retrievals = sum(1 for _ in range(100) if simulate_retrieval(chunks))
mlflow.log_metric("retrieval_accuracy", correct_retrievals / 100)</p>

<p># 다양한 전략 평가
for chunk_size in [500, 1000, 1500]:
for chunk_overlap in [0, 50, 100]:
for splitter_class in [CharacterTextSplitter, TokenTextSplitter]:
evaluate_chunking_strategy(documents, chunk_size, chunk_overlap, splitter_class)</p>

<p># 결과 비교
best_run = mlflow.search_runs(order_by=["metrics.retrieval_accuracy DESC"]).iloc[0]
print(f"최적의 분할 전략: {best_run['params.splitter_class']} with size {best_run['params.chunk_size']} and overlap {best_run['params.chunk_overlap']}")

이 스크립트는 다양한 분할 크기, 중복 및 분할 방법의 조합을 평가하고, 결과를 MLflow로 로깅하여 쉽게 비교할 수 있습니다.

LLM 평가 결과 시각화

MLflow는 다양한 방법으로 LLM 평가 결과를 시각화할 수 있습니다. 다음은 몇 가지 기술입니다.

MLflow UI 사용

평가를 실행한 후, MLflow UI를 사용하여 결과를 시각화할 수 있습니다.

1. MLflow UI 시작: mlflow ui
2. 웹 브라우저에서 http://localhost:5000으로 이동
3. 실험과 실행을 선택하여 메트릭, 매개변수 및 아티팩트를 xem

사용자 정의 시각화

Matplotlib 또는 Plotly와 같은 라이브러리를 사용하여 평가 결과의 사용자 정의 시각화를 생성할 수 있습니다. 그런 다음 이러한 시각화를 아티팩트로 로깅할 수 있습니다.

import matplotlib.pyplot as plt
import mlflow

<p>def plot_metric_comparison(metric_name, run_ids):
plt.figure(figsize=(10, 6))
for run_id in run_ids:
run = mlflow.get_run(run_id)
metric_values = mlflow.get_metric_history(run_id, metric_name)
plt.plot([m.step for m in metric_values], [m.value for m in metric_values], label=run.data.tags.get("mlflow.runName", run_id))</p>

<p>plt.title(f"{metric_name} 비교")
plt.xlabel("단계")
plt.ylabel(metric_name)
plt.legend()</p>

<p># 플롯 저장 및 로깅
plt.savefig(f"{metric_name}_comparison.png")
mlflow.log_artifact(f"{metric_name}_comparison.png")</p>

<p># 사용법
with mlflow.start_run():
plot_metric_comparison("answer_relevance", ["run_id_1", "run_id_2", "run_id_3"])

이 함수는 특정 메트릭을 여러 실행에 걸쳐 비교하는 선 그래프를 생성하고, 이를 아티팩트로 로깅합니다.

오픈 소스 MLflow의 대안

https://valohai.com/managed-vs-open-source-mlops/

오픈 소스 MLflow를 대신하여 기계 학습 워크플로우를 관리하는 여러 대안이 있습니다. 각 대안은 고유한 기능과 통합을 제공합니다.

관리형 MLflow by Databricks

Databricks에서 호스팅되는 관리형 MLflow는 오픈 소스 MLflow의 핵심 기능을 제공하지만, 다음과 같은 추가적인 이점을 제공합니다.

• 설정 및 배포: Databricks와의 무정지 통합으로 설정 및 배포 시간을 줄입니다.
• 확장성: 대규모 기계 학습 워크로드를 쉽게 처리할 수 있습니다.
• 보안 및 관리: 기본적으로 제공되는 역할 기반 액세스 제어(RBAC)와 데이터 암호화와 같은 보안 기능입니다.
• 통합: Databricks 서비스와의 깊은 통합으로 상호 운용성과 기능이 향상됩니다.
• 데이터 저장소 및 백업: 자동 백업 전략으로 데이터의 안전성과 신뢰성을 보장합니다.
• 비용: 플랫폼, 저장소 및 컴퓨팅 리소스에 대한 비용을 지불합니다.
• 지원 및 유지 보수: Databricks에서 제공하는 समर्प된 지원 및 유지 보수입니다.

Azure Machine Learning

Azure Machine Learning은 Microsoft Azure 클라우드 플랫폼에서 엔드투엔드 기계 학습 솔루션을 제공합니다. MLflow 구성 요소와의 호환성을 제공하지만, MLflow를 기반으로 하지 않습니다.

전용 ML 플랫폼

다음과 같은 다양한 기능을 제공하는 관리형 ML 제품이 있습니다.

• neptune.ai: 실험 추적 및 모델 관리에 중점을 둡니다.
• Weights & Biases: 광범위한 실험 추적, 데이터셋 버전 관리 및 협업 도구를 제공합니다.
• Comet ML: 실험 추적, 모델 프로덕션 모니터링 및 데이터 로깅을 제공합니다.
• Valohai: 기계 학습 파이프라인 및 오케스트레이션에 전문입니다.

Metaflow

Netflix에서 개발한 Metaflow는 대규모 배포를 관리하도록 설계된 오픈 소스 프레임워크입니다. 그러나 MLflow와 비교하여, 포괄적인 실험 추적 및 모델 관리 기능이 부족합니다.

Amazon SageMaker 및 Google의 Vertex AI

Amazon (AMZN ) SageMaker와 Google의 Vertex AI는 모두 클라우드 플랫폼에 통합된 엔드투엔드 MLOps 솔루션을 제공합니다. 이러한 서비스는 대규모 기계 학습 모델을 구축, 훈련 및 배포하기 위한 강력한 도구를 제공합니다.

상세 비교

관리형 MLflow vs. 오픈 소스 MLflow

관리형 MLflow는 오픈 소스 버전에 비해 다음과 같은 여러 가지 이점을 제공합니다.

• 설정 및 배포: Databricks와의 무정지 통합으로 설정 및 배포 시간을 줄입니다.
• 확장성: 대규모 기계 학습 워크로드를 쉽게 처리할 수 있습니다.
• 보안 및 관리: 기본적으로 제공되는 역할 기반 액세스 제어(RBAC)와 데이터 암호화와 같은 보안 기능입니다.
• 통합: Databricks 서비스와의 깊은 통합으로 상호 운용성과 기능이 향상됩니다.
• 데이터 저장소 및 백업: 자동 백업 전략으로 데이터의 안전성과 신뢰성을 보장합니다.
• 비용: 플랫폼, 저장소 및 컴퓨팅 리소스에 대한 비용을 지불합니다.
• 지원 및 유지 보수: Databricks에서 제공하는 समर्प된 지원 및 유지 보수입니다.

결론

MLflow를 사용하여 대규모 언어 모델을 추적하는 것은 LLM 개발, 평가 및 배포의 복잡성을 관리하는 강력한 프레임워크를 제공합니다. 이 가이드에서 설명한 모범 사례와 고급 기능을 활용하여, 더 조직화된, 재현 가능하며, 통찰력 있는 LLM 실험을 만들 수 있습니다.

LLM 분야는 빠르게 발전하고 있으며, 새로운 평가 및 추적 기술이不断 등장하고 있습니다. 최신 MLflow 릴리스 및 LLM 연구를 따라가며, 추적 및 평가 프로세스를 지속적으로 개선하세요.

이러한 기술을 프로젝트에 적용하면, LLM의 동작 및 성능에 대한 더 깊은 이해를 개발할 수 있으며, 더 효과적이고 신뢰할 수 있는 언어 모델을 만들 수 있습니다.