大規模言語モデル（LLM）をMLflowで追跡する：完全ガイド

pip install mlflow>=2.8.1
pip install openai
pip install chromadb==0.4.15
pip install langchain==0.0.348
pip install tiktoken
pip install 'mlflow[genai]'
pip install databricks-sdk --upgrade

import mlflow
import chromadb

<p>print(f"MLflow version: {mlflow.__version__}")
print(f"ChromaDB version: {chromadb.__version__}")

import mlflow
import openai

<p>def query_llm(prompt, max_tokens=100):
response = openai.Completion.create(
engine="text-davinci-002",
prompt=prompt,
max_tokens=max_tokens
)
return response.choices[0].text.strip()</p>

<p>with mlflow.start_run():
prompt = "機械学習の概念を簡単に説明してください。"</p>

<p># パラメータをログ
mlflow.log_param("model", "text-davinci-002")
mlflow.log_param("max_tokens", 100)</p>

<p># LLMにクエリを送り、結果をログ
result = query_llm(prompt)
mlflow.log_metric("response_length", len(result))</p>

<p># プロンプトとレスポンスをログ
mlflow.log_table("prompt_responses", {"prompt": [prompt], "response": [result]})</p>

<p>print(f"レスポンス: {result}")

import mlflow
from mlflow.deployments import get_deploy_client

<p># デプロイメントクライアントの初期化
client = get_deploy_client("databricks")</p>

<p># エンドポイント構成の定義
endpoint_name = "llm-endpoint"
endpoint_config = {
"served_entities": [{
"name": "gpt-model",
"external_model": {
"name": "gpt-3.5-turbo",
"provider": "openai",
"task": "llm/v1/completions",
"openai_config": {
"openai_api_type": "azure",
"openai_api_key": "{{secrets/scope/openai_api_key}}",
"openai_api_base": "{{secrets/scope/openai_api_base}}",
"openai_deployment_name": "gpt-35-turbo",
"openai_api_version": "2023-05-15",
},
},
}],
}</p>

<p># エンドポイントの作成
client.create_endpoint(name=endpoint_name, config=endpoint_config)

<div class="relative flex flex-col rounded-lg">

<p>response = client.predict(
endpoint=endpoint_name,
inputs={"prompt": "ニューラルネットワークの概念を簡潔に説明してください。", "max_tokens": 100,},)</p>

print(response)

これにより、デプロイされたモデルにプロンプトが送信され、生成されたレスポンスが返されます。

MLflowを使用したLLMの評価

評価は、LLMのパフォーマンスと動作を理解する上で非常に重要です。MLflowは、LLMを評価するための包括的なツールを提供します。ビルトインメトリックとカスタムメトリックの両方を含みます。

LLMの評価の準備

LLMをmlflow.evaluate()で評価するには、モデルが以下の形式である必要があります：

1. MLflowのPyFuncモデルインスタンスまたはログされたMLflowモデルのURI。
2. 入力文字列を受け取り、単一の文字列を出力するPython関数。
3. MLflowデプロイメントエンドポイントのURI。
4. モデルをNoneに設定し、評価データにモデル出力を含めます。

ログされたMLflowモデルを使用する例を見てみましょう：

import mlflow
import openai

<p>with mlflow.start_run():
system_prompt = "次の質問に簡潔に答えてください。"
logged_model_info = mlflow.openai.log_model(
model="gpt-3.5-turbo",
task=openai.chat.completions,
artifact_path="model",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": "{question}"},
],
)</p>

<p># 評価データの準備
eval_data = pd.DataFrame({
"question": ["機械学習とは何か？", "ニューラルネットワークを説明してください。"],
"ground_truth": [
"機械学習は、システムが経験から学び、改善することを可能にするAIのサブセットです。",
"ニューラルネットワークは、生物のニューラルネットワークに着想を得た計算システムで、相互に接続されたノードが情報を処理し、伝達します。",
]
})</p>

<p># モデルの評価
results = mlflow.evaluate(
logged_model_info.model_uri,
eval_data,
targets="ground_truth",
model_type="question-answering",
)</p>

<p>print(f"評価メトリック: {results.metrics}")

この例では、OpenAIモデルをログし、評価データを準備し、MLflowのビルトインメトリックを使用してモデルを評価します。

カスタム評価メトリック

MLflowでは、LLM評価用にカスタムメトリックを定義することができます。レスポンスの専門性を評価するカスタムメトリックの作成例を見てみましょう：

from mlflow.metrics.genai import EvaluationExample, make_genai_metric

<p>professionalism = make_genai_metric(
name="professionalism",
definition="正式で適切なコミュニケーションスタイルの尺度。",
grading_prompt=(
"回答の専門性を0から4のスケールで評価してください。\n"
"0: 非常にカジュアルまたは不適切\n"
"1: カジュアルだが敬意を持って\n"
"2: 中程度のフォーマル\n"
"3: 専門的で適切\n"
"4: 非常にフォーマルで熟練者向け"
),
examples=[
EvaluationExample(
input="機械学習とは何か？",
output="機械学習は、システムが経験から学び、改善することを可能にするAIのサブセットです。",
score=4,
justification="回答は正式で簡潔です。",
),
EvaluationExample(
input="ニューラルネットワークを説明してください。",
output="ニューラルネットワークは、生物のニューラルネットワークに着想を得た計算システムで、相互に接続されたノードが情報を処理し、伝達します。",
score=4,
justification="回答は正式で簡潔です。",
)
],
model="openai:/gpt-3.5-turbo-16k",
parameters={"temperature": 0.0},
aggregations=["mean", "variance"],
greater_is_better=True,
)</p>

<p># カスタムメトリックを評価に使用
results = mlflow.evaluate(
logged_model_info.model_uri,
eval_data,
targets="ground_truth",
model_type="question-answering",
extra_metrics=[professionalism]
)</p>

<p>print(f"専門性スコア: {results.metrics['professionalism_mean']}")

このカスタムメトリックは、GPT-3.5-turboを使用してレスポンスの専門性をスコア付けし、LLM自体を評価に利用する方法を示しています。

高度なLLM評価テクニック

LLMがより洗練されると、評価方法も進化します。MLflowを使用した高度な評価方法を見てみましょう。

リトリーバル増強生成（RAG）評価

RAGシステムは、リトリーバルベースのモデルと生成モデルを組み合わせたものです。RAGシステムの評価には、リトリーバルコンポーネントと生成コンポーネントの両方を評価する必要があります。ここでは、RAGシステムを設定し、MLflowを使用して評価する方法を説明します：

from langchain.document_loaders import WebBaseLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

<p># ドキュメントの読み込みと前処理
loader = WebBaseLoader(["https://mlflow.org/docs/latest/index.html"])
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)</p>

<p># ベクターストアの作成
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(texts, embeddings)</p>

<p># RAGチェーンの作成
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(
llm=llm,
chain_type="stuff",
retriever=vectorstore.as_retriever(),
return_source_documents=True
)</p>

<p># 評価関数
def evaluate_rag(question):
result = qa_chain({"query": question})
return result["result"], [doc.page_content for doc in result["source_documents"]]</p>

<p># 評価データの準備
eval_questions = [
"機械学習とは何か？",
"ニューラルネットワークを説明してください。",
"MLflowの主なコンポーネントは何か？",
]</p>

<p># MLflowを使用した評価
with mlflow.start_run():
for question in eval_questions:
answer, sources = evaluate_rag(question)</p>

<p>mlflow.log_param(f"question", question)
mlflow.log_metric("num_sources", len(sources))
mlflow.log_text(answer, f"answer_{question}.txt")</p>

<p>for i, source in enumerate(sources):
mlflow.log_text(source, f"source_{question}_{i}.txt")</p>

<p># カスタムメトリックのログ
mlflow.log_metric("avg_sources_per_question", sum(len(evaluate_rag(q)[1]) for q in eval_questions) / len(eval_questions))