Παρακολούθηση Μεγάλων Γλωσσικών Μοντέλων (LLM) με MLflow: Ένας Ολοκληρωμένος Οδηγός

pip install mlflow>=2.8.1
pip install openai
pip install chromadb==0.4.15
pip install langchain==0.0.348
pip install tiktoken
pip install 'mlflow[genai]'
pip install databricks-sdk --upgrade

import mlflow
import chromadb

<p>print(f"MLflow version: {mlflow.__version__}")
print(f"ChromaDB version: {chromadb.__version__}")

import mlflow
import openai

<p>def query_llm(prompt, max_tokens=100):</p>

<p>response = openai.Completion.create(
engine="text-davinci-002",
prompt=prompt,
max_tokens=max_tokens
)
return response.choices[0].text.strip()</p>

<p>with mlflow.start_run():</p>

<p>prompt = "Εξηγήστε την έννοια της μηχανικής μάθησης με απλά λόγια."</p>

<p># Καταγραφή παραμέτρων
mlflow.log_param("model", "text-davinci-002")
mlflow.log_param("max_tokens", 100)</p>

<p># Ερώτηση στο LLM και καταγραφή του αποτελέσματος
result = query_llm(prompt)
mlflow.log_metric("response_length", len(result))</p>

<p># Καταγραφή της προτροπής και της απάντησης
mlflow.log_table("prompt_responses", {"prompt": [prompt], "response": [result]})</p>

<p>print(f"Απάντηση: {result}")

import mlflow
from mlflow.deployments import get_deploy_client

<p># Αρχικοποίηση του πελάτη ανάπτυξης
client = get_deploy_client("databricks")</p>

<p># Ορίσματα διαμόρφωσης διεπαφής
endpoint_name = "llm-endpoint"
endpoint_config = {
"served_entities": [{
"name": "gpt-model",
"external_model": {
"name": "gpt-3.5-turbo",
"provider": "openai",
"task": "llm/v1/completions",
"openai_config": {
"openai_api_type": "azure",
"openai_api_key": "{{secrets/scope/openai_api_key}}",
"openai_api_base": "{{secrets/scope/openai_api_base}}",
"openai_deployment_name": "gpt-35-turbo",
"openai_api_version": "2023-05-15",
},
},
}],
}</p>

<p># Δημιουργία διεπαφής
client.create_endpoint(name=endpoint_name, config=endpoint_config)

<div class="relative flex flex-col rounded-lg">

<p>response = client.predict(
endpoint=endpoint_name,
inputs={"prompt": "Εξηγήστε την έννοια των νευρωνικών δικτύων σύντομα.", "max_tokens": 100,},)</p>

print(response)

Αυτό θα στείλει μια προτροπή στο αναπτυγμένο μοντέλο μας και θα επιστρέψει την παραγμένη απάντηση.

Αξιολόγηση LLM με MLflow

Η αξιολόγηση είναι κρίσιμη για την κατανόηση της απόδοσης και της συμπεριφοράς των LLM. Το MLflow προσφέρει ολοκληρωμένα εργαλεία για την αξιολόγηση των LLM, συμπεριλαμβανομένων τόσο των ενσωματωμένων όσο και των προσαρμοσμένων μετρήσεων.

Προετοιμασία του LLM για Αξιολόγηση

Για να αξιολογήσετε το LLM σας με mlflow.evaluate(), το μοντέλο σας πρέπει να βρίσκεται σε μια από τις ακόλουθες μορφές:

1. Ένα mlflow.pyfunc.PyFuncModel ή μια διεύθυνση URI που δείχνει σε ένα καταχωρημένο μοντέλο MLflow.
2. Μια Python συνάρτηση που λαμβάνει εισαγωγές string και επιστρέφει μια seule string.
3. Μια διεύθυνση URI αναπτύξεων MLflow.
4. Ορίστε model=None και συμπεριλάβετε τις εξαγωγές του μοντέλου στα δεδομένα αξιολόγησης.

Ας δούμε ένα παράδειγμα χρησιμοποιώντας ένα καταχωρημένο μοντέλο MLflow:

import mlflow
import openai

<p>with mlflow.start_run():</p>

<p>system_prompt = "Απαντήστε στην ακόλουθη ερώτηση συντομως."</p>

<p>logged_model_info = mlflow.openai.log_model(
model="gpt-3.5-turbo",
task=openai.chat.completions,
artifact_path="model",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": "{question}"},
],
)</p>

<p># Προετοιμασία δεδομένων αξιολόγησης
eval_data = pd.DataFrame({
"question": ["Τι είναι η μηχανική μάθηση;", "Εξηγήστε τα νευρωνικά δίκτυα."],
"ground_truth": [
"Η μηχανική μάθηση είναι ένα υποσύνολο της τεχνητής νοημοσύνης που επιτρέπει στα συστήματα να μάθουν και να βελτιωθούν από την εμπειρία χωρίς ρητή προγραμματισμό.",
"Τα νευρωνικά δίκτυα είναι υπολογιστικά συστήματα που εμπνέονται από τα βιολογικά νευρωνικά δίκτυα, αποτελούμενα από διασυνδεμένα σημεία που επεξεργάζονται και μεταδίδουν πληροφορίες.",
]
})</p>

<p># Αξιολόγηση του μοντέλου
results = mlflow.evaluate(
logged_model_info.model_uri,
eval_data,
targets="ground_truth",
model_type="question-answering",
)</p>

<p>print(f"Μέτρησεις αξιολόγησης: {results.metrics}")

Αυτό το παράδειγμα καταγράφει ένα μοντέλο OpenAI, προετοιμάζει δεδομένα αξιολόγησης και στη συνέχεια αξιολογεί το μοντέλο χρησιμοποιώντας τις ενσωματωμένες μετρήσεις του MLflow για εργασίες απάντησης σε ερωτήσεις.

Προσαρμοσμένες Μέτρησεις Αξιολόγησης

Το MLflow επιτρέπει την ορισμό προσαρμοσμένων μετρήσεων για την αξιολόγηση των LLM. Ας δούμε ένα παράδειγμα δημιουργίας μιας προσαρμοσμένης μετρικής για την αξιολόγηση του επαγγελματισμού των απαντήσεων:

from mlflow.metrics.genai import EvaluationExample, make_genai_metric

<p>professionalism = make_genai_metric(
name="professionalism",
definition="Μέτρηση του επίπεδου формάλια και κατάλληλης επικοινωνίας.",
grading_prompt=(
"Βαθμολογήστε τον επαγγελματισμό της απάντησης σε κλίμακα από 0 έως 4:\n"
"0: Πολύ άτυπο ή ακατάλληλο\n"
"1: Άτυπο αλλά σεβαστικό\n"
"2: Μετριοπαθές\n"
"3: Επαγγελματικό και κατάλληλο\n"
"4: Πολύ формάλλια και εμπειρικά διατυπωμένο"
),
examples=[
EvaluationExample(
input="Τι είναι η μηχανική μάθηση;",
output="Η μηχανική μάθηση είναι ένα υποσύνολο της τεχνητής νοημοσύνης που επιτρέπει στα συστήματα να μάθουν και να βελτιωθούν από την εμπειρία χωρίς ρητή προγραμματισμό.",
score=4,
justification="Η απάντηση είναι формάλλια, συντομη και επαγγελματικά διατυπωμένη.",
),
EvaluationExample(
input="Τι είναι η μηχανική μάθηση;",
output="Η μηχανική μάθηση είναι ένα πράγμα που κάνει τα ρομπότ να μάθουν.",
score=1,
justification="Η απάντηση είναι άτυπη και δεν παρέχει επαρκείς πληροφορίες.",
)
],
model="openai:/gpt-3.5-turbo-16k",
parameters={"temperature": 0.0},
aggregations=["mean", "variance"],
greater_is_better=True,
)</p>

<p># Χρήση της προσαρμοσμένης μετρικής στην αξιολόγηση
results = mlflow.evaluate(
logged_model_info.model_uri,
eval_data,
targets="ground_truth",
model_type="question-answering",
extra_metrics=[professionalism]
)</p>

<p>print(f"Μέτρηση επαγγελματισμού: {results.metrics['professionalism_mean']}")

Αυτή η προσαρμοσμένη μετρική χρησιμοποιεί το GPT-3.5-turbo για να βαθμολογήσει τον επαγγελματισμό των απαντήσεων, δείχνοντας πώς μπορείτε να αξιοποιήσετε τα LLM για την αξιολόγηση.

Προηγμένες Τεχνικές Αξιολόγησης LLM

Όσο τα LLM γίνονται πιο σύνθετα, così και οι τεχνικές αξιολόγησής τους. Ας εξερευνήσουμε κάποιες προηγμένες μεθόδους αξιολόγησης χρησιμοποιώντας το MLflow.

Αξιολόγηση RAG (Retrieval-Augmented Generation)

Τα συστήματα RAG συνδυάζουν τη δύναμη των μοντέλων ανάκτησης και γεννήσεων. Η αξιολόγηση των συστημάτων RAG απαιτεί την αξιολόγηση τόσο της ανάκτησης όσο και της γεννήτριας. Ας δούμε πώς να ρυθμίσουμε ένα σύστημα RAG και να το αξιολογήσουμε χρησιμοποιώντας το MLflow:

from langchain.document_loaders import WebBaseLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

<p># Φόρτωση και προετοιμασία εγγράφων
loader = WebBaseLoader(["https://mlflow.org/docs/latest/index.html"])
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)</p>

<p># Δημιουργία vector store
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(texts, embeddings)</p>

<p># Δημιουργία αλυσίδας RAG
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(
llm=llm,
chain_type="stuff",
retriever=vectorstore.as_retriever(),
return_source_documents=True
)</p>

<p># Συναρτήσεις αξιολόγησης
def evaluate_rag(question):</p>

<p>result = qa_chain({"query": question})
return result["result"], [doc.page_content for doc in result["source_documents"]]</p>

<p># Προετοιμασία δεδομένων αξιολόγησης
eval_questions = [
"Τι είναι η μηχανική μάθηση;",
"Πώς χειρίζεται το MLflow την παρακολούθηση πειραμάτων;",
"Ποια είναι τα κύρια συστατικά του MLflow;",
]</p>

<p># Αξιολόγηση χρησιμοποιώντας το MLflow
with mlflow.start_run():</p>

<p>for question in eval_questions:</p>

<p>answer, sources = evaluate_rag(question)</p>

<p>mlflow.log_param(f"question", question)
mlflow.log_metric("num_sources", len(sources))
mlflow.log_text(answer, f"answer_{question}.txt")</p>

<p>for i, source in enumerate(sources):</p>

<p>mlflow.log_text(source, f"source_{question}_{i}.txt")</p>

<p># Καταγραφή προσαρμοσμένων μετρήσεων
mlflow.log_metric("avg_sources_per_question", sum(len(evaluate_rag(q)[1]) for q in eval_questions) / len(eval_questions))