Prompt engineering
Guide complet sur la génération de données synthétiques LLM “”” brands = [“Apple”, “Samsung”, “Google”, “OnePlus”] models = [“iPhone 13 Pro”, “Galaxy S21”, “Pixel 6”, “9 Pro”] features = [“5G, écran OLED, triple appareil photo”, “120Hz, vidéo 8K”, “appareil photo intelligent, 5G”, “charge rapide, écran 120Hz”] ratings = [4, 3, 5, 4] # Générer plusieurs critiques for brand, model, feature, rating in zip(brands, models, features, ratings): filled_prompt = prompt.format(brand=brand, model=model, features=feature, rating=rating) input_ids = tokenizer.encode(filled_prompt, return_tensors=”pt”) output = model.generate(input_ids, max_length=200, num_return_sequences=1) synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True) print(f”Critique pour {brand} {model}:\n{synthetic_review}\n”) [/code] Cette approche permet une génération de données synthétiques plus contrôlée et diverse, adaptée à des scénarios ou à des types de produits spécifiques. 2.2 Apprentissage à quelques exemples L’apprentissage à quelques exemples consiste à fournir au LLM quelques exemples du format et du style de sortie souhaités. Cette technique peut améliorer considérablement la qualité et la cohérence des données générées. few_shot_prompt = """ Générer une conversation de support client entre un agent (A) et un client (C) concernant un problème de produit. Suivez ce format :
Les modèles de langage à grande échelle (LLM) sont des outils puissants non seulement pour générer du texte similaire à celui des humains, mais également pour créer des données synthétiques de haute qualité. Cette capacité change la façon dont nous abordons le développement de l’IA, en particulier dans les scénarios où les données du monde réel sont rares, coûteuses ou sensibles au niveau de la confidentialité. Dans ce guide complet, nous allons explorer la génération de données synthétiques basée sur les LLM, en plongeant profondément dans ses méthodes, applications et meilleures pratiques.
Introduction à la génération de données synthétiques avec les LLM
La génération de données synthétiques à l’aide des LLM consiste à utiliser ces modèles d’IA avancés pour créer des ensembles de données artificiels qui imitent les données du monde réel. Cette approche offre plusieurs avantages :
- Rentabilité : La génération de données synthétiques est souvent moins chère que la collecte et l’annotation de données du monde réel.
- Protection de la vie privée : Les données synthétiques peuvent être créées sans exposer d’informations sensibles.
- <strong\Evolutivité : Les LLM peuvent générer de grandes quantités de données diverses rapidement.
- Personnalisation : Les données peuvent être adaptées à des cas d’utilisation ou à des scénarios spécifiques.
Commençons par comprendre le processus de base de la génération de données synthétiques à l’aide des LLM :
from transformers import AutoTokenizer, AutoModelForCausalLM # Charger un LLM pré-entraîné model_name = "gpt2-large" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # Définir une invite pour la génération de données synthétiques prompt = "Générer une critique de produit pour un smartphone :" # Générer des données synthétiques input_ids = tokenizer.encode(prompt, return_tensors="pt") output = model.generate(input_ids, max_length=100, num_return_sequences=1) # Décodez et imprimez le texte généré synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True) print(synthetic_review)
Cet exemple simple démontre comment un LLM peut être utilisé pour générer des critiques de produit synthétiques. Cependant, le véritable pouvoir de la génération de données synthétiques basée sur les LLM réside dans des techniques et des applications plus sophistiquées.
2. Techniques avancées pour la génération de données synthétiques
2.1 Ingénierie d’invites
L’ingénierie d’invites est cruciale pour guider les LLM afin de générer des données synthétiques de haute qualité et pertinentes. En créant soigneusement des invites, nous pouvons contrôler divers aspects des données générées, tels que le style, le contenu et le format.
Exemple d’une invite plus sophistiquée :
prompt = """
Générer une critique de produit détaillée pour un smartphone avec les caractéristiques suivantes :
- Marque : {brand}
- Modèle : {model}
- Fonctionnalités clés : {features}
- Note : {rating}/5 étoiles
La critique doit être comprise entre 50-100 mots et inclure à la fois des aspects positifs et négatifs.
Bonjour, j'ai un problème avec mes nouveaux écouteurs. L'écouteur droit ne fonctionne pas.
C'est le SoundMax Pro 3000.
Oui, j'ai essayé, mais cela n'a pas fonctionné.
Bonjour, je viens de recevoir mon nouveau montre intelligent, mais il ne s'allume pas.
"""
# Générer la conversation
input_ids = tokenizer.encode(few_shot_prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=500, num_return_sequences=1)
synthetic_conversation = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_conversation)
Cette approche aide le LLM à comprendre la structure et le style de conversation souhaités, aboutissant à des interactions de support client plus réalistes.
2.3 Génération conditionnelle
La génération conditionnelle permet de contrôler des attributs spécifiques des données générées. C’est particulièrement utile lorsque nous devons créer des ensembles de données divers avec des caractéristiques contrôlées.
from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch
model = GPT2LMHeadModel.from_pretrained(“gpt2-medium”)
tokenizer = GPT2Tokenizer.from_pretrained(“gpt2-medium”)
def generate_conditional_text(prompt, condition, max_length=100):
input_ids = tokenizer.encode(prompt, return_tensors=”pt”)
attention_mask = torch.ones(input_ids.shape, dtype=torch.long, device=input_ids.device)
# Encoder la condition
condition_ids = tokenizer.encode(condition, add_special_tokens=False, return_tensors=”pt”)
# Concaténer la condition avec input_ids
input_ids = torch.cat([condition_ids, input_ids], dim=-1)
attention_mask = torch.cat([torch.ones(condition_ids.shape, dtype=torch.long, device=condition_ids.device), attention_mask], dim=-1)
output = model.generate(input_ids, attention_mask=attention_mask, max_length=max_length, num_return_sequences=1, no_repeat_ngram_size=2, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)
return tokenizer.decode(output[0], skip_special_tokens=True)
# Générer des descriptions de produits avec différentes conditions
conditions = [“Luxueux”, “Abordable”, “Écologique”, “Haute technologie”]
prompt = “Décrire un sac à dos :”
