LLMによる合成データ生成のための完全ガイド

from transformers import AutoTokenizer, AutoModelForCausalLM

<p># 事前学習済みLLMをロード
model_name = "gpt2-large"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)</p>

<p># 合成データ生成のためのプロンプトを定義
prompt = "スマートフォンの顧客レビューを生成してください:"</p>

<p># 合成データを生成
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, num_return_sequences=1)</p>

<p># 生成されたテキストをデコードして印刷
synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_review)

prompt = """
スマートフォンの詳細な顧客レビューを生成してください。以下の特性を含めてください:
- ブランド: {brand}
- モデル: {model}
- 主な特徴: {features}
- レーティング: {rating}/5星

<p>レビューは50〜100ワードの間で、ポジティブな側面とネガティブな側面の両方を含めてください。</p>

レビュー:
"""
</p>

<p>ブランド = ["Apple", "Samsung", "Google", "OnePlus"]
モデル = ["iPhone 13 Pro", "Galaxy S21", "Pixel 6", "9 Pro"]
特徴 = ["5G, OLEDディスプレイ, トリプルカメラ", "120Hzリフレッシュレート, 8Kビデオ", "AIパワードカメラ, 5G", "高速充電, 120Hzディスプレイ"]
レーティング = [4, 3, 5, 4]</p>

<p># 複数のレビューを生成
for ブランド, モデル, 特徴, レーティング in zip(ブランド, モデル, 特徴, レーティング):
プロンプト = prompt.format(ブランド=ブランド, モデル=モデル, 特徴=特徴, レーティング=レーティング)
input_ids = tokenizer.encode(プロンプト, return_tensors="pt")
output = model.generate(input_ids, max_length=200, num_return_sequences=1)
synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(f"{ブランド} {モデル}のレビュー:\n{synthetic_review}\n")

few_shot_prompt = """
顧客サポート会話を生成してください。以下のフォーマットに従ってください:

<p>顧客: こんにちは、私の新しいヘッドフォンに問題があります。右のイヤーバッドが機能しません。
エージェント: 申し訳ありません。どのモデルのおヘッドフォンを持っているか教えてください?
顧客: サウンドマックス プロ 3000です。
エージェント: ありがとうございます。ヘッドフォンを充電ケースに入れて10秒間リセットしたことがありますか?
顧客: はい、試しましたが効果がありませんでした。
エージェント: 分かりました。ファームウェアの更新を試してみましょう。ウェブサイトにアクセスして最新のファームウェアをダウンロードしてください。</p>

<p>別の製品に関する新しい会話を生成してください:</p>

<p>顧客: こんにちは、私の新しいスマートウォッチが起動しません。
</p>

"""
</p>

<p># 会話を生成
input_ids = tokenizer.encode(few_shot_prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=500, num_return_sequences=1)
synthetic_conversation = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_conversation)

このアプローチにより、LLMは望ましい会話構造とスタイルを理解し、より現実的な合成顧客サポート会話を生成できます。

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

<p>model = GPT2LMHeadModel.from_pretrained("gpt2-medium")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2-medium")</p>

<p>def generate_conditional_text(prompt, condition, max_length=100):
input_ids = tokenizer.encode(prompt, return_tensors="pt")
attention_mask = torch.ones(input_ids.shape, dtype=torch.long, device=input_ids.device)</p>

<p># 条件をエンコード
condition_ids = tokenizer.encode(condition, add_special_tokens=False, return_tensors="pt")</p>

<p># 条件とinput_idsを連結
input_ids = torch.cat([condition_ids, input_ids], dim=-1)
attention_mask = torch.cat([torch.ones(condition_ids.shape, dtype=torch.long, device=condition_ids.device), attention_mask], dim=-1)</p>

<p>output = model.generate(input_ids, attention_mask=attention_mask, max_length=max_length, num_return_sequences=1, no_repeat_ngram_size=2, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)</p>

<p>return tokenizer.decode(output[0], skip_special_tokens=True)</p>

<p># 異なる条件で製品説明を生成
conditions = ["高級", "予算友好", "エコフレンドリー", "高性能"]
prompt = "バックパックを説明してください:"</p>

<p>for condition in conditions:
description = generate_conditional_text(prompt, condition)
print(f"{condition}バックパックの説明:\n{description}\n")

import pandas as pd
from sklearn.model_selection import train_test_split
from transformers import pipeline

<p># 小規模な現実世界のデータセットをロード
real_data = pd.read_csv("small_product_reviews.csv")</p>

<p># データを分割
train_data, test_data = train_test_split(real_data, test_size=0.2, random_state=42)</p>

<p># テキスト生成パイプラインを初期化
generator = pipeline("text-generation", model="gpt2-medium")</p>

<p>def augment_dataset(data, num_synthetic_samples):
synthetic_data = []
for _, row in data.iterrows():
prompt = f"以下のレビューと同様の製品レビューを生成してください: {row['review']}\n新しいレビュー:"
synthetic_review = generator(prompt, max_length=100, num_return_sequences=1)[0]['generated_text']
synthetic_data.append({'review': synthetic_review, 'sentiment': row['sentiment']}) # 感情は保存されるものと仮定
if len(synthetic_data) &gt;= num_synthetic_samples:
break
return pd.DataFrame(synthetic_data)</p>

<p># 合成データを生成
synthetic_train_data = augment_dataset(train_data, num_synthetic_samples=len(train_data))</p>

<p># 実データと合成データを結合
augmented_train_data = pd.concat([train_data, synthetic_train_data], ignore_index=True)</p>

<p>print(f"元のトレーニングデータのサイズ: {len(train_data)}")
print(f"増強されたトレーニングデータのサイズ: {len(augmented_train_data)}")