LLM 합성 데이터 생성에 대한 완벽한 가이드

from transformers import AutoTokenizer, AutoModelForCausalLM

<p># 사전 훈련된 LLM을 로드합니다.
model_name = "gpt2-large"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)</p>

<p># 합성 데이터 생성을 위한 프롬프트를 정의합니다.
prompt = "스마트폰에 대한 고객 리뷰를 생성하세요:"</p>

<p># 합성 데이터를 생성합니다.
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, num_return_sequences=1)</p>

<p># 생성된 텍스트를 디코딩하고 출력합니다.
synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_review)

prompt = """
스마트폰에 대한 자세한 고객 리뷰를 생성하세요. 다음 특성을 포함하세요:
- 브랜드: {brand}
- 모델: {model}
- 주요 기능: {features}
- 평점: {rating}/5 별

<p>리뷰는 50-100 단어 사이로 작성되어야 하며, 양면적인 평가를 포함해야 합니다.</p>

리뷰:
"""

few_shot_prompt = """
고객 지원 대화는 에이전트(A)와 고객(C) 사이에서 제품 문제에 대해 생성하세요. 다음 형식을 따르세요:

<p>C: 안녕하세요, 새로운 헤드폰이 문제가 있습니다. 오른쪽 이어버드는 작동하지 않습니다.
A: 죄송합니다. 헤드폰 모델을 알려주실 수 있나요?
C: 사운드맥스 프로 3000입니다.
A: 감사합니다. 헤드폰을 충전 케이스에 넣어 10초 동안 리셋해 보셨나요?
C: 예, 시도했습니다. 하지만 도움이 되지 않았습니다.
A: 네. 펌웨어 업데이트를 시도해 보겠습니다. 웹사이트에서 최신 펌웨어를 다운로드해 주시겠습니까?</p>

<p>다른 제품 문제에 대한 새로운 대화를 생성하세요:</p>

<p>C: 안녕하세요, 새로운 스마트워치가 작동하지 않습니다.

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

<p>model = GPT2LMHeadModel.from_pretrained("gpt2-medium")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2-medium")</p>

<p>def generate_conditional_text(prompt, condition, max_length=100):
input_ids = tokenizer.encode(prompt, return_tensors="pt")
attention_mask = torch.ones(input_ids.shape, dtype=torch.long, device=input_ids.device)</p>

<p># 조건을 인코딩합니다.
condition_ids = tokenizer.encode(condition, add_special_tokens=False, return_tensors="pt")</p>

<p># 입력 ID와 조건 ID를 연결합니다.
input_ids = torch.cat([condition_ids, input_ids], dim=-1)
attention_mask = torch.cat([torch.ones(condition_ids.shape, dtype=torch.long, device=condition_ids.device), attention_mask], dim=-1)</p>

<p>output = model.generate(input_ids, attention_mask=attention_mask, max_length=max_length, num_return_sequences=1, no_repeat_ngram_size=2, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)</p>

<p>return tokenizer.decode(output[0], skip_special_tokens=True)</p>

<p># 다양한 조건으로 제품 설명을 생성합니다.
conditions = ["럭셔리", "예산 친화적", "환경 친화적", "고기술"]</p>

<p>prompt = "백팩에 대한 설명을 작성하세요:"</p>

<p>for condition in conditions:
description = generate_conditional_text(prompt, condition)
print(f"{condition} 백팩 설명:\n{description}\n")</p>

import pandas as pd
from sklearn.model_selection import train_test_split
from transformers import pipeline

<p># 실제 데이터 세트를 로드합니다.
real_data = pd.read_csv("small_product_reviews.csv")</p>

<p># 데이터를 분할합니다.
train_data, test_data = train_test_split(real_data, test_size=0.2, random_state=42)</p>

<p># 텍스트 생성 파이프라인을 초기화합니다.
generator = pipeline("text-generation", model="gpt2-medium")</p>

<p>def augment_dataset(data, num_synthetic_samples):
synthetic_data = []
for _, row in data.iterrows():
prompt = f"제품 리뷰를 생성하세요: {row['review']}\n새 리뷰:"
synthetic_review = generator(prompt, max_length=100, num_return_sequences=1)[0]['generated_text']
synthetic_data.append({'review': synthetic_review, 'sentiment': row['sentiment']})
if len(synthetic_data) &gt;= num_synthetic_samples:
break
return pd.DataFrame(synthetic_data)</p>

<p># 합성 데이터를 생성합니다.
synthetic_train_data = augment_dataset(train_data, num_synthetic_samples=len(train_data))</p>

<p># 실제 데이터와 합성 데이터를 결합합니다.
augmented_train_data = pd.concat([train_data, synthetic_train_data], ignore_index=True)</p>

<p>print(f"원래 학습 데이터 크기: {len(train_data)}")
print(f"증강된 학습 데이터 크기: {len(augmented_train_data)}")</p>