LLM सिंथेटिक डेटा जेनरेशन पर पूर्ण गाइड

from transformers import AutoTokenizer, AutoModelForCausalLM

# प्री-ट्रेन्ड एलएलएम लोड करें
model_name = "gpt2-large"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# सिंथेटिक डेटा जेनरेशन के लिए प्रॉम्प्ट परिभाषित करें
prompt = "एक स्मार्टफोन के लिए ग्राहक समीक्षा उत्पन्न करें:"

# सिंथेटिक डेटा जेनरेट करें
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, num_return_sequences=1)

# उत्पन्न पाठ को डिकोड और प्रिंट करें
synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_review)

prompt = """
एक स्मार्टफोन के लिए विस्तृत ग्राहक समीक्षा उत्पन्न करें जिसमें निम्नलिखित विशेषताएं हों:
- ब्रांड: {brand}
- मॉडल: {model}
- मुख्य विशेषताएं: {features}
- रेटिंग: {rating}/5 स्टार

समीक्षा 50-100 शब्दों के बीच होनी चाहिए और इसमें सकारात्मक और नकारात्मक दोनों पहलुओं को शामिल किया जाना चाहिए।

समीक्षा:
"""
brands = ["एप्पल", "सैमसंग", "गूगल", "वनप्लस"]
models = ["आईफोन 13 प्रो", "गैलेक्सी एस21", "पिक्सल 6", "9 प्रो"]
features = ["5जी, ओएलईडी डिस्प्ले, ट्रिपल कैमरा", "120Hz रिफ्रेश रेट, 8K वीडियो", "एआई-पावर्ड कैमरा, 5जी", "फास्ट चार्जिंग, 120Hz डिस्प्ले"]
ratings = [4, 3, 5, 4]

# कई समीक्षाएं उत्पन्न करें
for brand, model, feature, rating in zip(brands, models, features, ratings):
filled_prompt = prompt.format(brand=brand, model=model, features=feature, rating=rating)
input_ids = tokenizer.encode(filled_prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=200, num_return_sequences=1)
synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(f"समीक्षा {brand} {model} के लिए:\n{synthetic_review}\n")

few_shot_prompt = """
एक ग्राहक सहायता बातचीत उत्पन्न करें जिसमें एक एजेंट (ए) और एक ग्राहक (सी) एक उत्पाद समस्या के बारे में बात कर रहे हैं। इस प्रारूप का पालन करें:

स: हैलो, मेरे नए हेडफ़ोन के साथ समस्या हो रही है। दायां ईयरबड़ काम नहीं कर रहा है।
ए: मुझे यह सुनकर खेद है। क्या आप मुझे बता सकते हैं कि आपके पास कौन सा हेडफ़ोन मॉडल है?
स: यह साउंडमैक्स प्रो 3000 है।
ए: धन्यवाद। क्या आपने हेडफ़ोन को रीसेट करने की कोशिश की है bằng उन्हें 10 सेकंड के लिए चार्जिंग केस में रखकर?
स: हाँ, मैंने यह कोशिश की, लेकिन इससे मदद नहीं मिली।
ए: मैं समझता हूँ। आइए फ़र्मवेयर अपडेट का प्रयास करें। क्या आप हमारी वेबसाइट पर जाकर नवीनतम फ़र्मवेयर डाउनलोड कर सकते हैं?

अब एक अलग उत्पाद समस्या के बारे में एक नई बातचीत उत्पन्न करें:

स: हाय, मुझे अभी मेरी नई स्मार्टवॉच मिली है, लेकिन यह चालू नहीं हो रही है।
"""
# बातचीत उत्पन्न करें
input_ids = tokenizer.encode(few_shot_prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=500, num_return_sequences=1)
synthetic_conversation = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_conversation)

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

model = GPT2LMHeadModel.from_pretrained(“gpt2-medium”)
tokenizer = GPT2Tokenizer.from_pretrained(“gpt2-medium”)

def generate_conditional_text(prompt, condition, max_length=100):
input_ids = tokenizer.encode(prompt, return_tensors=”pt”)
attention_mask = torch.ones(input_ids.shape, dtype=torch.long, device=input_ids.device)

# स्थिति को एनकोड करें
condition_ids = tokenizer.encode(condition, add_special_tokens=False, return_tensors=”pt”)

# स्थिति को इनपुट_आईडी के साथ जोड़ें
input_ids = torch.cat([condition_ids, input_ids], dim=-1)
attention_mask = torch.cat([torch.ones(condition_ids.shape, dtype=torch.long, device=condition_ids.device), attention_mask], dim=-1)

output = model.generate(input_ids, attention_mask=attention_mask, max_length=max_length, num_return_sequences=1, no_repeat_ngram_size=2, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)

return tokenizer.decode(output[0], skip_special_tokens=True)

# विभिन्न स्थितियों के साथ उत्पाद विवरण उत्पन्न करें
conditions = [“विलासिता”, “बजट-अनुकूल”, “पर्यावरण अनुकूल”, “उच्च-प्रौद्योगिकी”]
prompt = “एक बैकपैक का वर्णन करें:”