دليل شامل حول توليد البيانات الاصطناعية باستخدام نماذج اللغة الكبيرة

from transformers import AutoTokenizer, AutoModelForCausalLM

<p># تحميل نموذج اللغة الكبيرة المُعدَّل مسبقًا
model_name = "gpt2-large"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)</p>

<p># تعريف استدعاء لإنشاء بيانات اصطناعية
prompt = "إنشاء تقييم للهاتف الذكي:"</p>

<p># إنشاء بيانات اصطناعية
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, num_return_sequences=1)</p>

<p># فك التشفير وطباعة النص المُولَّد
synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_review)

prompt = """
إنشاء تقييم مفصل للعميل للهاتف الذكي مع الخصائص التالية:
- العلامة التجارية: {brand}
- الموديل: {model}
- الميزات الرئيسية: {features}
- التقييم: {rating}/5 نجوم

<p>التقييم يجب أن يكون بين 50-100 كلمة ويضم جوانب إيجابية وسلبية.</p>

التقييم:
"""
brands = ["Apple", "Samsung", "Google", "OnePlus"]
models = ["iPhone 13 Pro", "Galaxy S21", "Pixel 6", "9 Pro"]
features = ["5G, شاشة OLED, كاميرا ثلاثية", "معدل تحديث 120Hz, فيديو 8K", "كاميرا مدعومة بالذكاء الاصطناعي, 5G", "شحن سريع, شاشة 120Hz"]
ratings = [4, 3, 5, 4]

<p># إنشاء تقييمات متعددة
for brand, model, feature, rating in zip(brands, models, features, ratings):
filled_prompt = prompt.format(brand=brand, model=model, features=feature, rating=rating)
input_ids = tokenizer.encode(filled_prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=200, num_return_sequences=1)
synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(f"التقييم ل {brand} {model}:\n{synthetic_review}\n")

few_shot_prompt = """
إنشاء محادثة دعم العملاء بين وسيط (A) وعميل (C) حول مشكلة منتج. اتبع هذا التنسيق:

<p>C: مرحبا، أنا أُواجه مشكلة مع سماعاتي الجديدة. السماعة اليمنى لا تعمل.
A: آسف لمسمع ذلك. يمكنك أن تخبرني بموديل السماعات التي لديك؟
C: إنه SoundMax Pro 3000.
A: شكرًا. هل جربت إعادة تعيين السماعات بوضعها في حقيبة الشحن لمدة 10 ثوان؟
C: نعم، جربت ذلك، ولكن لم يفد شيء.
A: أرى. دعونا نحاول تحديث البرامج الثابتة. يمكنك الذهاب إلى موقعنا على الإنترنت وتحميل أحدث إصدار من البرامج الثابتة؟</p>

<p>الآن، انشئ محادثة جديدة حول مشكلة منتج مختلفة:</p>

<p>C: مرحبا، لقد تلقيت ساعتي الذكية الجديدة، ولكنها لا تُشغل.</p>

"""

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

<p>model = GPT2LMHeadModel.from_pretrained("gpt2-medium")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2-medium")</p>

<p>def generate_conditional_text(prompt, condition, max_length=100):
input_ids = tokenizer.encode(prompt, return_tensors="pt")
attention_mask = torch.ones(input_ids.shape, dtype=torch.long, device=input_ids.device)</p>

<p># ترميز الشرط
condition_ids = tokenizer.encode(condition, add_special_tokens=False, return_tensors="pt")</p>

<p># دمج الشرط مع input_ids
input_ids = torch.cat([condition_ids, input_ids], dim=-1)
attention_mask = torch.cat([torch.ones(condition_ids.shape, dtype=torch.long, device=condition_ids.device), attention_mask], dim=-1)</p>

<p>output = model.generate(input_ids, attention_mask=attention_mask, max_length=max_length, num_return_sequences=1, no_repeat_ngram_size=2, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)</p>

<p>return tokenizer.decode(output[0], skip_special_tokens=True)</p>

<p># إنشاء وصفات المنتجات مع شروط مختلفة
conditions = ["الفاخر", "الاقتصادي", "البيئي", "التقني"]
prompt = "أوصف حقيبة ظهر:</p>

<p>for condition in conditions:
description = generate_conditional_text(prompt, condition)
print(f"{condition} وصف حقيبة الظهر:\n{description}\n")

import pandas as pd
from sklearn.model_selection import train_test_split
from transformers import pipeline

<p># تحميل مجموعة بيانات حقيقية صغيرة
real_data = pd.read_csv("small_product_reviews.csv")</p>

<p># تقسيم البيانات
train_data, test_data = train_test_split(real_data, test_size=0.2, random_state=42)</p>

<p># تهيئة خط أنابيب إنشاء النص
generator = pipeline("text-generation", model="gpt2-medium")</p>

<p>def augment_dataset(data, num_synthetic_samples):
synthetic_data = []
for _, row in data.iterrows():
prompt = f"إنشاء تقييم منتج مشابه ل: {row['review']}\nالتقييم الجديد:"
synthetic_review = generator(prompt, max_length=100, num_return_sequences=1)[0]['generated_text']
synthetic_data.append({'review': synthetic_review, 'sentiment': row['sentiment']}) # افتراض أن المشاعر محفوظة
if len(synthetic_data) &gt;= num_synthetic_samples:
break
return pd.DataFrame(synthetic_data)</p>

<p># إنشاء بيانات اصطناعية
synthetic_train_data = augment_dataset(train_data, num_synthetic_samples=len(train_data))</p>

<p># دمج البيانات الحقيقية والبيانات الاصطناعية
augmented_train_data = pd.concat([train_data, synthetic_train_data], ignore_index=True)</p>

<p>print(f"حجم بيانات التدريب الأصلية: {len(train_data)}")
print(f"حجم بيانات التدريب المُكبر: {len(augmented_train_data)}")</p>