مع ظهور نماذج GPT وغيرها من نماذج اللغة الكبيرة أو التكرار البصري، بدأ عصر جديد في مجال التعلم الآلي والذكاء الاصطناعي. غالبًا ما تظهر نماذج GPT والتراكب البصري ذكاءً عامًا وتنوعًا يُعتبر خطوة كبيرة نحو الذكاء الاصطناعي العام أو AGI، على الرغم من وجود بعض المشاكل مثل الوهم. ومع ذلك، فإن المشكلة المربكة مع هذه النماذج الكبيرة هي استراتيجية التعلم الذاتي التي تسمح للنموذج بالتنبؤ بالرمز التالي في التسلسل، وهي استراتيجية بسيطة ولكنها فعالة. أظهرت الأعمال الحديثة نجاح هذه النماذج الكبيرة التكرارية، مع التركيز على قابليتها للتوسيع وقدرتها على التعلم.

بناءً على ذلك، في هذه المقالة، سنناقش إطار التكرار البصري أو إطار VAR، وهو نمط جديد ي重新 يحدد التعلم التكراري على الصور كتنبؤ بالمساحة التالية أو التنبؤ بالمساحة التالية. على الرغم من بساطته، فإن هذا النهج فعال ويمكن للتحويلات التكرارية أن تتعلم التوزيعات البصرية بشكل أفضل، مع تحسين القابلية للتوسيع. بالإضافة إلى ذلك، يسمح إطار التكرار البصري بنماذج GPT-شكل التكرارية أن تتجاوز نماذج الانتشار في توليد الصور لأول مرة. تشير التجارب أيضًا إلى أن إطار VAR يحسن من أساسيات التكرار بشكل كبير، ويتجاوز إطار تحويل الانتشار أو DiT في أبعاد متعددة، بما في ذلك كفاءة البيانات، جودة الصورة، القابلية للتوسيع، وسرعة الاستدلال.

يهدف هذا المقال إلى تغطية إطار التكرار البصري بالتفصيل، وسنستكشف آلياته وطرائقه وهيكله ومقارنته بالإطارات الحديثة. سنناقش أيضًا كيف يظهر إطار التكرار البصري خصائص مهمة من نماذج LLMs: قوانين التوسيع والتنبؤ بالمساحة التالية. لذا دعونا نبدأ.

نمذجة التكرار البصري: توليد الصور القابلة للتحجيم

من الأنماط الشائعة بين النماذج اللغة الكبيرة الحديثة هو تنفيذ استراتيجية التعلم الذاتي، وهي نهج بسيط ولكن فعال يتنبأ بالرمز التالي في التسلسل. بفضل هذا النهج، أظهرت نماذج التكرار واللغة الكبيرة اليوم قابليتها للتوسيع وقدرتها على التعلم، وهي خصائص تكشف عن إمكانية نماذج التكرار لتعلم من مجموعة كبيرة من البيانات غير الم标ّلة، وبالتالي تلخص جوهر الذكاء الاصطناعي العام. بالإضافة إلى ذلك، عمل باحثون في مجال الرؤية الحاسوبية بشكل متوازي لتطوير نماذج تكرارية كبيرة أو نماذج العالم بهدف مطابقة أو تجاوز قابليتها للتوسيع وقدرتها على التعلم، مع نماذج مثل DALL-E وVQGAN التي أظهرت بالفعل إمكانية نماذج التكرار في مجال توليد الصور.

然而، ما زال الباحثون لم يكتشفوا قوانين التوسيع لهذه النماذج، وما هو أكثر إحباطا هو حقيقة أن أداء هذه النماذج غالبًا ما يقع خلف نماذج الانتشار بحوافز كبيرة، كما هو موضح في الصورة التالية. الفجوة في الأداء تشير إلى أن قابليتها للتوسيع وقدرتها على التعلم لا تزال غير كافية مقارنة بنماذج اللغة الكبيرة.

من ناحية، تتطلب النماذج التكرارية التقليدية ترتيبا محددا للبيانات، بينما من ناحية أخرى، ي重新 يفكر إطار التكرار البصري أو إطار VAR في كيفية ترتيب الصورة، وهذا ما يميز VAR عن الأساليب التكرارية الحالية. عادة، يخلق البشر الصور أو يدركونها بطريقة هرمية، حيث يتم التقاط الهيكل العام متبوعا بالتفاصيل المحلية، وهي نهج متعددة المقاييس يُقترح ترتيبا طبيعيا للصورة. بالإضافة إلى ذلك، مستوحى من التصاميم متعددة المقاييس، يحدد إطار VAR التعلم التكراري للصور كتنبؤ بالمساحة التالية بدلا من النهج التقليدي الذي يحدد التعلم كتنبؤ بالرمز التالي.

يبدأ إطار VAR بترميز الصورة إلى خرائط رموز متعددة المقاييس. ثم يبدأ عملية التكرار من خريطة الرموز 1×1 ويتوسع تدريجيا في الدقة. في كل خطوة، يتنبأ التحويل بالخريطة التالية للأعلى شرطا على جميع السابقة، وهي منهجية يسميها إطار VAR بالنمذجة VAR.

يحاول إطار VAR استغلال هيكل التحويل في GPT-2 للتعلم التكراري البصري، والنتائج واضحة على معيار ImageNet حيث يحسن VAR من أساسياته التكرارية بشكل كبير، ويحقق نسبة FID من 1.80 ودرجة بدء من 356 مع تحسين 20 ضعفا في سرعة الاستدلال. ما هو أكثر إثارة للاهتمام هو أن إطار VAR يتجاوز أداء إطار DiT أو Diffusion Transformer فيما يتعلق بنسبة FID ودرجة البداية، وكذلك في القابلية للتوسيع وسرعة الاستدلال.

التكرار البصري: المنهجية والهيكل

في جوهره، يحتوي إطار VAR على مرحلتين منفصلتين للتدريب. في المرحلة الأولى، يتم ترميز الصورة إلى خرائط رموز متعددة المقاييس باستخدام محول كمومي متعددة المقاييس أو VQVAE، ويتم تطبيق خسارة إعادة البناء المركبة للتدريب. في المرحلة الثانية، يتم تدريب التحويل في إطار VAR عن طريق تقليل خسارة التباين أو تحسين الاحتمالية باستخدام نهج التنبؤ بالمساحة التالية.

النمذجة التكرارية عبر التنبؤ بالرمز التالي

للسلسلة المعطاة من الرموز المنفصلة، حيث كل رمز هو عدد صحيح من قاموس بحجم V، يتنبأ نموذج التكرار التالي بأن احتمال ملاحظة الرمز الحالي يعتمد فقط على السابق. افتراض الاعتماد التكراري غير المباشر يسمح لإطار VAR بتحليل الاحتمالات إلى منتج من الاحتمالات الشرطية.

الرموز في الخرائط الرمز المنفصلة يتم ترتيبها في شبكة ثنائية الأبعاد، وعلى عكس الجمل اللغوية التي تمتلك ترتيبا طبيعيا من اليسار إلى اليمين، يجب تحديد ترتيب الرموز الصورية بشكل صريح للتعلم التكراري غير المباشر. النهج التكراري السابق يضغط الشبكة الثنائية الأبعاد إلى تسلسل واحد باستخدام طرق مثل مسح الصف أو المسار الزيغي.

النمذجة التكرارية البصرية عبر التنبؤ بالمساحة التالية

ي重新 يفكر إطار VAR في النمذجة التكرارية على الصور عن طريق التحول من التنبؤ بالرمز التالي إلى نهج التنبؤ بالمساحة التالية، حيث يكون الوحدة التكرارية هي خريطة الرموز بأكملها. يتم تحويل الصورة إلى خرائط رموز متعددة المقاييس، كل منها بدقة أعلى من السابق، وينتهي بالتوافق مع دقة الخرائط الأصلية.

التكرار البصري: النتائج والتجارب

يستخدم إطار VAR هيكل VQVAE القياسي مع مخطط كمومي متعددة المقاييس، ويستخدم كود بوك مشترك لجميع المقاييس وبعض الكمومي 32. التركيز الرئيسي يقع على خوارزمية VAR، وبالتالي يتم الحفاظ على تصميم هيكل النموذج ببساطة وفعالية.

نتائج توليد الصور حسب أحدث المعايير

عند المقارنة مع الإطارات التوليدية الحالية، بما في ذلك نماذج GANs أو نماذج التنبؤ الخفية، ونماذج التكرار، يظهر إطار التكرار البصري نتائج واعدة.

كما هو واضح، يتفوق إطار التكرار البصري ليس فقط في نسبة FID ودرجة البداية، ولكن أيضًا يظهر سرعة توليد الصور المميزة، قابلة للمقارنة مع النماذج الحديثة. بالإضافة إلى ذلك، يحافظ إطار VAR على دقة وضبط جيدين، مما يؤكد اتساقه الدلالي.

نتائج التعميم بدون تدريب مسبق

للمهام مثل التلوين الداخلي والخارجي، يسمح إطار VAR للنموذج بتحويل الرموز الحقيقية خارج Масك، ويتنبأ فقط بالرموز داخل Масك، دون الحاجة إلى معلومات تسمية الفئة. النتائج موضحة في الصورة التالية، ويتضح أن نموذج VAR يحقق نتائج مقبولة في المهام دون الحاجة إلى تعديل المعلمات أو تعديل هيكل الشبكة، مما يظهر قابليته للتوسيع.

أفكار ختامية

في هذه المقالة، ناقشنا إطارًا جديدًا لتوليد الصور يسمى التكرار البصري، والذي 1) يعالج بعض المشاكل الكامنة في نماذج التكرار الصورية التقليدية، و2) يجعل نماذج التكرار على أساس نماذج اللغة تتجاوز نماذج الانتشار في جودة الصور وتنوعها وكفاءة البيانات وسرعة الاستدلال. عند توسيع VAR إلى 2 مليار معامل، لوحظت علاقة واضحة وقانونية بين الأداء وعدد المعاملات أو الحوسبة، مع معاملات بيرسون تقترب من −0.998، مما يشير إلى إطار قوي للتنبؤ بالأداء. هذه القوانين وقدرة التعميم بدون تدريب مسبق، كخصائص مميزة لنماذج LLMs، تم التحقق منها في نماذجنا التكرارية.