ملٹی موڈل لارج لینگویج ماڈلز یا MLLMs کے فن تعمیر اور کارکردگی میں حالیہ پیشرفت نے کارکردگی کو بڑھانے کے لیے قابل توسیع ڈیٹا اور ماڈلز کی اہمیت کو اجاگر کیا ہے۔ اگرچہ یہ نقطہ نظر کارکردگی کو بڑھاتا ہے، لیکن اس میں کافی حسابی اخراجات آتے ہیں جو اس طرح کے طریقوں کی عملییت اور استعمال کو محدود کرتے ہیں۔ کئی سالوں کے دوران، مکسچر آف ایکسپرٹ یا ایم او ای ماڈلز امیج ٹیکسٹ اور بڑے لینگویج ماڈلز کو موثر انداز میں پیمانہ کرنے کے لیے ایک کامیاب متبادل نقطہ نظر کے طور پر ابھرے ہیں کیونکہ مکسچر آف ایکسپرٹ ماڈلز کی کمپیوٹیشنل لاگت نمایاں طور پر کم ہے، اور مضبوط کارکردگی۔ تاہم، ان کے فوائد کے باوجود، ماڈلز کا مرکب بڑے زبان کے ماڈلز کو پیمانہ کرنے کے لیے مثالی طریقہ نہیں ہے کیونکہ ان میں اکثر کم ماہرین شامل ہوتے ہیں، اور محدود طریقہ کار، اس طرح ایپلی کیشنز کو محدود کرتے ہیں۔ 

موجودہ طریقوں سے درپیش رکاوٹوں کا مقابلہ کرنے کے لیے، اور زبان کے بڑے ماڈلز کو مؤثر طریقے سے پیمانہ کرنے کے لیے، اس مضمون میں، ہم Uni-MoE کے بارے میں بات کریں گے، جو ایک MoE یا ماہر فن تعمیر کے مرکب کے ساتھ ایک متحد ملٹی موڈل بڑے لینگویج ماڈل ہے جو وسیع پیمانے پر نمٹنے کی صلاحیت رکھتا ہے۔ طریقوں اور ماہرین کی صف. Uni-MoE فریم ورک بڑے لینگویج ماڈلز کے اندر ماہر فن تعمیر کا ایک کم مرکب بھی لاگو کرتا ہے تاکہ ماہر کی سطح کے ماڈل کی ہم آہنگی اور ڈیٹا کی ہم آہنگی کو استعمال کرتے ہوئے تربیت اور تخمینہ کے عمل کو مزید موثر بنایا جاسکے۔ مزید برآں، عمومی اور کثیر ماہرین کے تعاون کو بڑھانے کے لیے، Uni-MoE فریم ورک ایک ترقی پسند تربیتی حکمت عملی پیش کرتا ہے جو تین مختلف عملوں کا مجموعہ ہے۔ پہلے میں، Uni-MoE فریم ورک مختلف کراس موڈیلیٹی ڈیٹا کے ساتھ مختلف کنیکٹرز کا استعمال کرتے ہوئے کراس موڈالٹی الائنمنٹ حاصل کرتا ہے۔ دوسرا، Uni-MoE فریم ورک کراس موڈیلٹی انسٹرکشن ڈیٹا کے ساتھ طریقہ کار سے متعلق ماہرین کو تربیت دے کر ماہر اجزاء کی ترجیح کو متحرک کرتا ہے۔ آخر میں، Uni-MoE ماڈل ماڈل کو ٹیون کرنے کے لیے مخلوط ملٹی موڈل انسٹرکشن ڈیٹا پر LoRA یا Low-Rank Adaptation لرننگ تکنیک کو لاگو کرتا ہے۔ جب ملٹی موڈل ڈیٹاسیٹس کے ایک جامع سیٹ پر انسٹرکشن ٹیونڈ Uni-MoE فریم ورک کا جائزہ لیا گیا تو وسیع تجرباتی نتائج نے مخلوط ملٹی موڈل ڈیٹاسیٹس کو سنبھالنے میں کارکردگی کے تعصب کو نمایاں طور پر کم کرنے میں Uni-MoE فریم ورک کے بنیادی فائدے کو نمایاں کیا۔ نتائج نے کثیر ماہرین کے تعاون اور عمومی کاری میں نمایاں بہتری کا بھی اشارہ کیا۔ 

اس مضمون کا مقصد Uni-MoE کے فریم ورک کو گہرائی میں ڈھانپنا ہے، اور ہم میکانزم، طریقہ کار، فریم ورک کے فن تعمیر کے ساتھ ساتھ اس کے جدید ترین فریم ورک کے ساتھ موازنہ کرتے ہیں۔ تو آئیے شروع کرتے ہیں۔ 

Uni-MoE: اسکیلنگ یونیفائیڈ ملٹی موڈل LLMs

LLama اور InstantBlip سمیت اوپن سورس ملٹی موڈل بڑے لینگوئج ماڈلز کی آمد نے پچھلے کچھ سالوں میں امیج ٹیکسٹ کو سمجھنے والے کاموں میں قابل ذکر کامیابی اور پیشرفت کا خاکہ پیش کیا ہے۔ مزید برآں، AI کمیونٹی ایک متحد ملٹی موڈل بڑے لینگویج ماڈل کی تعمیر کے لیے سرگرم عمل ہے جس میں تصویر، متن، آڈیو، ویڈیو، اور بہت کچھ شامل ہے، روایتی امیج ٹیکسٹ پیراڈائم سے آگے بڑھ کر وسیع پیمانے پر طریقوں کو ایڈجسٹ کیا جا سکتا ہے۔ ملٹی موڈل بڑے لینگویج ماڈلز کی صلاحیتوں کو بڑھانے کے لیے اوپن سورس کمیونٹی کی طرف سے پیروی کرنے والا ایک عام طریقہ وژن فاؤنڈیشن ماڈلز کے سائز کو بڑھانا، اور اسے اربوں پیرامیٹرز والے بڑے لینگویج ماڈلز کے ساتھ ضم کرنا، اور انسٹرکشن ٹیوننگ کو بڑھانے کے لیے متنوع ملٹی موڈل ڈیٹا سیٹس کا استعمال کرنا ہے۔ ان پیش رفتوں نے ملٹی موڈل بڑے لینگوئج ماڈلز کی استدلال اور متعدد طریقوں پر کارروائی کرنے کی بڑھتی ہوئی صلاحیت کو اجاگر کیا ہے، جو ملٹی موڈل انسٹرکشنل ڈیٹا اور ماڈل اسکیل ایبلٹی کو بڑھانے کی اہمیت کو ظاہر کرتا ہے۔ 

اگرچہ ماڈل کو بڑھانا ایک آزمودہ اور آزمودہ طریقہ ہے جو خاطر خواہ نتائج فراہم کرتا ہے، لیکن ماڈل کو اسکیل کرنا تربیت اور تخمینہ دونوں عمل کے لیے ایک حسابی طور پر مہنگا عمل ہے۔ 

اوور ہیڈ کمپیوٹیشنل اخراجات کے مسئلے کا مقابلہ کرنے کے لیے، اوپن سورس کمیونٹی انضمام کی طرف بڑھ رہی ہے۔ ایم او ای یا ماہر کا مرکب ٹریننگ اور انفرنس کی کارکردگی دونوں کو بڑھانے کے لیے بڑی زبان کے ماڈلز میں ماڈل فن تعمیر۔ ملٹی موڈل بڑی زبان اور بڑے لینگویج ماڈلز کے برعکس جو ہر ان پٹ کو پروسیس کرنے کے لیے تمام دستیاب پیرامیٹرز کو استعمال کرتے ہیں جس کے نتیجے میں ایک گھنے کمپیوٹیشنل اپروچ ہوتا ہے، ماہر فن تعمیر کا مرکب صرف صارفین کو ہر ان پٹ کے لیے ماہر پیرامیٹرز کے ذیلی سیٹ کو چالو کرنے کا تقاضا کرتا ہے۔ نتیجے کے طور پر، ماہرین کے نقطہ نظر کا مرکب وسیع پیرامیٹر ایکٹیویشن، اور اوور ہیڈ کمپیوٹیشنل اخراجات کے بغیر بڑے ماڈلز کی کارکردگی کو بڑھانے کے لیے ایک قابل عمل راستے کے طور پر ابھرتا ہے۔ اگرچہ موجودہ کاموں نے صرف ٹیکسٹ اور ٹیکسٹ امیج کے بڑے ماڈلز کی تعمیر میں مکسچر آف ایکسپرٹ ماڈلز کے کامیاب نفاذ اور انضمام کو اجاگر کیا ہے، لیکن محققین نے ابھی تک ماہر فن تعمیر کے مرکب کو تیار کرنے کی صلاحیت کو پوری طرح تلاش کرنا ہے تاکہ طاقتور متحد ملٹی موڈل بڑے ماڈلز کی تعمیر کی جا سکے۔ زبان کے ماڈل. 

Uni-MoE ایک ملٹی موڈل بڑی لینگویج ماڈل ہے جو MoE فن تعمیر کے ساتھ ملٹی موڈل بڑے لینگویج ماڈلز کو اسکیلنگ کرنے کی کوشش میں متعدد طریقوں کی تشریح اور نظم کرنے کے لیے ماہر ماڈلز کے اسپارس مرکب کا فائدہ اٹھاتا ہے۔ جیسا کہ مندرجہ ذیل تصویر میں دکھایا گیا ہے، Uni-MoE فریم ورک پہلے موڈیلٹی مخصوص انکوڈرز کا استعمال کرتے ہوئے مختلف طریقوں کی انکوڈنگ حاصل کرتا ہے، اور پھر ان انکوڈنگز کو مختلف ڈیزائن کردہ کنیکٹرز کا استعمال کرتے ہوئے بڑی زبان کے ماڈلز کی زبان کی نمائندگی کی جگہ میں نقشہ بناتا ہے۔ ان کنیکٹرز میں ایک قابل تربیت ٹرانسفارمر ماڈل ہوتا ہے جس کے بعد کے لکیری تخمینے ہوتے ہیں تاکہ منجمد انکوڈر کی آؤٹ پٹ نمائندگی کو ڈسٹل اور پروجیکٹ کیا جا سکے۔ Uni-MoE فریم ورک پھر گھنے بڑے لینگویج ماڈل کے اندرونی بلاک کے اندر ماہر پرتوں کا ایک ویرل مرکب متعارف کرایا جاتا ہے۔ نتیجتاً، ماہرین پر مبنی بلاک کے ہر مرکب میں تمام طریقوں پر لاگو ہونے والی ایک مشترکہ خود دھیان کی پرت، ٹوکن کی سطح پر مہارت مختص کرنے کے لیے ایک اسپرس راؤٹر، اور فیڈ فارورڈ نیٹ ورک پر مبنی متنوع ماہرین شامل ہیں۔ اس نقطہ نظر کی وجہ سے، Uni-MoE فریم ورک تقریر، آڈیو، ٹیکسٹ، ویڈیو، تصویر سمیت متعدد طریقوں کو سمجھنے کی صلاحیت رکھتا ہے، اور صرف اندازہ کے دوران جزوی پیرامیٹرز کو چالو کرنے کی ضرورت ہے۔ 

مزید برآں، کثیر ماہرین کے تعاون اور عامیت کو بڑھانے کے لیے، Uni-MoE فریم ورک تین مراحل پر مشتمل تربیتی حکمت عملی کو نافذ کرتا ہے۔ پہلے مرحلے میں، فریم ورک زبان کے جوڑوں کے لیے وسیع امیج/آڈیو/اسپیچ کا استعمال کرتا ہے جس سے متعلقہ کنیکٹر کو تربیت دی جاتی ہے جس کی وجہ سے بڑے لینگویج ماڈل کی لینگویج اسپیس میں متحد طریقہ کار کی نمائندگی ہوتی ہے۔ دوسرا، Uni-MoE ماڈل اپنے متعلقہ ڈومین کے اندر ہر ماہر کی مہارت کو بہتر بنانے کی کوشش میں کراس موڈیلیٹی ڈیٹا سیٹس کو الگ سے استعمال کرنے والے موڈلٹی مخصوص ماہرین کو تربیت دیتا ہے۔ تیسرے مرحلے میں، Uni-MoE فریم ورک ان تربیت یافتہ ماہرین کو بڑے لینگویج ماڈل کے مکسچر آف ایکسپرٹ لیئر میں ضم کرتا ہے، اور مخلوط ملٹی موڈل انسٹرکشن ڈیٹا کے ساتھ پورے Uni-MoE فریم ورک کو تربیت دیتا ہے۔ تربیت کی لاگت کو مزید کم کرنے کے لیے، Uni-MoE فریم ورک LoRA سیکھنے کے طریقہ کار کو استعمال کرتا ہے تاکہ ان خود توجہی کی تہوں اور پہلے سے تیار کردہ ماہرین کو ٹھیک بنایا جا سکے۔ 

Uni-MoE: طریقہ کار اور فن تعمیر

Uni-MoE فریم ورک کے پیچھے بنیادی محرک ملٹی موڈل بڑے لینگویج ماڈلز کو اسکیلنگ کرنے کی اعلی تربیت اور تخمینہ لاگت کے ساتھ ساتھ مکسچر آف ایکسپرٹ ماڈلز کی کارکردگی ہے، اور ایک موثر، طاقتور، اور متحد ملٹی موڈل بڑے لینگویج ماڈل کو استعمال کرنے کے امکانات کو تلاش کریں۔ دی MoE فن تعمیر. مندرجہ ذیل اعداد و شمار Uni-MoE فریم ورک میں نافذ فن تعمیر کی نمائندگی کرتا ہے جو اس ڈیزائن کو ظاہر کرتا ہے جس میں مختلف طریقوں کے لیے انفرادی انکوڈرز شامل ہوتے ہیں یعنی آڈیو، اسپیچ اور ویژول ان کے متعلقہ موڈیلیٹی کنیکٹرز کے ساتھ۔ 

پھر Uni-MoE فریم ورک ماہر فن تعمیر کے مرکب کو بنیادی بڑے لینگویج ماڈل بلاکس کے ساتھ مربوط کرتا ہے، یہ عمل تربیت اور تخمینہ دونوں کے عمل کی مجموعی کارکردگی کو بڑھانے کے لیے اہم ہے۔ Uni-MoE فریم ورک اس کو ایک ویرل روٹنگ میکانزم کو نافذ کرکے حاصل کرتا ہے۔ Uni-MoE فریم ورک کے مجموعی تربیتی عمل کو تین مراحل میں تقسیم کیا جا سکتا ہے: کراس موڈیلٹی الائنمنٹ، ٹریننگ موڈالٹی مخصوص ماہرین، اور ملٹی موڈل انسٹرکشن ڈیٹا سیٹس کے متنوع سیٹ کا استعمال کرتے ہوئے Uni-MoE کو ٹیوننگ۔ متنوع موڈل ان پٹس کو مؤثر طریقے سے لسانی شکل میں تبدیل کرنے کے لیے، Uni-MoE فریم ورک LLaVA کے اوپر بنایا گیا ہے، جو کہ پہلے سے تربیت یافتہ بصری زبان کا فریم ورک ہے۔ LLaVA بیس ماڈل CLIP کو اپنے بصری انکوڈر کے ساتھ ایک لکیری پروجیکشن پرت کے ساتھ مربوط کرتا ہے جو تصویری خصوصیات کو ان کے متعلقہ سافٹ امیج ٹوکنز میں تبدیل کرتا ہے۔ مزید برآں، ویڈیو مواد پر کارروائی کرنے کے لیے، Uni-MoE فریم ورک ہر ویڈیو سے آٹھ نمائندہ فریموں کا انتخاب کرتا ہے، اور ان کی تصویر یا فریم پر مبنی نمائندگی کو جمع کرنے کے لیے اوسط پولنگ کے ذریعے انہیں ویڈیو ٹوکنز میں تبدیل کرتا ہے۔ آڈیو کاموں کے لیے، Uni-MoE فریم ورک فیچر نکالنے کو بڑھانے کے لیے دو انکوڈر، BEATs اور Whisper encoder تعینات کرتا ہے۔ اس کے بعد ماڈل آڈیو فیچرز ویکٹر اور فکسڈ لینتھ اسپیچ کو ڈسٹل کرتا ہے، اور انہیں لکیری پروجیکشن لیئر کے ذریعے بالترتیب اسپیچ ٹوکنز اور سافٹ آڈیو میں نقش کرتا ہے۔ 

تربیتی حکمت عملی

Uni-MoE فریم ورک ماڈل کی بڑھتی ہوئی ترقی کے لیے ایک ترقی پسند تربیتی حکمت عملی متعارف کراتا ہے۔ ترقی پسند تربیتی حکمت عملی نے مختلف ماہرین کی الگ الگ صلاحیتوں کو بروئے کار لانے، کثیر ماہرین کے تعاون کی کارکردگی کو بڑھانے اور فریم ورک کی مجموعی عامیت کو فروغ دینے کی کوششیں متعارف کرائیں۔ تربیت کے عمل کو عملی شکل دینے کی کوشش کے ساتھ تین مراحل میں تقسیم کیا گیا ہے۔ ایم ایل ایل ایم ماہرین کے مربوط مرکب کے اوپر بنایا گیا ڈھانچہ۔ 

مرحلہ 1: کراس موڈیلٹی الائنمنٹ

پہلے مرحلے میں، Uni-MoE فریم ورک مختلف لسانیات اور طریقوں کے درمیان رابطہ قائم کرنے کی کوشش کرتا ہے۔ Uni-MoE فریم ورک کنیکٹر بنا کر موڈل ڈیٹا کو نرم ٹوکن میں ترجمہ کرکے حاصل کرتا ہے۔ پہلے تربیتی مرحلے کا بنیادی مقصد جنریٹو اینٹروپی نقصان کو کم سے کم کرنا ہے۔  Uni-MoE فریم ورک کے اندر، LLM کو مختلف طریقوں میں ان پٹ کے لیے وضاحتیں پیدا کرنے کے لیے بہتر بنایا گیا ہے، اور ماڈل صرف کنیکٹرز کو تربیت کے لیے مشروط کرتا ہے، ایک حکمت عملی جو Uni-MoE فریم ورک کو ایک متحد زبان کے فریم ورک کے اندر مختلف طریقوں کو مربوط کرنے کے قابل بناتی ہے۔ 

مرحلہ 2: تربیتی طریقہ کار مخصوص ماہرین

دوسرے مرحلے میں، Uni-MoE فریم ورک مخصوص کراس موڈیلیٹی ڈیٹا پر ماڈل کو وقف کے ساتھ تربیت دے کر واحد موڈالٹی ماہرین تیار کرنے پر توجہ مرکوز کرتا ہے۔ بنیادی مقصد ہر ماہر کی مہارت کو اس کے متعلقہ ڈومین کے اندر بہتر کرنا ہے، اس طرح ملٹی موڈل ڈیٹا کی ایک وسیع صف پر مکسچر آف ایکسپرٹ سسٹم کی مجموعی کارکردگی کو بڑھانا ہے۔ مزید برآں، Uni-MoE فریم ورک فوکل میٹرک ٹریننگ کے طور پر جنریٹو اینٹروپی نقصان کو برقرار رکھتے ہوئے فیڈ فارورڈ نیٹ ورکس کو موڈیلٹی کی خصوصیات کے ساتھ زیادہ قریب سے ہم آہنگ کرنے کے لیے تیار کرتا ہے۔ 

مرحلہ 3: Uni-MoE کو ٹیوننگ کرنا

تیسرے اور آخری مرحلے میں، Uni-MoE فریم ورک اسٹیج 2 کے دوران ماہرین کی طرف سے بنائے گئے وزن کو ماہرین کی تہوں کے مرکب میں ضم کرتا ہے۔ پھر Uni-MoE فریم ورک مخلوط ملٹی موڈل انسٹرکشن ڈیٹا کو مشترکہ طور پر استعمال کرتے ہوئے MLLMs کو ٹھیک کرتا ہے۔ مندرجہ ذیل تصویر میں نقصان کے منحنی خطوط تربیتی عمل کی ترقی کی عکاسی کرتے ہیں۔ 

مکسچر آف ایکسپرٹ کے کنفیگریشنز کے درمیان تقابلی تجزیے سے یہ بات سامنے آئی کہ دوسرے ٹریننگ اسٹیج کے دوران ماڈل کو بہتر بنانے والے ماہرین نے بہتر استحکام کا مظاہرہ کیا اور مخلوط موڈل ڈیٹاسیٹس پر تیزی سے ہم آہنگی حاصل کی۔ مزید برآں، ایسے کاموں پر جن میں متن، تصاویر، آڈیو، ویڈیوز سمیت پیچیدہ ملٹی موڈل ڈیٹا شامل تھا، Uni-MoE فریم ورک نے زیادہ مستقل تربیتی کارکردگی کا مظاہرہ کیا اور جب اس نے دو ماہرین کو ملازمت دینے کے مقابلے میں چار ماہرین کو ملازمت دی تو نقصان کے تغیر کو کم کیا۔ 

Uni-MoE: تجربات اور نتائج

درج ذیل جدول میں Uni-MoE فریم ورک کی تعمیراتی خصوصیات کا خلاصہ کیا گیا ہے۔ LLaMA-7B فن تعمیر پر بنائے گئے Uni-MoE فریم ورک کا بنیادی مقصد ماڈل کے سائز کو پیمانہ کرنا ہے۔ 

مندرجہ ذیل جدول Uni-MoE فریم ورک کے ڈیزائن اور اصلاح کا خلاصہ پیش کرتا ہے جیسا کہ خصوصی تربیتی کاموں کے ذریعے رہنمائی کی گئی ہے۔ یہ کام MLP تہوں کی صلاحیتوں کو نکھارنے میں اہم کردار ادا کرتے ہیں، اس طرح ماڈل کی بہتر کارکردگی کے لیے ان کے خصوصی علم کا فائدہ اٹھاتے ہیں۔ Uni-MoE فریم ورک مختلف تربیتی طریقہ کار کے امتیازی اثرات کو واضح کرنے کے لیے آٹھ سنگل موڈلٹی ماہر کام انجام دیتا ہے۔ 

ماڈل مختلف معیارات کے مختلف سیٹوں میں مختلف ماڈل کی کارکردگی کا جائزہ لیتا ہے جس میں دو ویڈیو فہم، تین آڈیو فہم، اور پانچ تقریر سے متعلق کام شامل ہیں۔ سب سے پہلے، ماڈل کو اسپیچ امیج اور اسپیچ ٹیکسٹ کاموں کو سمجھنے کی صلاحیت پر جانچا جاتا ہے، اور اس کے نتائج درج ذیل جدول میں موجود ہیں۔ 

جیسا کہ یہ مشاہدہ کیا جا سکتا ہے، پچھلے بیس لائن ماڈلز تقریر کو سمجھنے کے کاموں میں کمتر نتائج فراہم کرتے ہیں جو تصویری تقریر کے استدلال کے کاموں پر کارکردگی کو مزید متاثر کرتے ہیں۔ نتائج سے ظاہر ہوتا ہے کہ مکسچر آف ایکسپرٹ آرکیٹیکچر متعارف کرانے سے غیر دیکھے ہوئے آڈی امیج ریجننگ ٹاسکس پر MLLMs کی عمومیت کو بڑھایا جا سکتا ہے۔ مندرجہ ذیل جدول تصویری متن کو سمجھنے کے کاموں پر تجرباتی نتائج پیش کرتا ہے۔ جیسا کہ یہ مشاہدہ کیا جا سکتا ہے، Uni-MoE ماڈلز کے بہترین نتائج بنیادی خطوط سے بہتر کارکردگی کا مظاہرہ کرتے ہیں، اور 4 پوائنٹس کے اوسط مارجن سے فائن ٹیوننگ کے کام کو پیچھے چھوڑ دیتے ہیں۔ 

فائنل خیالات

اس آرٹیکل میں ہم نے Uni-MoE، کے بارے میں بات کی ہے، جو ایک MoE یا ماہر فن تعمیر کے مرکب کے ساتھ ایک ملٹی موڈل بڑے لینگویج ماڈل ہے جو طریقوں اور ماہرین کی ایک وسیع صف کو سنبھالنے کی صلاحیت رکھتا ہے۔ Uni-MoE فریم ورک بڑے لینگویج ماڈلز کے اندر ماہر فن تعمیر کا ایک کم مرکب بھی لاگو کرتا ہے تاکہ ماہر کی سطح کے ماڈل کی ہم آہنگی اور ڈیٹا کی ہم آہنگی کو استعمال کرتے ہوئے تربیت اور تخمینہ کے عمل کو مزید موثر بنایا جاسکے۔ مزید برآں، عمومی اور کثیر ماہرین کے تعاون کو بڑھانے کے لیے، Uni-MoE فریم ورک ایک ترقی پسند تربیتی حکمت عملی پیش کرتا ہے جو تین مختلف عملوں کا مجموعہ ہے۔ پہلے میں، Uni-MoE فریم ورک مختلف کراس موڈیلیٹی ڈیٹا کے ساتھ مختلف کنیکٹرز کا استعمال کرتے ہوئے کراس موڈیلٹی الائنمنٹ حاصل کرتا ہے۔ دوسرا، Uni-MoE فریم ورک کراس موڈیلٹی انسٹرکشن ڈیٹا کے ساتھ طریقہ کار سے متعلق ماہرین کو تربیت دے کر ماہر اجزاء کی ترجیح کو متحرک کرتا ہے۔ آخر میں، Uni-MoE ماڈل ماڈل کو ٹیون کرنے کے لیے مخلوط ملٹی موڈل انسٹرکشن ڈیٹا پر LoRA یا Low-Rank Adaptation لرننگ تکنیک کو لاگو کرتا ہے۔