کیا DALL-E 2 ان کے تعلقات کو سمجھے بغیر صرف 'چیزوں کو ایک ساتھ چپکانا' ہے؟

ہارورڈ یونیورسٹی کے ایک نئے تحقیقی مقالے سے پتہ چلتا ہے کہ اوپن اے آئی کے ہیڈ لائن پکڑنے والے ٹیکسٹ ٹو امیج فریم ورک DALL-E 2 کو ان عناصر کے درمیان حتیٰ کہ شیر خوار سطح کے تعلقات کو دوبارہ پیدا کرنے میں قابل ذکر دشواری پیش آتی ہے جو کہ یہ ترکیب شدہ تصویروں میں بناتا ہے، اس کے باوجود کہ اس میں زیادہ تر کی شاندار نفاست ہے۔ اس کی پیداوار.

محققین نے ایک صارف کا مطالعہ کیا جس میں 169 کراؤڈ سورس شرکاء شامل تھے، جنہیں DALL-E 2 امیجز کے ساتھ پیش کیا گیا تھا جو کہ تعلقات کے بنیادی انسانی اصولوں پر مبنی تھے، اور ساتھ ہی ان کے تخلیق کردہ ٹیکسٹ پرامپٹس کے ساتھ۔ جب ان سے پوچھا گیا کہ کیا پرامپٹس اور امیجز کا آپس میں تعلق تھا، تو 22% سے بھی کم تصاویر کو ان کے متعلقہ اشارے سے مناسب سمجھا جاتا تھا، ان انتہائی سادہ رشتوں کے لحاظ سے جن کا تصور کرنے کے لیے DALL-E 2 کو کہا گیا تھا۔

نئے پیپر کے لیے کیے گئے ٹرائلز سے اسکرین گریب۔ شرکاء کو ان تمام تصاویر کو منتخب کرنے کا کام سونپا گیا جو پرامپٹ سے مماثل ہوں۔ انٹرفیس کے نچلے حصے میں دستبرداری کے باوجود، تمام صورتوں میں تصاویر، جو شرکاء کو معلوم نہیں تھیں، درحقیقت ظاہر کیے گئے متعلقہ پرامپٹ سے تیار کی گئی تھیں۔ ماخذ: https://arxiv.org/pdf/2208.00005.pdf

نتائج یہ بھی بتاتے ہیں کہ DALL-E کی مختلف عناصر کو جوڑنے کی بظاہر صلاحیت کم ہو سکتی ہے کیونکہ ان عناصر کے حقیقی دنیا کے تربیتی ڈیٹا میں ہونے کا امکان کم ہو جاتا ہے جو نظام کو طاقت دیتا ہے۔

مثال کے طور پر، 'بچے کو پیالے کو چھوتے ہوئے' پرامپٹ کے لیے امیجز نے 87 فیصد ایگریمنٹ ریٹ حاصل کیا (یعنی شرکاء نے پرامپٹ سے متعلقہ ہونے کی وجہ سے زیادہ تر تصاویر پر کلک کیا)، جبکہ اسی طرح 'ایک بندر کو چھونے والا ایک بندر' کے فوٹو ریئلسٹک رینڈرز حاصل ہوئے۔ صرف 11 فیصد معاہدہ:

DALL-E 'Iguana کو چھونے والے بندر' کے غیر امکانی واقعے کی عکاسی کرنے کے لیے جدوجہد کر رہا ہے، کیونکہ یہ تربیتی سیٹ میں غیر معمولی، زیادہ امکان نہیں، موجود ہے۔

دوسری مثال میں، DALL-E 2 کثرت سے پیمانہ اور یہاں تک کہ پرجاتیوں کو بھی غلط سمجھتا ہے، غالباً حقیقی دنیا کی تصاویر کی کمی کی وجہ سے جو اس واقعہ کو پیش کرتی ہیں۔ اس کے برعکس، بچوں اور خوراک سے متعلق تربیتی تصاویر کی ایک بڑی تعداد کی توقع کرنا مناسب ہے، اور یہ کہ یہ ذیلی ڈومین/کلاس اچھی طرح سے تیار ہے۔

DALL-E کی جنگلی طور پر متضاد تصویری عناصر کو جوڑنے میں دشواری سے پتہ چلتا ہے کہ عوام فی الحال سسٹم کی تصویری حقیقت پسندانہ اور وسیع تشریحی صلاحیتوں سے اس قدر حیران ہیں کہ ایسے معاملات کے لیے جہاں نظام نے مؤثر طریقے سے صرف ایک عنصر کو دوسرے عنصر پر 'چپکایا' ہے، اس کے لیے کوئی تنقیدی نظر تیار نہیں کی ہے۔ جیسا کہ سرکاری DALL-E 2 سائٹ سے ان مثالوں میں:

کٹ اور پیسٹ ترکیب، DALL-E 2 کی سرکاری مثالوں سے۔ ماخذ: https://openai.com/dall-e-2/

نئے کاغذ میں کہا گیا ہے*:

رشتہ دار سمجھنا انسانی ذہانت کا ایک بنیادی جزو ہے، جو ظاہر ہوتا ہے۔ ترقی میں ابتدائی، اور تیزی سے اور خود بخود حساب کیا جاتا ہے۔ ادراک میں.

'DALL-E 2 کی دشواری حتی کہ بنیادی مقامی تعلقات (جیسے in, on, کے تحت) سے پتہ چلتا ہے کہ اس نے جو کچھ بھی سیکھا ہے، اس نے ابھی تک اس قسم کی نمائندگی نہیں سیکھی ہے جو انسانوں کو اتنی لچکدار اور مضبوطی سے دنیا کی تشکیل کرنے کی اجازت دیتی ہے۔

'اس مشکل کی براہ راست تشریح یہ ہے کہ DALL-E 2 جیسے سسٹمز میں ابھی تک رشتہ دار مرکبیت نہیں ہے۔'

مصنفین تجویز کرتے ہیں کہ ٹیکسٹ گائیڈڈ امیج جنریشن سسٹم جیسے کہ DALL-E سیریز روبوٹکس کے لیے عام الگورتھم سے فائدہ اٹھا سکتے ہیں، جو کہ شناخت اور تعلقات کو بیک وقت ماڈل بناتے ہیں، کیونکہ ایجنٹ کو محض من گھڑت بنانے کی بجائے ماحول کے ساتھ حقیقت میں تعامل کرنے کی ضرورت ہوتی ہے۔ متنوع عناصر کا مرکب۔

ایسا ہی ایک نقطہ نظر، جس کا عنوان ہے۔ کلیپورٹ، وہی استعمال کرتا ہے۔ CLIP میکانزم جو DALL-E 2 میں معیار کی تشخیص کے عنصر کے طور پر کام کرتا ہے:

CLIPort، یونیورسٹی آف واشنگٹن اور NVIDIA کے درمیان 2021 کا اشتراک، CLIP کو ایک ایسے عملی سیاق و سباق میں استعمال کرتا ہے کہ اس پر تربیت یافتہ نظاموں کو لازمی طور پر جسمانی تعلقات کی سمجھ پیدا کرنی چاہیے، ایک ایسا محرک جو DALL-E 2 اور اسی طرح کے 'تصوراتی' میں موجود نہیں ہے۔ تصویر کی ترکیب کا فریم ورک ماخذ: https://arxiv.org/pdf/2109.12098.pdf

مصنفین مزید تجویز کرتے ہیں کہ 'ایک اور قابل فہم اپ گریڈ' تصویری ترکیب کے نظام جیسے DALL-E کو شامل کرنے کے لیے ہو سکتا ہے۔ ضرب اثرات حساب کی واحد پرت میں، معلومات کی پروسیسنگ کی صلاحیتوں سے متاثر ہو کر تعلقات کے حساب کتاب کی اجازت دیتا ہے۔ حیاتیاتی نظام.

۔ نیا کاغذ عنوان ہے ٹیکسٹ گائیڈڈ امیج جنریشن میں متعلقہ تفہیم کی جانچ، اور ہارورڈ کے شعبہ نفسیات میں کولن کون ویل اور ٹومر ڈی المین سے آتا ہے۔

ابتدائی تنقید سے آگے

DALL-E 2 کے آؤٹ پٹ کی حقیقت پسندی اور سالمیت کے پیچھے 'ہاتھ کی نرمی' پر تبصرہ کرتے ہوئے، مصنفین پہلے کے کاموں کو نوٹ کرتے ہیں جن میں DALL-E-سٹائل کے جنریٹو امیج سسٹم میں خامیاں پائی جاتی ہیں۔

اس سال جون میں، UoC برکلے کا کہنا DALL-E کو عکاسیوں اور سائے کو سنبھالنے میں جو مشکل پیش آتی ہے۔ اسی مہینے، کوریا کے ایک مطالعہ نے DALL-E 2 طرز کے آؤٹ پٹ کی 'فردیت' اور اصلیت کی چھان بین کی۔ ایک تنقیدی نظر کے ساتھ؛ ایک ابتدائی تجزیہ DALL-E 2 امیجز کی، لانچ کے فوراً بعد، NYU اور یونیورسٹی آف ٹیکساس سے، DALL-E 2 امیجز میں کمپوزیشن اور دیگر ضروری عوامل کے ساتھ مختلف مسائل پائے گئے۔ اور پچھلے مہینے، ایک مشترکہ کام الینوائے یونیورسٹی اور ایم آئی ٹی کے درمیان ساختی لحاظ سے اس طرح کے نظاموں میں تعمیراتی بہتری کے لیے تجاویز پیش کی گئیں۔

محققین مزید نوٹ کرتے ہیں کہ آدتیہ رمیش جیسے DALL-E کے روشن ستارے ہیں۔ تسلیم شدہ بائنڈنگ، رشتہ دار سائز، متن، اور دیگر چیلنجز کے ساتھ فریم ورک کے مسائل۔

گوگل کے حریف امیج سنتھیسس سسٹم امیجین کے پیچھے ڈویلپرز نے بھی تجویز پیش کی ہے۔ ڈرا بینچ، ایک نیا موازنہ نظام جو متنوع میٹرکس کے ساتھ فریم ورک میں تصویر کی درستگی کا اندازہ لگاتا ہے۔

اس کے بجائے، نئے مقالے کے مصنفین تجویز کرتے ہیں کہ انسانی تخمینہ لگا کر بہتر نتیجہ حاصل کیا جا سکتا ہے - بجائے اس کے کہ نتیجے میں آنے والی تصاویر کے مقابلے میں، الگورتھمک میٹرکس، یہ معلوم کرنے کے لیے کہ کمزوریاں کہاں ہیں، اور ان کو کم کرنے کے لیے کیا کیا جا سکتا ہے۔

مطالعہ

اس مقصد کے لیے، نیا پروجیکٹ اپنے نقطہ نظر کو نفسیاتی اصولوں پر مبنی کرتا ہے، اور موجودہ حالات سے پیچھے ہٹنا چاہتا ہے۔ دلچسپی کا اضافہ in فوری انجینئرنگ (جو کہ درحقیقت، DALL-E 2، یا کسی بھی تقابلی نظام کی کوتاہیوں کے لیے رعایت ہے)، تحقیقات اور ممکنہ طور پر ان حدود کو دور کرنے کے لیے جو اس طرح کے 'ورک آراؤنڈز' کو ضروری بناتے ہیں۔

کاغذ میں لکھا ہے:

'موجودہ کام 15 بنیادی تعلقات کے ایک سیٹ پر توجہ مرکوز کرتا ہے جو پہلے بیان کیے گئے، جانچے گئے، یا علمی، ترقیاتی، یا لسانی ادب میں تجویز کیے گئے تھے۔ سیٹ میں دونوں زمینی مقامی تعلقات (مثال کے طور پر 'Y پر X')، اور مزید تجریدی ایجنٹی تعلقات (مثلاً 'X کی مدد Y') پر مشتمل ہے۔

'پرامپٹس جان بوجھ کر آسان ہیں، بغیر کسی خاصیت کی پیچیدگی یا وضاحت کے۔ یعنی پرامپٹ کی بجائے 'ایک گدھا اور ایک آکٹوپس ایک گیم کھیل رہے ہیں۔ گدھے نے ایک سرے پر رسی پکڑی ہوئی ہے، دوسرے سرے پر آکٹوپس پکڑے ہوئے ہے۔ گدھا منہ میں رسی پکڑے ہوئے ہے۔ ایک بلی رسی پر چھلانگ لگا رہی ہے، ہم 'چھری پر ڈبہ' استعمال کرتے ہیں۔

'سادگی اب بھی انسانی نفسیات کے مختلف ذیلی شعبوں سے تعلقات کی ایک وسیع رینج کو اپنی لپیٹ میں لے لیتی ہے، اور ممکنہ ماڈل کی ناکامیوں کو مزید نمایاں اور مخصوص بناتی ہے۔'

ان کے مطالعہ کے لیے، مصنفین نے Prolific سے 169 شرکاء کو بھرتی کیا، جو سب USA میں واقع ہیں، جن کی اوسط عمر 33 سال ہے، اور 59% خواتین۔

شرکاء کو سب سے اوپر پرامپٹ کے ساتھ 18×3 گرڈ میں ترتیب دی گئی 6 تصاویر دکھائی گئیں، اور نیچے ایک تردید جس میں کہا گیا کہ تمام، کچھ یا کوئی بھی تصویر ڈسپلے پرامپٹ سے تیار نہیں کی گئی ہو گی، اور پھر ان سے کہا گیا کہ ان تصاویر کو منتخب کریں جو ان کے خیال میں اس طرح سے متعلق تھیں۔

افراد کو پیش کی گئی تصاویر لسانی، ترقیاتی اور علمی ادب پر ​​مبنی تھیں، جن میں آٹھ جسمانی اور سات 'ایجنٹک' تعلقات شامل تھے (یہ ایک لمحے میں واضح ہو جائے گا)۔

جسمانی تعلقات
میں، پر، نیچے، ڈھکنا، قریب، بند، لٹکا ہوا، اور سے منسلک.

ایجنٹی تعلقات
دھکیلنا، کھینچنا، چھونا، مارنا، لات مارنا، مدد کرنا، اور رکاوٹ.

یہ تمام تعلقات مطالعہ کے پچھلے ذکر کردہ غیر CS شعبوں سے اخذ کیے گئے تھے۔

اس طرح چھ اشیاء اور چھ ایجنٹوں کے ساتھ پرامپٹس میں استعمال کے لیے بارہ اداروں کو اخذ کیا گیا تھا:

آبجیکٹ
باکس، سلنڈر، کمبل، کٹورا، چائے کا کپ، اور چاقو

ایجنٹس
مرد، عورت، بچہ، روبوٹ، بندر، اور iguana

(محققین تسلیم کرتے ہیں کہ iguana سمیت، خشک سماجی یا نفسیاتی تحقیق کا ایک اہم مرکز نہیں، 'ایک علاج' تھا)

ہر تعلق کے لیے، دو اداروں کے پانچ بار تصادفی طور پر نمونے لے کر پانچ مختلف پرامپٹس بنائے گئے، جس کے نتیجے میں کل 75 اشارے ملے، جن میں سے ہر ایک DALL-E 2 کو جمع کرایا گیا، اور جن میں سے ہر ایک کے لیے ابتدائی 18 فراہم کردہ تصاویر استعمال کی گئیں، بغیر کسی تغیر کے۔ یا دوسرے مواقع کی اجازت ہے۔

نتائج کی نمائش

کاغذ کہتا ہے*:

'شرکاء نے اوسطاً DALL-E 2 کی امیجز اور ان کو بنانے کے لیے استعمال کیے جانے والے پرامپٹس کے درمیان کم معاہدے کی اطلاع دی، 22.2 الگ الگ پرامٹس میں 18.3% [26.6، 75] کے اوسط کے ساتھ۔

'ایجنٹک پرامپٹس، 28.4 پرامپٹس میں اوسطاً 22.8% [34.2, 35] کے ساتھ، 16.9 پرامپٹس میں اوسطاً 11.9% [23.0، 40] کے ساتھ، فزیکل پرامپٹس سے زیادہ اقرار نامہ تیار کرتے ہیں۔'

مطالعہ کے نتائج۔ سیاہ میں پوائنٹس تمام اشارے کو ظاہر کرتے ہیں، ہر ایک پوائنٹ کے ساتھ ایک انفرادی اشارہ، اور رنگ اس کے مطابق ٹوٹ جاتا ہے کہ آیا پرامپٹ موضوع ایجنٹ تھا یا جسمانی (یعنی کوئی چیز)۔

تصویروں کے انسانی اور الگورتھمک تصور کے درمیان فرق کا موازنہ کرنے کے لیے، محققین نے OpenAI کے اوپن سورس کے ذریعے اپنے رینڈرز چلائے ViT-L/14 CLIP پر مبنی فریم ورک۔ اسکور کا اوسط کرتے ہوئے، انہوں نے نتائج کے دو سیٹوں کے درمیان ایک 'اعتدال پسند رشتہ' پایا، جو شاید حیران کن ہے، اس بات پر غور کرتے ہوئے کہ CLIP خود تصاویر بنانے میں کس حد تک مدد کرتا ہے۔

انسانی ردعمل کے مقابلے CLIP (ViT-L/14) کے مقابلے کے نتائج۔

محققین تجویز کرتے ہیں کہ فن تعمیر کے اندر موجود دیگر میکانزم، شاید ٹریننگ سیٹ میں ڈیٹا کی وقوع پذیری (یا کمی) کے ساتھ مل کر اس طریقے کا سبب بن سکتے ہیں کہ CLIP تمام صورتوں میں، کچھ بھی کرنے کے قابل ہونے کے بغیر DALL-E کی حدود کو پہچان سکتا ہے۔ مسئلہ کے بارے میں بہت کچھ.

مصنفین نے یہ نتیجہ اخذ کیا کہ DALL-E 2 میں صرف ایک تصوراتی سہولت ہے، اگر کوئی ہے تو، ایسی تصاویر کو دوبارہ پیش کرنے کے لیے جس میں رشتہ دارانہ تفہیم کو شامل کیا گیا ہے، جو انسانی ذہانت کا ایک بنیادی پہلو ہے جو ہم میں بہت جلد پروان چڑھتا ہے۔

'یہ خیال کہ DALL-E 2 جیسے سسٹمز کی ساخت نہیں ہے کسی کے لیے بھی حیرانی کا باعث ہو سکتا ہے جس نے DALL-E 2 کے 'توتو میں ایک بچے کی ڈائیکون مولی کا کارٹون ایک پوڈل میں چلتے ہوئے' جیسے اشارے پر حیرت انگیز طور پر معقول ردعمل دیکھا ہو۔ اس طرح کے اشارے اکثر ایک ساختی تصور کا سمجھدار اندازا پیدا کرتے ہیں، جس میں اشارے کے تمام حصے موجود ہوتے ہیں، اور صحیح جگہوں پر موجود ہوتے ہیں۔

'تاہم، مرکبیت صرف چیزوں کو ایک ساتھ چپکنے کی صلاحیت نہیں ہے - یہاں تک کہ ایسی چیزیں بھی جو آپ نے پہلے کبھی ایک ساتھ نہیں دیکھی ہوں گی۔ مرکبیت کو سمجھنے کی ضرورت ہے۔ قوانین جو چیزوں کو جوڑتا ہے۔ رشتے ایسے ہی اصول ہیں۔'

آدمی T-Rex کاٹتا ہے۔

رائے جیسا کہ OpenAI قبول کرتا ہے a صارفین کی زیادہ تعداد DALL-E 2 کے حالیہ بیٹا منیٹائزیشن کے بعد، اور چونکہ اب کسی کو زیادہ تر نسلوں کے لیے ادائیگی کرنی پڑتی ہے، اس لیے DALL-E 2 کی رشتہ دارانہ تفہیم میں خامیاں زیادہ واضح ہو سکتی ہیں کیونکہ ہر 'ناکام' کوشش کا مالی وزن ہوتا ہے، اور رقم کی واپسی دستیاب نہیں ہے۔

ہم میں سے جن کو تھوڑی دیر پہلے دعوت نامہ موصول ہوا ہے ان کے پاس وقت ہے (اور، حال ہی میں، سسٹم کے ساتھ کھیلنے کے لیے زیادہ فرصت ہے) کہ وہ کچھ 'تعلقات کی خرابیوں' کا مشاہدہ کریں جو DALL-E 2 خارج کر سکتا ہے۔

مثال کے طور پر ، a کے لیے۔ جراسک پارک پرستار، DALL-E 2 میں کسی شخص کا پیچھا کرنے کے لیے ڈائنوسار حاصل کرنا بہت مشکل ہے، حالانکہ 'پیچھا' کا تصور DALL-E 2 میں نظر نہیں آتا ہے۔ سنسرشپ کا نظام، اور اگرچہ طویل تاریخ ڈائنوسار فلموں کو پرجاتیوں کی اس ناممکن ملاقات کے لیے پرچر تربیتی مثالیں (کم از کم ٹریلرز اور پبلسٹی شاٹس کی شکل میں) فراہم کرنی چاہئیں۔

ایک عام DALL-E 2 کا جواب 'T-Rex کی ایک رنگین تصویر جو سڑک پر ایک آدمی کا پیچھا کرتے ہوئے'۔ ماخذ: DALL-E 2

میں نے محسوس کیا ہے کہ اوپر دی گئی تصاویر مختلف حالتوں کے لیے عام ہیں۔ '[ڈائناسار] [ایک شخص] کا پیچھا کرتے ہوئے' فوری ڈیزائن، اور یہ کہ پرامپٹ میں کوئی بھی تفصیل T-Rex کو حقیقت میں تعمیل نہیں کر سکتی۔ پہلی اور دوسری تصاویر میں، آدمی (کم و بیش) T-Rex کا پیچھا کر رہا ہے۔ تیسرے میں، حفاظت کو غیر معمولی نظر انداز کرتے ہوئے اس کے پاس جانا؛ اور آخری تصویر میں، بظاہر عظیم جانور کے متوازی ٹہلنا۔ اس تھیم پر تقریباً 10-15 کوششوں کے دوران، میں نے پایا ہے کہ ڈائنوسار بھی اسی طرح 'پریشان' ہے۔

یہ ہو سکتا ہے کہ واحد تربیتی ڈیٹا جس تک DALL-E 2 رسائی حاصل کر سکتا تھا اس لائن میں تھا۔ 'انسان ڈایناسور سے لڑتا ہے'پرانی فلموں کے لیے پبلسٹی شاٹس سے جیسے کہ ایک ملین سال قبل مسیح (1966)، اور وہ جیف گولڈ بلم کا مشہور پرواز شکاریوں کے بادشاہ کی طرف سے اعداد و شمار کی اس چھوٹی سی قسط میں صرف ایک آؤٹ لیر ہے۔

* مصنفین کے ان لائن حوالوں کو ہائپر لنکس میں تبدیل کرنا۔

پہلی بار 4 اگست 2022 کو شائع ہوا۔