انجینئرز ڈیپ نیورل نیٹ ورکس کو تربیت دینے کے لیے توانائی سے بھرپور "ابتدائی پرندے" کا طریقہ تیار کرتے ہیں۔

رائس یونیورسٹی کے انجینئرز نے ڈیپ نیورل نیٹ ورکس (DNNs) کو تربیت دینے کے لیے ایک نیا طریقہ تیار کیا ہے جس کی عام طور پر ضرورت ہوتی ہے۔ DNNs مصنوعی ذہانت (AI) کی وہ شکل ہیں جو خود چلانے والی کاریں، ذہین معاون، چہرے کی شناخت اور دیگر ایپلی کیشنز جیسی ٹیکنالوجیز کی ترقی میں کلیدی کردار ادا کرتی ہے۔

Early Bird کی تفصیل میں تھی۔ ایک کاغذ رائس اینڈ ٹیکساس اے اینڈ ایم یونیورسٹی کے محققین کے ذریعہ 29 اپریل کو۔ میں ہوا تھا۔ نمائندگی سیکھنے سے متعلق بین الاقوامی کانفرنس، یا ICLR 2020۔ 

مطالعہ کے مرکزی مصنفین رائس کی ایفیشینٹ اینڈ انٹیلیجنٹ کمپیوٹنگ (EIC) لیب سے Haoran You اور Chaojian Li تھے۔ ایک مطالعہ میں، انہوں نے یہ ظاہر کیا کہ یہ طریقہ کس طرح ایک DNN کو آج کے طریقوں کی طرح ایک ہی سطح اور درستگی پر تربیت دے سکتا ہے، لیکن 10.7 گنا کم توانائی استعمال کرتا ہے۔ 

تحقیق کی قیادت EIC لیب کے ڈائریکٹر ینگیان لن، رائس کے رچرڈ بارانیوک، اور ٹیکساس A&M کے Zhangyang Wang نے کی۔ دیگر شریک مصنفین میں Pengfei Xu، Yonggan Fu، Yue Wang، اور Xiaohan Chen شامل ہیں۔ 

لن نے کہا، "حالیہ AI کامیابیوں میں ایک اہم محرک قوت بڑے، زیادہ مہنگے DNNs کا تعارف ہے۔ "لیکن ان DNNs کو تربیت دینے کے لیے کافی توانائی کی ضرورت ہوتی ہے۔ مزید اختراعات کو منظر عام پر لانے کے لیے، 'سرسبز' تربیتی طریقوں کو تلاش کرنا ضروری ہے جو ماحولیاتی خدشات کو دور کرتے ہیں اور AI تحقیق کی مالی رکاوٹوں کو کم کرتے ہیں۔"

DNNs کو ٹرین کرنا مہنگا ہے۔

دنیا کے بہترین DNNs کو تربیت دینا بہت مہنگا ہو سکتا ہے، اور قیمتوں میں اضافہ جاری ہے۔ 2019 میں، سیئٹل میں ایلن انسٹی ٹیوٹ برائے AI کی زیر قیادت ایک مطالعہ پایا گیا کہ ٹاپ فلائٹ ڈیپ نیورل نیٹ ورک کو تربیت دینے کے لیے 300,000-2012 کے مقابلے میں 2018 گنا زیادہ کمپیوٹنگ کی ضرورت ہے۔ 2019 کی ایک اور تحقیق، اس بار یونیورسٹی آف میساچوسٹس ایمہرسٹ کے محققین کی سربراہی میں، پتہ چلا کہ ایک واحد، اشرافیہ DNN کو تربیت دینے سے، کاربن ڈائی آکسائیڈ کے اخراج کی اتنی ہی مقدار پانچ امریکی آٹوموبائلز کی طرح جاری کی جاتی ہے۔ 

DNNs کو اپنے انتہائی مخصوص کام انجام دینے کے لیے، وہ کم از کم لاکھوں مصنوعی نیوران پر مشتمل ہوتے ہیں۔ وہ بڑی تعداد میں مثالوں کو دیکھ کر فیصلہ کرنے کا طریقہ سیکھنے کی صلاحیت رکھتے ہیں، بعض اوقات انسانوں سے بھی آگے نکل جاتے ہیں۔ وہ واضح پروگرامنگ کی ضرورت کے بغیر یہ کر سکتے ہیں۔ 

کٹائی اور ٹرین

لن رائس کے براؤن سکول آف انجینئرنگ میں الیکٹریکل اور کمپیوٹر انجینئرنگ کے اسسٹنٹ پروفیسر ہیں۔ 

"DNN ٹریننگ انجام دینے کے جدید ترین طریقے کو ترقی پسند کٹائی اور ٹرین کہا جاتا ہے،" لن نے کہا۔ "پہلے، آپ ایک گھنے، بڑے نیٹ ورک کو تربیت دیتے ہیں، پھر ان حصوں کو ہٹاتے ہیں جو اہم نہیں لگتے ہیں - جیسے درخت کی کٹائی۔ پھر آپ کارکردگی کو بحال کرنے کے لیے کٹے ہوئے نیٹ ورک کو دوبارہ تربیت دیتے ہیں کیونکہ کٹائی کے بعد کارکردگی میں کمی آتی ہے۔ اور عملی طور پر آپ کو اچھی کارکردگی حاصل کرنے کے لیے کئی بار کٹائی اور دوبارہ تربیت کرنے کی ضرورت ہوتی ہے۔"

یہ طریقہ استعمال کیا جاتا ہے کیونکہ خصوصی کام کو مکمل کرنے کے لیے تمام مصنوعی نیوران کی ضرورت نہیں ہوتی ہے۔ تربیت کی وجہ سے نیوران کے درمیان رابطے مضبوط ہوتے ہیں، اور دوسروں کو ضائع کیا جا سکتا ہے۔ کٹائی کا یہ طریقہ کمپیوٹیشنل اخراجات کو کم کرتا ہے اور ماڈل کے سائز کو کم کرتا ہے، جو مکمل طور پر تربیت یافتہ DNNs کو زیادہ سستی بناتا ہے۔ 

"پہلا قدم، گھنے، بڑے نیٹ ورک کی تربیت، سب سے مہنگا ہے،" لن نے کہا۔ "اس کام میں ہمارا خیال حتمی، مکمل طور پر فعال کٹے ہوئے نیٹ ورک کی شناخت کرنا ہے، جسے ہم اس مہنگے پہلے مرحلے کے ابتدائی مرحلے میں 'ارلی برڈ ٹکٹ' کہتے ہیں۔"

محققین نیٹ ورک کنیکٹیویٹی کے کلیدی نمونوں کو تلاش کرکے ایسا کرتے ہیں، اور وہ ان ابتدائی پرندوں کے ٹکٹوں کو دریافت کرنے میں کامیاب رہے۔ اس نے انہیں DNN کی تربیت کو تیز کرنے کی اجازت دی۔ 

ابتدائی پرندہ تربیت کے ابتدائی مرحلے میں

لن اور دوسرے محققین نے پایا کہ ابتدائی برڈ تربیت کے ابتدائی مرحلے میں دسویں یا اس سے کم راستے میں ظاہر ہو سکتا ہے۔ 

لن نے کہا کہ "ہمارا طریقہ خود بخود ابتدائی پرندوں کے ٹکٹوں کی شناخت پہلے 10% یا اس سے کم گھنے، بڑے نیٹ ورکس کی تربیت کے اندر کر سکتا ہے۔" "اس کا مطلب ہے کہ آپ روایتی تربیت کے لیے درکار وقت کے تقریباً 10% یا اس سے کم وقت میں کسی دیے گئے کام کے لیے وہی یا اس سے بھی بہتر درستگی حاصل کرنے کے لیے DNN کو تربیت دے سکتے ہیں، جس سے حساب اور توانائی دونوں میں ایک سے زیادہ آرڈر کی بچت ہو سکتی ہے۔"

تیز رفتار اور زیادہ توانائی کے حامل ہونے کے علاوہ، محققین کی ماحولیاتی اثرات پر گہری توجہ ہے۔ 

انہوں نے کہا کہ ہمارا مقصد اے آئی کو زیادہ ماحول دوست اور زیادہ جامع بنانا ہے۔ "پیچیدہ AI مسائل کے سراسر سائز نے چھوٹے کھلاڑیوں کو باہر رکھا ہے۔ گرین AI ایک لیپ ٹاپ یا محدود کمپیوٹیشنل وسائل کے ساتھ محققین کو AI اختراعات کو دریافت کرنے کے قابل بنا کر دروازہ کھول سکتا ہے۔

تحقیق کو نیشنل سائنس فاؤنڈیشن سے تعاون حاصل ہوا۔