ການຂະຫຍາຍຕົວແລະ prune ຍຸດທະສາດ AI ເບິ່ງຄືວ່າຈະຫຼຸດຜ່ອນການນໍາໃຊ້ພະລັງງານ AI

ສະຫມອງຂອງມະນຸດດໍາເນີນການດ້ວຍຍຸດທະສາດ "ເຕີບໂຕແລະຕັດອອກ", ໃນເບື້ອງຕົ້ນເລີ່ມຕົ້ນດ້ວຍການເຊື່ອມຕໍ່ທາງ neural ຈໍານວນຫລາຍແລະຫຼັງຈາກນັ້ນຕັດການເຊື່ອມຕໍ່ທີ່ບໍ່ໄດ້ໃຊ້ໃນໄລຍະເວລາ. ບໍ່ດົນມານີ້, ທີມງານຂອງການຄົ້ນຄວ້າ AI ໄດ້ນໍາໃຊ້ວິທີການນີ້ກັບລະບົບ AI ແລະພົບວ່າມັນສາມາດຫຼຸດລົງຢ່າງຫຼວງຫຼາຍຂອງພະລັງງານທີ່ຕ້ອງການໃນການຝຶກອົບຮົມ AI.

ທີມງານຂອງນັກຄົ້ນຄວ້າ ຈາກມະຫາວິທະຍາໄລ Princeton ບໍ່ດົນມານີ້ໄດ້ສ້າງວິທີການໃຫມ່ຂອງການຝຶກອົບຮົມລະບົບປັນຍາປະດິດ. ວິທີການຝຶກອົບຮົມໃຫມ່ນີ້ເບິ່ງຄືວ່າສາມາດຕອບສະຫນອງຫຼືລື່ນກາຍມາດຕະຖານອຸດສາຫະກໍາສໍາລັບຄວາມຖືກຕ້ອງ, ແຕ່ມັນສາມາດເຮັດໄດ້ໃນຂະນະທີ່ໃຊ້ພະລັງງານຄອມພິວເຕີ້ຫນ້ອຍລົງ, ແລະດັ່ງນັ້ນພະລັງງານຫນ້ອຍກວ່າແບບຈໍາລອງການຮຽນຮູ້ເຄື່ອງຈັກແບບດັ້ງເດີມ. ໃນໄລຍະສອງເອກະສານທີ່ແຕກຕ່າງກັນ, ນັກຄົ້ນຄວ້າ Princeton ໄດ້ສະແດງໃຫ້ເຫັນວິທີການຂະຫຍາຍເຄືອຂ່າຍໂດຍການເພີ່ມ neurons ແລະການເຊື່ອມຕໍ່ກັບມັນ. ການເຊື່ອມຕໍ່ທີ່ບໍ່ໄດ້ໃຊ້ຫຼັງຈາກນັ້ນໄດ້ຖືກຕັດອອກໄປໃນໄລຍະເວລາ, ປ່ອຍໃຫ້ພຽງແຕ່ສ່ວນທີ່ມີປະສິດທິພາບແລະປະສິດທິພາບທີ່ສຸດຂອງຕົວແບບ.

Niraj Jha, ອາຈານສອນວິຊາວິສະວະກຳໄຟຟ້າຢູ່ Princeton, ໄດ້ອະທິບາຍໃຫ້ຂ່າວ Princeton ວ່າຕົວແບບທີ່ນັກວິໄຈພັດທະນາຂຶ້ນນັ້ນ ດຳ ເນີນການຢູ່ໃນ “ຂະບວນວິວັດແຖວ ແລະ ລຳຕົ້ນ”. Jha ອະທິບາຍວ່າສະຫມອງຂອງມະນຸດແມ່ນສະລັບສັບຊ້ອນທີ່ສຸດທີ່ມັນຈະມີອາຍຸປະມານສາມປີ, ແລະຫຼັງຈາກຈຸດນີ້, ສະຫມອງເລີ່ມຕົ້ນຕັດການເຊື່ອມຕໍ່ synaptic ທີ່ບໍ່ຈໍາເປັນ. ຜົນໄດ້ຮັບແມ່ນວ່າສະຫມອງທີ່ພັດທະນາຢ່າງສົມບູນສາມາດປະຕິບັດວຽກງານທີ່ສັບສົນພິເສດທີ່ພວກເຮົາເຮັດທຸກໆມື້, ແຕ່ມັນໃຊ້ປະມານເຄິ່ງຫນຶ່ງຂອງ synapses ທັງຫມົດທີ່ມັນມີຢູ່ໃນຈຸດສູງສຸດ. Jha ແລະນັກຄົ້ນຄວ້າອື່ນໆໄດ້ເຮັດແບບຢ່າງຍຸດທະສາດນີ້ເພື່ອເສີມຂະຫຍາຍການຝຶກອົບຮົມຂອງ AI.

Jha ອະທິບາຍວ່າ:

“ວິທີການຂອງພວກເຮົາແມ່ນສິ່ງທີ່ພວກເຮົາເອີ້ນວ່າຂະບວນວິວັດທີ່ເຕີບໃຫຍ່ແລະຕັດອອກ. ມັນຄ້າຍຄືກັບສິ່ງທີ່ສະໝອງເຮັດຕັ້ງແຕ່ຕອນເຮົາເປັນເດັກນ້ອຍເຖິງຕອນເຮົາຍັງນ້ອຍ. ໃນປີທີສາມຂອງມັນ, ສະຫມອງຂອງມະນຸດເລີ່ມຕັດການເຊື່ອມຕໍ່ລະຫວ່າງຈຸລັງສະຫມອງ. ຂະບວນການນີ້ສືບຕໍ່ໄປສູ່ຜູ້ໃຫຍ່, ດັ່ງນັ້ນສະຫມອງທີ່ພັດທະນາຢ່າງສົມບູນເຮັດວຽກຢູ່ປະມານເຄິ່ງຫນຶ່ງຂອງຈຸດສູງສຸດຂອງ synaptic. ສະຫມອງຂອງຜູ້ໃຫຍ່ມີຄວາມຊ່ຽວຊານໃນການຝຶກອົບຮົມໃດກໍ່ຕາມທີ່ພວກເຮົາໄດ້ສະຫນອງມັນ. ມັນບໍ່ດີສໍາລັບການຮຽນຮູ້ແບບທົ່ວໄປຄືກັບສະຫມອງຂອງເດັກນ້ອຍ."

ຂໍຂອບໃຈກັບເຕັກນິກການຂະຫຍາຍຕົວແລະການ pruning, ການຄາດຄະເນທີ່ດີເທົ່າທຽມກັນສາມາດເຮັດໄດ້ກ່ຽວກັບຮູບແບບໃນຂໍ້ມູນໂດຍໃຊ້ພຽງແຕ່ສ່ວນຫນຶ່ງຂອງພະລັງງານການຄິດໄລ່ທີ່ຕ້ອງການກ່ອນຫນ້ານີ້. ນັກຄົ້ນຄວ້າມີຈຸດປະສົງເພື່ອຊອກຫາວິທີການຫຼຸດຜ່ອນການບໍລິໂພກພະລັງງານແລະຄ່າໃຊ້ຈ່າຍໃນຄອມພິວເຕີ້, ເນື່ອງຈາກວ່າການເຮັດດັ່ງນັ້ນແມ່ນສໍາຄັນຕໍ່ກັບການນໍາເອົາການຮຽນຮູ້ເຄື່ອງຈັກໄປສູ່ອຸປະກອນຂະຫນາດນ້ອຍເຊັ່ນ: ໂທລະສັບແລະ smartwatch. ການຫຼຸດຜ່ອນປະລິມານພະລັງງານທີ່ບໍລິໂພກໂດຍລະບົບການຮຽນຮູ້ເຄື່ອງຈັກຍັງສາມາດຊ່ວຍໃຫ້ອຸດສາຫະກໍາຫຼຸດຜ່ອນການປ່ອຍອາຍຄາບອນຂອງມັນ. Xiaoliang Dai, ຜູ້ຂຽນຜູ້ທໍາອິດໃນເອກະສານ, ອະທິບາຍວ່າຕົວແບບຕ່າງໆຕ້ອງໄດ້ຮັບການຝຶກອົບຮົມຢູ່ໃນທ້ອງຖິ່ນເນື່ອງຈາກການສົ່ງຕໍ່ເມຄຮຽກຮ້ອງໃຫ້ມີພະລັງງານຫຼາຍ.

ໃນລະຫວ່າງການສຶກສາຄັ້ງທໍາອິດ, ນັກຄົ້ນຄວ້າໄດ້ພະຍາຍາມພັດທະນາເຄື່ອງມືສ້າງເຄືອຂ່າຍ neural ທີ່ພວກເຂົາສາມາດນໍາໃຊ້ເພື່ອວິສະວະກໍາເຄືອຂ່າຍ neural ແລະສ້າງເຄືອຂ່າຍທີ່ມີປະສິດຕິພາບສູງທີ່ສຸດຈາກຈຸດເລີ່ມຕົ້ນ. ເຄື່ອງມືຂອງລາວຖືກເອີ້ນວ່າ NeST (ເຄື່ອງມືການສັງເຄາະເຄືອຂ່າຍ Neural), ແລະໃນເວລາທີ່ມັນຖືກສະຫນອງໃຫ້ມີພຽງແຕ່ neurons ຈໍານວນຫນ້ອຍແລະການເຊື່ອມຕໍ່ມັນເພີ່ມຂຶ້ນຢ່າງໄວວາໃນຄວາມສັບສົນໂດຍການເພີ່ມ neurons ຫຼາຍຂຶ້ນໃນເຄືອຂ່າຍ. ເມື່ອເຄືອຂ່າຍພົບມາດຕະຖານທີ່ເລືອກ, ມັນຈະເລີ່ມຕັດມັນເອງຕາມເວລາ. ໃນຂະນະທີ່ຕົວແບບເຄືອຂ່າຍທີ່ຜ່ານມາໄດ້ໃຊ້ເຕັກນິກການຕັດອອກ, ວິທີການທີ່ຖືກວິສະວະກໍາໂດຍນັກຄົ້ນຄວ້າ Princeton ແມ່ນທໍາອິດທີ່ໃຊ້ເຄືອຂ່າຍແລະຈໍາລອງຂັ້ນຕອນຂອງການພັດທະນາ, ຈາກ "ເດັກນ້ອຍ" ກັບ "ເດັກນ້ອຍ" ແລະສຸດທ້າຍໄປສູ່ "ສະຫມອງຂອງຜູ້ໃຫຍ່".

ໃນລະຫວ່າງເອກະສານທີສອງ, ນັກຄົ້ນຄວ້າໄດ້ຮ່ວມມືກັບທີມງານຈາກມະຫາວິທະຍາໄລຄາລິຟໍເນຍ-Berkely ແລະ Facebook ເພື່ອປັບປຸງເຕັກນິກຂອງພວກເຂົາໂດຍໃຊ້ເຄື່ອງມືທີ່ເອີ້ນວ່າ Chameleon. Chameleon ມີຄວາມສາມາດເລີ່ມຕົ້ນດ້ວຍຈຸດສິ້ນສຸດທີ່ຕ້ອງການ, ຜົນໄດ້ຮັບທີ່ຕ້ອງການ, ແລະເຮັດວຽກກັບຄືນໄປບ່ອນເພື່ອສ້າງເຄືອຂ່າຍ neural ປະເພດທີ່ຖືກຕ້ອງ. ນີ້ກໍາຈັດການຄາດເດົາຫຼາຍທີ່ກ່ຽວຂ້ອງກັບການປັບປ່ຽນເຄືອຂ່າຍດ້ວຍຕົນເອງ, ໃຫ້ວິສະວະກອນເລີ່ມຕົ້ນຈຸດທີ່ມີແນວໂນ້ມທີ່ຈະເປັນປະໂຫຍດທັນທີ. Chameleon ຄາດຄະເນການປະຕິບັດຂອງສະຖາປັດຕະຍະກໍາທີ່ແຕກຕ່າງກັນພາຍໃຕ້ເງື່ອນໄຂທີ່ແຕກຕ່າງກັນ. ການສົມທົບ Chameleon ແລະກອບ NeST ສາມາດຊ່ວຍໃຫ້ອົງການຄົ້ນຄ້ວາທີ່ຂາດຊັບພະຍາກອນການຄິດໄລ່ຢ່າງຫນັກໄດ້ປະໂຫຍດຈາກພະລັງງານຂອງເຄືອຂ່າຍ neural.