ເສັ້ນໃຍຂອງ Uber ແມ່ນໂຄງຮ່າງການຝຶກອົບຮົມແບບຈໍາລອງ AI ທີ່ແຈກຢາຍໃໝ່

ອີງຕາມ VentureBeat, ນັກຄົ້ນຄວ້າ AI ຢູ່ Uber ໄດ້ຈັດພີມມາບໍ່ດົນມານີ້ ເຈ້ຍເພື່ອ Arxiv ອະທິບາຍແພລະຕະຟອມໃຫມ່ທີ່ມີຈຸດປະສົງເພື່ອຊ່ວຍເຫຼືອໃນການສ້າງແບບຈໍາລອງ AI ທີ່ແຈກຢາຍ. ເວທີແມ່ນເອີ້ນວ່າ Fiber, ແລະມັນສາມາດຖືກນໍາໃຊ້ເພື່ອຂັບເຄື່ອນທັງສອງວຽກງານການຮຽນຮູ້ເສີມແລະການຮຽນຮູ້ໂດຍອີງໃສ່ປະຊາກອນ. ເສັ້ນໄຍໄດ້ຖືກອອກແບບເພື່ອເຮັດໃຫ້ການຄິດໄລ່ຂະຫນານຂະຫນາດໃຫຍ່ສາມາດເຂົ້າເຖິງຜູ້ທີ່ບໍ່ເປັນຜູ້ຊ່ຽວຊານ, ໃຫ້ພວກເຂົາໃຊ້ປະໂຫຍດຈາກພະລັງງານຂອງ AI algorithms ແລະແບບຈໍາລອງທີ່ແຈກຢາຍ.

ບໍ່ດົນມານີ້, Fiber ໄດ້ຖືກສ້າງເປັນ open-source ໃນ GitHub, ແລະມັນເຂົ້າກັນໄດ້ກັບ Python 3.6 ຫຼືສູງກວ່າ, ໂດຍ Kubernetes ແລ່ນຢູ່ໃນລະບົບ Linux ແລະເຮັດວຽກຢູ່ໃນສະພາບແວດລ້ອມຄລາວ. ອີງຕາມທີມງານຂອງນັກຄົ້ນຄວ້າ, ແພລະຕະຟອມສາມາດຂະຫຍາຍໄດ້ຢ່າງງ່າຍດາຍເຖິງຫຼາຍຮ້ອຍຫຼືຫຼາຍພັນເຄື່ອງແຕ່ລະຄົນ.

ທີມງານຂອງນັກຄົ້ນຄວ້າຈາກ Uber ອະທິບາຍວ່າຄວາມກ້າວຫນ້າທີ່ຜ່ານມາແລະທີ່ກ່ຽວຂ້ອງຫຼາຍໃນປັນຍາປະດິດໄດ້ຖືກຂັບເຄື່ອນໂດຍແບບຈໍາລອງຂະຫນາດໃຫຍ່ແລະລະບົບສູດການຄິດໄລ່ເພີ່ມເຕີມທີ່ໄດ້ຮັບການຝຶກອົບຮົມໂດຍໃຊ້ເຕັກນິກການຝຶກອົບຮົມແບບແຈກຢາຍ. ຢ່າງໃດກໍ່ຕາມ, ການສ້າງແບບຈໍາລອງໂດຍອີງໃສ່ປະຊາກອນແລະຕົວແບບເສີມຍັງຄົງເປັນວຽກທີ່ຍາກສໍາລັບໂຄງການການຝຶກອົບຮົມແບບແຈກຢາຍ, ຍ້ອນວ່າພວກເຂົາມັກຈະມີບັນຫາກັບປະສິດທິພາບແລະຄວາມຍືດຫຍຸ່ນ. ເສັ້ນໄຍເຮັດໃຫ້ລະບົບການແຈກຢາຍມີຄວາມໜ້າເຊື່ອຖື ແລະ ມີຄວາມຍືດຫຍຸ່ນຫຼາຍຂຶ້ນໂດຍການລວມຊອບແວການຈັດການກຸ່ມດ້ວຍການປັບຂະໜາດແບບເຄື່ອນໄຫວ ແລະໃຫ້ຜູ້ໃຊ້ຍ້າຍວຽກຂອງເຂົາເຈົ້າຈາກເຄື່ອງຈັກໜຶ່ງໄປຫາເຄື່ອງຈັກຈຳນວນຫຼາຍຢ່າງບໍ່ຢຸດຢັ້ງ.

ເສັ້ນໄຍແມ່ນຜະລິດຈາກສາມອົງປະກອບທີ່ແຕກຕ່າງກັນ: API, backend, ແລະຊັ້ນກຸ່ມ. ຊັ້ນ API ຊ່ວຍໃຫ້ຜູ້ໃຊ້ສາມາດສ້າງສິ່ງຕ່າງໆເຊັ່ນ: ຄິວ, ຜູ້ຈັດການ ແລະຂະບວນການຕ່າງໆ. ຊັ້ນ backend ຂອງ Fiber ຊ່ວຍໃຫ້ຜູ້ໃຊ້ສ້າງແລະຢຸດວຽກທີ່ຖືກຄຸ້ມຄອງໂດຍກຸ່ມທີ່ແຕກຕ່າງກັນ, ແລະຊັ້ນກຸ່ມຂອງກຸ່ມຈະຈັດການແຕ່ລະກຸ່ມດ້ວຍຕົນເອງພ້ອມກັບຊັບພະຍາກອນຂອງພວກເຂົາ, ເຊິ່ງມີຈໍານວນລາຍການຫຼາຍທີ່ Fiber ຕ້ອງຮັກສາແຖບ.

ເສັ້ນໄຍເຮັດໃຫ້ວຽກຖືກຈັດຄິວແລະດໍາເນີນການຫ່າງໄກສອກຫຼີກໃນເຄື່ອງຈັກທ້ອງຖິ່ນຫນຶ່ງຫຼືເຄື່ອງຈັກທີ່ແຕກຕ່າງກັນຫຼາຍ, ນໍາໃຊ້ແນວຄວາມຄິດຂອງຂະບວນການສະຫນັບສະຫນູນວຽກ. ເສັ້ນໄຍຍັງໃຊ້ພາຊະນະບັນຈຸເພື່ອຮັບປະກັນສິ່ງຕ່າງໆເຊັ່ນວ່າຂໍ້ມູນປ້ອນເຂົ້າ ແລະແພັກເກັດທີ່ຂຶ້ນກັບແມ່ນບັນຈຸດ້ວຍຕົນເອງ. ໂຄງຮ່າງການ Fiber ແມ້ແຕ່ປະກອບມີການຈັດການຄວາມຜິດພາດໃນຕົວເພື່ອວ່າຖ້າຄົນງານເກີດອຸປະຕິເຫດມັນກໍ່ສາມາດຟື້ນຟູໄດ້ຢ່າງໄວວາ. FIber ສາມາດເຮັດສິ່ງທັງໝົດນີ້ໄດ້ໃນຂະນະທີ່ໂຕ້ຕອບກັບຜູ້ຈັດການກຸ່ມ, ປ່ອຍໃຫ້ແອັບ Fiber ເຮັດວຽກຄືກັບວ່າມັນເປັນແອັບປົກກະຕິທີ່ແລ່ນຢູ່ໃນກຸ່ມຄອມພິວເຕີທີ່ໃຫ້ມາ.

ຜົນການທົດລອງໄດ້ສະແດງໃຫ້ເຫັນວ່າເວລາຕອບສະ ໜອງ ຂອງ Fiber ໂດຍສະເລ່ຍແມ່ນສອງສາມມິລິວິນາທີແລະມັນຍັງຂະຫຍາຍໄດ້ດີກວ່າເຕັກນິກ AI ພື້ນຖານເມື່ອສ້າງດ້ວຍ 2,048 processors/workers. ໄລຍະເວລາທີ່ຕ້ອງການເພື່ອເຮັດສໍາເລັດວຽກຫຼຸດລົງເທື່ອລະກ້າວຍ້ອນວ່າຈໍານວນຄົນງານເພີ່ມຂຶ້ນ. IPyParallel ໄດ້ສໍາເລັດການຝຶກອົບຮົມ 50 ຮອບໃນເວລາປະມານ 1400 ວິນາທີ, ໃນຂະນະທີ່ Fiber ສາມາດສໍາເລັດການຝຶກອົບຮົມ 50 ຊ້ໍາກັນໃນເວລາປະມານ 50 ວິນາທີໂດຍມີພະນັກງານ 512 ຄົນ.

coauthors ຂອງເຈ້ຍ Fiber ອະທິບາຍ Fiber ນັ້ນສາມາດບັນລຸເປົ້າໝາຍຫຼາຍຢ່າງເຊັ່ນ: ການປັບຂະໜາດແບບໄດນາມິກ ແລະ ການນຳໃຊ້ພະລັງງານຄອມພິວເຕີໃນປະລິມານຫຼາຍ:

"[ວຽກງານຂອງພວກເຮົາສະແດງໃຫ້ເຫັນວ່າ Fiber ບັນລຸເປົ້າຫມາຍຫຼາຍຢ່າງ, ລວມທັງການໃຊ້ຮາດແວຄອມພິວເຕີທີ່ມີປະສິດຕິພາບຈໍານວນຫຼວງຫຼາຍ, ການປັບຂະ ໜາດ algorithms ແບບເຄື່ອນໄຫວເພື່ອປັບປຸງປະສິດທິພາບການ ນຳ ໃຊ້ຊັບພະຍາກອນ, ຫຼຸດຜ່ອນພາລະດ້ານວິສະວະ ກຳ ທີ່ ຈຳ ເປັນເພື່ອເຮັດໃຫ້ [ການຮຽນຮູ້ເສີມ] ແລະ algorithms ໂດຍອີງໃສ່ປະຊາກອນເຮັດວຽກ. ກຸ່ມຄອມພິວເຕີ, ແລະໄວປັບຕົວເຂົ້າກັບສະພາບແວດລ້ອມຄອມພິວເຕີທີ່ແຕກຕ່າງກັນເພື່ອປັບປຸງປະສິດທິພາບການຄົ້ນຄວ້າ. ພວກເຮົາຄາດຫວັງວ່າມັນຈະຊ່ວຍໃຫ້ມີຄວາມກ້າວຫນ້າໃນການແກ້ໄຂ [ການເສີມສ້າງ] ບັນຫາທີ່ຫນັກແຫນ້ນກັບ [ການຮຽນຮູ້ເສີມ] algorithms ແລະວິທີການອີງໃສ່ປະຊາກອນໂດຍການເຮັດໃຫ້ມັນງ່າຍຂຶ້ນໃນການພັດທະນາວິທີການເຫຼົ່ານີ້ແລະຝຶກອົບຮົມໃຫ້ເຂົາເຈົ້າຢູ່ໃນຂະຫນາດທີ່ຈໍາເປັນເພື່ອໃຫ້ເຫັນໄດ້ຊັດເຈນແທ້ໆ."