ການເຊື່ອມຕໍ່ຈຸດ: ຖອດຖອນຕົວແບບ Q-Star ທີ່ຖືກກ່າວຫາຂອງ OpenAI

ບໍ່ດົນມານີ້, ມີການຄາດເດົາຢ່າງຫຼວງຫຼາຍພາຍໃນຊຸມຊົນ AI ອ້ອມຂ້າງໂຄງການທີ່ຖືກກ່າວຫາ OpenAI, Q-star. ເຖິງວ່າຈະມີຂໍ້ມູນຈໍາກັດກ່ຽວກັບການລິເລີ່ມທີ່ລຶກລັບນີ້, ມັນໄດ້ຖືກກ່າວວ່າເປັນບາດກ້າວທີ່ສໍາຄັນໄປສູ່ການບັນລຸປັນຍາທົ່ວໄປປອມ - ລະດັບຄວາມສະຫລາດທີ່ກົງກັນຫຼືເກີນຄວາມສາມາດຂອງມະນຸດ. ໃນຂະນະທີ່ການສົນທະນາສ່ວນໃຫຍ່ໄດ້ສຸມໃສ່ຜົນກະທົບທາງລົບທີ່ອາດຈະເກີດຂື້ນຂອງການພັດທະນານີ້ສໍາລັບມະນຸດ, ມີຄວາມພະຍາຍາມຫນ້ອຍທີ່ອຸທິດຕົນເພື່ອເປີດເຜີຍລັກສະນະຂອງ Q-star ແລະຄວາມໄດ້ປຽບທາງດ້ານເຕັກໂນໂລຢີທີ່ອາດຈະນໍາເອົາ. ໃນບົດຂຽນນີ້, ຂ້ອຍຈະເອົາວິທີການຂຸດຄົ້ນ, ພະຍາຍາມແກ້ໄຂໂຄງການນີ້ຕົ້ນຕໍຈາກຊື່ຂອງມັນ, ເຊິ່ງຂ້ອຍເຊື່ອວ່າໃຫ້ຂໍ້ມູນພຽງພໍເພື່ອເກັບກໍາຄວາມເຂົ້າໃຈກ່ຽວກັບມັນ.

ຄວາມເປັນມາຂອງຄວາມລຶກລັບ

ມັນທັງຫມົດໄດ້ເລີ່ມຕົ້ນໃນເວລາທີ່ຄະນະກໍາມະການປົກຄອງຢູ່ OpenAI ຢ່າງກະທັນຫັນ ຂັບໄລ່ Sam Altman, CEO, ແລະຜູ້ຮ່ວມກໍ່ຕັ້ງ. ເຖິງແມ່ນວ່າ Altman ໄດ້ຖືກຟື້ນຟູໃນພາຍຫລັງ, ຄໍາຖາມຍັງຄົງຢູ່ກ່ຽວກັບເຫດການ. ບາງຄົນເຫັນວ່າມັນເປັນການຕໍ່ສູ້ກັບອໍານາດ, ໃນຂະນະທີ່ຄົນອື່ນຖືວ່າມັນເປັນຈຸດສຸມຂອງ Altman ກ່ຽວກັບບໍລິສັດອື່ນໆເຊັ່ນ Worldcoin. ຢ່າງໃດກໍຕາມ, ດິນຕອນຫນາແຫນ້ນຍ້ອນວ່າ Reuters ລາຍງານວ່າໂຄງການລັບທີ່ເອີ້ນວ່າ Q-star ອາດຈະເປັນເຫດຜົນຕົ້ນຕໍສໍາລັບລະຄອນ. ຕາມ Reuters, Q-Star ເປັນບາດກ້າວອັນໃຫຍ່ຫຼວງຕໍ່ຈຸດປະສົງ AGI ຂອງ OpenAI, ບັນຫາຄວາມກັງວົນທີ່ສົ່ງກັບຄະນະປົກຄອງໂດຍພະນັກງານຂອງ OpenAI. ການປະກົດຕົວຂອງຂ່າວນີ້ໄດ້ເຮັດໃຫ້ເກີດການຄາດເດົາແລະຄວາມເປັນຫ່ວງເປັນຈໍານວນຫຼາຍ.

ຕຶກອາຄານຂອງປິດສະໜາ

ໃນພາກນີ້, ຂ້າພະເຈົ້າໄດ້ແນະນໍາບາງອາຄານທີ່ຈະຊ່ວຍໃຫ້ພວກເຮົາແກ້ໄຂຄວາມລຶກລັບນີ້.

• ຖາມການຮຽນຮູ້: ການຮຽນຮູ້ການເສີມສ້າງ ແມ່ນປະເພດຂອງການຮຽນຮູ້ເຄື່ອງຈັກທີ່ຄອມພິວເຕີຮຽນຮູ້ໂດຍການພົວພັນກັບສະພາບແວດລ້ອມຂອງເຂົາເຈົ້າ, ໄດ້ຮັບຄໍາຄຶດຄໍາເຫັນໃນຮູບແບບຂອງລາງວັນຫຼືການລົງໂທດ. ການຮຽນຮູ້ Q ແມ່ນວິທີການສະເພາະພາຍໃນການຮຽນຮູ້ເສີມທີ່ຊ່ວຍໃຫ້ຄອມພິວເຕີຕັດສິນໃຈໂດຍການຮຽນຮູ້ຄຸນນະພາບ (Q-value) ຂອງການປະຕິບັດທີ່ແຕກຕ່າງກັນໃນສະຖານະການຕ່າງໆ. ມັນຖືກນໍາໃຊ້ຢ່າງກວ້າງຂວາງໃນສະຖານະການເຊັ່ນ: ການຫຼິ້ນເກມແລະຫຸ່ນຍົນ, ເຮັດໃຫ້ຄອມພິວເຕີສາມາດຮຽນຮູ້ການຕັດສິນໃຈທີ່ດີທີ່ສຸດໂດຍຜ່ານຂະບວນການຂອງການທົດລອງແລະຄວາມຜິດພາດ.
• ຄົ້ນຫາດາວ: A-star ແມ່ນວິທີການຄົ້ນຫາທີ່ຊ່ວຍໃຫ້ຄອມພິວເຕີຄົ້ນຫາຄວາມເປັນໄປໄດ້ແລະຊອກຫາວິທີແກ້ໄຂທີ່ດີທີ່ສຸດເພື່ອແກ້ໄຂບັນຫາ. ສູດການຄິດໄລ່ແມ່ນສັງເກດໂດຍສະເພາະສໍາລັບປະສິດທິພາບຂອງມັນໃນການຊອກຫາເສັ້ນທາງທີ່ສັ້ນທີ່ສຸດຈາກຈຸດເລີ່ມຕົ້ນໄປຫາເປົ້າຫມາຍໃນກາຟຫຼືຕາຂ່າຍໄຟຟ້າ. ຄວາມເຂັ້ມແຂງທີ່ສໍາຄັນຂອງມັນແມ່ນຢູ່ໃນການຊັ່ງນໍ້າຫນັກຢ່າງສະຫຼາດຂອງຄ່າໃຊ້ຈ່າຍໃນການເຂົ້າເຖິງ node ຕໍ່ກັບຄ່າໃຊ້ຈ່າຍທີ່ຄາດຄະເນຂອງການບັນລຸເປົ້າຫມາຍລວມ. ດັ່ງນັ້ນ, A-star ຖືກນໍາໃຊ້ຢ່າງກວ້າງຂວາງໃນການແກ້ໄຂສິ່ງທ້າທາຍທີ່ກ່ຽວຂ້ອງກັບການຊອກຫາເສັ້ນທາງແລະການເພີ່ມປະສິດທິພາບ.

• AlphaZero: ອັກຂະລະ, ລະບົບ AI ກ້າວຫນ້າທາງດ້ານຈາກ Deepmind, ປະສົມປະສານ Q-learning ແລະການຄົ້ນຫາ (ie, Monte Carlo Tree Search) ສໍາລັບການວາງແຜນຍຸດທະສາດໃນເກມກະດານເຊັ່ນ: chess ແລະ Go. ມັນຮຽນຮູ້ຍຸດທະສາດທີ່ດີທີ່ສຸດໂດຍຜ່ານການຫຼິ້ນດ້ວຍຕົນເອງ, ນໍາພາໂດຍເຄືອຂ່າຍ neural ສໍາລັບການເຄື່ອນໄຫວແລະການປະເມີນຜົນຕໍາແຫນ່ງ. ສູດການຄິດໄລ່ຂອງ Monte Carlo Tree Search (MCTS) ດຸ່ນດ່ຽງການສຳຫຼວດ ແລະ ການຂຸດຄົ້ນໃນການຄົ້ນຫາຄວາມເປັນໄປໄດ້ຂອງເກມ. ຂະບວນການຫຼິ້ນ, ການຮຽນຮູ້, ແລະການຄົ້ນຫາດ້ວຍຕົນເອງແບບຊ້ໍາຊ້ອນຂອງ AlphaZero ນໍາໄປສູ່ການປັບປຸງຢ່າງຕໍ່ເນື່ອງ, ເຮັດໃຫ້ການປະຕິບັດຫນ້າທີ່ຂອງມະນຸດແລະໄຊຊະນະເຫນືອແຊ້ມຂອງມະນຸດ, ສະແດງໃຫ້ເຫັນປະສິດທິຜົນຂອງມັນໃນການວາງແຜນຍຸດທະສາດແລະການແກ້ໄຂບັນຫາ.
• ຮູບແບບພາສາ: ຮູບແບບພາສາຂະຫນາດໃຫຍ່ (LLMs), ເຊັ່ນ GPT-3, ແມ່ນຮູບແບບຂອງ AI ທີ່ອອກແບບມາເພື່ອເຂົ້າໃຈ ແລະສ້າງຂໍ້ຄວາມທີ່ຄ້າຍຄືກັບມະນຸດ. ພວກເຂົາເຈົ້າໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບຂໍ້ມູນອິນເຕີເນັດຢ່າງກວ້າງຂວາງແລະຫຼາກຫຼາຍຊະນິດ, ກວມເອົາຫົວຂໍ້ທີ່ກວ້າງຂວາງແລະຮູບແບບການຂຽນ. ຄຸນລັກສະນະທີ່ໂດດເດັ່ນຂອງ LLMs ແມ່ນຄວາມສາມາດຂອງພວກເຂົາໃນການຄາດຄະເນຄໍາຕໍ່ໄປໃນລໍາດັບ, ທີ່ເອີ້ນວ່າການສ້າງແບບຈໍາລອງພາສາ. ເປົ້າ​ຫມາຍ​ແມ່ນ​ເພື່ອ​ໃຫ້​ຄວາມ​ເຂົ້າ​ໃຈ​ກ່ຽວ​ກັບ​ວິ​ທີ​ການ​ເຊື່ອມ​ຕໍ່​ຂອງ​ຄໍາ​ສັບ​ຕ່າງໆ​ແລະ​ປະ​ໂຫຍກ​, ໃຫ້​ຮູບ​ແບບ​ການ​ຜະ​ລິດ​ຂໍ້​ຄວາມ​ທີ່​ສອດ​ຄ້ອງ​ກັນ​ແລະ​ສະ​ພາບ​ການ​. ການຝຶກອົບຮົມຢ່າງກວ້າງຂວາງເຮັດໃຫ້ LLMs ມີຄວາມຊໍານິຊໍານານໃນຄວາມເຂົ້າໃຈໄວຍາກອນ, ຄວາມຫມາຍ, ແລະແມ້ກະທັ້ງລັກສະນະທີ່ແຕກຕ່າງກັນຂອງການນໍາໃຊ້ພາສາ. ເມື່ອໄດ້ຮັບການຝຶກອົບຮົມແລ້ວ, ຮູບແບບພາສາເຫຼົ່ານີ້ສາມາດຖືກປັບລະອຽດສໍາລັບວຽກງານສະເພາະຫຼືຄໍາຮ້ອງສະຫມັກ, ເຮັດໃຫ້ມັນເປັນເຄື່ອງມືທີ່ຫຼາກຫຼາຍສໍາລັບ ການປຸງແຕ່ງພາສາທໍາມະຊາດ, chatbots, ການສ້າງເນື້ອຫາ, ແລະອື່ນໆ.

• ປັນຍາທຽມທົ່ວໄປ: ປັນຍາທຽມທົ່ວໄປ (AGI) ແມ່ນປະເພດຂອງປັນຍາປະດິດທີ່ມີຄວາມສາມາດໃນການເຂົ້າໃຈ, ຮຽນຮູ້, ແລະປະຕິບັດວຽກງານທີ່ກວມເອົາໂດເມນທີ່ຫຼາກຫຼາຍໃນລະດັບທີ່ກົງກັນຫຼືເກີນຄວາມສາມາດທາງດ້ານສະຕິປັນຍາຂອງມະນຸດ. ໃນທາງກົງກັນຂ້າມກັບ AI ແຄບຫຼືພິເສດ, AGI ມີຄວາມສາມາດໃນການປັບຕົວ, ເຫດຜົນ, ແລະຮຽນຮູ້ໂດຍບໍ່ມີການຈໍາກັດກັບວຽກງານສະເພາະ. AGI ອະນຸຍາດໃຫ້ລະບົບ AI ສະແດງໃຫ້ເຫັນການຕັດສິນໃຈເອກະລາດ, ການແກ້ໄຂບັນຫາແລະການຄິດສ້າງສັນ, ສະທ້ອນສະຕິປັນຍາຂອງມະນຸດ. ໂດຍພື້ນຖານແລ້ວ, AGI ປະກອບແນວຄວາມຄິດຂອງເຄື່ອງຈັກທີ່ມີຄວາມສາມາດໃນການປະຕິບັດວຽກງານທາງປັນຍາໃດໆທີ່ມະນຸດເຮັດ, ເນັ້ນໃສ່ຄວາມຄ່ອງແຄ້ວແລະການປັບຕົວໃນທົ່ວໂດເມນຕ່າງໆ.

ຂໍ້ຈໍາກັດທີ່ສໍາຄັນຂອງ LLMs ໃນການບັນລຸ AGI

ຮູບແບບພາສາຂະຫນາດໃຫຍ່ (LLMs) ມີຂໍ້ຈໍາກັດໃນການບັນລຸ Artificial General Intelligence (AGI). ໃນຂະນະທີ່ມີຄວາມຊໍານິຊໍານານໃນການປຸງແຕ່ງແລະການສ້າງຂໍ້ຄວາມໂດຍອີງໃສ່ຮູບແບບການຮຽນຮູ້ຈາກຂໍ້ມູນທີ່ກວ້າງຂວາງ, ເຂົາເຈົ້າພະຍາຍາມເຂົ້າໃຈໂລກທີ່ແທ້ຈິງ, ຂັດຂວາງການນໍາໃຊ້ຄວາມຮູ້ທີ່ມີປະສິດທິພາບ. AGI ຮຽກຮ້ອງໃຫ້ມີເຫດຜົນທົ່ວໄປແລະການວາງແຜນຄວາມສາມາດໃນການຈັດການກັບສະຖານະການປະຈໍາວັນ, ເຊິ່ງ LLMs ເຫັນວ່າມີຄວາມທ້າທາຍ. ເຖິງວ່າຈະມີການຜະລິດຄໍາຕອບທີ່ຖືກຕ້ອງ, ແຕ່ພວກເຂົາຂາດຄວາມສາມາດໃນການແກ້ໄຂບັນຫາທີ່ສັບສົນ, ເຊັ່ນ: ຄະນິດສາດ.

ການສຶກສາໃຫມ່ຊີ້ໃຫ້ເຫັນວ່າ LLMs ສາມາດ mimic ຄອມພິວເຕີ້ໃດໆເຊັ່ນຄອມພິວເຕີທົ່ວໄປແຕ່ຖືກຈໍາກັດໂດຍຄວາມຕ້ອງການສໍາລັບຫນ່ວຍຄວາມຈໍາພາຍນອກທີ່ກວ້າງຂວາງ. ການເພີ່ມຂໍ້ມູນແມ່ນສໍາຄັນສໍາລັບການປັບປຸງ LLMs, ແຕ່ມັນຕ້ອງການຊັບພະຍາກອນຄອມພິວເຕີ້ແລະພະລັງງານທີ່ສໍາຄັນ, ບໍ່ເຫມືອນກັບສະຫມອງຂອງມະນຸດທີ່ມີປະສິດທິພາບດ້ານພະລັງງານ. ນີ້ເຮັດໃຫ້ເກີດສິ່ງທ້າທາຍສໍາລັບການເຮັດໃຫ້ LLMs ສາມາດໃຊ້ໄດ້ຢ່າງກວ້າງຂວາງແລະສາມາດຂະຫຍາຍໄດ້ສໍາລັບ AGI. ການຄົ້ນຄວ້າທີ່ຜ່ານມາຊີ້ໃຫ້ເຫັນວ່າພຽງແຕ່ການເພີ່ມຂໍ້ມູນເພີ່ມເຕີມບໍ່ໄດ້ປັບປຸງການປະຕິບັດສະເຫມີ, ເຮັດໃຫ້ເກີດຄໍາຖາມກ່ຽວກັບສິ່ງທີ່ຕ້ອງສຸມໃສ່ໃນການເດີນທາງໄປສູ່ AGI.

ເຊື່ອມຕໍ່ຈຸດຕ່າງໆ

ຜູ້ຊ່ຽວຊານ AI ຫຼາຍຄົນເຊື່ອວ່າສິ່ງທ້າທາຍທີ່ມີຕົວແບບພາສາຂະຫນາດໃຫຍ່ (LLMs) ມາຈາກຈຸດສຸມຕົ້ນຕໍຂອງພວກເຂົາໃນການຄາດເດົາຄໍາຕໍ່ໄປ. ນີ້ຈໍາກັດຄວາມເຂົ້າໃຈຂອງເຂົາເຈົ້າກ່ຽວກັບ nuances ພາສາ, ເຫດຜົນ, ແລະການວາງແຜນ. ເພື່ອຈັດການກັບເລື່ອງນີ້, ນັກຄົ້ນຄວ້າມັກ Yann LeCun ແນະນໍາໃຫ້ພະຍາຍາມວິທີການຝຶກອົບຮົມທີ່ແຕກຕ່າງກັນ. ພວກເຂົາສະເຫນີວ່າ LLMs ຄວນວາງແຜນຢ່າງຈິງຈັງສໍາລັບການຄາດຄະເນຄໍາສັບ, ບໍ່ພຽງແຕ່ token ຕໍ່ໄປ.

ແນວຄວາມຄິດຂອງ "Q-star," ຄ້າຍຄືກັນກັບຍຸດທະສາດຂອງ AlphaZero, ອາດຈະກ່ຽວຂ້ອງກັບການສັ່ງໃຫ້ LLMs ວາງແຜນຢ່າງຈິງຈັງສໍາລັບການຄາດຄະເນ token, ບໍ່ພຽງແຕ່ຄາດຄະເນຄໍາຕໍ່ໄປ. ນີ້ນໍາເອົາການສົມເຫດສົມຜົນທີ່ມີໂຄງສ້າງແລະການວາງແຜນເຂົ້າໄປໃນຮູບແບບພາສາ, ນອກເຫນືອຈາກການສຸມໃສ່ການປົກກະຕິກ່ຽວກັບການຄາດຄະເນ token ຕໍ່ໄປ. ໂດຍການນໍາໃຊ້ກົນລະຍຸດການວາງແຜນທີ່ໄດ້ຮັບແຮງບັນດານໃຈໂດຍ AlphaZero, LLMs ສາມາດເຂົ້າໃຈຄວາມແຕກຕ່າງຂອງພາສາ, ປັບປຸງການສົມເຫດສົມຜົນ, ແລະເສີມຂະຫຍາຍການວາງແຜນ, ແກ້ໄຂຂໍ້ຈໍາກັດຂອງວິທີການຝຶກອົບຮົມ LLM ປົກກະຕິ.

ການເຊື່ອມໂຍງດັ່ງກ່າວໄດ້ກໍານົດຂອບເຂດຄວາມຍືດຫຍຸ່ນສໍາລັບການເປັນຕົວແທນແລະການຈັດການຄວາມຮູ້, ຊ່ວຍໃຫ້ລະບົບປັບຕົວເຂົ້າກັບຂໍ້ມູນແລະວຽກງານໃຫມ່. ການປັບຕົວນີ້ສາມາດເປັນສິ່ງສໍາຄັນສໍາລັບ Artificial General Intelligence (AGI), ເຊິ່ງຈໍາເປັນຕ້ອງຈັດການກັບວຽກງານຕ່າງໆແລະໂດເມນທີ່ມີຄວາມຕ້ອງການທີ່ແຕກຕ່າງກັນ.

AGI ຕ້ອງການຄວາມຮູ້ສຶກທົ່ວໄປ, ແລະການຝຶກອົບຮົມ LLMs ໃຫ້ມີເຫດຜົນສາມາດໃຫ້ພວກເຂົາມີຄວາມເຂົ້າໃຈທີ່ສົມບູນແບບຂອງໂລກ. ນອກຈາກນີ້, ການຝຶກອົບຮົມ LLMs ເຊັ່ນ AlphaZero ສາມາດຊ່ວຍໃຫ້ເຂົາເຈົ້າຮຽນຮູ້ຄວາມຮູ້ທີ່ບໍ່ມີຕົວຕົນ, ການປັບປຸງການຮຽນຮູ້ການໂອນແລະການທົ່ວໄປໃນທົ່ວສະຖານະການຕ່າງໆ, ປະກອບສ່ວນເຂົ້າໃນການປະຕິບັດທີ່ເຂັ້ມແຂງຂອງ AGI.

ນອກຈາກຊື່ຂອງໂຄງການ, ການສະຫນັບສະຫນູນຄວາມຄິດນີ້ແມ່ນມາຈາກບົດລາຍງານຂອງ Reuters, ຊີ້ໃຫ້ເຫັນຄວາມສາມາດຂອງ Q-star ໃນການແກ້ໄຂບັນຫາຄະນິດສາດແລະເຫດຜົນສະເພາະຢ່າງສໍາເລັດຜົນ.

ສາຍທາງລຸ່ມ

Q-Star, ໂຄງການຄວາມລັບຂອງ OpenAI, ກໍາລັງສ້າງຄື້ນຟອງໃນ AI, ມຸ່ງໄປສູ່ຄວາມສະຫລາດທີ່ເກີນກວ່າມະນຸດ. ທ່າມກາງການສົນທະນາກ່ຽວກັບຄວາມສ່ຽງທີ່ເປັນໄປໄດ້ຂອງມັນ, ບົດຄວາມນີ້ຈະຂຸດເຂົ້າໄປໃນປິດສະຫນາ, ເຊື່ອມຕໍ່ຈຸດຈາກ Q-learning ກັບ AlphaZero ແລະຕົວແບບພາສາຂະຫນາດໃຫຍ່ (LLMs).

ພວກເຮົາຄິດວ່າ "Q-star" ຫມາຍເຖິງການປະສົມປະສານທີ່ສະຫຼາດຂອງການຮຽນຮູ້ແລະການຄົ້ນຫາ, ໃຫ້ LLMs ຊຸກຍູ້ການວາງແຜນແລະການສົມເຫດສົມຜົນ. ດ້ວຍ Reuters ລະບຸວ່າມັນສາມາດແກ້ໄຂບັນຫາຄະນິດສາດແລະການສົມເຫດສົມຜົນ, ມັນຊີ້ໃຫ້ເຫັນຄວາມກ້າວຫນ້າທີ່ສໍາຄັນ. ນີ້ຮຽກຮ້ອງໃຫ້ມີການພິຈາລະນາຢ່າງໃກ້ຊິດກ່ຽວກັບບ່ອນທີ່ການຮຽນຮູ້ AI ອາດຈະມຸ່ງຫນ້າໄປໃນອະນາຄົດ.