AIOS: ລະບົບປະຕິບັດການສໍາລັບຕົວແທນ LLM

ໃນໄລຍະຫົກທົດສະວັດທີ່ຜ່ານມາ, ລະບົບປະຕິບັດການໄດ້ພັດທະນາຢ່າງກ້າວກະໂດດ, ກ້າວຫນ້າຈາກລະບົບພື້ນຖານໄປສູ່ລະບົບປະຕິບັດງານທີ່ຊັບຊ້ອນແລະການໂຕ້ຕອບທີ່ມີອໍານາດອຸປະກອນໃນປະຈຸບັນ. ໃນເບື້ອງຕົ້ນ, ລະບົບປະຕິບັດການໄດ້ຮັບຜິດຊອບເປັນຂົວລະຫວ່າງການເຮັດວຽກຂອງສອງຂອງຮາດແວຄອມພິວເຕີ, ເຊັ່ນ: ການຫມູນໃຊ້ປະຕູ, ແລະວຽກງານລະດັບຜູ້ໃຊ້. ໃນຊຸມປີມໍ່ໆມານີ້, ພວກເຂົາເຈົ້າໄດ້ພັດທະນາຈາກລະບົບການປຸງແຕ່ງວຽກແບບ batch ແບບງ່າຍດາຍໄປສູ່ເຕັກນິກການຈັດການຂະບວນການທີ່ມີຄວາມຊັບຊ້ອນຫຼາຍຂຶ້ນ, ລວມທັງການເຮັດວຽກຫຼາຍວຽກແລະການແບ່ງປັນເວລາ. ຄວາມກ້າວຫນ້າເຫຼົ່ານີ້ໄດ້ເຮັດໃຫ້ລະບົບປະຕິບັດງານທີ່ທັນສະໄຫມສາມາດຈັດການວຽກງານທີ່ສັບສົນຫຼາຍ. ການແນະນໍາການໂຕ້ຕອບຜູ້ໃຊ້ແບບກາຟິກ (GUIs) ເຊັ່ນ Windows ແລະ MacOS ໄດ້ເຮັດໃຫ້ລະບົບປະຕິບັດການທີ່ທັນສະໄຫມເປັນມິດກັບຜູ້ໃຊ້ແລະການໂຕ້ຕອບຫຼາຍຂຶ້ນ, ໃນຂະນະທີ່ຍັງຂະຫຍາຍລະບົບນິເວດ OS ດ້ວຍຫ້ອງສະຫມຸດ runtime ແລະຊຸດເຄື່ອງມືພັດທະນາທີ່ສົມບູນແບບ.

ນະວັດຕະກໍາທີ່ຜ່ານມາປະກອບມີການເຊື່ອມໂຍງແລະການນໍາໄປໃຊ້ ຮູບແບບພາສາຂະຫນາດໃຫຍ່ (LLMs), ເຊິ່ງໄດ້ປະຕິວັດອຸດສາຫະກໍາຕ່າງໆໂດຍການປົດລັອກຄວາມເປັນໄປໄດ້ໃຫມ່. ຫວ່າງມໍ່ໆມານີ້, ຕົວແທນອັດສະລິຍະທີ່ອີງໃສ່ LLM ໄດ້ສະແດງໃຫ້ເຫັນຄວາມສາມາດທີ່ໂດດເດັ່ນ, ບັນລຸການປະຕິບັດທີ່ຄ້າຍຄືກັບມະນຸດໃນວຽກງານທີ່ກວ້າງຂວາງ. ຢ່າງໃດກໍ່ຕາມ, ຕົວແທນເຫຼົ່ານີ້ຍັງຢູ່ໃນຂັ້ນຕອນຕົ້ນຂອງການພັດທະນາ, ແລະເຕັກນິກໃນປະຈຸບັນປະເຊີນກັບສິ່ງທ້າທາຍຫຼາຍຢ່າງທີ່ມີຜົນກະທົບຕໍ່ປະສິດທິພາບແລະປະສິດທິຜົນຂອງມັນ. ບັນຫາທົ່ວໄປລວມມີການກໍານົດເວລາຍ່ອຍທີ່ເຫມາະສົມຂອງການຮ້ອງຂໍຕົວແທນໃນໄລຍະຮູບແບບພາສາຂະຫນາດໃຫຍ່, ຄວາມສັບສົນໃນການເຊື່ອມໂຍງຕົວແທນທີ່ມີຄວາມຊ່ຽວຊານທີ່ແຕກຕ່າງກັນ, ແລະການຮັກສາສະພາບການລະຫວ່າງການໂຕ້ຕອບລະຫວ່າງ LLM ແລະຕົວແທນ. ການພັດທະນາຢ່າງໄວວາແລະຄວາມສັບສົນທີ່ເພີ່ມຂຶ້ນຂອງຕົວແທນທີ່ອີງໃສ່ LLM ມັກຈະນໍາໄປສູ່ການຂັດຂວາງແລະການນໍາໃຊ້ຊັບພະຍາກອນຍ່ອຍທີ່ເຫມາະສົມ.

ເພື່ອແກ້ໄຂສິ່ງທ້າທາຍເຫຼົ່ານີ້, ບົດຄວາມນີ້ຈະປຶກສາຫາລືກ່ຽວກັບ AIOS, ລະບົບປະຕິບັດການຕົວແທນ LLM ທີ່ຖືກອອກແບບເພື່ອປະສົມປະສານຮູບແບບພາສາຂະຫນາດໃຫຍ່ເປັນ 'ສະຫມອງ' ຂອງລະບົບປະຕິບັດການ, ໃຫ້ມັນເປັນ 'ຈິດວິນຍານ'. ໂດຍສະເພາະ, ກອບຂອງ AIOS ມີຈຸດປະສົງເພື່ອອໍານວຍຄວາມສະດວກໃນການປ່ຽນແປງສະພາບການໃນທົ່ວຕົວແທນ, ເພີ່ມປະສິດທິພາບການຈັດສັນຊັບພະຍາກອນ, ໃຫ້ບໍລິການເຄື່ອງມືສໍາລັບຕົວແທນ, ຮັກສາການຄວບຄຸມການເຂົ້າເຖິງ, ແລະເປີດໃຊ້ງານການປະຕິບັດຕົວແທນ. ພວກເຮົາຈະເຈາະເລິກເຂົ້າໄປໃນກອບຂອງ AIOS, ຂຸດຄົ້ນກົນໄກ, ວິທີການ, ແລະສະຖາປັດຕະຍະກໍາຂອງມັນ, ແລະປຽບທຽບມັນກັບກອບທີ່ທັນສະໄຫມ. ໃຫ້ dive ໃນ.

ຫຼັງຈາກບັນລຸຜົນສໍາເລັດອັນໂດດເດັ່ນໃນຮູບແບບພາສາຂະຫນາດໃຫຍ່, ຈຸດສຸມຕໍ່ໄປຂອງອຸດສາຫະກໍາ AI ແລະ ML ແມ່ນການພັດທະນາຕົວແທນ AI ທີ່ເປັນເອກະລາດທີ່ສາມາດດໍາເນີນການເປັນເອກະລາດ, ຕັດສິນໃຈດ້ວຍຕົນເອງ, ແລະປະຕິບັດວຽກງານທີ່ມີການແຊກແຊງຫນ້ອຍທີ່ສຸດຫຼືບໍ່ມີຂອງມະນຸດ. ຕົວແທນອັດສະລິຍະທີ່ອີງໃສ່ AI ເຫຼົ່ານີ້ຖືກອອກແບບມາເພື່ອເຂົ້າໃຈຄໍາແນະນໍາຂອງມະນຸດ, ຂໍ້ມູນຂະບວນການ, ການຕັດສິນໃຈ, ແລະດໍາເນີນການທີ່ເຫມາະສົມເພື່ອບັນລຸລັດເອກະລາດ, ດ້ວຍການມາເຖິງແລະການພັດທະນາແບບຈໍາລອງພາສາຂະຫນາດໃຫຍ່ນໍາເອົາຄວາມເປັນໄປໄດ້ໃຫມ່ໃນການພັດທະນາຕົວແທນເອກະລາດເຫຼົ່ານີ້. ກອບການເຮັດວຽກຂອງ LLM ໃນປະຈຸບັນລວມທັງ DALL-E, GPT, ແລະອື່ນໆໄດ້ສະແດງໃຫ້ເຫັນຄວາມສາມາດທີ່ໂດດເດັ່ນທີ່ຈະເຂົ້າໃຈຄໍາແນະນໍາຂອງມະນຸດ, ເຫດຜົນແລະຄວາມສາມາດໃນການແກ້ໄຂບັນຫາ, ແລະການພົວພັນກັບຜູ້ໃຊ້ຂອງມະນຸດພ້ອມກັບສະພາບແວດລ້ອມພາຍນອກ. ສ້າງຂຶ້ນຢູ່ເທິງສຸດຂອງຮູບແບບພາສາຂະຫນາດໃຫຍ່ທີ່ມີປະສິດທິພາບແລະມີຄວາມສາມາດເຫຼົ່ານີ້, ຕົວແທນທີ່ອີງໃສ່ LLM ມີຄວາມສາມາດປະຕິບັດຫນ້າວຽກທີ່ເຂັ້ມແຂງໃນສະພາບແວດລ້ອມທີ່ຫຼາກຫຼາຍຕັ້ງແຕ່ຜູ້ຊ່ວຍ virtual, ຈົນເຖິງລະບົບທີ່ສັບສົນແລະຊັບຊ້ອນທີ່ກ່ຽວຂ້ອງກັບການສ້າງການແກ້ໄຂບັນຫາ, ເຫດຜົນ, ການວາງແຜນ, ແລະການປະຕິບັດ. 

ຕົວເລກຂ້າງເທິງນີ້ໃຫ້ຕົວຢ່າງທີ່ຫນ້າສົນໃຈຂອງວິທີການຕົວແທນເອກະລາດທີ່ອີງໃສ່ LLM ສາມາດແກ້ໄຂວຽກງານຕົວຈິງ. ຜູ້ໃຊ້ຮ້ອງຂໍໃຫ້ລະບົບສໍາລັບຂໍ້ມູນການເດີນທາງດັ່ງຕໍ່ໄປນີ້, ຕົວແທນການທ່ອງທ່ຽວແບ່ງວຽກອອກເປັນຂັ້ນຕອນປະຕິບັດໄດ້. ຫຼັງຈາກນັ້ນ, ຕົວແທນດໍາເນີນຂັ້ນຕອນຕາມລໍາດັບ, ການຈອງຖ້ຽວບິນ, ຈອງໂຮງແຮມ, ດໍາເນີນການຈ່າຍເງິນ, ແລະອື່ນໆ. ໃນຂະນະທີ່ປະຕິບັດຂັ້ນຕອນ, ສິ່ງທີ່ກໍານົດຕົວແທນເຫຼົ່ານີ້ນອກເຫນືອຈາກຄໍາຮ້ອງສະຫມັກຊອບແວແບບດັ້ງເດີມແມ່ນຄວາມສາມາດຂອງຕົວແທນທີ່ຈະສະແດງຄວາມສາມາດໃນການຕັດສິນໃຈ, ແລະການລວມເອົາເຫດຜົນໃນການປະຕິບັດຂັ້ນຕອນ. ຄຽງຄູ່ກັບການຂະຫຍາຍຕົວຂອງຕົວເລກໃນຄຸນນະພາບຂອງເຫຼົ່ານີ້ ຕົວແທນເອກະລາດ, ຄວາມເຄັ່ງຕຶງກ່ຽວກັບການເຮັດວຽກຂອງຕົວແບບພາສາຂະຫນາດໃຫຍ່, ແລະລະບົບປະຕິບັດການໄດ້ເພີ່ມຂຶ້ນ, ແລະຕົວຢ່າງດຽວກັນແມ່ນວ່າການຈັດລໍາດັບຄວາມສໍາຄັນແລະກໍານົດການຮ້ອງຂໍຕົວແທນໃນແບບຈໍາລອງພາສາຂະຫນາດໃຫຍ່ທີ່ຈໍາກັດເຮັດໃຫ້ເກີດສິ່ງທ້າທາຍທີ່ສໍາຄັນ. ນອກຈາກນັ້ນ, ນັບຕັ້ງແຕ່ຂະບວນການສ້າງແບບຈໍາລອງພາສາຂະຫນາດໃຫຍ່ກາຍເປັນວຽກງານທີ່ຕ້ອງໃຊ້ເວລາໃນເວລາທີ່ຈັດການກັບສະພາບການທີ່ຍາວນານ, ມັນເປັນໄປໄດ້ສໍາລັບຜູ້ກໍານົດເວລາທີ່ຈະໂຈະການຜະລິດຜົນໄດ້ຮັບ, ເຮັດໃຫ້ເກີດບັນຫາໃນການສ້າງກົນໄກເພື່ອສະຫຼຸບຜົນໄດ້ຮັບຂອງຮູບແບບພາສາໃນປະຈຸບັນ. . ດ້ວຍເຫດນີ້, ພຶດຕິກຳການຢຸດຊົ່ວຄາວ/ການສືບຕໍ່ຖືກເປີດໃຊ້ງານເມື່ອຮູບແບບພາສາຂະໜາດໃຫຍ່ຍັງບໍ່ທັນສຳເລັດການສ້າງການຕອບສະໜອງສຳລັບຄຳຮ້ອງຂໍປັດຈຸບັນ. 

ເພື່ອແກ້ໄຂສິ່ງທ້າທາຍທີ່ໄດ້ກ່າວມາຂ້າງເທິງ, AIOS, ລະບົບປະຕິບັດການຮູບແບບພາສາຂະຫນາດໃຫຍ່ສະຫນອງການລວບລວມແລະການແຍກໂມດູນຂອງ LLM ແລະການເຮັດວຽກຂອງ OS. ກອບຂອງ AIOS ສະເໜີການອອກແບບ kernel ສະເພາະຂອງ LLM ໃນຄວາມພະຍາຍາມທີ່ຈະຫຼີກເວັ້ນຂໍ້ຂັດແຍ່ງທີ່ອາດຈະເກີດຂຶ້ນລະຫວ່າງວຽກງານທີ່ກ່ຽວຂ້ອງແລະບໍ່ກ່ຽວຂ້ອງກັບຮູບແບບພາສາຂະຫນາດໃຫຍ່. kernel ທີ່ສະເຫນີຈະແຍກລະບົບປະຕິບັດການເຊັ່ນຫນ້າທີ່, ໂດຍສະເພາະແມ່ນຫນ້າທີ່ເບິ່ງແຍງຕົວແທນ LLM, ຊຸດເຄື່ອງມືການພັດທະນາ, ແລະຊັບພະຍາກອນທີ່ສອດຄ້ອງກັນຂອງພວກເຂົາ. ເປັນຜົນມາຈາກການແບ່ງແຍກນີ້, ແກ່ນ LLM ພະຍາຍາມເສີມຂະຫຍາຍການປະສານງານແລະການຄຸ້ມຄອງກິດຈະກໍາທີ່ກ່ຽວຂ້ອງກັບ LLMs. 

AIOS : ວິທີການ ແລະ ສະຖາປັດຕະຍະກຳ

ດັ່ງທີ່ທ່ານສາມາດສັງເກດເຫັນ, ມີຫົກກົນໄກທີ່ສໍາຄັນທີ່ກ່ຽວຂ້ອງກັບການເຮັດວຽກຂອງກອບ AIOS. 

• ຕົວຈັດຕາຕະລາງຕົວແທນ: ວຽກງານທີ່ມອບຫມາຍໃຫ້ຜູ້ຈັດຕາຕະລາງຕົວແທນແມ່ນເພື່ອຈັດຕາຕະລາງແລະຈັດລໍາດັບຄວາມສໍາຄັນຂອງຄໍາຮ້ອງຂໍຕົວແທນໃນຄວາມພະຍາຍາມທີ່ຈະເພີ່ມປະສິດທິພາບການນໍາໃຊ້ຮູບແບບພາສາຂະຫນາດໃຫຍ່. 

• ຜູ້ຈັດການບໍລິບົດ: ວຽກງານທີ່ຖືກມອບຫມາຍໃຫ້ຜູ້ຈັດການບໍລິບົດແມ່ນການສະຫນັບສະຫນູນການຖ່າຍຮູບພ້ອມກັບການຟື້ນຟູສະຖານະພາບການຜະລິດລະດັບປານກາງໃນຮູບແບບພາສາຂະຫນາດໃຫຍ່, ແລະການຈັດການປ່ອງຢ້ຽມຂອງຮູບແບບພາສາຂະຫນາດໃຫຍ່. 

• ຜູ້ຈັດການຫນ່ວຍຄວາມຈໍາ: ຄວາມຮັບຜິດຊອບຕົ້ນຕໍຂອງຜູ້ຈັດການຫນ່ວຍຄວາມຈໍາແມ່ນເພື່ອສະຫນອງຄວາມຊົງຈໍາໄລຍະສັ້ນສໍາລັບບັນທຶກການໂຕ້ຕອບສໍາລັບແຕ່ລະຕົວແທນ. 

• Storage Manager: ຜູ້ຈັດການບ່ອນເກັບມ້ຽນມີຄວາມຮັບຜິດຊອບໃນການສືບຕໍ່ບັນທຶກການໂຕ້ຕອບຂອງຕົວແທນໄປສູ່ການເກັບຮັກສາໃນໄລຍະຍາວສໍາລັບການດຶງຂໍ້ມູນໃນອະນາຄົດ. 

• ຜູ້ຈັດການເຄື່ອງມື: ກົນໄກຜູ້ຈັດການເຄື່ອງມືຄຸ້ມຄອງການເອີ້ນຂອງຕົວແທນໄປຫາເຄື່ອງມື API ພາຍນອກ. 

• ຜູ້ຈັດການການເຂົ້າເຖິງ: ຜູ້ຈັດການການເຂົ້າເຖິງບັງຄັບໃຊ້ນະໂຍບາຍຄວາມເປັນສ່ວນຕົວ ແລະການຄວບຄຸມການເຂົ້າເຖິງລະຫວ່າງຕົວແທນ. 

ນອກເຫນືອໄປຈາກກົນໄກທີ່ໄດ້ກ່າວມາຂ້າງເທິງ, ກອບ AIOS ມີສະຖາປັດຕະຍະກໍາຊັ້ນ, ແລະແບ່ງອອກເປັນສາມຊັ້ນທີ່ແຕກຕ່າງກັນ: ຊັ້ນຄໍາຮ້ອງສະຫມັກ, ຊັ້ນແກ່ນແລະຊັ້ນຮາດແວ. ສະຖາປັດຕະຍະກໍາຊັ້ນທີ່ປະຕິບັດໂດຍກອບ AIOS ຮັບປະກັນຄວາມຮັບຜິດຊອບຖືກແຈກຢາຍຢ່າງເທົ່າທຽມກັນໃນທົ່ວລະບົບ, ແລະຊັ້ນສູງແມ່ນຫຍໍ້ມາຈາກຄວາມຊັບຊ້ອນຂອງຊັ້ນລຸ່ມພວກມັນ, ອະນຸຍາດໃຫ້ມີການໂຕ້ຕອບໂດຍໃຊ້ໂມດູນຫຼືສ່ວນຕິດຕໍ່ສະເພາະ, ປັບປຸງໂມດູນ, ແລະເຮັດໃຫ້ການໂຕ້ຕອບຂອງລະບົບງ່າຍຂຶ້ນ. ຊັ້ນ. 

ເລີ່ມຕົ້ນດ້ວຍຊັ້ນຄໍາຮ້ອງສະຫມັກ, ຊັ້ນນີ້ຖືກນໍາໃຊ້ສໍາລັບການພັດທະນາແລະນໍາໃຊ້ຕົວແທນຄໍາຮ້ອງສະຫມັກເຊັ່ນ: ຄະນິດສາດຫຼືຕົວແທນການເດີນທາງ. ໃນຊັ້ນຄໍາຮ້ອງສະຫມັກ, ກອບ AIOS ສະຫນອງຊຸດການພັດທະນາຊອບແວ AIOS (AIOS SDK) ທີ່ມີຕົວຫຍໍ້ທີ່ສູງຂຶ້ນຂອງການໂທລະບົບທີ່ງ່າຍຂະບວນການພັດທະນາສໍາລັບນັກພັດທະນາຕົວແທນ. ຊຸດການພັດທະນາຊອບແວທີ່ AIOS ສະເຫນີໃຫ້ຊຸດເຄື່ອງມືທີ່ອຸດົມສົມບູນເພື່ອອໍານວຍຄວາມສະດວກໃນການພັດທະນາຄໍາຮ້ອງສະຫມັກຕົວແທນໂດຍການປະຖິ້ມຄວາມຊັບຊ້ອນຂອງຫນ້າທີ່ລະບົບລະດັບຕ່ໍາ, ໃຫ້ນັກພັດທະນາສຸມໃສ່ການທໍາງານແລະເຫດຜົນທີ່ສໍາຄັນຂອງຕົວແທນຂອງພວກເຂົາ, ສົ່ງຜົນໃຫ້ການພັດທະນາທີ່ມີປະສິດທິພາບຫຼາຍຂຶ້ນ. ຂະ​ບວນ​ການ. 

ຕໍ່ໄປ, ຊັ້ນຂອງແກ່ນແມ່ນແບ່ງອອກເປັນສອງອົງປະກອບ: ແກ່ນ LLM, ແລະ OS kernel. ທັງ OS kernel ແລະ LLM kernel ໃຫ້ບໍລິການຄວາມຕ້ອງການທີ່ເປັນເອກະລັກຂອງການດໍາເນີນງານສະເພາະຂອງ LLM ແລະບໍ່ແມ່ນ LLM, ໂດຍຄວາມແຕກຕ່າງທີ່ອະນຸຍາດໃຫ້ kernel LLM ສຸມໃສ່ວຽກງານສະເພາະຂອງຮູບແບບພາສາຂະຫນາດໃຫຍ່ລວມທັງການກໍານົດຕົວແທນແລະການຄຸ້ມຄອງສະພາບການ, ກິດຈະກໍາທີ່ຈໍາເປັນສໍາລັບກິດຈະກໍາການຈັດການ. ກ່ຽວຂ້ອງກັບຮູບແບບພາສາຂະຫນາດໃຫຍ່. ກອບຂອງ AIOS ສຸມໃສ່ການເສີມຂະຫຍາຍ kernel ຕົວແບບພາສາຂະຫນາດໃຫຍ່ ໂດຍບໍ່ມີການປ່ຽນໂຄງສ້າງຂອງ kernel OS ທີ່ມີຢູ່ແລ້ວຢ່າງຫຼວງຫຼາຍ. kernel LLM ມາພ້ອມກັບໂມດູນທີ່ສໍາຄັນຈໍານວນຫນຶ່ງລວມທັງຕົວກໍານົດການຕົວແທນ, ຜູ້ຈັດການຫນ່ວຍຄວາມຈໍາ, ຜູ້ຈັດການບໍລິບົດ, ຜູ້ຈັດການການເກັບຮັກສາ, ຜູ້ຈັດການການເຂົ້າເຖິງ, ຜູ້ຈັດການເຄື່ອງມື, ແລະການໂຕ້ຕອບການໂທລະບົບ LLM. ອົງປະກອບພາຍໃນຊັ້ນ kernel ໄດ້ຖືກອອກແບບໃນຄວາມພະຍາຍາມທີ່ຈະແກ້ໄຂຄວາມຕ້ອງການປະຕິບັດທີ່ຫຼາກຫຼາຍ ຄໍາຮ້ອງສະຫມັກຕົວແທນ, ຮັບປະກັນການປະຕິບັດແລະການຄຸ້ມຄອງທີ່ມີປະສິດທິພາບພາຍໃນກອບ AIOS. 

ສຸດທ້າຍ, ພວກເຮົາມີຊັ້ນຮາດແວທີ່ປະກອບດ້ວຍອົງປະກອບທາງກາຍະພາບຂອງລະບົບລວມທັງ GPU, CPU, ອຸປະກອນຕໍ່ເນື່ອງ, ແຜ່ນ, ແລະຫນ່ວຍຄວາມຈໍາ. ມັນເປັນສິ່ງ ຈຳ ເປັນທີ່ຈະຕ້ອງເຂົ້າໃຈວ່າລະບົບຂອງແກ່ນ LLM ບໍ່ສາມາດພົວພັນກັບຮາດແວໂດຍກົງ, ແລະການໂຕ້ຕອບການໂທເຫຼົ່ານີ້ກັບລະບົບການເອີ້ນຂອງລະບົບປະຕິບັດງານເຊິ່ງໃນການຄຸ້ມຄອງຊັບພະຍາກອນຂອງຮາດແວ. ປະຕິສໍາພັນທາງອ້ອມນີ້ລະຫວ່າງລະບົບຂອງ LLM karnel ແລະຊັບພະຍາກອນຮາດແວສ້າງຊັ້ນຂອງຄວາມປອດໄພແລະການບໍ່ມີຕົວຕົນ, ອະນຸຍາດໃຫ້ kernel LLM ສາມາດຜັກດັນຄວາມສາມາດຂອງຊັບພະຍາກອນຮາດແວໂດຍບໍ່ຈໍາເປັນຕ້ອງມີການຄຸ້ມຄອງຮາດແວໂດຍກົງ, ອໍານວຍຄວາມສະດວກໃນການຮັກສາຄວາມສົມບູນແລະປະສິດທິພາບຂອງລະບົບ. . 

ການປະຕິບັດ

ດັ່ງທີ່ໄດ້ກ່າວມາຂ້າງເທິງ, ມີຫົກກົນໄກທີ່ສໍາຄັນທີ່ກ່ຽວຂ້ອງກັບການເຮັດວຽກຂອງກອບ AIOS. ຕົວກໍານົດການຕົວແທນໄດ້ຖືກອອກແບບໃນແບບທີ່ມັນສາມາດຈັດການຄໍາຮ້ອງຂໍຕົວແທນໄດ້ຢ່າງມີປະສິດທິພາບ, ແລະມີຂັ້ນຕອນການປະຕິບັດຫຼາຍຢ່າງທີ່ກົງກັນຂ້າມກັບຮູບແບບການປະຕິບັດຕາມລໍາດັບແບບດັ້ງເດີມທີ່ຕົວແທນປະຕິບັດວຽກງານໃນລັກສະນະເສັ້ນຊື່ທີ່ມີຂັ້ນຕອນຈາກດຽວກັນ. ຕົວແທນຈະຖືກປະມວນຜົນຄັ້ງທໍາອິດກ່ອນທີ່ຈະຍ້າຍໄປຕົວແທນຕໍ່ໄປ, ເຮັດໃຫ້ເວລາລໍຖ້າເພີ່ມຂຶ້ນສໍາລັບວຽກງານທີ່ປາກົດໃນພາຍຫລັງໃນລໍາດັບການປະຕິບັດ. ຜູ້ຈັດຕາຕະລາງຕົວແທນໃຊ້ກົນລະຍຸດຕ່າງໆເຊັ່ນ Round Robin, First In First Out, ແລະລະບົບການກຳນົດເວລາອື່ນໆເພື່ອເພີ່ມປະສິດທິພາບຂະບວນການ. 

ຜູ້ຈັດການບໍລິບົດໄດ້ຖືກອອກແບບໃນລັກສະນະທີ່ຮັບຜິດຊອບໃນການຄຸ້ມຄອງບໍລິບົດທີ່ສະຫນອງໃຫ້ກັບຮູບແບບພາສາຂະຫນາດໃຫຍ່, ແລະຂະບວນການຜະລິດຕາມສະພາບການທີ່ແນ່ນອນ. ຜູ້ຈັດການບໍລິບົດປະກອບມີສອງອົງປະກອບທີ່ສໍາຄັນ: ພາບລວມຂອງບໍລິບົດແລະການຟື້ນຟູ, ແລະການຈັດການປ່ອງຢ້ຽມບໍລິບົດ. ພາບລວມຂອງສະພາບການ ແລະກົນໄກການຟື້ນຟູທີ່ສະເໜີໃຫ້ໂດຍກອບ AIOS ຈະຊ່ວຍຫຼຸດຜ່ອນສະຖານະການທີ່ຜູ້ກຳນົດເວລາຢຸດການຮ້ອງຂໍຕົວແທນດັ່ງທີ່ສະແດງຢູ່ໃນຮູບຕໍ່ໄປນີ້. 

ດັ່ງທີ່ໄດ້ສະແດງຢູ່ໃນຮູບຕໍ່ໄປນີ້, ມັນເປັນຄວາມຮັບຜິດຊອບຂອງຜູ້ຈັດການຫນ່ວຍຄວາມຈໍາໃນການຄຸ້ມຄອງຄວາມຊົງຈໍາໄລຍະສັ້ນພາຍໃນວົງຈອນຊີວິດຂອງຕົວແທນ, ແລະໃຫ້ແນ່ໃຈວ່າຂໍ້ມູນຖືກເກັບຮັກສາແລະເຂົ້າເຖິງໄດ້ພຽງແຕ່ໃນເວລາທີ່ຕົວແທນມີການເຄື່ອນໄຫວ, ໃນລະຫວ່າງເວລາແລ່ນຫຼືໃນເວລາທີ່ຕົວແທນລໍຖ້າ. ສໍາ​ລັບ​ການ​ປະ​ຕິ​ບັດ​. 

ໃນທາງກົງກັນຂ້າມ, ຜູ້ຈັດການເກັບຮັກສາແມ່ນຮັບຜິດຊອບໃນການຮັກສາຂໍ້ມູນໃນໄລຍະຍາວ, ແລະມັນຄຸ້ມຄອງການເກັບຮັກສາຂໍ້ມູນທີ່ຕ້ອງການເກັບຮັກສາໄວ້ໃນໄລຍະເວລາທີ່ບໍ່ມີກໍານົດ, ເກີນກວ່າໄລຍະເວລາກິດຈະກໍາຂອງຕົວແທນສ່ວນບຸກຄົນ. ກອບຂອງ AISO ບັນລຸການເກັບຮັກສາແບບຖາວອນໂດຍໃຊ້ສື່ທີ່ທົນທານຫຼາຍຊະນິດລວມທັງການແກ້ໄຂທີ່ອີງໃສ່ຄລາວ, ຖານຂໍ້ມູນ, ແລະໄຟລ໌ທ້ອງຖິ່ນ, ຮັບປະກັນຄວາມພ້ອມຂອງຂໍ້ມູນ ແລະຄວາມຖືກຕ້ອງ. ຍິ່ງໄປກວ່ານັ້ນ, ໃນກອບ AISO, ມັນເປັນຜູ້ຈັດການເຄື່ອງມືທີ່ຈັດການເຄື່ອງມື API ທີ່ແຕກຕ່າງກັນທີ່ປັບປຸງການເຮັດວຽກຂອງຮູບແບບພາສາຂະຫນາດໃຫຍ່, ແລະຕາຕະລາງຕໍ່ໄປນີ້ສະຫຼຸບວິທີການທີ່ຜູ້ຈັດການເຄື່ອງມືປະສົມປະສານເຄື່ອງມືທີ່ໃຊ້ທົ່ວໄປຈາກຊັບພະຍາກອນຕ່າງໆ, ແລະຈັດປະເພດພວກມັນ. ເຂົ້າໄປໃນປະເພດຕ່າງໆ. 

ຜູ້ຈັດການການເຂົ້າເຖິງຈັດລະບຽບການດໍາເນີນງານການຄວບຄຸມການເຂົ້າເຖິງພາຍໃນທີ່ແຕກຕ່າງກັນ ຕົວແທນ ໂດຍການຄຸ້ມຄອງກຸ່ມສິດທິພິເສດສະເພາະສໍາລັບຕົວແທນແຕ່ລະຄົນ, ແລະປະຕິເສດຕົວແທນການເຂົ້າເຖິງຊັບພະຍາກອນຂອງມັນຖ້າພວກເຂົາຖືກແຍກອອກຈາກກຸ່ມສິດທິພິເສດຂອງຕົວແທນ. ນອກຈາກນັ້ນ, ຜູ້ຈັດການການເຂົ້າເຖິງຍັງຮັບຜິດຊອບໃນການລວບລວມແລະຮັກສາບັນທຶກການກວດສອບທີ່ຊ່ວຍເພີ່ມຄວາມໂປ່ງໃສຂອງລະບົບຕື່ມອີກ. 

AIOS: ການທົດລອງ ແລະຜົນໄດ້ຮັບ

ການປະເມີນຜົນຂອງກອບ AIOS ໄດ້ຖືກນໍາພາໂດຍສອງຄໍາຖາມຄົ້ນຄ້ວາ: ທໍາອິດ, ການປະຕິບັດການກໍານົດເວລາຂອງ AIOS ແນວໃດໃນການປັບປຸງການດຸ່ນດ່ຽງການລໍຖ້າແລະເວລາປ່ຽນ, ແລະທີສອງ, ວ່າການຕອບສະຫນອງຂອງ LLM ຕໍ່ກັບຄໍາຮ້ອງຂໍຕົວແທນແມ່ນສອດຄ່ອງຫຼັງຈາກການລະງັບຕົວແທນບໍ?

ເພື່ອຕອບຄໍາຖາມຄວາມສອດຄ່ອງ, ນັກພັດທະນາດໍາເນີນການແຕ່ລະສາມຕົວແທນແຕ່ລະຄົນ, ແລະຫຼັງຈາກນັ້ນ, ປະຕິບັດຕົວແທນເຫຼົ່ານີ້ໃນຂະຫນານ, ແລະພະຍາຍາມເກັບກໍາຜົນໄດ້ຮັບຂອງພວກເຂົາໃນແຕ່ລະຂັ້ນຕອນ. ດັ່ງທີ່ໄດ້ສະແດງຢູ່ໃນຕາຕະລາງຕໍ່ໄປນີ້, ຄະແນນ BERT ແລະ BLEU ບັນລຸມູນຄ່າ 1.0, ຊີ້ໃຫ້ເຫັນເຖິງຄວາມສອດຄ່ອງທີ່ສົມບູນແບບລະຫວ່າງຜົນໄດ້ຮັບທີ່ສ້າງຂຶ້ນໃນການຕັ້ງຄ່າຕົວແທນດຽວແລະຫຼາຍຕົວແທນ. 

ເພື່ອຕອບຄໍາຖາມປະສິດທິພາບ, ນັກພັດທະນາເຮັດການວິເຄາະປຽບທຽບລະຫວ່າງກອບຂອງ AIOS ທີ່ໃຊ້ FIFO ຫຼື First In First Out ກໍານົດເວລາ, ແລະວິທີການທີ່ບໍ່ມີກໍານົດເວລາ, ເຊິ່ງຕົວແທນດໍາເນີນການພ້ອມກັນ. ໃນການຕັ້ງຄ່າທີ່ບໍ່ມີກໍານົດເວລາ, ຕົວແທນຈະຖືກປະຕິບັດໃນລໍາດັບລໍາດັບທີ່ກໍານົດໄວ້ກ່ອນ: ຕົວແທນຄະນິດສາດ, ຕົວແທນການບັນຍາຍ, ແລະຕົວແທນ rec. ເພື່ອປະເມີນປະສິດທິພາບຊົ່ວຄາວ, ກອບ AIOS ໃຊ້ສອງຕົວຊີ້ບອກ: ເວລາລໍຖ້າ, ແລະເວລາສົ່ງຕໍ່, ແລະນັບຕັ້ງແຕ່ຕົວແທນສົ່ງຄໍາຮ້ອງຂໍຫຼາຍໄປຫາຮູບແບບພາສາຂະຫນາດໃຫຍ່, ເວລາລໍຖ້າແລະເວລາສົ່ງຄືນສໍາລັບຕົວແທນແຕ່ລະຄົນແມ່ນຄິດໄລ່ເປັນຄ່າສະເລ່ຍຂອງ. ເວລາລໍຖ້າ ແລະເວລາໝູນວຽນສຳລັບການຮ້ອງຂໍທັງໝົດ. ດັ່ງທີ່ໄດ້ສະແດງຢູ່ໃນຕາຕະລາງຕໍ່ໄປນີ້, ວິທີການທີ່ບໍ່ມີການກໍານົດເວລາສະແດງໃຫ້ເຫັນເຖິງການປະຕິບັດທີ່ຫນ້າພໍໃຈສໍາລັບຕົວແທນກ່ອນຫນ້າໃນລໍາດັບ, ແຕ່ທົນທຸກເວລາລໍຖ້າແລະເວລາຕໍ່ຫນ້າສໍາລັບຕົວແທນຕໍ່ມາໃນລໍາດັບ. ໃນທາງກົງກັນຂ້າມ, ວິທີການຈັດຕາຕະລາງທີ່ປະຕິບັດໂດຍກອບ AIOS ຄວບຄຸມທັງເວລາລໍຖ້າແລະການຫັນປ່ຽນຢ່າງມີປະສິດທິພາບ. 

ຄວາມຄິດສຸດທ້າຍ

ໃນບົດຄວາມນີ້ພວກເຮົາໄດ້ເວົ້າກ່ຽວກັບ AIOS, ລະບົບປະຕິບັດການຕົວແທນ LLM ທີ່ຖືກອອກແບບມາໃນຄວາມພະຍາຍາມທີ່ຈະຝັງຕົວແບບພາສາຂະຫນາດໃຫຍ່ເຂົ້າໄປໃນ OS ເປັນສະຫມອງຂອງ OS, ເຮັດໃຫ້ລະບົບປະຕິບັດການທີ່ມີຈິດວິນຍານ. ເພື່ອໃຫ້ມີຄວາມສະເພາະເຈາະຈົງ, ກອບ AIOS ຖືກອອກແບບມາດ້ວຍຄວາມຕັ້ງໃຈເພື່ອອໍານວຍຄວາມສະດວກໃນການປ່ຽນສະພາບການໃນທົ່ວຕົວແທນ, ເພີ່ມປະສິດທິພາບການຈັດສັນຊັບພະຍາກອນ, ໃຫ້ບໍລິການເຄື່ອງມືສໍາລັບຕົວແທນ, ຮັກສາການຄວບຄຸມການເຂົ້າເຖິງຕົວແທນ, ແລະເປີດໃຊ້ງານຂອງຕົວແທນ. ສະຖາປັດຕະຍະກໍາ AISO ສະແດງໃຫ້ເຫັນທ່າແຮງເພື່ອອໍານວຍຄວາມສະດວກໃນການພັດທະນາແລະການນໍາໃຊ້ ຮູບແບບພາສາຂະຫນາດໃຫຍ່ໂດຍອີງໃສ່ຕົວແທນເອກະລາດ, ສົ່ງຜົນໃຫ້ລະບົບນິເວດ AIOS-Agent ມີປະສິດທິພາບ, ມີຄວາມກົມກຽວກັນ, ແລະມີປະສິດທິພາບຫຼາຍຂຶ້ນ.