Цэгүүдийг холбох нь: OpenAI-ийн Q-Star загварыг задлах

Саяхан хиймэл оюун ухааны нийгэмлэгийн хүрээнд OpenAI-ийн Q-star төсөлтэй холбоотой ихээхэн таамаглал гарч байна. Энэхүү нууцлаг санаачилгын талаарх мэдээлэл хязгаарлагдмал байгаа хэдий ч энэ нь хүний ​​чадавхитай таарч эсвэл түүнээс давсан оюун ухааны түвшин болох хиймэл ерөнхий оюун ухаанд хүрэх чухал алхам болсон гэж үздэг. Хэлэлцүүлгийн ихэнх хэсэг нь энэхүү хөгжлийн хүн төрөлхтөнд учирч болзошгүй сөрөг үр дагаварт төвлөрч байсан ч Q-star-ын мөн чанар, түүний авчрах технологийн давуу талыг илрүүлэхэд харьцангуй бага хүчин чармайлт гаргасан. Энэ нийтлэлд би энэ төслийн талаар ойлголт авахад хангалттай мэдээлэл өгдөг гэж үзэж байгаа нэрнээс нь тайлахыг хичээн хайгуулын арга барилыг авч үзэх болно.

Нууцлаг байдлын суурь

Энэ бүхэн OpenAI-ийн захирлуудын зөвлөл гэнэт гарч ирснээр эхэлсэн Сэм Алтманыг огцруулсан, гүйцэтгэх захирал, хамтран үүсгэн байгуулагч. Хэдийгээр Альтманыг хожим нь эргүүлэн авсан ч үйл явдлын талаар асуултууд байсаар байна. Зарим нь үүнийг эрх мэдлийн төлөөх тэмцэл гэж үздэг бол зарим нь үүнийг Альтман Worldcoin зэрэг бусад бизнесүүдэд анхаарлаа хандуулж байгаатай холбон тайлбарладаг. Гэсэн хэдий ч Ройтерс агентлаг Q-star хэмээх нууц төсөл нь жүжгийн гол шалтгаан байж магадгүй гэж мэдээлснээр өрнөл зузаарч байна. Ройтерс агентлагийн мэдээлснээр Q-Star нь OpenAI-ийн AGI зорилгод хүрэх томоохон алхам болсон бөгөөд OpenAI-ийн ажилчдын захирлуудын зөвлөлд уламжилсан санаа зовоосон асуудал юм. Энэ мэдээ гарсан нь олон таамаглал, түгшүүр төрүүлэв.

Тааварын барилгын блокууд

Энэ хэсэгт би энэ нууцыг тайлахад бидэнд туслах зарим барилгын блокуудыг танилцууллаа.

• Q Сурах: Арматурын сургалт Компьютер нь хүрээлэн буй орчинтойгоо харилцаж, шагнал, шийтгэлийн хэлбэрээр санал хүсэлт хүлээн авдаг машин сургалтын нэг төрөл юм. Q Learning нь янз бүрийн нөхцөл байдалд янз бүрийн үйлдлүүдийн чанарыг (Q-утга) сурах замаар компьютерт шийдвэр гаргахад тусалдаг бататгах сургалтын тусгай арга юм. Энэ нь тоглоом тоглох, робот техник гэх мэт хувилбаруудад өргөн хэрэглэгддэг бөгөөд туршилт, алдааны явцад компьютерт оновчтой шийдвэр гаргахад суралцах боломжийг олгодог.
• Одтой хайлт: A-star нь компьютерт боломжуудыг судалж, асуудлыг шийдвэрлэх хамгийн сайн шийдлийг олоход тусалдаг хайлтын алгоритм юм. Алгоритм нь график эсвэл сүлжээн дэх эхлэл цэгээс зорилго хүртэлх хамгийн дөт замыг олоход үр дүнтэй байдгаараа онцлог юм. Үүний гол давуу тал нь зангилаа хүрэх зардлыг ерөнхий зорилгодоо хүрэх тооцоолсон өртөгтэй харьцуулах явдал юм. Үүний үр дүнд A-star нь зам хайх, оновчтой болгохтой холбоотой сорилтуудыг шийдвэрлэхэд өргөн хэрэглэгддэг.

• AlphaZero: alphazero, дэвшилтэт AI системээс Deepmind, шатар, Go зэрэг ширээний тоглоомын стратеги төлөвлөлтөд зориулсан Q-сургалт болон хайлтыг (өөрөөр хэлбэл Монте Карло модны хайлт) хослуулсан. Энэ нь хөдөлгөөн, байрлалыг үнэлэх мэдрэлийн сүлжээгээр удирдуулан бие даан тоглох замаар оновчтой стратегийг сурдаг. Монте Карло модны хайлт (MCTS) алгоритм нь тоглоомын боломжуудыг судлахдаа хайгуул, ашиглалтыг тэнцвэржүүлдэг. AlphaZero-ийн давталттай бие даан тоглох, суралцах, хайх үйл явц нь стратегийн төлөвлөлт, асуудлыг шийдвэрлэхэд үр дүнтэй болохыг харуулж, хүн төрөлхтний гайхалтай гүйцэтгэл, хүний ​​аваргуудыг ялах боломжийг олгож, тасралтгүй сайжруулалтад хүргэдэг.
• Хэлний загварууд: Том хэлний загварууд (LLMs), гэх мэт GPT-3, хүнтэй төстэй текстийг ойлгох, бүтээхэд зориулагдсан хиймэл оюун ухааны нэг хэлбэр юм. Тэд өргөн хүрээний сэдэв, бичих хэв маягийг хамарсан өргөн цар хүрээтэй, олон төрлийн интернет мэдээллийн талаар сургалтанд хамрагддаг. LLM-ийн онцлох онцлог нь хэлний загварчлал гэж нэрлэгддэг дараагийн үгийг дарааллаар нь таамаглах чадвар юм. Зорилго нь үг хэллэгүүд хоорондоо хэрхэн холбогддог тухай ойлголтыг өгч, загварт уялдаа холбоотой, контекст хамааралтай текст гаргах боломжийг олгох явдал юм. Өргөн хүрээний сургалт нь LLM-ийг дүрэм, семантик, тэр ч байтугай хэлний хэрэглээний нарийн ширийн зүйлийг ойлгох чадвартай болгодог. Сургалтанд хамрагдсаны дараа эдгээр хэлний загваруудыг тодорхой даалгавар эсвэл програмуудад зориулж тохируулах боломжтой бөгөөд ингэснээр тэдгээрийг олон талт хэрэглүүр болгож чадна. байгалийн хэл боловсруулах, chatbots, контент үүсгэх гэх мэт.

• Хиймэл ерөнхий оюун ухаан: Хиймэл ерөнхий оюун ухаан (AGI) нь хүний ​​танин мэдэхүйн чадавхитай таарч эсвэл давсан түвшинд янз бүрийн хүрээг хамарсан даалгавруудыг ойлгох, суралцах, гүйцэтгэх чадвартай хиймэл оюун ухааны нэг төрөл юм. Нарийн буюу нарийн мэргэшсэн хиймэл оюун ухаанаас ялгаатай нь AGI нь тодорхой даалгаварт хязгаарлагдахгүйгээр бие даан дасан зохицох, сэтгэх, суралцах чадварыг эзэмшдэг. AGI нь AI системийг бие даасан шийдвэр гаргах, асуудал шийдвэрлэх, бүтээлч сэтгэлгээг харуулах боломжийг олгож, хүний ​​оюун ухааныг тусгадаг. Үндсэндээ AGI нь хүний ​​гүйцэтгэсэн оюуны аливаа ажлыг гүйцэтгэх чадвартай, олон талт байдал, дасан зохицох чадварыг онцлон харуулсан машины санааг агуулдаг.

AGI-д хүрэхэд LLM-ийн гол хязгаарлалтууд

Том хэлний загварууд (LLMs) нь хиймэл ерөнхий оюун ухаанд (AGI) хүрэхэд хязгаарлалттай байдаг. Асар их өгөгдлөөс сурсан хэв маягт тулгуурлан текст боловсруулах, үүсгэх чадвар сайтай ч тэд бодит ертөнцийг ойлгох гэж тэмцэж, мэдлэгийг үр дүнтэй ашиглахад саад болдог. AGI нь өдөр тутмын нөхцөл байдлыг зохицуулахын тулд эрүүл саруул ухаанаар сэтгэх, төлөвлөх чадварыг шаарддаг бөгөөд LLM-д хэцүү байдаг. Хэдийгээр зөв мэт санагдах хариултуудыг гаргадаг ч математик гэх мэт нарийн төвөгтэй асуудлыг системтэйгээр шийдвэрлэх чадвар дутмаг байдаг.

Шинэ судалгаагаар LLM нь бүх нийтийн компьютер шиг ямар ч тооцооллыг дуурайж чаддаг боловч өргөн цар хүрээтэй гадаад санах ойн хэрэгцээнд хязгаарлагддаг. Мэдээллийг нэмэгдүүлэх нь LLM-ийг сайжруулахад маш чухал боловч эрчим хүчний хэмнэлттэй хүний ​​тархинаас ялгаатай нь ихээхэн хэмжээний тооцооллын нөөц, эрчим хүч шаарддаг. Энэ нь LLM-ийг AGI-д өргөн ашиглах боломжтой, өргөтгөх боломжтой болгоход бэрхшээл учруулдаг. Сүүлийн үеийн судалгаагаар зүгээр л илүү их өгөгдөл нэмэх нь гүйцэтгэлийг сайжруулдаггүй гэдгийг харуулж байгаа бөгөөд AGI руу аялахдаа өөр юуг анхаарах вэ гэсэн асуулт гарч ирж байна.

Цэгүүдийг холбох

AI-ийн олон мэргэжилтнүүд Том хэлний загварт (LLMs) тулгарч буй бэрхшээлүүд нь дараагийн үгийг урьдчилан таамаглахад гол анхаарлаа хандуулдаг гэж үздэг. Энэ нь тэдний хэлний нарийн мэдрэмж, үндэслэл, төлөвлөлтийн талаарх ойлголтыг хязгаарладаг. Үүнийг шийдвэрлэхийн тулд судлаачид дуртай Янн Лекун сургалтын янз бүрийн аргыг туршиж үзэхийг санал болгож байна. Тэд LLM-ийг зөвхөн дараагийн жетон биш харин үгсийг урьдчилан таамаглах талаар идэвхтэй төлөвлөхийг санал болгож байна.

AlphaZero-ийн стратегитай төстэй "Q-star"-ын санаа нь LLM-д дараагийн үгийг таамаглах бус, жетон таамаглалыг идэвхтэй төлөвлөх зааварчилгааг агуулж болно. Энэ нь дараагийн жетоныг урьдчилан таамаглах ердийн төвлөрлөөс давж, хэлний загварт бүтэцтэй үндэслэл, төлөвлөлтийг авчирдаг. AlphaZero-ээс санаа авсан төлөвлөлтийн стратегийг ашигласнаар LLM-үүд хэлний нарийн ялгааг илүү сайн ойлгож, үндэслэлийг сайжруулж, төлөвлөлтийг сайжруулж, LLM сургалтын тогтмол аргуудын хязгаарлалтыг шийдэж чадна.

Ийм нэгдэл нь мэдлэгийг илэрхийлэх, удирдах уян хатан тогтолцоог бүрдүүлж, системийг шинэ мэдээлэл, даалгаварт дасан зохицоход тусалдаг. Энэхүү дасан зохицох чадвар нь янз бүрийн даалгавар, өөр өөр шаардлага бүхий домэйнүүдийг зохицуулах шаардлагатай хиймэл ерөнхий оюун ухаанд (AGI) чухал үүрэг гүйцэтгэдэг.

AGI-д эрүүл саруул ухаан хэрэгтэй бөгөөд LLM-ийг үндэслэлтэй сургах нь тэднийг ертөнцийн талаарх цогц ойлголттой болгож чадна. Мөн AlphaZero зэрэг LLM-ийг сургах нь тэдэнд хийсвэр мэдлэгийг сурахад тусалж, өөр өөр нөхцөл байдалд шилжүүлэн сургах, нэгтгэн дүгнэхэд AGI-ийн хүчирхэг гүйцэтгэлд хувь нэмэр оруулах болно.

Төслийн нэрнээс гадна энэ санааг дэмжсэн нь Ройтерс агентлагийн тайлангаас гаралтай бөгөөд Q-star тодорхой математик, үндэслэлийн асуудлыг амжилттай шийдвэрлэх чадварыг онцлон тэмдэглэв.

Доод шугам

OpenAI-ийн нууц төсөл болох Q-Star нь хиймэл оюун ухаанд давалгаа үүсгэж, хүнээс илүү оюун ухаанд хүрэх зорилготой юм. Болзошгүй эрсдлийн тухай ярианы дунд энэ нийтлэл Q-learning-аас AlphaZero болон Том хэлний загвар (LLMs) хүртэлх цэгүүдийг холбосон оньсого тайлж байна.

Бидний бодлоор “Q-star” гэдэг нь суралцах, эрэл хайгуулын ухаалаг нэгдэл гэсэн үг бөгөөд LLM-д төлөвлөлт, үндэслэл гаргахад түлхэц өгдөг. Ройтерс энэ нь математик, үндэслэлийн төвөгтэй асуудлуудыг шийдэж чадна гэж мэдэгдсэн нь томоохон ахиц дэвшлийг харуулж байна. Энэ нь хиймэл оюун ухаанд суралцах ирээдүйд хаашаа чиглэж болохыг илүү нарийвчлан авч үзэхийг шаарддаг.