He aha te Whakakaha Ako mai i te Urupare Tangata (RLHF)

I roto i te ao e tipu haere tonu ana o te matauranga hangai (AI), ko te Whakapakari i te Ako mai i te Urupare a te Tangata (RLHF) he tikanga pakaru whenua kua whakamahia hei whakawhanake tauira reo matatau penei i a ChatGPT me GPT-4. I roto i tenei pou rangitaki, ka rukuhia e matou nga riipeneta o te RLHF, te tirotiro i ana tono, me te mohio ki tana mahi ki te hanga i nga punaha AI e whakakaha ana i nga taputapu e mahi tahi ana tatou ia ra.

Ko te Whakakaha Ako Mai i te Urupare Tangata (RLHF) he huarahi matatau ki te whakangungu i nga punaha AI e whakakotahi ana i te ako whakapakari me nga urupare a te tangata. He huarahi ki te hanga i tetahi tukanga ako pakari ake ma te whakauru i te mohio me te wheako o nga kaiwhakangungu tangata i roto i te tukanga whakangungu tauira. Ko te tikanga ko te whakamahi i nga urupare a te tangata ki te hanga tohu utu, katahi ka whakamahia hei whakapai ake i te whanonga o te tauira ma te ako whakakaha.

Ko te ako whakakaha, i roto i nga kupu ngawari, he tukanga e ako ai tetahi kaihoko AI ki te whakatau whakatau ma te taunekeneke me te taiao me te whiwhi urupare i te ahua o nga utu, whiu ranei. Ko te whainga a te kaihoko ko te whakanui i te utu whakahiato i roto i te waa. Ka whakanuia e RLHF tenei tukanga ma te whakakapi, ki te taapiri ranei, nga mahi utu kua tautuhia ki nga urupare i hangaia e te tangata, na reira ka taea e te tauira te hopu pai ake i nga hiahia me nga maaramatanga a te tangata.

Te Mahi a RLHF

Ko te tukanga o te RLHF ka taea te wehewehe kia maha nga waahanga:

1. Whakangungu tauira tuatahi: I te timatanga, ka whakangunguhia te tauira AI ma te whakamahi i nga akoranga e maataki ana, kei reira nga kaiwhakangungu tangata e tuku tauira tohu o te whanonga tika. Ka ako te tauira ki te matapae i te mahi tika, te whakaputanga ranei i runga i nga whakaurunga kua homai.
2. Te kohinga o nga urupare a te tangata: I muri i te whakangungu o te tauira tuatahi, ka uru nga kaiwhakangungu tangata ki te tuku urupare mo te mahi a te tauira. Ka whakatauirahia e ratou nga momo putanga, mahi ranei i hangaia e te tauira i runga i te kounga me te tika. Ka whakamahia tenei urupare ki te hanga tohu utu mo te ako whakapakari.
3. Ako whakapakari: Ko te tauira ka pai te whakatika ma te whakamahi i te Proximal Policy Optimization (PPO) me nga huringa rite e whakauru ana i nga tohu utu i hangaia e te tangata. Kei te whakapai tonu te tauira i tana mahi ma te ako mai i nga urupare i tukuna e nga kaiwhakangungu tangata.
4. Te tukanga tukurua: Ko te tukanga o te kohikohi urupare a te tangata me te whakamahine i te tauira ma roto i te ako whakakaha ka tukuruatia, ka piki haere tonu te mahinga o te tauira.

RLHF i ChatGPT me GPT-4

Ko ChatGPT me te GPT-4 he tauira reo hou i hangaia e OpenAI kua whakangungua ma te whakamahi i te RLHF. He mahi nui tenei tikanga ki te whakarei ake i nga mahi o enei tauira me te kaha ake ki te whakaputa whakautu rite te tangata.

I roto i te take o ChatGPT, ka whakangungua te tauira tuatahi ma te whakamahi i te whakatikatika pai. Ka uru nga kaiwhakangungu AI tangata ki nga korerorero, e takaro ana i nga mahi a te kaiwhakamahi me nga mahi kaiawhina AI, ki te whakaputa i tetahi huingararaunga e whakaatu ana i nga ahuatanga korerorero rereke. Ka ako te tauira mai i tenei huingararaunga ma te matapae i te whakautu tika ka whai ake i roto i te korerorero.

I muri mai, ka timata te mahi kohikohi urupare a te tangata. Ka whakatauhia e nga kaiwhakangungu AI te maha o nga whakautu i hangaia e te tauira i runga i to raatau whaitake, hononga, me te kounga. Ka hurihia tenei urupare hei tohu utu, a ka pai te whakarite i te tauira ma te whakamahi i nga huringa ako whakakaha.

Ko te GPT-4, he putanga matatau o tona mua GPT-3, e whai ana i tetahi mahi rite. Ka whakangunguhia te tauira tuatahi ma te whakamahi i te huingararaunga nui kei roto nga tuhinga mai i nga momo puna. Ka whakauruhia nga urupare a te tangata i roto i te wahanga ako whakapakari, hei awhina i te tauira ki te hopu i nga ahuatanga ngawari me nga manakohanga kaore e ngawari ki te whakauru ki nga mahi utu kua tohua.

Nga painga o te RLHF i roto i nga punaha AI

He maha nga painga o te RLHF mo te whanaketanga o nga punaha AI penei i te ChatGPT me te GPT-4:

• Kua pai ake te mahi: Ma te whakauru i nga urupare a te tangata ki roto i te tukanga ako, ka awhina a RLHF i nga punaha AI kia pai ake te mohio ki nga hiahia a te tangata me te whakaputa i nga whakautu tika, tika, me te horopaki.
• Whakaaetanga: Ma te RLHF ka taea e nga tauira AI te urutau ki nga mahi me nga ahuatanga rereke ma te ako mai i nga wheako rereke me nga tohungatanga o nga kaiwhakangungu tangata. Ma tenei ngawari ka taea e nga tauira te mahi pai i roto i nga momo tono, mai i te korerorero AI ki te whakatipu ihirangi me tua atu.
• Whakahekea rītaha: Ko te mahinga o te kohi urupare me te whakamahine i te tauira ka awhina i te whakatika me te whakaiti i nga piro kei roto i nga raraunga whakangungu tuatahi. I te mea ka arotakehia, ka whakatauhia e nga kaiwhakangungu tangata nga putanga i hangaia e te tauira, ka taea e ratou te tautuhi me te whakatika i nga whanonga kino, me te whakarite kia pai ake te hangai o te punaha AI ki nga uara tangata.
• Te whakapai tonu: Ko te tukanga RLHF ka taea te whakapai tonu i te mahinga tauira. I te mea ka nui ake nga urupare a nga kaiwhakangungu tangata, ka kaha te tauira ki te whakapakari i nga akoranga, ka kaha ake te mohio ki te whakaputa i nga putanga kounga teitei.
• Te haumaru ake: Ka whai waahi te RLHF ki te whakawhanake i nga punaha AI haumaru ake ma te tuku i nga kaiwhakangungu tangata ki te tarai i te tauira mai i te whakaputa i nga mea kino, kino ranei. Ka awhina tenei huringa urupare ki te whakarite kia pono ake nga punaha AI me te pono i roto i o raatau taunekeneke me nga kaiwhakamahi.

Nga wero me nga tirohanga a meake nei

Ahakoa kua kitea te whai hua o te RLHF ki te whakapai ake i nga punaha AI penei i te ChatGPT me te GPT-4, kei reira tonu nga wero hei hinga me nga waahi hei rangahau a muri ake nei:

• Taea: I te mea e whakawhirinaki ana te tukanga ki nga urupare a te tangata, ko te whakamaarama ki te whakangungu i nga tauira nui ake me te uaua ka taea te whakapau rauemi me te whakapau wa. Ko te whakawhanake tikanga ki te whakaaunoa, ki te whakaaunoa ranei i te tukanga urupare ka taea te whakatika i tenei take.
• Te rangirua me te kaupapa kaupapa: Ka taea e nga urupare a te tangata te whakaaro me te rereke pea i waenga i nga kaiwhakangungu. Ka taea e tenei te arai i nga rereketanga i roto i nga tohu utu me te whai paanga pea ki nga mahi tauira. Ko te whakawhanake i nga aratohu marama ake me nga tikanga hanga whakaaro mo nga kaiwhakangungu tangata tera pea ka awhina i tenei raru.
• Tirohanga uara mo te wa roa: Ko te whakarite kia noho tonu nga punaha AI ki nga uara tangata i roto i te waa roa, he wero me whakatika. Ko te rangahau tonu i roto i nga waahi penei i te whakatauira utu me te haumaru AI he mea tino nui ki te pupuri i te hängai uara i te wa e whanake ana nga punaha AI.

Ko te RLHF he huarahi hurihuri i roto i nga whakangungu AI kua tino nui ki te whakawhanake i nga tauira reo matatau penei i a ChatGPT me GPT-4. Ma te whakakotahi i nga akoranga whakakaha me nga urupare a te tangata, ka taea e RLHF nga punaha AI kia pai ake te mohio me te urutau ki nga hiahia a te tangata, e pai ake ai te mahi me te haumaru. I te mea kei te ahu whakamua tonu te mara o AI, he mea nui ki te whakangao ki te rangahau me te whakawhanaketanga o nga tikanga penei i te RLHF ki te whakarite i te hanga o nga punaha AI ehara i te kaha anake engari e hono ana ki nga uara me nga tumanako a te tangata.