He Aratohu Katoa mo te Whakapaipai i nga Tauira Reo Nui

Nga tauira reo nui (LLMs) pnei i a GPT-4, LaMDA, PaLM, me etahi atu kua riro i te ao ma te tupuhi me o raatau kaha ki te mohio me te whakaputa tuhinga penei i te tangata ki runga i te maha o nga kaupapa. Ko enei tauira kua whakangungua i mua i runga i nga huinga raraunga nui kei roto nga piriona kupu mai i te ipurangi, pukapuka, me etahi atu puna.

Ko tenei wahanga whakangungu i mua i te whakangungu ka mau i nga tauira me te mohiotanga whanui mo te reo, nga kaupapa, nga pukenga whakaaro, tae atu ki etahi piro kei roto i nga raraunga whakangungu. Heoi, ahakoa to ratou whanuitanga, karekau he tohungatanga motuhake mo enei LLM kua whakangungua mo nga rohe motuhake, mo nga mahi ranei.

I konei ka uru mai te whakatikatika - ko te tikanga o te urutau i tetahi LLM kua oti te whakangungu kia eke ki runga i tetahi tono, keehi-whakamahi ranei. Ma te whakangungu ano i te tauira ki runga i te huingararaunga iti, mahi-motuhake, ka taea e tatou te whakarite i ona kaha ki te whakarite ki nga ahuatanga me nga whakaritenga o taua rohe.

He rite tonu te whakatikatika ki te whakawhiti i te matauranga whanui o te tohunga whaanui ki te mahi i tetahi tohunga marau motuhake ki tetahi waahi. I roto i tenei aratohu, ka tuhurahia e tatou he aha, he aha, me pehea hoki o nga LLM whakatikatika.

Whakapaipai i nga Tauira Reo Nui

He aha te Whakapaipai?

I tona kaupapa matua, whakatikatika pai ko te tango i tetahi tauira nui kua oti te whakangungu me te whakahou i ona tawhā ma te whakamahi i te waahanga whakangungu tuarua i runga i te huingararaunga kua whakangao ki to mahi, rohe ranei. Ma tenei ka taea e te tauira te ako me te whakauru i nga ahuatanga, nga tauira, me nga whaainga e pa ana ki taua waahi whaiti.

Ahakoa ko te whakangungu i mua i te whakangungu e mau ana i te maaramatanga reo whanui mai i te roopu tuhinga nui, kanorau hoki, ko te whakahiatotanga pai te tohungatanga o taua pukenga whanui. He rite ki te tango i tetahi tangata Renaissance me te hanga i a raatau hei tohunga umanga.

Ko nga taumahatanga o te tauira kua whakangungua, e whakawaehere ana i ona mohiotanga whanui, ka whakamahia hei timatanga, arataki ranei mo te mahi whakatikatika. Ka whakangunguhia te tauira, engari i tenei waa mo nga tauira e tika ana mo te tono mutunga.

Ma te whakaatu i te tauira ki tenei tohatoha raraunga motuhake me te whakakoi i nga tawhā tauira kia rite, ka tino tika ake, ka whai hua hoki te LLM mo te take whakamahi i whaaia, me te whai hua tonu mai i nga kaha o mua i whakangungua hei turanga.

He aha nga LLM Whakapaipai?

He maha nga take nui e hiahia ana koe ki te whakatikatika i tetahi tauira reo nui:

1. Whakaritenga Rohe: Ko ia mara, mai i te ture ki te rongoa tae atu ki te miihini rorohiko, kei a ia ano nga tikanga reo rerekee, nga korero, me nga horopaki. Ma te whakatikatika pai ka taea e koe te whakarite i tetahi tauira whanui kia mohio ai koe me te whakaputa i nga tuhinga e tika ana ki te rohe motuhake.
2. Tohunga Mahi: Ka taea e LLM te whakatika pai mo nga momo mahi tukatuka reo maori penei i te whakarapopoto tuhinga, te whakamaori miihini, te whakautu patai me era atu. Ko tenei tohungatanga e whakanui ana i nga mahi i runga i te mahi kua whakaritea.
3. Tautukunga Raraunga: Ko nga ahumahi tino whakahaere penei i te tiaki hauora me te putea he tino whakaritenga mo te moatatanga raraunga. Ka taea e te whakatikatika pai te whakangungu i nga LLM i runga i nga raraunga whakahaere rangatira me te tiaki i nga korero tairongo.
4. Raraunga Tapanga iti: He uaua te whiwhi i nga huingararaunga tapanga nui mo nga tauira whakangungu mai i te wahanga. Ka taea e te whakatikatika pai te whakatutuki i nga mahi kaha mai i nga tauira iti e matakihia ana ma te whakamahi i nga kaha o te tauira kua whakangungua.
5. Whakahōu Tauira: I te wa e watea ana nga raraunga hou i roto i te rohe, ka taea e koe te whakapai ake i nga tauira ki te whakauru i nga matauranga hou me nga kaha.
6. Te Whakakore i nga Kaihanga: Ka taea e nga LLM te kohi i nga paapori hapori mai i nga raraunga whanui i mua i te whakangungu. Ko te whakatikatika i nga huingararaunga kua oti te whakarite ka awhina i te whakaiti me te whakatika i enei paanui kino.

Ko te tikanga, ko te whakatikatika pai ka piri i te aputa i waenga i te tauira whanui, whanui me nga whakaritenga arotahi o te tono motuhake. Ka whakanui ake i te tika, te haumaru, me te whai take o nga putanga tauira mo nga keehi whakamahi kua whakaritea.

Whakapaipai i nga Tauira Reo Nui

Nga Tikanga Whakapaipai

E rua nga rautaki matua mo te whakatikatika i nga tauira reo nui:

1) Tauira Katoa Whakapaipai

I roto i te huarahi tino pai, ka whakahouhia nga tawhā katoa (nga taumaha me nga taapiri) o te tauira kua whakangungua i mua i te waa whakangungu tuarua. Ka kitea te tauira ki te huingararaunga kua tohua mo nga mahi, a ko te tikanga whakangungu paerewa ka arotau i te tauira katoa mo taua tohatoha raraunga.

Ma tenei ka taea e te tauira te mahi whakatikatika matawhānui me te urutau katoa ki te mahi, rohe ranei. Heoi ano, ko te whakatikatika tino pai etahi o nga ngoikoretanga:

• He nui nga rauemi rorohiko me te wa ki te whakangungu, he rite ki te waahanga o mua i te whakangungu.
• He nui nga whakaritenga mo te rokiroki, na te mea me pupuri e koe he kape motuhake o te tauira mo ia mahi.
• He tupono kei te "wareware kino", i te mea ka ngaro te tauira i nga pukenga whanui i akohia i mua i te whakangungu.

Ahakoa enei herenga, ka noho tonu te whakatikatika tino pai hei tikanga kaha me te whakamahia whanui ina whakaae nga rauemi me te tino rerekee te mahi i te reo whanui.

2) Nga Tikanga Whakapaipai Pai

Hei whakaea i nga wero rorohiko o te tino-whakapaipai, kua whakawhanakehia e nga kairangahau nga rautaki pai hei whakahou i tetahi waahanga iti o nga tawhā o te tauira i te wa o te whakatikatika. Ko enei tikanga parametrically pai ka whakataurite i waenga i te tohungatanga me te whakaiti i nga whakaritenga rauemi.

Ko etahi o nga tikanga tino rongonui ko:

Whakataki-whakamua: I konei, he iti te maha o nga vectors mahi-motuhake, "whakamua" ranei ka whakauruhia, ka whakangunguhia ki te whakatau i te aro o te tauira kua whakangungua mo te mahi kua tohua. Ko enei prefix anake ka whakahouhia i te wa o te whakatikatika.

LoRA (Whakataurite-Paeka): LoRA ka werohia nga matrice taumata-iti ka taea te whakangungu ki ia paparanga o te tauira kua whakangungua i te wa o te whakatikatika pai. Ko enei whakarerekētanga taumata iti ka awhina i te tauira me te iti ake o nga tawhā ka taea te whakangungu atu i te whakatika-pai.

Ae, ka taea e au te whakarato i nga whakamaramatanga mo te LoRA (Whakatikanga Raraunga iti) me te whakatakotoranga pangarau me nga tauira waehere. Ko te LoRA he tikanga tino pai ki te tawhā-pai (PEFT) kua whai mana nui i roto i te wahanga o te tauira reo nui (LLM) urutaunga.

He aha te LoRA?

Ko te LoRA he tikanga whakatikatika pai e whakauru ana i te iti o nga tawhā ka taea te whakangungu ki te LLM kua whakangungua, e taea ai te urutau pai ki nga mahi whakararo me te pupuri i te nuinga o nga mohiotanga o te tauira taketake. Engari ki te whakatika pai i nga tawhā katoa o te LLM, ka werohia e LoRA nga matrices-iti motuhake ki nga paparanga o te tauira, e taea ai te penapena rorohiko me te penapena mahara i te wa o te mahi whakatikatika.

Te Hanga Pāngarau

Ko te LoRA (Low-Rank Adaptation) he tikanga whakatikatika pai mo nga tauira reo nui (LLM) e whakauru ana i te whakahou-iti ki nga matrices taumaha. Mo te matrix taumaha 0∈W0​∈Rd×k, ka taapirihia e LoRA he matrix taumata-iti $BA$, me A∈Rr×k a B∈Rd×r, i reira $r$ ko te rangatira. Ko tenei huarahi ka tino whakaiti i te maha o nga tawhā ka taea te whakangungu, ka taea te urutau pai ki nga mahi whakararo me te iti rawa o nga rauemi rorohiko. Ko te matrix taumaha kua whakahoutia kua homai e W=W0​+BTuhingaA.

Ka taea te whakamaoritanga o tenei whakamohoatanga reanga iti ko te whakarereke i te matrix taumaha taketake $W_{0}$ ma te taapiri i te matrix taumata iti $BA$. Ko te painga nui o tenei whakatakotoranga ko te kore e whakahou i nga tawhā $d \times k$ katoa i te $W_{0}$, me arotau noa e LoRA nga tawhā $r \times (d + k)$ i te $A$ me te $B $, he tino whakaiti i te maha o nga tawhā ka taea te whakangungu.

Anei tetahi tauira i roto i te Python e whakamahi ana i te peft whare pukapuka ki te tono LoRA ki te LLM kua whakangungua-mua mo te whakarōpū kupu:

</div>
<div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><span class="token" data-darkreader-inline-color="">from</span> transformers <span class="token" data-darkreader-inline-color="">import</span> AutoModelForSequenceClassification
</code></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><span class="token" data-darkreader-inline-color="">from</span> peft <span class="token" data-darkreader-inline-color="">import</span> get_peft_model<span class="token" data-darkreader-inline-color="">,</span> LoraConfig<span class="token" data-darkreader-inline-color="">,</span> TaskType
</code></div>
<div data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><span class="token" data-darkreader-inline-color=""># Load pre-trained model</span>
</code></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color="">model <span class="token" data-darkreader-inline-color="">=</span> AutoModelForSequenceClassification<span class="token" data-darkreader-inline-color="">.</span>from_pretrained<span class="token" data-darkreader-inline-color="">(</span><span class="token" data-darkreader-inline-color="">"bert-base-uncased"</span><span class="token" data-darkreader-inline-color="">,</span> num_labels<span class="token" data-darkreader-inline-color="">=</span><span class="token" data-darkreader-inline-color="">2</span><span class="token" data-darkreader-inline-color="">)</span>
</code></div>
<div data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><span class="token" data-darkreader-inline-color=""># Define LoRA configuration</span>
</code></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color="">peft_config <span class="token" data-darkreader-inline-color="">=</span> LoraConfig<span class="token" data-darkreader-inline-color="">(</span>task_type<span class="token" data-darkreader-inline-color="">=</span>TaskType<span class="token" data-darkreader-inline-color="">.</span>SEQ_CLS<span class="token" data-darkreader-inline-color="">, </span>r<span class="token" data-darkreader-inline-color="">=</span><span class="token" data-darkreader-inline-color="">8</span><span class="token" data-darkreader-inline-color="">,</span>  <span class="token" data-darkreader-inline-color=""># Rank of the low-rank update</span>
lora_alpha<span class="token" data-darkreader-inline-color="">=</span><span class="token" data-darkreader-inline-color="">16</span><span class="token" data-darkreader-inline-color="">,</span></code><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><span class="token" data-darkreader-inline-color=""># Scaling factor for the low-rank update</span>
</code></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color="">    target_modules<span class="token" data-darkreader-inline-color="">=</span><span class="token" data-darkreader-inline-color="">[</span><span class="token" data-darkreader-inline-color="">"q_lin"</span><span class="token" data-darkreader-inline-color="">,</span> <span class="token" data-darkreader-inline-color="">"v_lin"</span><span class="token" data-darkreader-inline-color="">]</span><span class="token" data-darkreader-inline-color="">,</span>  <span class="token" data-darkreader-inline-color=""># Apply LoRA to the query and value layers</span>
<span class="token" data-darkreader-inline-color="">)</span>
</code></div>
<div data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><span class="token" data-darkreader-inline-color=""># Create the LoRA-enabled model</span>
</code></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color="">model <span class="token" data-darkreader-inline-color="">=</span> get_peft_model<span class="token" data-darkreader-inline-color="">(</span>model<span class="token" data-darkreader-inline-color="">,</span> peft_config<span class="token" data-darkreader-inline-color="">)</span>
</code></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><span class="token" data-darkreader-inline-color=""># Fine-tune the model with LoRA</span>
</code></div>
<div data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""></div>
<div class="code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><code class="language-python" data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color=""><span class="token" data-darkreader-inline-color=""># ... (training code omitted for brevity)</span></code></div>
</div>
<div data-darkreader-inline-bgimage="" data-darkreader-inline-bgcolor="" data-darkreader-inline-color="">

I roto i tenei tauira, ka utaina e matou he tauira BERT kua whakangungua mo te raupapa raupapa me te tautuhi i te whirihoranga LoRA. Ko te r ka tohu te tawhā i te taumata o te whakahou-iti, a lora_alpha he take tauine mo te whakahou. Ko te target_modules ka tohu te tawhā ko ēhea paparanga o te tauira ka whiwhi i nga whakahōutanga iti. I muri i te hanga i te tauira whakahoahoa a LoRA, ka taea e taatau te haere tonu ki te mahi whakatikatika ma te whakamahi i te tikanga whakangungu paerewa.

Ngā Paparanga Pūurutau: He rite ki te LoRA, engari hei utu mo nga whakahou-iti, ka whakauruhia nga papa angiangi "whakauru" ki roto i ia poraka whakawhiti o te tauira kua whakangungua. Ko nga tawhā anake o enei paparanga kiato hou kua whakangungua.

Tuning wawe: Ma tenei huarahi ka tino whakatotoka te tauira kua oti te whakangungu. Engari, ka whakaurua nga whakaurunga "whakangungu" hei whakaurunga ki te whakahohe i te matauranga o mua i whakangungua mo te mahi kua whakaritea.

Ka taea e enei tikanga whaihua te whakarato ki te 100x nga whakahekenga rorohiko ka whakatauritea ki te tino whakatikatika, me te eke tonu ki nga mahi whakataetae i runga i nga mahi maha. Ka whakaitihia hoki nga hiahia rokiroki ma te karo i te tauira tauira katoa.

Heoi ano, ka takamuri pea a raatau mahi ki muri i te whakatikatika pai mo nga mahi e tino rerekee ana i te reo whanui me te hiahia motuhaketanga katoa.

Te Tikanga Whakapaipai

Ahakoa te rautaki whakatikatika pai, ko te tikanga katoa mo te whakarangatira i te LLM e whai ana i tetahi anga whanui:

1. Whakaritenga Raraunga Raraunga: Ka hiahia koe ki te tiki, ki te waihanga ranei i tetahi huingararaunga kua tapaina e mapi ana i nga whakaurunga (tohutohu) ki nga putanga e hiahiatia ana mo to mahi. Mo nga mahi whakaputa kupu penei i te whakarāpopototanga, he kuputuhi tāuru ki ngā takirua putanga whakarāpopoto.
2. Wehenga Raraunga Raraunga: Ma te whai i nga tikanga pai, wehea to huingararaunga kua tapaina ki te tereina, te whakamana, me nga huinga whakamatautau. Ka wehe tenei i nga raraunga mo te whakangungu tauira, te whakatika i te taara teitei, me te arotake whakamutunga.
3. Whakaritenga Whakatauritenga: Ko nga tawhā penei i te reeti ako, te rahi o te puranga, me te raarangi whakangungu me whakarite kia pai ake te whakatika i o raraunga. I te nuinga o te waa ka uru mai he huinga whakamana iti.
4. Whakangungu Tauira: Ma te whakamahi i nga taaraitua kua whakaritea, whakahaeretia te tukanga arotautanga whakatika i runga i te huinga whakangungu katoa kia mutu ra ano te pai ake o te mahi a te tauira i runga i te huinga whakamana (ka mutu moata).
5. Aromātai: Aromatawai i te mahinga o te tauira kua tino pai ki runga i te huinga whakamatautau kua mau, me te whakauru i nga tauira o te ao mo te take whakamahi whainga, ki te whakatau tata i te kaha o te ao.
6. Te Tukunga me te Aroturuki: Ina pai, ka taea te whakatakoto i te tauira pai-whakaritea hei whakatau i nga whakaurunga hou. He mea nui ki te aro turuki i tana mahi me te tika i roto i te waa mo te rere o te ariā.

Ahakoa e whakaatu ana tenei i te mahi katoa, he maha nga ahuatanga ka pa ki te angitu o te whakatika pai mo tetahi LLM, mahi ranei. Ka taea e nga rautaki penei i te ako marautanga, te whakatikatika i nga mahi maha, me te akiaki i nga kopere iti ka kaha ake te mahi.

I tua atu, ko nga tikanga whakatikatika pai ka uru ki etahi atu whakaaro. Hei tauira, e hiahia ana a LoRA ki nga tikanga penei i te whakarite i nga putanga tauira kua whakangungua i mua i te paparanga whakakotahi. Ko te whakatikatika tere e hiahia ana i nga tohu akiaki kia whakahohehia nga whanonga tika.

Te Whakapaipai Ake: Te whakauru i nga urupare a te tangata

Ahakoa e whai hua ana te whakaraeraetanga paerewa ma te whakamahi i nga huingararaunga kua tapaina, ko te rohe whakaihiihi kei te whakangungu tika i nga LLM ma te whakamahi i nga hiahia me nga urupare a te tangata. Ko tenei huarahi tangata-i-te-loop e whakamahi ana i nga tikanga mai i te ako whakapakari:

PPO (Arotautanga Kaupapa Here Tata): I konei, ko te LLM e kiia ana he maataki ako whakapakari, ko ona putanga he "mahi". Ka whakangunguhia he tauira utu ki te matapae i nga reiti tangata, i nga tohu kounga ranei mo enei putanga. Ka whakatikahia e PPO te LLM ki te whakaputa putanga e whakanui ana i nga tohu o te tauira utu.

RLHF (Te Whakakaha Ako mai i te Urupare Tangata): Ka whakawhānuihia te PPO ma te whakauru tika i nga urupare a te tangata ki roto i te tukanga ako. Engari i te tauira utu pumau, ka ahu mai nga utu mai i nga arotakenga a te tangata i runga i nga putanga o te LLM i te wa e whakatika pai ana.

Ahakoa te kaha o te rorohiko, ka taea e enei tikanga te hanga i te whanonga LLM i runga ake i nga ahuatanga e hiahiatia ana ka arotakehia e te tangata, i tua atu i nga mea ka taea te hopu i roto i te huingararaunga pateko.

Ko nga kamupene pera i a Anthropic i whakamahi i te RLHF ki te whakakii i o raatau tauira reo penei i a Claude me te pono ake, te tikanga, me te mohiotanga haumaru i tua atu i te mohiotanga o nga mahi.

Nga Whakatupato me nga Waahitanga

Ahakoa te tino kaha, ko nga LLM te whakatika pai kaore he morearea me ata whakahaere:

Whakanuia Pihaa: Mēnā kei roto i ngā raraunga whakahāngai-pai i ngā rītaha ā-hapori e pā ana ki te ira tangata, te iwi, te pakeke, me etahi atu huanga, ka taea e te tauira te whakanui ake i enei whakararu kino. He mea tino nui te whakarite i nga putunga korero mo te maataki me te whakaheke.

Te Huringa Tika: Ahakoa i muri i te whakatikatika i nga raraunga o te kounga teitei, ka taea e nga tauira reo te "whakapouri" i nga meka he, i nga putanga kaore i te rite ki nga tauira whakangungu mo nga korero roa, nga akiaki ranei. Ka hiahiatia pea nga tikanga tiki meka.

Nga Wero Whakanuia: Ko te whakatikatika pai o nga tauira nui penei i te GPT-3 me nui rawa nga rauemi rorohiko e kore e taea e nga whakahaere maha. Ko te whakatikatika pai i etahi waahanga ka whakaiti i tenei engari he tauhokohoko.

Te warewaretanga kino: I te wa o te tino whakatikatika, ka raru pea nga tauira ki te warewaretanga kino, ka ngaro etahi o nga kaha whanui i akohia i te wa o mua i te whakangungu. Ka hiahiatia pea te ako mahi maha.

IP me te Tūponotanga Tūmataitinga: Ko nga raraunga rangatira e whakamahia ana mo te whakatikatika pai ka uru ki roto i nga putanga tauira reo kua tukuna ki te iwi whanui, ka raru pea. Ko nga tikanga morearea rereke me nga tikanga whakamomori he waahi rangahau.

I te katoa, ahakoa he tino whaihua, he tikanga whakaraerae te whakatikatika me te tiaki i te kounga o te raraunga, te whakaaro tuakiri, te whakaiti i nga tupono, me te whakataurite i nga mahi hokohoko i runga i nga whakaritenga keehi.

The Future: Te Whakaritenga Tauira Reo I te Tauine

Ma te titiro whakamua, he mea nui te ahunga whakamua i roto i nga tikanga whakatikatika me nga tikanga urutau tauira hei whakatuwhera i te kaha katoa o nga tauira reo nui puta noa i nga momo tono me nga rohe.

Ko nga tikanga pai ake e taea ai te whakatikatika i nga tauira nui ake penei i te PaLM me nga rauemi herea ka taea e te manapori te uru. Ma te whakaaunoa i nga paipa hanga huingararaunga me te miihini tere ka taea te whakamaarama i nga mahi motuhake.

Ko nga tikanga maataki-whaiaro ki te whakatika mai i nga raraunga mata kaore he tapanga ka whakatuwhera i nga rohe hou. A ko nga huarahi titonga ki te whakakotahi i nga tauira-iti kua whakangungua mo nga mahi rereke, raraunga ranei ka taea te hanga i nga tauira tino pai ki runga i te tono.

I te mutunga, i te mea ka nui haere nga LLM ki nga waahi katoa, he mea tino nui te kaha ki te whakarite me te whakarangatira i a raatau mo nga keehi katoa e whakaarohia ana. Ko nga rautaki whakatikatika me nga rautaki urutau tauira e whai paanga ana he huarahi tino nui ki te whakatutuki i te tirohanga o nga tauira reo nui hei kaiawhina AI ngawari, haumaru, kaha hoki ki te whakanui i nga kaha tangata puta noa i ia rohe me nga mahi.