Intelligence Artificial
Te Aromatawai Tauira Reo Nui: He Aratohu Hangarau
Ko nga tauira reo nui (LLM) penei i te GPT-4, Claude, me LLaMA kua pahū te rongonui. He mihi ki to raatau kaha ki te whakaputa tuhinga tino rite ki te tangata, kei te whakamahia enei punaha AI mo nga mea katoa mai i te hanga ihirangi tae atu ki nga korerorero a nga kaihoko.
Engari me pehea e mohio ai mena he pai enei tauira? I nga wa katoa e panuitia ana nga LLM hou, e kii ana te katoa he nui ake, he pai ake, me pehea te arotake me te whakataurite i o raatau mahi?
I roto i tenei aratohu matawhānui, ka tirotirohia e matou nga tikanga tino pai mo te arotake i nga tauira reo nui. Ka titiro tatou ki nga pai me nga huakore o ia huarahi, i te wa e pai ana te whakamahi, me pehea e taea ai e koe te whakamahi i roto i to whakamatautau LLM.
Inenga Taumahi-motuhake
Ko tetahi o nga huarahi tino ngawari ki te arotake i te LLM ko te whakamatautau i nga mahi NLP kua whakaritea ma te whakamahi i nga inenga paerewa. Hei tauira:
Whakarāpopototanga
Mo nga mahi whakarapopototanga, nga inenga penei RED (Recall-Oriented Understudy for Gisting Assessment) are commonly used. Ka whakatairitehia e ROUGE te whakarāpopototanga i hangaia e te tauira ki te whakarāpopototanga "tohutoro" i tuhia e te tangata, e tatau ana i te īnakitanga o ngā kupu, o ngā kīanga.
He maha nga momo reka o te ROUGE, kei a ia ano o raatau pai me o raatau kino:
- ROUGE-N: Ka whakatairite i te inaki o nga karamu-n (nga raupapa o nga kupu N). ROUGE-1 whakamahi unigrams (kupu kotahi), ROUGE-2 ka whakamahi i te bigrams, aha atu. Ko te painga ko te kapohia o te raupapa kupu, engari ka kaha rawa.
- ROUGE-L: I runga i te whai muri noa roa (LCS). He ngawari ake mo te raupapa kupu engari e aro ana ki nga kaupapa matua.
- ROUGE-W: Taumaha LCS e rite ana ki o raatau hiranga. Ngana ki te whakapai ake i runga i te ROUGE-L.
I te nuinga o te waa, he tere, he aunoa nga inenga ROUGE, he pai te mahi mo nga whakarāpopototanga o te punaha. Heoi, karekau e ine i te tuitui me te tikanga. Ka taea e te whakarāpopototanga te whiwhi i te kaute ROUGE teitei, karekau tonu.
Ko te tātai mō ROUGE-N ko:
ROUGE-N=∑∈{Whakarāpopototanga Tohutoro}∑∑�∈{Whakarāpopototanga Tohutoro}∑
Kei hea:
Count_{match}(gram_n)ko te tatau n-karamu i roto i te whakarāpopototanga i hangaia me te whakarāpopototanga tohutoro.Count(gram_n)ko te tatau n-karamu kei te whakarāpopototanga tohutoro.
Hei tauira, mo ROUGE-1 (unigrams):
- He whakarāpopototanga i hangaia: “I noho te ngeru.”
- Whakarāpopototanga tohutoro: “I noho te ngeru ki runga i te whāriki.”
- Inaki unigrams: “Te”, “ngeru”, “noho”
- ROUGE-1 tatau = 3/5 = 0.6
ROUGE-L ka whakamahi i te waahanga noa roa (LCS). He ngawari ake me te raupapa kupu. Ko te tātai:
ROUGE-L=���(hangaia, tohutoro)max(roa(hangaia), roa(tohutoro))
hea LCS ko te roa o te roanga noa o muri.
ROUGE-W ka paunatia nga LCS e rite ana. Ka whakaarohia te hiranga o ia tukinga i roto i te LCS.
Translation
Mo nga mahi whakamaori miihini, KAHURANGI (Te Akoranga Aromātai Reorua) he ine rongonui. Ka inehia e BLEU te ritenga i waenga i te whakamaoritanga putanga o te tauira me nga whakamaoritanga tangata ngaio, ma te whakamahi i te tika n-gram me te whiunga poto.
Nga waahanga matua mo te mahi a BLEU:
- Ka whakatairite i nga inaki o nga karamu n mo te n tae noa ki te 4 (unigrams, bigrams, trigrams, 4-gram).
- Ka tātai i te toharite āhuahanga o te pū-n-karamu.
- Ka hoatu he whiunga poto mena he poto ake te whakamaoritanga i te tohutoro.
- I te nuinga o te waa mai i te 0 ki te 1, me te 1 he tino rite ki te tohutoro.
He pai te hono a BLEU ki nga whakatau a te tangata mo te kounga whakamaori. Engari he here tonu:
- Ka ine tika ki nga tohutoro, kaua e maumahara, F1 ranei.
- Ka whawhai ki nga whakamaoritanga auaha ma te whakamahi i nga kupu rereke.
- He whakaraerae ki te "game" me nga tinihanga whakamaori.
Ko etahi atu inenga whakamaori penei i te METEOR me te TER ka ngana ki te whakapai ake i nga ngoikoretanga o BLEU. Engari i te nuinga o te waa, kaore nga inenga aunoa e hopu i te kounga whakamaoritanga.
Ētahi atu Mahi
I tua atu i te whakarapopototanga me te whakamaoritanga, ka taea te whakamahi i nga inenga penei i te F1, te tika, te MSE, me etahi atu ki te arotake i nga mahi a LLM mo nga mahi penei:
- Te whakarōpūtanga kupu
- Te tangohanga korero
- Te whakautu patai
- Te wetewete i te wairua
- Te kimi hapa wetereo
Ko te painga o nga inenga-mahi motuhake ko te arotake ka taea te whakahaere aunoa ma te whakamahi i nga huingararaunga paerewa penei SQUA mo QA me kāpia tohu tohu mo te whānuitanga o nga mahi. Ka ngawari te whai i nga hua i roto i te waa ka pai ake nga tauira.
Heoi, he iti te aro o enei inenga, kaore e taea te ine i te kounga o te reo. Ko nga LLM e pai ana te mahi i runga i nga inenga mo te mahi kotahi ka rahua pea ki te whakaputa i nga tuhinga whaitake, arorau, awhina whanui.
Nga Tohu Rangahau
Ko tetahi huarahi rongonui ki te arotake i nga LLM ko te whakamatautau i a raatau ki nga tohu rangahau whanui e kapi ana i nga kaupapa me nga pukenga kanorau. Ko enei tohu ka taea e nga tauira te whakamatautau tere i te tauine.
Ko etahi tohu tohu rongonui ko:
- SuperGLUE – He huinga wero o nga mahi reo kanorau 11.
- kāpia – Kohikohinga 9 nga mahi mo te maarama ki te rerenga korero. He ngawari ake i te SuperGLUE.
- MMLU – 57 nga momo STEM, nga mahi a-iwi, me nga mahi tangata. Ka whakamatau i te matauranga me te kaha whakaaro.
- Winograd Schema Wero – Rapanga whakatau kupu kupu e hiahia ana ki te whakaaro whakaaro.
- ARC – Te wero i nga mahi whakaaro reo maori.
- Hellaswag – Te whakaaro mohio mo nga ahuatanga.
- PIQA – Ko nga paatai ahupūngao me whai hoahoa.
Ma te arotake i nga tohu tohu penei, ka taea e nga kairangahau te whakamatautau tere i nga tauira mo o raatau kaha ki te mahi i te pangarau, te arorau, te whakaaro, te whakawaehere, te mohio noa, me te maha atu. Ko te ōrau o ngā pātai whakautu tika ka noho hei inenga tohu mo te whakatairite tauira.
Heoi, ko tetahi take nui me nga tohu tohu pokenga raraunga whakangungu. He maha nga tohu tohu kei roto nga tauira kua kitea e nga tauira i te wa o mua i te whakangungu. Ma tenei ka taea e nga tauira te "tamau aau” nga whakautu ki nga patai motuhake me te mahi pai ake i o raatau tino kaha.
Ka ngana ki te "whakapoke” tohu tohu ma te tango i nga tauira inaki. Engari he wero tenei ki te mahi matawhānui, ina koa kua kite pea nga tauira i nga momo patai kua whakamaoritia, kua whakamaoritia ranei.
Na, ahakoa ka taea e nga tohu tohu te whakamatautau tika i te huinga whanui o nga pukenga, kaore e taea e raatau te ine pono i nga pukenga whakaaro pono, te karo ranei i te pikinga o nga kaute na te poke. Ko nga tikanga arotake taapiri e hiahiatia ana.
LLM Aromātai Whaiaro
Ko te huarahi whakahirahira ko te whai i tetahi LLM ki te arotake i nga putanga o tetahi atu LLM. Ko te whakaaro ko te whakamahi i te kaupapa mahi "ngawari ake":
- He uaua pea mo te LLM te whakaputa i tetahi putanga kounga teitei.
- Engari ko te whakatau mena he kounga teitei te putanga ka ngawari ake.
Hei tauira, ahakoa e uaua ana te LLM ki te whakaputa i tetahi kowae meka, e tika ana mai i te wahanga, ka ngawari ake te whakatau mena ka tika te whakaaro o tetahi waahanga me te uru ki te horopaki.
Na ko te tukanga:
- Tukuna wawe te whakauru ki te LLM tuatahi hei whakaputa putanga.
- Tukuna te tere urunga + te whakaputanga ki te "kaiaroaro" tuarua ki te LLM.
- Patai ki te kaiarotake LLM he patai hei aromatawai i te kounga o te putanga. hei tauira, "Kei te tika te whakautu i runga ake nei?"
He tere tenei huarahi ki te whakatinana me te whakaaunoa i te arotake LLM. Engari tera ano etahi wero:
- Ka whakawhirinaki nui te mahinga ki te kowhiringa o te kaiarotake LLM me nga kupu tere.
- I herea e te uaua o te mahi taketake. He uaua tonu ki nga LLM te arotake i nga whakaaro uaua.
- Ka taea te utu nui ki te whakamahi i nga LLM-API.
He tino pai te arotake whaiaro mo te aromatawai i nga korero kua tikina mai i roto RAG (whakatupuranga tiki-whakanui) pūnaha. Ka taea e etahi atu patai LLM te whakamana mena ka whakamahia tika te horopaki kua tikina.
I te katoa, ko te arotake whaiaro e whakaatu ana i te kaha engari me tiaki i roto i te whakatinanatanga. Ka whakakiia, kaua ki te whakakapi, te arotake tangata.
Te Aromātai Tangata
I runga i nga herenga o nga inenga me nga tohu tohu, ko te aromatawai tangata tonu te paerewa koura mo te tino aromatawai i te kounga LLM.
Ka taea e nga tohunga te whakarato i nga aromatawai kounga mo:
- Te tika me te tika
- Te arorau, te whakaaro, me te mohio noa
- Te whakakotahi, te rite me te panui
- Te tika o te reo, te ahua me te reo
- Te wetereo me te matatau
- Te auaha me te ahua
Ki te arotake i tetahi tauira, ka whakawhiwhia ki te tangata he huinga tohu akiaki me nga whakautu i hangaia e LLM. Ka aromatawai ratou i te kounga o nga whakautu, he maha nga wa e whakamahi ana i nga tauine whakatauranga me nga riipene.
Ko te kino ko te arotake a-ringa a te tangata he utu nui, he puhoi, he uaua ki te tauine. Me whakawhanake hoki i nga paearu paerewa me nga kaitauta whakangungu hei whakamahi i nga wa katoa.
Kua torotoro etahi o nga kairangahau i nga huarahi auaha ki te whakaemi i nga arotakenga LLM tangata ma te whakamahi i nga punaha momo whakataetae e peti ai nga tangata me te whakatau i nga whakataetae i waenga i nga tauira. Engari he iti tonu te kapinga ki te whakataurite ki nga arotake a-ringa katoa.
Mo nga keehi pakihi he mea nui ake te kounga i te tauine mata, ka noho tonu nga whakamatautau tangata tohunga hei paerewa koura ahakoa ona utu. He tino pono tenei mo nga tono morearea o nga LLM.
Opaniraa
Ko te arotake i nga tauira reo nui me tino whakamahi i te kete taputapu kanorau o nga tikanga taapiri, kaua ki te whakawhirinaki ki tetahi tikanga kotahi.
Ma te whakakotahi i nga huarahi aunoa mo te tere me te tino tirotiro a te tangata mo te tika, ka taea e tatou te hanga tikanga whakamatautau pono mo nga tauira reo nui. Ma te arotakenga pakari, ka taea e tatou te whakatuwhera i te kaha nui o nga LLM i te wa e whakahaere tika ana i o raatau morearea.
