Ko nga tikanga whakatika tawhā-pai, PeFT ranei e whai ana ki te urutau i nga tauira reo nui ma te whakahou ki te iti o nga taumahatanga. Heoi ano, ko te nuinga o nga mahi whakamaarama o naianei kua whakaatu ko nga whakakitenga kei te whakauru i nga korero whai kiko, e kii ana tera pea he huarahi pai ake, he kaha ake te whakatika i enei whakaaturanga. Ko nga tauira nui kua oti te whakangungu i mua i te nuinga o nga wa ka pai te whakamahi mo nga rohe hou, mo nga mahi ranei, a i te wa o te mahi whakatikatika, ka taea te urutau tetahi tauira turanga ki te maha o nga momo mahi ahakoa he iti noa nga raraunga o roto-rohe e waatea ana. ki te tauira. Heoi, ko te mahi whakatikatika i te tauira katoa he pau rawa te utu, he utu nui hoki, ina koa mo nga tauira reo he nui ake te rahi me nga tawhā. 

Ko nga tikanga whakatika-tikanga-tikanga, PeFT ranei e whakaaro ana ki te tarai i nga utu nui e pa ana ki te whakatikatika pai i te tauira katoa ma te whakahou i te iti noa o nga taumahatanga katoa e waatea ana, he mahinga e awhina ana ki te whakaiti i te wa whakangungu me te whakamahi mahara. Ko te mea nui ake ko te Whakaata-a-tikanga-a-tikanga-tikanga-tikanga-PeFT ranei kua whakaatu he rite te mahi ki te whakatika pai i roto i te maha o nga waahanga mahi. Ko nga Kaiurutau, he whanau noa o te Parameter-efficient fine-tuning or PeFT tikanga ranei, ka ako i te whakatika ka taea te taapiri atu ki etahi atu huinga taumaha e mahi ana i te taha o te tauira turanga tio, me nga urutau hou penei i te LoRA ka whakaiti i te maha o nga tawhā ka taea te whakangungu i roto i te ako. whakahōutanga taumaha mā te whakamahi i ngā tatai taumata-iti hei utu mo nga matrices taumaha-katoa i te wa e whakangungu ana i nga taapiri. 

Na nga mahi o mua e whakaatu ana i nga whakaaturanga whakatika he pai ke atu ki te Parameter-efficient fine-tuning or PeFT tikanga, i roto i tenei tuhinga, ka korero tatou mo nga tikanga Representation Fine-tuning, ReFT ranei e mahi ana i runga i te tauira tio, me te ako i nga mahi motuhake. wawaotanga mo nga whakaaturanga huna. Ko te whainga o tenei tuhinga ki te whakamaarama hohonu i te anga ReFt or Representation Fine-tuning, a ka tirotirohia e matou te tikanga, te tikanga, te hoahoanga o te anga me tona whakataurite ki te ahua o nga anga toi. Na kia timata tatou. 

ReFT: Whakaaturanga Whakapaipai mo nga Tauira Reo

I roto i te ngana ki te tango i nga tauira reo kua oti te whakangungu ki nga waahi hou me nga mahi hou, ko nga anga o naianei ka whakatika i enei tauira reo kua oti te whakangungu i nga wa katoa ka rite ki te mahi whakatikatika pai i whakatinanahia. i te wa e mahi ana me te iti o nga raraunga-roto. Ahakoa ko te mahi whakatikatika pai ka whakanui ake i nga mahi katoa, he utu utu ina koa he maha nga tawhā o te tauira reo. Hei whakatika i tenei take, me te whakaiti i nga utu e pa ana, PeFT, Tawhā-pai ranei anga-whakarite pai whakahōuhia he hautanga iti noa iho o te tapeke taumaha, he tukanga e kore e whakaiti noa i te wa whakangungu, engari e whakaiti ana hoki i te whakamahinga o te mahara, ka taea e nga anga PeFT te whakatutuki i nga mahi rite ina whakaritea ki nga huarahi tino pai i roto i nga ahuatanga mahi. Ko nga Kaiurutau, he whanau noa o PeFTs, ka mahi ma te ako i te whakatika ka taea te taapiri atu ki tetahi huinga taumaha me te waahanga o nga taumahatanga e mahi tahi ana me te tauira turanga me nga taumaha tio. Anga urutau tata nei penei LoRA me QLoRA kua whakaatu mai ka taea te whakangungu i nga taapiri tino tika ki runga ake i nga tauira tino iti me te kore e pa ki te mahi. I te nuinga o te wa ka pai ake, ka whai hua hoki nga taputapu urutau ina whakatauritea ki etahi atu tikanga e whakauru ana i nga waahanga tauira hou. 

Ko tetahi mea nui o te ahua o naianei o nga anga-a-te-a-te-a-te-a-te-a-te-a-te-a-ringa ko te whakarereke i nga tohu, engari ka whakarereke i nga taumahatanga. Heoi ano, ko nga anga e pa ana ki te whakamaarama kua whakaatu ko nga whakaaturanga e whakauru ana i nga korero whai kiko, e kii ana he pai ake, he kaha ake te whakatika o nga whakaaturanga ina whakaritea ki nga whakahou taumaha. Ko tenei whakaaro ko te whakatika whakaahua te huarahi pai ake te hanga i te turanga o te ReFT or Representation Fine-toning framework e whakangungu ana i nga wawaotanga, kaua ki te urutau i nga taumahatanga tauira, ka taea e te tauira te raweke i tetahi hautanga iti o nga whakaaturanga katoa hei ngana ki te urungi i nga whanonga tauira. ki te whakaoti i nga mahi whakararo i te wa o te whakatau. Ko te ReFT, ko te Representation ranei, ko nga tikanga whakatikatika-whakapaipai he whakakapinga-whakakapi mo te PeFT-a-taimaha, te anga-a-te-taamaha ranei. Ko te huarahi ReFT he whakahihiko mai i nga tauira o tata nei e mahi ana me te whakamaori tauira nui e wawao ana i nga whakaaturanga ki te kimi i nga tikanga take pono, me te arahi i te whanonga o te tauira i te wa o te whakatau, na reira ka taea te kite hei whakawhanui o nga tauira whakatika-whakaritenga. Ko te hanga i runga ano, ko te LoReFT, ko te Mokowhiti-iti-iti ranei te ReFT he tauira kaha me te whai hua o te ReFT, a he tawhātanga o te ReFT e wawao ana i runga i nga whakaaturanga huna i roto i te mokowā raina e horahia ana e te matrix matapae-iti, ka hanga tika ki runga i te DAS. anga Rapu Tirohanga Tohatoha ranei. 

Ko te neke haere, he rereke ki te tino whakatikatika, ka whakangungua e te PeFT, i te Parameter-efficient ranei te anga whakatikatika pai i te hautanga iti noa iho o nga tawhā o te tauira, me te whakatika i te tauira ki nga mahi whakararo. Ka taea te whakarōpūtia te anga-whakarite-tikanga pai ki nga waahanga matua e toru:

• Tikanga-a-whakauru: Ko nga tikanga whai-whakauru ka whakangungu i etahi atu waahanga penei i nga paparanga hono-katoa ki runga ake o te tauira kua oti te whakangungu me nga taumaha tio. Ka whakauruhia e nga kaiwhakauru raupapa nga waahanga i waenga i te perceptron multilayer me te MLP me te LM ranei, nga paparanga aro nui tauira, engari ka taapirihia e nga taapiri whakarara nga waahanga ki te taha o nga waahanga o mua. I te mea ka taapirihia e nga kaiwhakauru nga waahanga hou kaore e taea te takai ki nga taumahatanga tauira o naianei, ka nui ake te taumahatanga i te wa o te whakatau. 

• LoRA: Ko te LoRA me ona momo rereke tata nei e tata ana ki nga taumahatanga taapiri i te wa e whakangungu ana ma te whakamahi i nga matrice-iti, a kaore e hiahiatia he utu taapiri i te wa e whakatauhia ana na te mea ka taea te whakakotahi i nga whakahoutanga taumaha ki te tauira, koinei te take i kiia ai ko te waa o naianei. nga anga PeFT tino kaha. 

• Tikanga-a-akiaki: Ko nga tikanga tere ka taapiri i nga tohu ngawari ka arawhiti matapōkeretia ki roto i te whakaurunga, me te whakangungu i o raatau whakaurunga me te pupuri i nga taumahatanga o te tauira reo kia maroke. Ko nga mahinga e tukuna ana e enei tikanga kaore i te pai ki te whakataurite ki etahi atu huarahi PeFT, a he nui ano hoki te utu o runga ake. 

Engari ki te whakahou i nga pauna, ka akohia e te anga ReFT nga wawaotanga hei whakarereke i te hautanga iti o te katoa o nga whakaaturanga. I tua atu, ko nga mahi o mua mo te miihini whakakanohi me te urungi whakahohe kua whakaatu ko te taapiri i nga vector urungi pumau ki te awa toenga ka ngawari ake te mana whakahaere mo nga whakatipuranga tauira nui kua oti te whakangungu me te kore e hiahia rawa. whakatikatika pai. Ko etahi atu anga kua whakaatu ko te whakatika i nga whakaaturanga me te ako i te tauine me te mahi whakamaori ka ngana ki te taurite engari kaua e hipa ake i nga mahi e tukuna ana e nga kaiwhakauru LoRA mo te maha o nga mahi me te iti ake o nga tawhā ako. I tua atu, ko te angitu o enei anga puta noa i nga momo mahi kua whakaatu ko nga whakaaturanga i whakauruhia e nga tauira reo kua whakangungua i mua i te whakangungu e mau ana i nga tikanga oro, ahakoa he iti te pai o te mahi o enei tauira, na reira ka haere tonu nga PeFT hei huarahi toi. me te kore taumahatanga taapiri. 

ReFT : Tikanga me te Hangahanga

Kia ngawari ai te tukanga tiaki ahua, ka mau te anga ReFT he tauira nui-whakawhitiwhiti hei tauira whainga e kaha ana ki te whakaputa i nga ahuatanga o te horopaki o te raupapa o nga tohu. Mo te raupapatanga me te n te maha o nga tohu whakauru, ka whakauru tuatahi te anga ReFT i enei tohu whakauru ki roto i te rarangi o nga whakaaturanga e whai ana i nga paparanga m te tatau i te rarangi o nga whakaaturanga huna hei mahi o te rarangi o mua o nga whakaaturanga huna. Ko ia ahua huna he vector, a ka whakamahia e te tauira reo nga whakaaturanga huna whakamutunga hei whakaputa i nga matapae. Ka whai whakaaro te anga ReFT ki nga tauira reo huna me nga tauira reo rererere. Inaianei, e ai ki te whakapae whakakitenga rarangi, i roto i nga whatunga neural, ka whakawaeheretia nga ariā ki roto i nga mokowā iti o nga whakaaturanga. I kitea e nga tauira o tata nei he pono tenei kereme i roto i nga tauira whatunga neural kua whakangungua mo te reo maori me etahi atu tohatoha whakauru. 

I tua atu, i roto i nga rangahau whakamaarama, ka whakamahia e te anga tangohanga wawao nga wawaotanga whakawhiti ki te whakatau i te mahi o nga waahanga whatunga neural i te wa e whakatinana ana i etahi whanonga. Ko te arorau i muri i te wawaotanga whakawhiti ko te mea mena ka whakatikahia e te tangata tetahi tohu ki te ahua o tera mo te whakaurunga whakapae, ka pa ana tenei wawaotanga ki te whakaputanga o te tauira i runga i te ahua o nga kerēme i tukuna e te anga ReFT mo te waahanga te kawenga mo te whakaputa. Ko taua whakaaturanga, ka whai waahi te waahanga i roto i te whanonga. Ahakoa he iti noa nga tikanga, ko te wawaotanga whakawhiti toha te huarahi tino pai ki te whakamatautau mena ka whakawaeheretia tetahi ariā ki roto i te mokowāiti raina o te tohu, e kii ana te whakapae tohu rarangi. I tua atu, kua whakamahia te tikanga DAS i mua ki te rapu tohu rarangi i roto i nga tauira reo o nga huanga hinonga, te karekau, nga ahuatanga reo, me te whakaaro pangarau. Heoi ano, he maha nga whakamatautau kua tohu he tino whakaatu te tikanga DAS, a kei a ia te kaha ki te kimi i nga mokowāiti whai take ahakoa kua arawhiti matapōkeretia te tauira reo whakawhiti, na reira kaore ano kia ako i nga tohu mahi-motuhake, ka puta te tautohetohe mehemea he whai hua te DAS me te kawenga mo nga mahi whakamaarama. 

Ko te whakapuakitanga e tukuna ana e DAS e kii ana he taputapu pai tenei huarahi ki te whakahaere i te whanonga o te tauira reo me ana mahi mo te whakatipuranga ka taea te whakahaere me te whakatika kawenga. Na reira, ki te urutau tauira reo mo nga mahi whakararo, ka whakamahia e te anga ReFT te mahi wawaotanga whakawhiti toha ki te hanga i tetahi tikanga tawhā hou. I tua atu, ko te tikanga ReFT he huinga wawaotanga, a, ka whakamanahia e te anga mo nga wawaotanga e rua e mahi ana i runga i te paparanga kotahi, me wehe nga waahi wawaotanga, me te noho motuhake nga tawhā o nga mahi wawaotanga katoa. Ko te mutunga mai, ko te ReFT he anga whanui e uru ana ki nga wawaotanga mo nga whakaaturanga huna i te wa o te tauira whakamua. 

ReFT: Nga Whakamatau me nga Hua

Hei arotake i ana mahi ki runga i nga anga PEFT o naianei, ka whakahaerehia e te anga ReFT nga whakamatautau puta noa i nga tohu tohu tukatuka reo maori kanorau e wha, me te hipoki i nga huingararaunga 20, ko te whainga tuatahi ko te whakarato pikitia nui mo te mahi a te anga LoReFT i roto i nga ahuatanga rereke. I tua atu, ka whakatinanahia te angamahi LoReFT i roto i te ao tuuturu, me whakatau nga kaiwhakawhanake e hia nga wawaotanga hei ako me nga tuunga whakauru me nga paparanga hei whakamahi ma ia tangata. Hei whakaoti i te mahi, ka whakatangihia e te anga ReFT e wha nga taaraitua. 

1. Te maha o nga tuunga prefix hei wawao. 
2. Te maha o nga tuunga pimuri hei wawao. 
3. He aha te huinga paparanga hei wawao. 
4. Ki te here i nga tawhā wawaotanga ki nga waahi rereke i te paparanga kotahi. 

Ma te mahi i tenei, ka whakangawarihia e te anga ReFT te mokowā rapu parameter, me te whakarite i te utu taapiri taapiri kaore e taurite ki te roa o te tere. 

Ko te ripanga o runga ake nei e whakataurite ana i te tika o nga anga LLaMA-7B me LLaMA-13B ki nga tauira PEFT o naianei puta noa i nga huingararaunga whakaaro whakaaro noa e 8. Ka kitea, he pai ake te tauira LoReFT i nga huarahi PEFT o naianei i runga i te tawhē pai, ahakoa he iti ake nga tawhā, me te whakaatu i te mahinga toharite o nga oma e toru me nga kakano tawhā motuhake mo te tauira LoReFT. Ka tatauhia te param(%) ma te wehewehe i te maha o nga tawhā ka taea te whakangungu me te maha o nga tawhā katoa o te tauira nui turanga. 

Ko te ripanga i runga ake nei e whakarāpopoto ana i te whakatairite tika o nga anga LLaMA-7B me LLaMA-13B ki nga tauira PEFT o naianei puta noa i nga huingararaunga whakaaro tauhanga rereke e 4, me te anga e whakaatu ana i te mahinga toharite o nga oma e toru me nga kakano matapōkere motuhake. Ka taea te kite, ahakoa he iti ake nga parama(%), ka nui ake te mahi a te anga LoReFT i nga anga PEFT o naianei ma te nui noa atu. 

Ko te ripanga i runga ake nei e whakarāpopoto ana i te whakataurite tika o te RoBERTa-base me te RoBERTa-nui ki nga tauira PEFT o naianei puta noa i te tohu tohu GLUE, me te anga e whakaatu ana i te mahinga toharite o nga oma e rima me nga kakano matapōkere motuhake. Ka taea te kite, ahakoa he iti ake nga parama(%), ka nui ake te mahi a te anga LoReFT i nga anga PEFT o naianei ma te nui noa atu. 

Thoughts Final

I roto i tenei tuhinga, kua korerohia e matou mo LoReFT, he rereke kaha ki nga anga PEFT o naianei e whakatutuki ana i nga mahi kaha puta noa i nga tohu tohu mai i nga rohe rereke e wha i te wa e tuku ana ki te 50 nga wa te pai e tukuna ana e nga tauira PEFT o mua. Ko nga tauira nui kua oti te whakangungu i mua i te nuinga o nga wa ka pai te whakamahi mo nga rohe hou, mo nga mahi ranei, a i te wa o te mahi whakatikatika, ka taea te urutau tetahi tauira turanga ki te maha o nga momo mahi ahakoa he iti noa nga raraunga o roto-rohe e waatea ana. ki te tauira. Heoi, ko te mahi whakatikatika i te tauira katoa he pau rawa te utu, he utu nui hoki, ina koa mo nga tauira reo he nui ake te rahi me nga tawhā. Ko nga tikanga whakatika-tikanga-tikanga, PeFT ranei e whakaaro ana ki te tarai i nga utu nui e pa ana ki te whakatikatika pai i te tauira katoa ma te whakahou i te iti noa o nga taumahatanga katoa e waatea ana, he mahinga e awhina ana ki te whakaiti i te wa whakangungu me te whakamahi mahara. Otirā, ka whakatauhia e LoReFT nga mahi hou o te ao mo runga i nga whakaaro mohio, te whai tohutohu, me te mohiotanga reo maori ki nga PEFT tino kaha.