Skilvirkar fínstillingar eða PeFT aðferðir leitast við að aðlaga stór tungumálalíkön með uppfærslum að fáum lóðum. Hins vegar hefur meirihluti núverandi túlkunarvinnu sýnt fram á að framsetning umritar merkingarríkar upplýsingar, sem bendir til þess að það gæti verið betri og öflugri valkostur til að breyta þessum framsetningum. Forþjálfuð stór líkön eru oft fínstillt til að nota fyrir ný lén eða verkefni, og meðan á fínstillingarferlinu stendur er hægt að laga eitt grunnlíkan að margs konar verkefnum jafnvel með aðeins lítið magn af gögnum innan lénsins tiltækt. að fyrirmyndinni. Hins vegar er ferlið við að fínstilla heilt líkan auðlindafrekt og dýrt, sérstaklega fyrir tungumálalíkön með umtalsvert fleiri stærðir og færibreytur. 

Skilvirkar fínstillingar eða PeFT aðferðir leggja til að takast á við háan kostnað sem fylgir fínstillingu á öllu líkaninu með því að uppfæra aðeins lítið magn af heildarþyngdinni sem er tiltækt, ferli sem hjálpar til við að draga úr þjálfunartíma ásamt minnisnotkun. Það sem er mikilvægara er að færibreytuhagkvæm fínstilling eða PeFT aðferðir hafa sýnt svipaða frammistöðu og fínstilling í nokkrum hagnýtum stillingum. Millistykki, algeng fjölskylda færibreytuhagkvæmrar fínstillingar eða PeFT aðferða, læra breytingar sem hægt er að bæta við viðbótarsett af lóðum sem starfa samhliða frosnu grunnlíkaninu, þar sem nýleg millistykki eins og LoRA draga úr fjölda þjálfanlegra færibreyta í lærðum þyngdaruppfærslur með því að nota lágstiga nálgun í stað fullþyngdarfylkis við þjálfun á millistykki. 

Með fyrri verkum sem sýna að klippingarmyndir gætu verið betri valkostur við færibreytuhagkvæma fínstillingu eða PeFT aðferðir, í þessari grein munum við tala um Representation Fine-tuning eða ReFT aðferðir sem starfa á frosnu líkani og læra verkefnissértæka afskipti af duldum framsetningum. Þessi grein miðar að því að fjalla ítarlega um ReFt eða Representation Fine-tuning ramma og við könnum gangverkið, aðferðafræðina, arkitektúr rammans ásamt samanburði við nýjustu ramma. Svo skulum við byrja. 

ReFT: Fínstilling á framsetningu fyrir tungumálalíkön

Til að reyna að samþykkja fyrirfram þjálfuð tungumálalíkön á ný svið og verkefni, fínstilla núverandi rammar þessi fyrirfram þjálfuðu tungumálalíkön oft þar sem með fínstillingarferlinu er hægt að aðlaga eitt grunnlíkan að ýmsum verkefnum, jafnvel þegar unnið er með lítið magn af gögnum innan léns. Þrátt fyrir að fínstillingarferlið auki heildarafköst, þá er það dýrt ferli, sérstaklega ef tungumálalíkanið hefur verulega mikinn fjölda breytu. Til að takast á við þetta mál og draga úr tilheyrandi kostnaði, PeFT eða Parameter-duglegur fínstilla ramma uppfærðu aðeins lítið brot af heildarþyngdinni, ferli sem dregur ekki aðeins úr þjálfunartímanum, heldur dregur einnig úr minnisnotkun, sem gerir PeFT ramma kleift að ná svipuðum afköstum samanborið við fulla fínstillingaraðferðir í hagnýtum aðstæðum. Millistykki, algeng fjölskylda PeFTs, virka með því að læra breytingar sem hægt er að bæta við viðbótarsett af lóðum ásamt undirmengi lóða sem starfa í takt við grunnlíkanið með frosnum lóðum. Nýleg millistykki ramma eins og LoRA og QLoRA hafa sýnt fram á að hægt er að þjálfa millistykki með fullri nákvæmni ofan á gerðir með minni nákvæmni án þess að það hafi áhrif á frammistöðu. Millistykki eru venjulega skilvirkari og áhrifaríkari í samanburði við aðrar aðferðir sem kynna nýja líkaníhluti. 

Helsti hápunktur núverandi nýjustu færibreytu-hagkvæmra fínstillingaramma er að í stað þess að breyta framsetningu breyta þeir þyngd. Hins vegar hafa rammar sem fjalla um túlkunarhæfni sýnt fram á að framsetning kóðar ríkar merkingarupplýsingar, sem bendir til þess að framsetning klipping gæti verið betri og öflugri nálgun í samanburði við þyngdaruppfærslur. Þessi forsenda þess að framsetning klipping sé betri nálgunin er það sem er grunnurinn að ReFT eða Representation Fine-tuning ramma sem þjálfar inngrip í stað þess að aðlaga líkanþyngd, sem gerir líkaninu kleift að vinna með lítið brot af öllum framsetningum í tilraun til að stýra líkanhegðun til að leysa verkefni eftir á meðan á ályktun stendur. ReFT eða Representation Fínstillingaraðferðir koma í staðinn fyrir þyngdartengda PeFT eða Parameter-hagkvæma fínstillingaramma. ReFT nálgunin sækir innblástur frá nýlegum líkönum sem vinna með túlkanleika stórra líkana sem grípur inn í framsetningu til að finna trúar orsakaaðferðir, og stýrir hegðun líkansins meðan á ályktun stendur, og því má líta á það sem alhæfingu á framsetningu-klippingarlíkönunum. Byggir á því sama, LoReFT eða Low-Rank Subspace ReFT er sterkt og áhrifaríkt dæmi um ReFT, og er breytugreining ReFT sem grípur inn á falda framsetningu í línulegu rýminu sem spannað er af lágstigs vörpun fylki, og byggir beint á DAS eða dreifðri jöfnunarleitarrammi. 

Áfram, öfugt við fulla fínstillingu, þjálfar PeFT eða Parameter-duglegur fínstillingarrammi aðeins lítið brot af færibreytum líkansins og nær að laga líkanið að verkefnum eftir aftan á. Hægt er að flokka færibreytuhagkvæma fínstillingarrammann í þrjá meginflokka:

• Aðferðir sem byggja á millistykki: Aðferðir sem byggja á millistykki þjálfa viðbótareiningar eins og fulltengd lög ofan á forþjálfaða líkanið með frosnum lóðum. Röð millistykki setja íhluti á milli fjöllaga skynjarins eða MLP og LM eða stórra gerða athyglislaga, en samhliða millistykki bæta við einingum við hlið núverandi íhluta. Þar sem millistykki bæta við nýjum íhlutum sem ekki er auðvelt að brjóta saman í núverandi líkanþyngd, valda þeir aukinni byrði við ályktun. 

• LoRA: LoRA, ásamt nýlegum afbrigðum þess, nálgist aukþyngd meðan á þjálfun stendur með því að nota lágstigsfylki og þau þurfa ekki viðbótarkostnað við ályktanir þar sem hægt er að sameina þyngdaruppfærslurnar í líkanið, og það er ástæðan fyrir því að þær eru taldar vera núverandi sterkustu PeFT ramma. 

• Aðferðir sem byggja á skyndibita: Aðferðir sem byggja á skyndibita bæta við mjúkum táknum sem eru frumstilltir af handahófi í inntakið og þjálfa innfellingar þeirra á meðan þyngd tungumálamódelsins er fryst. Frammistaðan sem þessar aðferðir bjóða upp á er oft ekki fullnægjandi í samanburði við aðrar PeFT-aðferðir og þær bera einnig verulegan ályktunarkostnað. 

Í stað þess að uppfæra lóðin, lærir ReFT ramminn inngrip til að breyta litlu broti af heildarframsetningum. Ennfremur hafa nýleg verk um framsetningarverkfræði og virkjunarstýringu sýnt fram á að það að bæta föstum stýrisvögrum við afgangsstrauminn gæti auðveldað að vissu leyti stjórn á fyrirfram þjálfuðum kynslóðum stórra gerða án þess að krefjast auðlindafrekra Fínstilling. Aðrir rammar hafa sýnt fram á að klippingar á framsetningum með lærðri stærðarstærð og þýðingaraðgerð geta reynt að passa saman en ekki farið fram úr þeim árangri sem LoRA millistykki býður upp á á breitt úrval verkefna með færri lærðum breytum. Ennfremur hefur árangur þessara ramma í ýmsum verkefnum sýnt fram á að framsetning sem kynnt er af fyrirfram þjálfuðum tungumálalíkönum hefur ríka merkingarfræði, þó frammistaða þessara líkana sé ekki ákjósanleg, sem leiðir til þess að PeFTs halda áfram sem nýjustu nálgun án frekari ályktunarbyrði. 

ReFT : Aðferðafræði og arkitektúr

Til að halda stílvarðveisluferlinu einfalt, gerir ReFT ramma ráð fyrir stóru líkani sem byggir á spenni sem marklíkan sem er fær um að framleiða samhengisbundna framsetningu á röð tákna. Fyrir tiltekna röð með n fjölda innsláttartákna, fellir ReFT ramminn fyrst þessi inntakstákn inn í lista yfir framsetningar sem m lögin reikna út listann yfir faldar framsetningar í röð sem fall af fyrri lista yfir faldar framsetningar. Hver falin framsetning er vektor og tungumálalíkanið notar endanlega falin framsetningu til að búa til spárnar. ReFT ramminn tekur bæði til grímumálslíkana og sjálfvirkrar mállíköns. Nú, samkvæmt tilgátunni um línulega framsetningu, í tauganetum eru hugtök kóðuð innan línulegra undirrýma framsetninga. Nýlegar gerðir hafa komist að þeirri niðurstöðu að þessi fullyrðing sé sönn í taugakerfislíkönum sem þjálfuð eru á náttúrulegu tungumáli ásamt annarri inntaksdreifingu. 

Ennfremur, í túlkunarrannsóknum, notar frjálslegur abstrakt rammi skiptiinngrip til að koma á hlutverki taugakerfisþátta af frjálsum hætti þegar tiltekin hegðun er innleidd. Rökfræðin á bakvið skiptiinngrip er sú að ef maður festir framsetningu við það sem það hefði verið fyrir gagnvirkt inntak, og þessi inngrip hefur stöðugt áhrif á framleiðslu líkansins á þann hátt sem fullyrðingarnar sem ReFT ramma gerir um þann þátt sem ber ábyrgð á að framleiða þá framsetningu, þá gegnir þátturinn orsakahlutverki í hegðuninni. Þó að það séu nokkrar aðferðir, er dreifð víxlunaríhlutun tilvalin aðferð til að prófa hvort hugtak sé kóðað í línulegu undirrými framsetningar, eins og haldið er fram í línulegri framsetningu tilgátunnar. Ennfremur hefur DAS aðferðin verið notuð áður til að finna línulega framsetningu í tungumálalíkönum á eiginleikum eininga, tilfinningum, tungumálaeiginleikum og stærðfræðilegri röksemdafærslu. Hins vegar hafa nokkrar tilraunir gefið til kynna að DAS aðferðin sé mjög tjáningarmikil og hún býr yfir getu til að finna orsakavirk undirrými, jafnvel þegar breytimálslíkanið hefur verið frumstillt af handahófi, og á því enn eftir að læra neinar verksértækar framsetningar, sem leiðir til rökræða hvort DAS sé skilvirkt og nægilega ábyrgt fyrir túlkunarverkefnum. 

Tjáningin sem DAS býður upp á bendir til þess að nálgunin gæti verið tilvalið tæki til að stjórna hegðun mállíkansins ásamt vinnu þess við stjórnanlega kynslóð og ábyrga klippingu. Þess vegna, til að aðlaga tungumálalíkön að verkefnum eftir strauminn, notar ReFT ramminn dreifða inngripsaðgerð til að gera nýja færibreytu skilvirka aðferð. Ennfremur er ReFT aðferðin sett af inngripum og ramminn framfylgir því að fyrir öll tvö inngrip sem starfa á sama laginu verða inngripsstöðurnar að vera sundurliðaðar, með færibreytur allra íhlutunaraðgerða áfram óháðar. Þar af leiðandi er ReFT almennur rammi sem nær yfir inngrip í falinn framsetningu meðan á framrás líkansins stendur. 

ReFT: Tilraunir og niðurstöður

Til að meta frammistöðu sína í samanburði við núverandi PEFT ramma, gerir ReFT ramma tilraunir á fjórum fjölbreyttum náttúrulegum málvinnsluviðmiðum og nær yfir 20 gagnapakka, með aðalmarkmiðið að gefa ríka mynd af því hvernig LoReFT ramminn virkar við mismunandi aðstæður. Ennfremur, þegar LoReFT ramminn er innleiddur í raunveruleikanum, þurfa verktaki að ákveða hversu mörg inngrip á að læra ásamt inntaksstöðum og lögum til að beita hverjum og einum á. Til að klára verkefnið stillir ReFT ramma fjórar ofbreytur. 

1. Fjöldi forskeytisstaða til að grípa inn í. 
2. Fjöldi viðskeytistaða til að grípa inn í. 
3. Hvaða lag til að grípa inn í. 
4. Hvort binda eigi inngripsfæribreytur milli mismunandi staða í sama lagi eða ekki. 

Með því að gera þetta einfaldar ReFT ramminn leitarrýmið fyrir ofurfæribreytur og tryggir aðeins fastan viðbótarályktunarkostnað sem mælist ekki með lengd hvetjunnar. 

Taflan hér að ofan ber saman nákvæmni LLaMA-7B og LLaMA-13B ramma samanborið við núverandi PEFT módel í 8 skynsemisgagnasettum. Eins og sjá má er LoReFT líkanið betri en núverandi PEFT nálganir með ágætis mun, þrátt fyrir að hafa mun færri færibreytur, þar sem meðalframmistaða þriggja keyrslna er tilkynnt með sérstökum færibreytum fyrir LoReFT líkanið. Param(%) er reiknuð út með því að deila fjölda þjálfanlegra færibreyta með fjölda heildarbreytu grunnlíkansins. 

Taflan hér að ofan dregur saman nákvæmnissamanburð LLaMA-7B og LLaMA-13B ramma á móti núverandi PEFT líkönum yfir 4 mismunandi reikningsröksemdagagnasettum, þar sem ramminn greinir frá meðalframmistöðu þriggja keyrslu með mismunandi tilviljunarkenndum fræjum. Eins og sjá má, þrátt fyrir að hafa mun færri param (%), þá er LoReFT ramma betri en núverandi PEFT ramma umtalsvert. 

Taflan hér að ofan dregur saman nákvæmnissamanburð RoBERTa-base og RoBERTa-stórra ramma á móti núverandi PEFT módelum yfir GLUE viðmiðið, þar sem ramminn greinir frá meðalframmistöðu fimm keyrslna með mismunandi tilviljunarkenndum fræjum. Eins og sjá má, þrátt fyrir að hafa mun færri param (%), þá er LoReFT ramma betri en núverandi PEFT ramma umtalsvert. 

Final Thoughts

Í þessari grein höfum við talað um LoReFT, öflugan valkost við núverandi PEFT ramma sem nær sterkum frammistöðu á viðmiðum frá fjórum mismunandi sviðum á sama tíma og það býður upp á allt að 50 sinnum hagkvæmni sem fyrri nýjustu PEFT módel bjóða upp á. Forþjálfuð stór líkön eru oft fínstillt til að nota fyrir ný lén eða verkefni, og meðan á fínstillingarferlinu stendur er hægt að laga eitt grunnlíkan að margs konar verkefnum jafnvel með aðeins lítið magn af gögnum innan lénsins tiltækt. að fyrirmyndinni. Hins vegar er ferlið við að fínstilla heilt líkan auðlindafrekt og dýrt, sérstaklega fyrir tungumálalíkön með umtalsvert fleiri stærðir og færibreytur. Skilvirkar fínstillingar eða PeFT aðferðir leggja til að takast á við háan kostnað sem fylgir fínstillingu á öllu líkaninu með því að uppfæra aðeins lítið magn af heildarþyngdinni sem er tiltækt, ferli sem hjálpar til við að draga úr þjálfunartíma ásamt minnisnotkun. Athyglisvert er að LoReFT stofnar til nýrrar frammistöðu um skynsemishugsun, leiðbeiningar og náttúrulegan málskilning gegn sterkustu PEFT.