La tacaalida dhalanteedka ee Noocyada Luuqadaha Waaweyn: Sahanka Farsamooyinka Goynta

Moodooyinka luqadaha waaweyn (LLMs) sida GPT-4, PaLM, iyo Llama waxay fureen horumar la taaban karo oo ku saabsan awoodaha abuurista luqadda dabiiciga ah. Si kastaba ha ahaatee, caqabada joogtada ah ee xaddidaysa isku halayntooda iyo diritaankooda badbaadada leh ayaa ah rabitaankooda ah in ay dhalanteed - soo saarista nuxur u muuqata mid isku xidhan laakiin xaqiiqa ahaan khaldan ama aan salka ku hayn macnaha guud.

Marka LLMs ay sii wadaan inay u koraan awood badan iyo meel kasta oo ka mid ah codsiyada adduunka dhabta ah, wax ka qabashada mala-awaalka waxay noqotaa lama huraan. Maqaalkani wuxuu bixiyaa dulmar guud oo ku saabsan farsamooyinkii ugu dambeeyay ee cilmi-baarayaashu ay soo bandhigeen si loo ogaado, loo qiyaaso, oo loo yareeyo dhalanteedka LLMs.

Fahamka dhalanteedka ee LLMs

dhalanteedka waxa loola jeedaa khaladaadka dhabta ah ama been abuurka ay abuureen LLMs ee aan ku salaysnayn xaqiiqda ama macnaha guud. Tusaalooyinka qaarkood waxaa ka mid ah:

• Abuuritaanka tafaasiisha taariikh nololeedka ama dhacdooyinka aan lagu caddayn agabka marka la abuurayo qoraal ku saabsan qofka.
• Bixinta la-talin caafimaad oo khaldan iyadoo la isku xirayo waxyeellooyinka daawada ama hababka daaweynta.
• Isku-dubbarid aan jirin xog, daraasado ama ilo lagu taageerayo sheegashada.

Dhacdadani waxay soo ifbaxday sababtoo ah LLM-yada waxaa lagu tababaray xaddi aad u badan oo xogta qoraalka onlaynka ah. Iyadoo tani ay u ogolaanayso inay helaan awoodo qaabaynta luqadeed oo xoogan, waxay sidoo kale ka dhigan tahay inay bartaan inay macluumaadka ka fogeeyaan, sameeyaan boodboodo macquul ah, oo ay buuxiyaan daldaloolada qaab u muuqda mid lagu qanci karo laakiin laga yaabo inuu yahay marin habaabin ama khalad.

Qaar ka mid ah arrimaha muhiimka ah ee mas'uul ka ah dhalanteedka waxaa ka mid ah:

• Guud ahaan qaabka - LLM-yadu waxay aqoonsadaan oo kordhiyaan qaababka xogta tababarka oo laga yaabo inaysan si fiican u soo koobin.
• Aqoon duugowday - Tababarka hore ee joogtada ahi waxa uu ka hortagayaa isku dhafka macluumaadka cusub.
• Xoriyad - Dalabyo aan caddayn ayaa u oggolaanaya qolal malo-awaal khaldan.
• Ku-dhaqanka - Qaababka ayaa sii waara oo kor u qaada aragtiyada qalloocan.
• Dhulka aan ku filnayn - Faham la'aanta iyo caqli-galku waxay ka dhigan tahay moodooyinka soo saaraya waxyaabo aysan si buuxda u fahmin.

Wax ka qabashada mala-awaalka waxay muhiim u tahay keenista la aamini karo ee meelaha xasaasiga ah sida daawada, sharciga, maaliyadda iyo waxbarashada halkaas oo abuurista macluumaad khaldan ay u horseedi karto waxyeelo.

Taxonomy ee Farsamooyinka yaraynta dhalanteedka

Cilmi-baarayaashu waxay soo bandhigeen farsamooyin kala duwan si loola dagaallamo dhalanteedka ee LLMs, kuwaas oo loo kala saari karo:

1. Injineerin degdeg ah

Tani waxay ku lug leedahay si taxadar leh u samaynta dhiirigelin si ay u bixiso macnaha guud oo ay ku hagto LLM dhanka jawaabaha dhabta ah, salka ku haya.

• Kordhinta soo celinta - Soo celinta caddaynta dibadda ee nuxurka dhulka.
• wareegyada jawaab celinta - Si isdaba joog ah u bixinta jawaab celin si loo hagaajiyo jawaabaha.
• Hagaajinta degdega ah - Hagaajinta dhiirigelinta xilliga hagaajinta habdhaqanka la rabo.

2. Horumarinta Model

Abuuritaanka moodallo si dabiici ah ugu nugul dhalanteed iyada oo loo marayo isbeddellada qaab dhismeedka.

• Xeeladaha dejinta - Abuurista qoraalka siyaabo kordhinaya daacadnimada.
• Aasaaska aqoonta - Isku-dhafka saldhigyada aqoonta dibadda.
• Shaqooyinka khasaare cusub - Wanaajinta daacadnimada inta lagu jiro tababarka.
• hagaajinta wanaagsan ee la kormeerayo -Isticmaalka xogta bini'aadmigu calaamadisay si kor loogu qaado xaqiiqada.

Marka xigta, waxaanu sahaminaynaa farsamooyinka caanka ah ee hoos yimaada hab kasta.

Farsamooyinka Yaraynta Dhalanteed ee xusid mudan

Soo Celinta Jiilka La Kordhiyay

Soo celinta jiilka la kordhiyey waxay wanaajisaa LLM-yada iyadoo dib u soo celinaysa oo ay shuruud uga dhigayso jiilka qoraalka dukumeentiyada caddaynta dibadeed, halkii ay ku tiirsanaan lahaayeen oo keliya aqoonta daahsoon ee moodeelka. Tani waxay sabab u tahay waxa ku jira macluumaadka ugu dambeeyay, macluumaadka la xaqiijin karo, yaraynta mala-awaalka.

Farsamooyinka caanka ah waxaa ka mid ah:

• RAAG - Wuxuu adeegsadaa module dib-u-soo-celin ah oo siinaya tuducyo khuseeya qaabka seq2seq si uu uga soo saaro. Labada qayboodba waxa loo tababaray dhammaad-ilaa-dhammaad.
• RARR - Waxay shaqaalaysaa LLM-yada si ay u baadhaan sheegashooyinka aan loo nisbayn ee qoraalka la soo saaray oo dib u eegis ku sameeyo si ay ula jaan qaadaan caddaynta la soo saaray.
• Soo Celinta Aqoonta - Waxay xaqiijisaa jiilalka aan hubin iyadoo la adeegsanayo aqoonta la soo saaray ka hor intaysan soo saarin qoraalka.
• LLM-Augmenter - Si isdaba joog ah u baadha aqoonta si loo dhiso silsilado caddayn ah oo loogu talagalay kicinta LLM.

Jawaab-celinta iyo Sababta

Ka faa'iidaysiga jawaab celinta luqadda dabiiciga ah ee soo noqnoqda ama is-fakerku waxay u oggolaanaysaa LLM-yada inay hagaajiyaan oo ay hagaajiyaan wax soo saarkooda bilowga ah, yaraynta dhalanteedka.

CoV wuxuu shaqeeyaa silsilad farsamo xaqiijin ah. LLM ayaa marka hore diyaariya jawaabta su'aasha isticmaalaha. Kadib waxay soo saartaa su'aalo xaqiijin kara si ay xaqiiqadu u hubiso jawaabteeda, iyada oo ku saleysan kalsoonida ay ku qabto odhaahyada kala duwan ee la sameeyay. Tusaale ahaan, jawaabta sharraxaysa daawaynta cusub, CoVe waxa laga yaabaa inay dhaliso su'aalo ay ka mid yihiin "Waa maxay heerka waxtarka daawaynta?", "Miyey heshay oggolaansho sharciyeed?", "Waa maxay waxyeellooyinka ka iman kara?". Muhiimad ahaan, LLM wuxuu markaa isku dayaa inuu si madax-banaan uga jawaabo su'aalahan xaqiijinta isagoon dhinacna u xaglin jawaabtiisa hore. Haddii jawaabaha su'aalaha xaqiijinta ay khilaafaan ama aysan taageeri karin odhaahda lagu sheegay jawaabtii asalka ahayd, nidaamku wuxuu tilmaamayaa kuwa laga yaabo inay dhalanteed yihiin oo wuxuu hagaajiyaa jawaabta ka hor inta aan loo bandhigin isticmaalaha.

DRESS waxay diiradda saartaa hagaajinta LLM-yada si ay si fiican ula jaanqaadaan dookhyada aadanaha iyada oo loo marayo jawaab celinta luqadda dabiiciga ah. Habkani wuxuu u oggolaanayaa isticmaalayaasha aan khubarada ahayn inay bixiyaan naqdiyo bilaash ah oo ku saabsan jiilalka moodeelka, sida "Dhibaatooyinka aan soo sheegnay waxay u muuqdaan kuwo la buunbuuniyey" ama tilmaamaha hagaajinta sida "Fadlan sidoo kale kala hadal waxtarka kharashka". DRESS waxay isticmaashaa barashada xoojinta si ay u tababarto moodooyinka si ay u dhaliso jawaabo ku xidhan jawaab celintan oo si fiican ula jaanqaadi karta dookhyada aadanaha. Tani waxay wanaajisaa isdhexgalka iyadoo yaraynaysa hadalada aan xaqiiqada ahayn ama aan la taageerin.

MixAlign wax ka qabta xaaladaha ay isticmaalayaashu ku weydiiyaan su'aalo aan si toos ah ula socon tuducyada caddaynta ee nidaamku soo saaray. Tusaale ahaan, isticmaaluhu wuxuu ku weydiin karaa "Wasakhowga ma ka sii dari doonaa Shiinaha?" halka tuducyada la soo saaray ay ka hadlayaan isbeddelada wasakhda adduunka. Si looga fogaado dhalanteedka macnaha guud ee aan ku filnayn, MixAlign wuxuu si cad ugu caddeeyaa isticmaalaha marka aanu hubin sida loola xidhiidhinayo su'aalahooda macluumaadka la soo saaray. Habkan bini'aadamka-in-loop-ka ah wuxuu u oggolaanayaa helitaanka jawaab-celinta si sax ah loo dejiyo oo loo habeeyo caddaynta, ka hortagga jawaabaha aan sal lahayn.

The Is-milicsiga farsamadu waxay tababartaa LLM-yada si ay u qiimeeyaan, uga bixiyaan jawaab celin, oo si isdaba joog ah u hagaajiyaan jawaabahooda iyaga oo isticmaalaya hab hawlo badan leh. Tusaale ahaan, marka la siiyo jawaabta loo soo saaray waydiinta caafimaadka, moodeelku waxa uu bartaa in uu dhaliyo saxnimadeeda dhabta ah, aqoonsado hadal kasta oo iska soo horjeeda ama aan la taageerin, oo uu tafatiro kuwa isaga oo soo celiya aqoonta ku habboon. Marka la baro LLMs wareegga jawaab celinta ee hubinta, dhaleeceynta iyo hagaajinta wax soo saarkooda, habka ayaa yareynaya dhalanteedka indho la'aanta.

Daawaynta degdega ah

Hagaajinta degdega ah waxay ogolaataa hagaajinta tilmaamaha tilmaamaha ee la siiyo LLMs inta lagu jiro hagaajinta habdhaqanka la rabo.

The SynTra Habka waxa uu shaqaaleeyaa hawsha soo koobida synthetic si loo yareeyo dhalanteedka ka hor inta aan qaabka loo wareejin xogta koobitaanka dhabta ah. Hawsha synthetic waxay bixisaa tuducyo wax gelin ah waxayna waydiisaa moodooyinka inay ku soo koobaan soo saarid kaliya, iyada oo aan la soo koobin. Tani waxay ku tababartaa moodooyinka inay si buuxda ugu tiirsanaadaan waxyaabaha laga keenay halkii ay ka dhalan lahaayeen macluumaad cusub inta lagu jiro soo koobida. SynTra waxa la tusaa in ay yarayso arrimaha dhalanteedka marka moodallo si fiican loo habeeyey la geeyo hawlaha bartilmaameedka ah.

Kacsan waxa uu tababaraa soo-celinta degdega ah ee caalamiga ah kaas oo siinaya dhaqsaha jilicsan ee ugu fican ee barashada dhawr xabbadood oo ku saabsan hawlaha hoose ee aan la arkin. Soo celinta dardargelinta wax ku oolka ah ee lagu hagayo hawlo kala duwan, moodeelku wuxuu bartaa si guud oo uu ula qabsado hawlaha cusub ee ay ka maqan tahay tusaalooyinka tababarka. Tani waxay kor u qaadaysaa waxqabadka iyada oo aan loo baahnayn hagaajin hawl gaar ah.

Qaab dhismeedka Novel Model Architectures

FIICAN waa nidaam diirada saaraya caawinta baarayaasha iyo ansaxayaasha. Waxay si toos ah u aqoonsanaysaa sheegashooyinka dhabta ah ee suurtagalka ah ee lagu xaqiijin karo qoraal la bixiyay. FLEEK waxay u beddeshaa odhaahyada jeegaynta u qalma su'aalo, waxay ka soo saartaa cadaymaha la xidhiidha saldhigyada aqoonta, waxayna siisaa xogtan macnaha guud saxayaasha bini'aadamka si ay si wax ku ool ah u xaqiijiyaan saxsanaanta iyo baahiyaha dib u eegista.

The CAD Habka kala-dejinta waxay yaraynaysaa dhalanteedka ee jiilka luqadda iyada oo loo marayo qeexidda macnaha guud. Gaar ahaan, CAD waxay kordhisaa kala duwanaanshaha u dhexeeya qaybinta wax soo saarka LLM marka lagu xidho xaalad ka soo horjeedda si shuruud la'aan ah. Tani waxay niyad jabinaysaa caddaynta is burinaysa, iyada oo u jihaynaysa tusaalaha jiilalka salka ku haya.

DoLA waxa ay yaraynaysaa dhalanteedka xaqiiqada ah iyada oo ka soo horjeeda logits-ka lakabyada kala duwan ee shabakadaha transformer-ka. Maadaama aqoonta dhabta ahi ay u janjeerto in lagu soo koobo lakabyo dhexe oo gaar ah, kordhinta calaamadaha lakabyadaas xaqiiqada ah iyada oo loo marayo isbarbardhigga DoLA-da waxay yaraynaysaa jiilalka xaqiiqada ah ee khaldan.

The THAM qaab-dhismeedku waxa uu soo bandhigaa erey habayneed inta lagu jiro tababarka si loo yareeyo macluumaadka wadaagga ah ee u dhexeeya wax-soo-saarka iyo wax-soo-saarka dhalanteed. Tani waxay gacan ka geysaneysaa kordhinta ku tiirsanaanta moodeelka ee macnaha guud ee la soo geliyay halkii ay ka ahaan lahayd mala-awaal aan la isku xirin, taasoo yareyneysa indho la'aanta.

Asalkii aqoonta

Ku-dhisidda jiilalka LLM ee aqoonta habaysan waxay ka hortagtaa mala-awaal iyo been-abuur aan xad lahayn.

The RHO moodeelku waxa uu tilmaamayaa hay'adaha ku jira macnaha wada hadalka oo waxa uu ku xidhaa garaafka aqoonta (KG). Xaqiiqooyinka la xidhiidha iyo xidhiidhada ku saabsan hay'adahaas ayaa laga soo saaray KG waxaana lagu daray macnaha guud ee la siinayo LLM. Hagida macnaha guud ee aqoonta leh waxay yaraynaysaa dhalanteedka wada hadalka iyadoo lagu ilaalinayo jawaabaha ku xidhan xaqiiqooyinka salka ku haya dhacdooyinka/dhacdooyinka la sheegay.

HAR abuuraa xog-ururin tabobarro liddi ku ah oo ka kooban sawir-qaadis-qaab-abuur si loo baro sida ugu wanaagsan ee loo dhigo. Marka la eego marin dhab ah, moodooyinka waxaa lagu dhiirigeliyaa inay soo bandhigaan dhalanteedyo ama qallooc keenaya nooc been ah oo la beddelay. Hagaajinta xogtan waxay ku qasabtaa moodooyinka inay si fiican u helaan nuxurka asalka ah ee ilaha dhabta ah, yaraynta hagaajinta.

Hagaajinta Fine ee la kormeero

• Tababaraha - Qaab-dhismeedka is-dhexgalka kaas oo ka jawaabaya weydiimaha isticmaalaha laakiin sidoo kale weydiiya sixid si loo hagaajiyo.
• R-Tuning - Daawaynta diidmada-ogaanshaha waxay diidaysaa su'aalaha aan la taageerin ee lagu aqoonsaday farqiga aqoonta-tababarka.
• QAADO - Habka dejinta ee qiimaynaya jiilalka iyadoo lagu salaynayo sida wanaagsan ee malo-awaaluhu u taageeraan xaqiiqooyinka gelinta.

Caqabadaha iyo Xadka

In kasta oo uu jiro horumar rajo leh, caqabadaha muhiimka ah qaarkood ayaa weli ku jira yaraynta mala-awaalka:

• Farsamooyinka inta badan waxay ka beddelaan tayada, isku xirnaanta iyo hal-abuurka si dhab ah.
• Ku adkaanta qiimaynta adag ee ka baxsan meelaha xaddidan. Metrics ma qabtaan dhammaan nuucyada.
• Habab badan ayaa xisaab ahaan qaali ah, una baahan dib u soo celin ballaaran ama is-faham.
• Waxay si weyn ugu xiran tahay tayada xogta tababarka iyo ilaha aqoonta dibadda.
• Way adagtahay in la dammaanad qaado guud ahaan qaybaha iyo hababka.
• Xididdada aasaasiga ah ee dhalanteed sida xad-dhaafka ah ayaa weli aan la xalin.

Wax ka qabashada caqabadahan waxay u badan tahay inay u baahan tahay habab badan oo isku dhafan oo la isku darayo kobcinta xogta tababarka, hagaajinta qaab dhismeedka qaab dhismeedka, khasaaraha kor u qaadaya daacadnimada, iyo farsamooyinka wakhti-garashada.

Wadada Waddada

Yaraynta dhalanteedka ee LLMs ayaa weli ah mushkilad cilmi-baaris oo furan oo leh horumar firfircoon. Qaar ka mid ah tilmaamaha mustaqbalka ee mustaqbalka waxaa ka mid ah:

• Farsamooyinka isku-dhafka ahIsku-dubarid habab dhammaystiran sida dib-u-soo-saarid, aqoon-dhisidda iyo jawaab-celinta.
• Qaabaynta sababta: Kobcinta fahamka iyo sababaynta.
• Is dhexgalka aqoonta onlaynka ahAqoonta adduunka ha la cusbooneysiiyo.
• Xaqiijinta rasmiga ah: Bixi dammaanad xisaabeed oo ku saabsan dabeecadaha moodeelka.
• FasiraaddaDhis daahfurnaanta farsamooyinka yaraynta.

Maaddaama LLM-yadu ay ku sii fidayaan dhammaan aagagga saamiga sare leh, samaynta xalal adag oo lagu dhimayo mala-awaalka ayaa fure u noqon doona hubinta ammaankooda, anshaxooda iyo kuwa la isku halayn karo. Farsamooyinka lagu sahamiyay maqaalkani waxay bixiyaan dulmar guud oo ku saabsan farsamooyinka la soo jeediyay ilaa hadda, halkaasoo caqabado cilmi-baaris oo badan oo furan ay weli jiraan. Guud ahaan waxa jira isbeddel togan oo ku wajahan kor u qaadida xaqiiqada tusaalaha, laakiin horumarka sii socdaa waxa uu u baahan yahay wax ka qabashada xaddidnaanta iyo sahaminta jihooyin cusub sida sababaha, xaqiijinta, iyo hababka isku-dhafka ah. Dadaal adag oo ka yimaada cilmi-baarayaasha qeybaha kala duwan, riyada LLM-yada xoogga badan ee la aamini karo ayaa loo turjumi karaa xaqiiqo.