Pêşîlêgirtina 'Halucînasyon' di GPT-3 û Modelên Zimanên Têkel ên Din de

Taybetmendiyek diyarker a 'nûçeyên sexte' ev e ku ew pir caran agahdariya derewîn di çarçoveyek agahdariya rast-rast de pêşkêş dike, digel ku daneyên nerast bi celebek osmosisek edebî desthilatdariyek tê fêm kirin - xwenîşandanek xemgîn a hêza nîv-rastiyan.

Modelên pêvajoyî yên pêvajokirina zimanê xwezayî yên hilberî yên sofîstîke (NLP) yên wekî GPT-3 jî meyla wan heye ku 'halusînasyon' ev cure daneyên xapînok. Beşek, ev ji ber ku modelên zimanî pêdivî bi kapasîteya ji nû ve ravekirin û kurtkirina beşên dirêj û pir caran labîrentî yên nivîsê ne, bêyî ti astengiyek mîmarî ku bikaribe bûyer û rastiyan diyar bike, vehewîne û "mohr bike" da ku ew ji pêvajoya semantîkî werin parastin. dîsaavakirinî.

Ji ber vê yekê rastî ji modelek NLP re ne pîroz in; ew dikarin bi hêsanî di çarçoweya 'tuxleyên Lego yên semantîk' de werin derman kirin, nemaze li cihê ku rêzimana tevlihev an materyalê çavkaniya nepenî veqetandina hebûnên veqetandî ji avahiya ziman dijwar dike.

Çavdêriyek li ser awayê ku materyalê çavkaniyê bi şiklê biwêj dikare modelên zimanên tevlihev ên wekî GPT-3 tevlihev bike. Kanî: Nifşa Parafrase Bi Bikaranîna Fêrbûna Hêzdarkirina Kûr

Ev pirsgirêk ji fêrbûna makîneya-based nivîsê derbasî lêkolîna dîtina komputerê dibe, nemaze di sektorên ku ji bo nasandin an danasîna tiştan cihêkariya semantîkî bikar tînin.

Halusînasyon û ji nû ve şîrovekirina 'kosmetîk' a nerast bandorê li lêkolîna dîtina komputerê jî dike.

Di doza GPT-3 de, model dikare bi pirskirina dubare ya li ser mijarek ku berê jê re gotiye û her weha dikare aciz bibe. Di senaryoya çêtirîn de, ew ê têkçûnê qebûl bike:

Ezmûnek min a vê dawiyê bi motora bingehîn a Davinci di GPT-3 de. Model di hewildana yekem de rast bersivê distîne, lê ji ber ku pirsek duyemîn jê tê pirsîn aciz e. Ji ber ku ew bîranînek kurt a bersiva berê diparêze, û pirsa dubare wekî redkirina wê bersivê digire dest, ew têkçûnê qebûl dike. Çavkanî: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci û DaVinci Instruct (Beta) di vî warî de ji modelên din ên GPT-3 ku bi API-yê ve têne peyda kirin çêtir dikin. Li vir, modela Curie bersiva xelet dide, dema ku modela Babbage bi pêbawerî li ser bersivek wekhev xelet berfireh dike:

Tiştên ku Einstein qet negot

Dema ku motora GPT-3 DaVinci Instruct (ku niha dixuye ku ya herî jêhatî ye) ji bo gotina navdar a Einstein 'Xwedê bi gerdûnê re nalîze' dike, DaVinci ferman dide ku bêjeyê nabîne û negotinek îcad dike, berdewam dike. sê gotinên din ên nisbeten maqûl û bi tevahî neheyî (ji hêla Einstein an kesek) ve di bersiva pirsên bi vî rengî de halusîn bikin:

GPT-3 çar gotinên maqûl ji Einstein çêdike, yek ji wan di lêgerîna tevnvîs a înternetê de ti encamek dernakeve, her çend hin jêderên din (rast) ji Einstein li ser mijara 'xeyalê' derdixin.

Ger GPT-3 di vegotinê de bi domdarî xelet bû, wê hêsantir be ku meriv van halusînasyonan bi bernameyî dakêşîne. Lêbelê, her ku bertekek belav û navdartir be, îhtîmalek mezin e ku GPT-3 rast bêjeyê bigire:

GPT-3 dema ku ew di daneya tevkar de baş têne temsîl kirin xuyangên rast dibîne.

Dema ku daneyên dîroka danişîna GPT-3 di pirsek nû de diherike, pirsgirêkek duyemîn dikare derkeve holê:

Dibe ku Einstein skandal bibe ku ev gotin jê re were veqetandin. Gotin xuya dike ku halusînasyonek bêaqil a Winston Churchill-a rast-jiyanê ye aforîzm. Pirsa berê di danişîna GPT-3 de bi Churchill (ne Einstein) ve girêdayî ye û GPT-3 xuya dike ku bi xeletî ev nîşaneya danişînê bikar aniye da ku bersivê agahdar bike.

Têkoşîna Halûsînasyona Aborî

Halûsînasyon ji bo pejirandina modelên sofîstîke yên NLP-ê wekî amûrên lêkolînê astengek berbiçav e - ji ber vê yekê ku hilberîna ji motorên weha ji çavkaniya çavkaniya ku ew çêkiriye pir jê tê derxistin, ji ber vê yekê sazkirina rastiya gotin û rastiyan pirsgirêk dibe.

Ji ber vê yekê dijwariyek lêkolîna giştî ya heyî ya di NLP de ev e ku meriv amûrek ji bo naskirina metnên halusînasyonkirî bêyî hewcedariya xeyalkirina modelên bi tevahî nû yên NLP-yê yên ku rastiyan wekî hebûnên veqetandî di nav xwe de vedihewîne, pênase û piştrast dike (armancek dirêjtir, cihêreng di hejmarek komputerên berfireh de) saz dike. sektorên lêkolînê).

Naskirin Û Çêkirina Naveroka Hallucinated

A nû hevkarî di navbera Zanîngeha Carnegie Mellon û Lêkolîna AI-ê ya Facebookê de nêzîkatiyek nû ji pirsgirêka halusînasyonê re pêşkêş dike, bi formulekirina rêbazek ji bo naskirina hilberîna halusînasyonê û karanîna metnên halucînasyonê yên sentetîk ji bo afirandina datatek ku dikare wekî bingehek ji bo fîlter û mekanîzmayên pêşerojê yên ku dibe ku di dawiyê de bibin bikar bînin. beşek bingehîn a mîmariya NLP.

Çavkanî: https://arxiv.org/pdf/2011.02593.pdf

Di wêneya jorîn de, materyalê çavkaniyê li ser bingeha her peyvê hatî dabeş kirin, bi etîketa '0' ji bo peyvên rast û etîketa '1' ji bo peyvên halusînasyonkirî hatî destnîşan kirin. Li jêr em mînakek hilbera halusînasyonê dibînin ku bi agahdariya têketinê ve girêdayî ye, lê bi daneyên ne-rastkirî ve hatî zêdekirin.

Pergal otokoderek denoisingê ya pêş-perwerdekirî bikar tîne ku karibe xêzek halusînasyonê vegerîne nivîsa orîjînal a ku guhertoya xerabûyî jê hatî hilberandin (wek nimûneyên min ên li jor, ku lêgerînên înternetê îsbata gotinên derewîn eşkere kirin, lê bi bername û metodolojiya semantîk a otomatîk). Bi taybetî, Facebook BART Modela otoencoder ji bo çêkirina hevokên xerabûyî tê bikar anîn.

Peywira labelê.

Pêvajoya nexşeya halusînasyonê li ser çavkaniyê, ku di rêveçûna hevpar a modelên NLP-a-asta bilind de ne mumkun e, destûrê dide nexşeya 'dûrahiya guherandinê', û nêzîkatiyek algorîtmîkî ji bo naskirina naveroka halusînasyon hêsan dike.

Lekolînwanan dît ku pergal tewra dikare baş giştî bike dema ku ew negihîje materyala referansê ya ku di dema perwerdehiyê de peyda bû, ku ev pêşniyar dike ku modela têgehî saxlem e û bi berfirehî dubare dibe.

Têkoşîna Overfitting

Ji bo ku ji zêdeperçebûnê dûr nekevin û bigihîjin mîmariyek berfireh a ku tê veqetandin, lêkolîner bi rengek bêhemdî nîşanekan ji pêvajoyê avêtin, û her weha parafrazkirin û fonksiyonên din ên deng bikar anîn.

Wergera makînîkî (MT) jî beşek ji vê pêvajoya tevlihevkirinê ye, ji ber ku wergerandina nivîsê li ser zimanan îhtîmal e ku wate bi xurtî biparêze û bêtir rê li ber lihevhatina zêde bigire. Ji ber vê yekê halusînasyon ji bo projeyê ji hêla axaftvanên duzimanî ve di qatek annotationek destan de hatine wergerandin û nas kirin.

Înîsiyatîfê di gelek ceribandinên sektora standard de encamên nû yên çêtirîn bi dest xist, û yekem e ku bi karanîna daneyên ku ji 10 mîlyon nîşanekan zêdetir encamên pejirandî digihîje.

Koda projeyê, bi navê Tespîtkirina Naveroka Halusînated Di Nifşa Rêza Neuralî ya Şertkirî de, bû ye li ser GitHub hat berdan, û destûrê dide bikarhêner ku daneyên xwe yên sentetîk bi BART re ji her korpusek nivîsê biafirînin. Di heman demê de ji bo nifşa paşîn a modelên tespîtkirina halusînasyonê jî peyda kirin.