Google Pergalek Lêpirsînê ya mîna GPT-3, Bê Encamên Lêgerînê Dibîne

Kaxezek nû ji çar lêkolînerên Google re pergalek 'pispor' pêşniyar dike ku karibe bi desthilatdarî bersiva pirsên bikarhêneran bide bêyî pêşkêşkirina navnîşek encamên lêgerînê yên mimkun, mîna paradîgmaya Q&A ku bi hatina GPT-3 di dema borî de bala raya giştî kişandiye. sal.

Ew kaxez, mafdar Lêgerîna ji nû ve fikirîn: Çêkirina Pisporan ji Dilettantes, pêşniyar dike ku standarda heyî ya pêşkêşkirina bikarhêner bi navnîşek encamên lêgerînê re di bersiva lêpirsînê de 'barek naskirî' ye, û di şiyana pergala hilberandina zimanê xwezayî (NLP) de çêtirkirinan pêşniyar dike ku bersivek desthilatdar û teqez peyda bike. .

Di binê modela pêşniyarkirî ya 'pisporê', oracle-a-domainê de, bi hezaran çavkaniyên encamên lêgerînê yên muhtemel dê li şûna ku bi eşkere wekî çavkaniyek lêgerînê peyda bibin ji bo bikarhêneran ku ji bo xwe binirxînin û rêve bibin, dê di modelek zimanî de werin hilanîn. Çavkanî: https://arxiv.org/pdf/2105.02274.pdf

Kaxez, ku ji hêla Donald Metzler ve li Lêkolîna Google-ê ve hatî rêve kirin, di celebê bersivên oracle yên pir-domîn de ku niha dikarin ji modelên zimanê xwerû-regresîv ên fêrbûna kûr ên mîna GPT-3 werin wergirtin, çêtirkirinên pêşniyar dike. Pêşveçûnên sereke yên ku têne pêşbînîkirin ev in a) ku model dê bikaribe bi duristî çavkaniyên ku bersivê agahdar kirine binav bike, û b) ku modêl dê were asteng kirin.halusînasyon' bersivên an dahênana maddeya çavkaniyê ya neheyî, ku niha bi mîmariyên weha re pirsgirêkek e.

Perwerde û Kapasîteyên Pir-Domain

Wekî din, modela zimanê pêşniyarkirî, ku di kaxezê de wekî 'Modelek Yekane ji bo Hemî Karên Vegerandina Agahdariyê' tê binavkirin, dê li ser cûrbecûr domanan, di nav de wêne û nivîs, were perwerde kirin. Di heman demê de ew ê hewce bike ku têgihiştinek der barê pêşandana zanînê de, ku di mîmarên şêwaza GPT-3 de tune ye.

'Ji bo ku îndeks bi modelek yekbûyî û yekgirtî veguhezînin, divê model bi xwe jî bi heman awayê ku nîşaneyên kevneşopî dikin xwediyê zanîna gerdûnî ya nasnameyên belgeyê be. Rêyek ji bo pêkanîna vê yekê dûrketina ji LM-yên kevneşopî û berbi modelên korpusê ye ku bi hev re têkiliyên term-term, term-belge, û belge-belge model dikin.'

Di wêneya jor de, ji kaxezê, sê nêzîkatî di bersiva lêpirsînek bikarhêner de: çep, modelên zimanî yên ku di encamên lêgerîna algorîtmîkî yên Google de têne destnîşan kirin 'bersiva herî baş' hilbijartiye û pêşî lê daye, lê ew wekî encama herî jorîn ji gelekan re hiştine. Navend, bersivek danûstendinê ya şêwaza GPT-3, ku bi desthilatdariyê re diaxive, lê îdiayên xwe rast nake an jêderan vedibêje. Rast e, pergala pisporê ya pêşniyarkirî 'bersiva herî baş' ji encamên lêgerîna rêzkirî rasterast di bersivek dîdaktîk de vedihewîne, bi navgînên jêrîn ên bi şêwaza akademîk (di wêneya orîjînal de nayên xuyang kirin) çavkaniyên ku bersivê agahdar dikin destnîşan dikin.

Rakirina Encamên Jehr û Nerast

Lekolînwan destnîşan dikin ku xwezaya dînamîk û bi domdarî nûvekirî ya navnîşên lêgerînê dijwariyek e ku bi tevahî di modelek fêrbûna makîneyê ya bi vî rengî de were dubare kirin. Mînakî, li cihê ku çavkaniyek yekcar pêbawer rasterast di nav têgihîştina modelê ya cîhanê de hatî perwerde kirin, rakirina bandora wê (mînak, piştî ku ew bêrûmet kirin) dibe ku ji tenê rakirina URLek ji SERP-ê dijwartir be, ji ber ku têgehên daneyê dikarin bibin di dema asîmîlasyonê de di perwerdehiyê de razber û bi berfirehî tê temsîl kirin.

Wekî din, pêdivî ye ku modelek wusa bi domdarî were perwerde kirin da ku ji gotar û weşanên nû re heman astê bersivdayînê peyda bike ku niha ji hêla çavkaniya domdar a Google ve hatî peyda kirin. Bi bandor ev tê wateya domdar û otomatîk, berevajî rejîma heyî, ku guhertinên piçûk di giranî û mîhengên algorîtmaya lêgerîna forma belaş de têne kirin, lê algorîtma bixwe bi gelemperî kêm caran tê nûve kirin.

Ji bo Oracle Pisporek Navendî Êrîşî Rûberan bikin

Modelek navendîkirî ku bi domdarî daneyên nû asîmîle dike û gelemperî dike dikare rûyê êrîşê ji bo lêpirsînên lêgerînê veguhezîne.

Heya nuha, êrîşkarek dikare bi bidestxistina pileyek bilind ji bo domên an rûpelên ku agahdariya xelet an kodek xirab dihewîne sûd werbigire. Di bin sîwana orokek 'pispor' a neşefaftir de, fersenda beralîkirina bikarhêneran berbi domanan ve pir kêm dibe, lê îhtîmala derzkirina êrîşên daneya jehrîn pir zêde dibe.

Ji ber vê yekê ye ku pergala pêşniyarkirî algorîtmaya rêzkirina lêgerînê ji holê ranake, lê wê ji bikarhêner vedişêre, bi bandor pêşengiya encama/ên jorîn otomatîk dike, û wê (an wan) di nav daxuyaniyek dîdaktîk de vedişêre. Bikarhênerên xerab ji zû ve dikarin êrişên li dijî algorîtmaya lêgerîna Google-ê saz bikin berhemên sexte difiroşin, bikarhênerên rasterast ji bo domên malware-belavker, an jî ji bo armancên manîpulasyona siyasî, di nav gelek rewşên karanîna din de.

Ne AGI

Lekolînwan tekez dikin ku pergalek weha ne mimkûn e ku wekî Istixbarata Giştî ya Hunerî (AGI) were binav kirin, û îhtîmala bersivkerek pisporê gerdûnî di çarçoweya prosesa zimanê xwezayî de cîh bike, li gorî hemî kêşeyên ku modelên weha niha rû bi rû dimînin.

Kaxez pênc hewcedariyên ji bo bersivek 'kalîteya bilind' destnîşan dike:

1: Desthilatdarî
Mîna ku bi algorîtmayên rêzgirtinê yên heyî re, xuya dike ku 'desthilatî' ji vegotina ji qadên qalîteya bilind ên ku bi xwe wekî desthilatdar têne hesibandin têne derxistin. Lêkolîner çavdêr dikin:

'Pêdivî ye ku bersiv bi kişandina ji çavkaniyên pir desthilatdar naverokê çêbikin. Ev sedemek din e ku çima avakirina girêdanên zelaltir di navbera rêzikên peyvan û metadata belgeyê de ew qas girîng e. Ger hemî belgeyên di korpusê de bi pîvanek desthilatdar-desthilatdar werin destnîşan kirin, divê ev pûan dema perwerdekirina modelê, çêkirina bersivan, an jî herduyan li ber çavan were girtin.'

Her çend lêkolîner pêşniyar nakin ku encamên SERP-ên kevneşopî ne amade bibin ger ku şîretek pispor a bi vî rengî bikêrhatî û populer were dîtin, tevahî kaxez pergala rêzkirina kevneşopî, û navnîşên encamên lêgerînê, di ronahiya 'deh salan de pêşkêş dike. Pergala wergirtina agahdariya kevn û kevnar.

'Rastiya ku rêzkirin pêkhateyek krîtîk a vê paradîgmayê ye, nîşanek pergala vegerandinê ye ku ji bikarhêneran vebijarkek bersivên potansiyel peyda dike, ku bargiraniyek naskirî ya berbiçav li ser bikarhêner çêdike. Daxwaza vegerandina bersivan li şûna navnîşên rêzkirî yên encaman yek ji faktorên motîvasyonê bû ji bo pêşxistina pergalên bersivdana pirsê. '

2: Zelalbûn
Lêkolîner şîrove dikin:

"Gava ku gengaz be, divê çavkaniya agahdariya ku ji bikarhêner re tê pêşkêş kirin ji wan re were peyda kirin. Ma ev çavkaniya bingehîn a agahdariyê ye? Ger na, çavkaniya bingehîn çi ye?'

3: Desthilatdariya Bias
Kaxez destnîşan dike ku modelên ziman ên pêş-perwerdekirî ne ji bo nirxandina rastiya ampîrîkî, lê ji bo gelemperîkirin û pêşîgirtina meylên serdest di daneyan de hatine çêkirin. Ew qebûl dike ku ev rêwerz modela êrîşê vedike (wek ku bi Microsoft-ê re çêbû chatbotê nijadperest bê mebest di sala 2016 de), û ku pergalên alîkar dê hewce bibin ku li hember bersivên pergalê yên bi vî rengî yên alîgir biparêzin.

4: Çalakkirina Nêrînên Cûda
Kaxez di heman demê de mekanîzmayên ji bo misogerkirina pirjimariya nêrînan jî pêşniyar dike:

'Divê bersivên çêkirî cûrbecûr perspektîfên cihêreng temsîl bikin lê divê polar nebin. Mînakî, ji bo pirsên derbarê mijarên nakok de, divê her du aliyên mijarê bi rengekî adil û hevseng werin girtin. Ev eşkere ye ku bi modelê ve girêdayî ye.'

5: Zimanê gihîştî
Ji bilî peydakirina wergerên rast di rewşên ku bersiva otorîter tê hesibandin bi zimanek cûda ye, kaxez pêşniyar dike ku bersivên dorpêkirî divê 'bi şertên zelal-wek gengaz bêne nivîsandin'.