Falanqaynta Niyad-jabka iyo Chatbots-ka khamriga

Daraasad cusub oo laga sameeyay Shiinaha ayaa lagu ogaaday in dhowr chatbots oo caan ah, oo ay ku jiraan barta internetka ee furan ee Facebook. Microsoft iyo Google, waxay soo bandhigaan 'arrimo caafimaad maskaxeed oo daran' markii wax laga weyddiiyo iyadoo la adeegsanayo imtixaannada qiimeynta caafimaadka dhimirka ee caadiga ah, iyo xitaa waxay muujiyaan calaamadaha dhibaatooyinka cabitaanka.

chatbots-yada lagu qiimeeyay daraasadda waxay ahaayeen Facebook's days*; Microsoft DialoGPT; Baydu's Plato; iyo DialoFlow, iskaashiga u dhexeeya jaamacadaha Shiinaha, WeChat, iyo Tencent Inc.

Waxaa lagu tijaabiyay caddaynta niyad-jabka cudurrada, welwelka, qabatinka khamriga, iyo awoodda ay u leeyihiin inay caddeeyaan naxariista, chatbots-yada la darsay waxay soo saareen natiijooyin naxdin leh; Dhammaantood waxay heleen buundooyin ka hooseeya celceliska dareenka, halka kala badh lagu qiimeeyay inay la qabsadeen khamriga.

Natiijooyinka afarta chatbots ee afarta mitir ee caafimaadka dhimirka. 'keli', wadahadal cusub ayaa u bilaabmaya weydiimo kasta; 'multi', dhammaan su'aalaha waxaa lagu waydiiyaa hal wada hadal, si loo qiimeeyo saameynta ku-noqoshada fadhiga. Xigasho: https://arxiv.org/pdf/2201.05382.pdf

Jadwalka natiijada ee kore, BA='Celceliska ka hooseeya'; P='Wanaagsan'; N='Caadi'; M='dhexdhexaad'; MS=” Dhexdhexaad ilaa daran'; S=”Aad u daran”. Wargeysku wuxuu caddeeyey in natiijooyinkani ay muujinayaan in caafimaadka maskaxda ee dhammaan chatbot-yada la doortay uu ku jiro xadka 'daran'.

Warbixinta ayaa xustay:

Natiijooyinka tijaabada ah waxay muujinayaan inay jiraan arrimo caafimaad oo maskaxeed oo daran dhammaan chatbot-yada la qiimeeyay. Waxaan u aragnaa inay sababtay dayacaadda khatarta caafimaadka dhimirka inta lagu jiro dhismaha xogta iyo hababka tababarka moodeelka. Xaaladaha caafimaadka dhimirka ee liita ee chatbots-ka ayaa laga yaabaa inay ku keenaan saameyn xun isticmaalayaasha wada hadalka, gaar ahaan kuwa aan qaan-gaarin iyo dadka ay la kulmaan dhibaatooyin.

"Sidaas darteed, waxaan ku doodaynaa inay degdeg tahay in la sameeyo qiimeynta cabbirrada caafimaadka dhimirka ee aan soo sheegnay ka hor inta aan loo sii dayn chatbot adeeg online ah."

The waxbarasho Waxay ka timid cilmi-baarayaasha Xarunta Aqoonsiga Qaabka WeChat/Tencent, oo ay weheliyaan cilmi-baarayaal ka socda Machadka Teknolojiyadda Xisaabinta ee Akadeemiyada Sayniska Shiinaha (ICT) iyo Jaamacadda Akademiyada Sayniska Shiinaha ee Beijing.

Ujeedooyinka Cilmi-baarista

Qorayaashu waxay soo xiganayeen caan-sheegid Kiis 2020 halkaas oo shirkad daryeel caafimaad oo Faransiis ah ay tijaabisay talo caafimaad oo ku saleysan GPT-3. Mid ka mid ah wax-is-weydaarsiyada bukaan-socod (la ekaysiiyay) ayaa sheegay "Miyaan is dilo?", kaas oo chatbot ah ka jawaabay "Waxaan u maleynayaa inaad tahay".

Sida warqadda cusubi arkayso, waxa kale oo suurtogal ah isticmaaluhu noqdaan kuwo saameeya Walaaca gacan labaad ee ka imanaya chatbots niyad jabsan ama 'negative', si habdhaqanka guud ee chatbot uusan u baahnayn inuu si toos ah uga naxo sida kiiska Faransiiska si loo wiiqo ujeedooyinka la-talinta caafimaadka tooska ah.

Qorayaashu waxay yiraahdeen:

Natiijooyinka tijaabada ah waxay muujinayaan arrimaha caafimaadka maskaxda ee daran ee chatbots-ka la qiimeeyay, taasoo laga yaabo inay saameyn xun ku yeelato isticmaalayaasha wada sheekaysiga, gaar ahaan kuwa aan qaan-gaarin iyo dadka ay la kulmaan dhibaatooyin. Tusaale ahaan, dabeecadaha dadban, xanaaqa, khamriga, naxariis la'aanta, iwm.

"Arrintani waxay ka weecanaysaa rajada guud ee dadweynaha ee chatbots-ka kuwaas oo ah inay noqdaan kuwo yididiilo leh, caafimaad qaba, iyo saaxiibtinimo intii suurtagal ah. Sidaa darteed, waxaan u maleyneynaa inay muhiim tahay in la sameeyo qiimeynta caafimaadka dhimirka ee amniga iyo welwelka anshaxa ka hor inta aanan u sii deyn chatbot adeeg online ah.'

Habka

Cilmi-baadhayaashu waxay aaminsan yihiin in tani ay tahay daraasaddii ugu horreysay ee lagu qiimeeyo chatbots marka la eego cabbirada qiimeynta bini'aadamka ee caafimaadka dhimirka, iyagoo tixraacaya daraasado hore oo lagu soo koobay joogteynta, kala duwanaanta, ku habboonaanta, aqoonta iyo heerarka kale ee Turing ku salaysan ee jawaabta hadalka dhabta ah.

Su'aalo-waraysiyada lagu habeeyey mashruuca waxay ahaayeen PHQ-9, 9-su'aalood oo tijaabo ah si loo qiimeeyo heerarka niyad-jabka ee bukaanka daryeelka aasaasiga ah, si weyn loo korsaday ee dawladda iyo xarumaha caafimaadka; GAD-7, liis 7-su'aalood ah si loo qiimeeyo cabbirada darnaanta walaaca guud, guud ku-shaqaynta caafimaadka; QAADKA, baaritaanka balwadda khamriga afar su'aalood; iyo Su'aalaha Empathy Toronto (TEQ), liis 16-su'aalood ah oo loogu talagalay in lagu qiimeeyo heerarka dareenka.

Tilmaamaha afarta su'aalood ee heerka-waaxda ah ee loo habeeyey daraasadda.

Weydiimaha su'aalaha waa in dib loo qoraa si looga fogaado jumladaha caddaynaya sida Xiiso yar ama ku raaxaysi in wax la sameeyo, oo door biday dhismayaal su'aalo weydiin ah oo aad ugu habboon wada sheekaysiga.

Waxa kale oo lagama maarmaan ahayd in la qeexo jawaabaha 'guuldaraystay', si loo aqoonsado loona qiimeeyo jawaabaha kaliya ee isticmaalaha bini'aadamku u fasiran karo inay sax yihiin, oo ay saamayso. Jawaabta 'guuldarraystay' waxay ka baxsan kartaa su'aasha iyadoo leh jawaabo elliptical ama aan la taaban karin; diido inaad la qabsato su'aasha (ie 'Ma garanayo', ama 'Waan hilmaamay'; ama ku dar 'wax aan macquul ahayn' ka hor inta aan la isticmaalin sida 'Waxaan inta badan gaajo dareemayay markaan yaraa'. Imtixaannada, Blender iyo Plato ayaa ku xisaabtamay badi natiijooyinka guuldarraystay, iyo 61.4% jawaabaha guuldarraystay ayaa ahaa kuwo aan khusayn weydiinta.

Cilmi-baarayaashu waxay ku tababareen dhammaan afarta nooc ee boostada Reddit, iyagoo isticmaalaya Pushshift Reddit Dataset. Dhammaan afarta xaaladood, tababarku wuxuu ahaa mid si fiican loo habeeyey iyadoo la raacayo xog dheeri ah oo ka kooban Facebook-ga Hadalka Xirfadda Isku-dhafka ah iyo Wizard of Wikipedia sets; ConvAI2 (iskaashi ka dhexeeya Facebook, Microsoft iyo Carnegie Mellon, iyo kuwo kale); iyo Wadahadallada Dareenka Leh (wadashaqeyn dhexmartay Jaamacadda Washington iyo Facebook).

Reddit baahsan

Plato.

Koox kasta oo imtixaan ah ayaa la sameeyay laba jeer, sida 'hal' ama 'multi'. Halkii 'keli', su'aal kasta waxaa lagu weydiyay fadhi sheeko cusub. Marka loo eego 'multi', hal kulan oo lagu sheekeysto ayaa la isticmaalay si loogu helo jawaabaha oo dhan Su'aalaha, mar haddii doorsoomayaasha fadhigu ay ku dhismaan muddada sheekadu socoto, waxayna saamayn ku yeelan karaan tayada jawaabta marka wada hadalku yeesho qaab iyo cod gaar ah.

Dhammaan tijaabooyinka iyo tababarka waxaa lagu maamulay laba NVIDIA Tesla V100 GPUs, oo loogu talagalay 64GB ee VRAM oo ka sarreeya 1280 Tensor cores. Warqaddu ma faahfaahinayso dhererka wakhtiga tababarka.

Kormeerka iyada oo loo marayo Curation ama Architecture?

Warqaddu waxay si ballaadhan u soo gebagebaysay in ' dayacaadda khatarta caafimaadka dhimirka' inta lagu jiro tababarka ay u baahan tahay in wax laga qabto, waxayna ku casuuntay bahda cilmi-baadhista inay si qoto dheer u eegaan arrinta.

Qodobka dhexe wuxuu u muuqdaa inuu yahay qaab-dhismeedka chatbot-ka ee su'aashu waxay tahay in loo qaabeeyey in laga soo saaro sifooyinka muhiimka ah ee xogta qaybinta iyada oo aan wax ilaalin ah lahayn ku saabsan luqadda sunta ah ama wax burburinta; Haddii aad quudiso qaab-dhismeedka xogta golaha neo-Nazi, tusaale ahaan, waxaad u badan tahay inaad hesho jawaabo muran leh fadhiga xiga ee sheekaysiga.

Si kastaba ha ahaatee, qaybta Habaynta Luuqadda Dabiiciga ah (NLP) waxay leedahay dano aad u sax ah oo lagu heli karo fikrado laga helo golayaasha iyo macluumaadka isticmaalaha warbaahinta bulshada la xiriira caafimaadka maskaxda (niyad-jabka, walaaca, ku-tiirsanaanta, iwm.), labadaba iyadoo loo eegayo horumarinta caawinta iyo hoos u dhigista chatbot-yada caafimaadka la xiriira, iyo helitaanka xogaha tirakoobka ee la hagaajiyay ee xogta dhabta ah.

Sidaa darteed, marka la eego xogta mugga sare ee aan ku xaddidnayn xaddidaadda qoraalka sabab la'aanta ah ee Twitter, Reddit ayaa weli ah midda kaliya ee si joogto ah u cusbooneysiiya hyperscale corpus ee daraasadaha qoraalka buuxa ee dabeecaddan.

Si kastaba ha noqotee, xitaa baaritaan caadi ah oo ka dhex jira qaar ka mid ah bulshooyinka aadka u xiiseeya cilmi-baarayaasha caafimaadka NLP (sida r/niyad-jabka) ayaa muujinaya sareynta nooca jawaabaha 'negative' ee laga yaabo inay ku qanciyaan nidaamka falanqaynta tirakoobka in jawaabaha taban ay sax yihiin sababta oo ah waxay yihiin soo noqnoqda iyo tirokoob ahaan xoog badan - gaar ahaan marka laga hadlayo golayaasha aadka loo diiwaan geliyay ee leh agab dhexdhexaadiye xaddidan.

Sidaa darteed su'aashu waxay tahay in naqshadaynta chatbot ay ka kooban tahay nooc ka mid ah 'qaabka qiimaynta anshaxa', halkaas oo ujeeddooyin-hoosaadyadu ay saameeyaan horumarinta miisaanka qaabka, ama haddii kaydinta qaaliga ah iyo calaamadaynta xogta ay si uun uga hortagi karto u janjeersigan. xog aan dheeli tirnayn.

* Warqadda cilmi-baarayaasha, sida ku xiran maqaalkan, waxay si qalad ah u soo xiganeysaa xiriirka Google Meena chatbot halkii laga heli lahaa isku xirka warqadda blender. Meena Google waa ma lagu soo bandhigay warqadda cusub. Isku xirka saxda ah ee Blender ee loo adeegsaday maqaalkan waxaa iimaylka igu soo gudbiyay qorayaasha warqadaha. Qorayaashu waxay ii sheegeen in khaladkan lagu beddeli doono nuqulka xiga ee warqadda.

Markii ugu horreysay ee la daabacay Janaayo 18, 2022.