NLP (Pêvajoya Zimanê Xwezayî) çi ye?

Prosesa Zimanê Zimanzanî (NLP) lêkolîn û sepandina teknîk û amûrên ku kompîturan dihêlin ku li ser zimanê mirovan pêvajo bikin, analîz bikin, şîrove bikin û aqil bikin e. NLP qadek navdîsîplîn e û ew teknîkên ku di warên wekî zimannasî û zanistiya komputerê de hatine damezrandin berhev dike. Van teknîkan di konserê de bi AI-ê re têne bikar anîn da ku chatbot û arîkarên dîjîtal ên mîna Google Assistant û Alexa ya Amazon-ê çêbikin.

Werin em hinekî dem bidin ku mentiqê li pişt Pêvajoya Zimanê Xwezayî, hin teknîkên ku di NLP-ê de têne bikar anîn, û hin dozên karanîna gelemperî yên ji bo NLP-ê vekolînin.

Çima Pêvajoya Zimanê Xwezayî (NLP) Girîng e

Ji bo ku komputer zimanê mirovan şîrove bikin, divê ew bi rengek ku komputerek bikaribe manîpule bike werin veguheztin. Lêbelê, ev ne ew qas hêsan e ku daneyên nivîsê li jimareyan veguherîne. Ji bo ku mirov wateya xwe ji zimanê mirovî werbigire, pêdivî ye ku nimûne ji sedan an bi hezaran peyvên ku belgeyek nivîsê pêk tînin werin derxistin. Ev ne karekî hêsan e. Çend qaîdeyên hişk û bi lez hene ku dikarin ji bo şîrovekirina zimanê mirovan werin sepandin. Mînakî, tam heman koma peyvan li gorî çarçoweyê dikare wateyên cûda bide. Zimanê mirovan tiştekî tevlihev û pir caran nezelal e, û gotinek dikare bi dilpakî an jî bi qerfî were gotin.

Digel vê yekê, hin rêwerzên gelemperî hene ku dikarin di dema şîrovekirina peyvan û tîpan de werin bikar anîn, wek tîpa "s" ku ji bo nîşankirina pirjimariya babetekê tê bikar anîn. Pêdivî ye ku ev rêwerzên gelemperî bi hevûdu re bêne bikar anîn da ku wateyê ji nivîsê derxînin, ji bo afirandina taybetmendiyên ku algorîtmayek fêrbûna makîneyê dikare şîrove bike.

Pêvajoya Zimanê Xwezayî serîlêdana algorîtmayên cihêreng ên ku dikarin daneyên nesazkirî bigirin û veguhezînin daneyên birêkûpêk vedihewîne. Ger van algorîtmayan bi rengek xelet werin sepandin, komputer dê pir caran nekare wateya rast ji nivîsê derxe. Ev bi gelemperî di wergera nivîsê ya di navbera zimanan de tê dîtin, ku wateya rastîn a hevokê pir caran winda dibe. Digel ku wergera makîneyê di van çend salên borî de pir çêtir bûye, xeletiyên wergera makîneyê hîn jî pir caran çêdibin.

Teknîkên Pêvajoya Zimanê Xwezayî (NLP).

Wêne: Tamur bi rêya WikiMedia Commons, Domaina Giştî (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Gelek ji teknîkî ku di pêvajoya zimanê xwezayî de têne bikar anîn dikarin di yek ji du kategoriyan de bêne cîh kirin: hevoksazî an semantîk. Teknîkên hevoksaziyê ew in ku bi rêzkirina peyvan ve mijûl dibin, lê teknîkên semantîk ew teknîk in ku wateya peyvan vedihewînin.

Teknolojiyên NLP yên Hevoksaziyê

Nimûneyên hevoksaziyê ev in:

• Lemmatizasyon
• Dabeşkirina Morfolojîk
• Tagging Part-ji-Speech
• Parsing
• Hevok şikandin
• Rewş
• Dabeşkirina Peyv

Lemmatîzasyon tê wateya ku tewandinên cihêreng ên peyvê bi rengek yekane veqetandin. Lemmatîzekirin tiştên wekî tewang û pirjimaran digire û wan sivik dike, mînakî, dibe ku "pê" bibe "pê" û "rîp" dibe "xêrî". Ev forma peyva hêsankirî ji algorîtmayekê re hêsantir dike ku peyvên di belgeyekê de şîrove bike.

Parçekirina morfolojîk pêvajoya dabeşkirina peyvan li morfem an yekeyên bingehîn ên peyvekê ye. Van yekîneyan tiştên wekî belaş in morfem (ku dikare bi tenê wekî peyvan bisekine) û pêşgir an paşgir.

Nîşankirina beşek axaftinê bi tenê pêvajoya naskirina kîjan beşa axaftinê ye ku her peyva di belgeyek têketinê de ye.

Parsing tê wateya analîzkirina hemî peyvên di hevokê de û girêdana wan bi etîketên rêzimanê wan ên fermî an jî kirina analîza rêzimanî ji bo hemî peyvan.

Şikandina hevokê, an dabeşkirina sînorê hevokê, tê wateya biryardana ku hevok li ku dest pê dike û li ku diqede.

Rewş prosesa kêmkirina peyvan heta forma koka peyvê ye. Mînakî, girêdan, girêdan û girêdan dê hemî ji bo "girêdan" bêne çêkirin.

Dabeşkirina Peyv Pêvajoya dabeşkirina perçeyên mezin ên nivîsê li yekeyên piçûk e, ku dikarin peyvan an yekeyên stemkirî/lematîzekirî bin.

Teknîkên NLP yên Semantîk

Teknolojiyên NLP yên semantîk teknîkên wekî:

• Navê Naskirina Entîteyê
• Nifşê Zimanê Xwezayî
• Neragihandina Peyv-Sense

Naskirina sazûmanek binavkirî îşaretkirina hin beşên nivîsê yên ku dikarin di yek ji çend komên pêşwext ên cihêreng de werin danîn vedihewîne. Kategoriyên ji berê ve diyarkirî tiştên wekî tarîx, bajar, cîh, pargîdan û kesan vedihewîne.

Nifşê zimanê xwezayî Pêvajoya karanîna databasan e ku daneyên sazkirî veguherîne zimanê xwezayî. Mînakî, statîstîkên li ser hewayê, mîna germahî û leza bayê dikarin bi zimanê xwezayî werin kurt kirin.

Nezelalbûna peyv-wateyê pêvajoyek e ku li gorî çarçoweya ku peyvan tê de xuya dibin, wateyê dide peyvên di nav metnekê de.

Modelên Hînbûna Kûr Ji bo NLP

Perceptronên pirzimanî yên birêkûpêk nikaribin bi şirovekirina daneyên rêzdar, ku rêza agahdarî girîng e, bixebitin. Ji bo ku meriv bi girîngiya rêzê di daneyên rêzdar de mijûl bibe, celebek tora neuralî tê bikar anîn ku di perwerdehiyê de agahdariya ji demên berê diparêze.

Torên Neuralî yên Dubare cureyên torên neuralî ne ku li ser daneyên ji demên berê de bigerin, dema ku giraniya dema niha tê hesibandin wan digire. Di bingeh de, RNN sê pîvan hene ku di dema derbasbûna perwerdehiya pêş de têne bikar anîn: matrixek li ser bingeha Dewleta Veşartî ya Berê, matrixek li ser bingeha Ketina Niha, û matrixek ku di navbera rewşa veşartî û derketinê de ye. Ji ber ku RNN dikarin agahdariya ji gavên berê hildin ber çavan, ew dikarin nimûneyên têkildar ji daneyên nivîsê derxînin û dema ku wateya peyvê şîrove dikin peyvên berê yên di hevokê de li ber çavan digirin.

Cûreyek din a mîmariya fêrbûna kûr a ku ji bo hilberandina daneyên nivîsê tê bikar anîn ev e tora Bîra Kurt-Term (LSTM).. Tora LSTM di strukturê de mîna RNN-ê ne, lê ji ber hin cûdahiyên di mîmariya wan de ew mêl dikin ku ji RNN-an çêtir performansa xwe bikin. Ew ji pirsgirêkek taybetî ya ku bi gelemperî dema ku RNN-yên jê re têne bikar anîn diqewime dûr dikevin pirsgirêka gradientê diteqe.

Van torên neuralî yên kûr dikarin yekalî an jî du-alî bin. Torên du-alî dikarin ne tenê peyvên ku berî peyva heyî têne hesibandin, lê peyvên ku piştî wê têne hesibandin. Digel ku ev dibe sedema rastbûna bilind, ew ji hêla hesabkirinê ve bihatir e.

Ji bo Pêvajoya Zimanê Xwezayî (NLP)

Wêne: mohammed_hassan bi rêya Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Ji ber ku Pêvajoya Zimanê Xwezayî vekolîn û manîpulekirina zimanên mirovan pêk tîne, ew xwedan cûrbecûr sepanên bêhempa ye. Serîlêdanên gengaz ên ji bo NLP-ê chatbots, arîkarên dîjîtal, analîzkirina hestê, rêxistina belgeyê, peydakirina jêhatîbûnê, û lênihêrîna tenduristiyê hene.

Chatbots û arîkarên dîjîtal ên mîna Amazon's Alexa û Google Assistant nimûneyên platformên nasîn û senteza deng in ku NLP bikar tînin da ku emrên dengbêjî şîrove bikin û bersiv bidin. Van arîkarên dîjîtal bi cûrbecûr peywiran re alîkariya mirovan dikin, dihêlin ku ew hin karên xwe yên naskirî ji cîhazek din re bar bikin û hin hêza mêjiyê xwe ji bo tiştên din, yên girîngtir azad bikin. Li şûna ku em di sibehek mijûl de riya çêtirîn a bankê bigerin, em dikarin tenê alîkarê xweya dîjîtal wiya bikin.

Analîzasyona hestyariyê bikaranîna teknîkên NLP-ê ye ji bo lêkolîna reaksîyon û hestên mirovan li hember fenomenekê, ku bi karanîna wan a zimên ve hatî ragihandin. Girtina hesta daxuyaniyekê, mîna şîrovekirina gelo vekolînek hilberek baş e an xirab e, dikare ji pargîdaniyan re di derheqê ka hilbera wan çawa tê wergirtin de agahdariya girîng peyda bike.

Organîzekirina bixweber belgeyên nivîsê serîlêdanek din a NLP ye. Pargîdaniyên mîna Google û Yahoo algorîtmayên NLP-ê bikar tînin da ku belgeyên e-nameyê dabeş bikin, wan bixin nav qulikên guncan ên wekî "civakî" an "pêşveçûn". Ew jî van teknîkan bikar tînin spam nas bike û nehêle ku ew bigihîje qutiya we.

Koman di heman demê de teknîkên NLP-ê jî pêşve xistine ku têne bikar anîn da ku karûbarên potansiyel nas bikin, wan li ser bingeha jêhatîbûnên têkildar bibînin. Rêvebirên kirêgirtinê di heman demê de teknîkên NLP-ê bikar tînin da ku ji wan re bibin alîkar ku navnîşên serlêderan rêz bikin.

Teknolojiyên NLP jî ji bo zêdekirina lênihêrîna tenduristiyê têne bikar anîn. NLP dikare ji bo baştirkirina tespîtkirina nexweşiyan were bikar anîn. Qeydên tenduristiyê dikarin werin analîz kirin û nîşanan bi algorîtmayên NLP ve têne derxistin, ku dûv re dikare were bikar anîn da ku teşhîsên mimkun pêşniyar bike. Yek ji vê yekê platforma Comprehend Medical ya Amazon e, ku tomarên tenduristiyê analîz dike û nexweşî û dermankirinê derdixe. Serîlêdanên lênihêrîna tenduristiyê yên NLP di tenduristiya giyanî de jî dirêj dibin. Serlêdan hene wek WoeBot, ku bikarhêneran bi cûrbecûr teknolojiyên rêveberiya fikarê yên ku di Terapiya Behavioral a Cognitive de ne diaxive.