X'inhu NLP (Natural Language Processing)?

Ipproċessar tal-Lingwa Naturali (NLP) huwa l-istudju u l-applikazzjoni ta’ tekniki u għodod li jippermettu lill-kompjuters jipproċessaw, janalizzaw, jinterpretaw u jirraġunaw dwar il-lingwa umana. L-NLP huwa qasam interdixxiplinarju u jgħaqqad tekniki stabbiliti f'oqsma bħall-lingwistika u x-xjenza tal-kompjuter. Dawn it-tekniki jintużaw flimkien mal-AI biex jinħolqu chatbots u assistenti diġitali bħal Google Assistant u Alexa tal-Amazon.

Ejja nieħdu ftit ħin biex nesploraw ir-raġuni wara l-Ipproċessar tal-Lingwa Naturali, xi wħud mit-tekniki użati fl-NLP, u xi każijiet ta' użi komuni għall-NLP.

Għaliex Materjali l-Ipproċessar tal-Lingwa Naturali (NLP).

Sabiex il-kompjuters jinterpretaw il-lingwa umana, iridu jiġu kkonvertiti f'forma li kompjuter jista' jimmanipula. Madankollu, dan mhuwiex sempliċi daqs li tikkonverti d-dejta tat-test f'numri. Sabiex tinkiseb tifsira mil-lingwa umana, il-mudelli jridu jiġu estratti mill-mijiet jew eluf ta 'kliem li jiffurmaw dokument ta' test. Dan mhux biċċa xogħol faċli. Hemm ftit regoli iebsa u veloċi li jistgħu jiġu applikati għall-interpretazzjoni tal-lingwa umana. Per eżempju, l-istess sett ta 'kliem eżatt jista' jfisser affarijiet differenti skond il-kuntest. Il-lingwaġġ tal-bniedem huwa ħaġa kumplessa u ħafna drabi ambigwa, u dikjarazzjoni tista’ tinstema’ b’sinċerità jew sarkasm.

Minkejja dan, hemm xi linji gwida ġenerali li jistgħu jintużaw meta jiġu interpretati kliem u karattri, bħall-karattru "s" li jintuża biex jindika li oġġett huwa plural. Dawn il-linji gwida ġenerali għandhom jintużaw flimkien ma 'xulxin biex jiġi estratt it-tifsira mit-test, biex jinħolqu karatteristiċi li algoritmu ta' tagħlim bil-magni jista 'jinterpreta.

L-Ipproċessar tal-Lingwa Naturali jinvolvi l-applikazzjoni ta’ diversi algoritmi li kapaċi jieħdu dejta mhux strutturata u jikkonvertuha f’dejta strutturata. Jekk dawn l-algoritmi jiġu applikati b'mod ħażin, il-kompjuter ħafna drabi jonqos milli jikseb it-tifsira korretta mit-test. Ħafna drabi dan jidher fit-traduzzjoni tat-test bejn il-lingwi, fejn it-tifsira preċiża tas-sentenza spiss tintilef. Filwaqt li t-traduzzjoni awtomatika tjiebet sostanzjalment matul l-aħħar ftit snin, l-iżbalji tat-traduzzjoni awtomatika għadhom iseħħu ta’ spiss.

Tekniki tal-Ipproċessar tal-Lingwa Naturali (NLP).

Ritratt: Tamur permezz ta' WikiMedia Commons, Dominju Pubbliku (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Ħafna mill- tekniki li jintużaw fl-ipproċessar tal-lingwa naturali jistgħu jitqiegħdu f'waħda minn żewġ kategoriji: sintassi jew semantika. It-tekniki tas-sintassi huma dawk li jittrattaw l-ordni tal-kliem, filwaqt li t-tekniki semantiċi huma t-tekniki li jinvolvu t-tifsira tal-kliem.

Sintassi NLP Tekniki

Eżempji ta’ sintassi jinkludu:

• Lematizzazzjoni
• Segmentazzjoni Morfoloġika
• Tikkettjar tal-Parti tad-Dħid
• Parsing
• Tkissir Sentenza
• Li joħorġu
• Segmentazzjoni tal-Kelma

Il-lematizzazzjoni tirreferi għad-distillazzjoni tal-inflessjonijiet differenti ta' kelma f'forma waħda. Il-lematizzazzjoni tieħu affarijiet bħat-tempi u l-plurals u tissimplifikahom, pereżempju, "saqajn" jistgħu jsiru "sieq" u "strixxi" jistgħu jsiru "strixxa". Din il-forma ta' kliem simplifikata tagħmilha aktar faċli għal algoritmu biex jinterpreta l-kliem f'dokument.

Is-segmentazzjoni morfoloġika hija l-proċess tal-qsim tal-kliem f’morfemi jew l-unitajiet bażi ta’ kelma. Dawn l-unitajiet huma affarijiet simili b'xejn morfemi (li jistgħu jkunu waħedhom bħala kliem) u prefissi jew suffissi.

Taggjar parti mid-diskors huwa sempliċiment il-proċess ta 'identifikazzjoni ta' liema parti tad-diskors hija kull kelma f'dokument ta 'input.

Parsing tirreferi għall-analiżi tal-kliem kollha f'sentenza u l-korrelatazzjoni tagħhom mat-tikketti tal-grammatika formali tagħhom jew li tagħmel analiżi grammatikali għall-kliem kollu.

Tkissir tas-sentenza, jew segmentazzjoni tal-konfini tas-sentenza, tirreferi għad-deċiżjoni fejn tibda u tispiċċa sentenza.

Li joħorġu huwa l-proċess tat-tnaqqis tal-kliem sal-forma għerq tal-kelma. Per eżempju, konnessi, konnessjoni, u konnessjonijiet kollha jkunu ġejjin minn "konnessjoni".

Segmentazzjoni tal-Kelma huwa l-proċess ta 'qsim ta' biċċiet kbar ta 'test f'unitajiet żgħar, li jistgħu jkunu kliem jew unitajiet stemmed/lematized.

Tekniki Semantiċi NLP

It-tekniki semantiċi NLP jinkludu tekniki bħal:

• Rikonoxximent ta 'Entità Imsejħa
• Ġenerazzjoni tal-Lingwa Naturali
• Id-diżambigwazzjoni tal-Kelma-Sens

Rikonoxximent ta' entità msemmija tinvolvi t-tikkettar ta' ċerti porzjonijiet tat-test li jistgħu jitqiegħdu f'wieħed minn numru ta' gruppi differenti ssettjati minn qabel. Kategoriji definiti minn qabel jinkludu affarijiet bħal dati, bliet, postijiet, kumpaniji, u individwi.

Ġenerazzjoni tal-lingwa naturali huwa l-proċess tal-użu tad-databases biex tittrasforma data strutturata f'lingwa naturali. Pereżempju, statistika dwar it-temp, bħat-temperatura u l-veloċità tar-riħ tista 'tiġi mqassra b'lingwaġġ naturali.

Id-diżambigwazzjoni tas-sens tal-kelma hija l-proċess tal-għoti ta’ tifsira lil kliem f’test ibbażat fuq il-kuntest li fih jidhru l-kliem.

Mudelli ta' Tagħlim Profond Għall-NLP

Perceptroni b'ħafna saffi regolari ma jistgħux jimmaniġġjaw l-interpretazzjoni ta 'dejta sekwenzjali, fejn l-ordni tal-informazzjoni hija importanti. Sabiex tittratta l-importanza tal-ordni fid-dejta sekwenzjali, jintuża tip ta 'netwerk newrali li jippreserva l-informazzjoni minn passi ta' żmien preċedenti fit-taħriġ.

Netwerks newrali rikorrenti huma tipi ta 'netwerks newrali li loop fuq id-dejta mill-ħinijiet preċedenti, filwaqt li jitqiesu meta jiġu kkalkolati l-piżijiet tal-pass taż-żmien kurrenti. Essenzjalment, RNN's għandhom tliet parametri li jintużaw waqt il-pass tat-taħriġ 'il quddiem: matriċi bbażata fuq l-Istat Moħbi Preċedenti, matriċi bbażata fuq l-Input Kurrenti, u matriċi li hija bejn l-istat moħbi u l-output. Minħabba li l-RNNs jistgħu jqisu l-informazzjoni minn passi ta' żmien preċedenti, jistgħu jiġbed mudelli rilevanti minn dejta tat-test billi jqisu kliem preċedenti fis-sentenza meta jinterpretaw it-tifsira ta' kelma.

Tip ieħor ta 'arkitettura ta' tagħlim fil-fond użata biex tipproċessa d-data tat-test hija netwerk tal-Memorja fit-Tul Qasira (LSTM).. In-netwerks LSTM huma simili għal RNNs fl-istruttura, iżda minħabba xi differenzi fl-arkitettura tagħhom għandhom it-tendenza li jaħdmu aħjar mill-RNNs. Huma jevitaw problema speċifika li spiss isseħħ meta tuża RNNs imsejħa l problema tal-gradjent li jisplodi.

Dawn in-netwerks newrali profondi jistgħu jkunu jew unidirezzjonali jew bidirezzjonali. Netwerks bidirezzjonali huma kapaċi li jqisu mhux biss il-kliem li jiġi qabel il-kelma attwali, iżda l-kliem li jiġi warajha. Filwaqt li dan iwassal għal preċiżjoni ogħla, huwa aktar għali komputazzjoni.

Każijiet ta' Użu Għall-Ipproċessar tal-Lingwa Naturali (NLP)

Ritratt: mohammed_hassan permezz ta' Pixabay, Liċenzja Pixabay (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Minħabba li l-Ipproċessar tal-Lingwa Naturali jinvolvi l-analiżi u l-manipulazzjoni tal-lingwi umani, għandu firxa oerhört wiesgħa ta 'applikazzjonijiet. Applikazzjonijiet possibbli għall-NLP jinkludu chatbots, assistenti diġitali, analiżi tas-sentimenti, organizzazzjoni tad-dokumenti, reklutaġġ ta’ talent, u kura tas-saħħa.

Chatbots u assistenti diġitali bħall-Amazon Alexa u Google Assistant huma eżempji ta 'rikonoxximent tal-vuċi u pjattaformi ta' sintesi li jużaw NLP biex jinterpretaw u jirrispondu għall-kmandi vokali. Dawn l-assistenti diġitali jgħinu lin-nies b'varjetà wiesgħa ta 'kompiti, u jħalluhom iħottu xi wħud mill-kompiti konjittivi tagħhom għal apparat ieħor u jeħilsu ftit mill-moħħ tagħhom għal affarijiet oħra aktar importanti. Minflok ma nfittxu l-aħjar rotta lejn il-bank f'għodu impenjattiv, nistgħu sempliċement nagħmluha l-assistent diġitali tagħna.

Analiżi tas-sentiment huwa l-użu ta 'tekniki NLP biex jistudja r-reazzjonijiet u s-sentimenti tan-nies għal fenomenu, kif ikkomunikat mill-użu tagħhom tal-lingwa. Il-qbid tas-sentiment ta' dikjarazzjoni, bħall-interpretazzjoni ta' jekk reviżjoni ta' prodott hijiex tajba jew ħażina, jista' jipprovdi lill-kumpaniji b'informazzjoni sostanzjali dwar kif il-prodott tagħhom qed jiġi riċevut.

L-organizzazzjoni awtomatika tad-dokumenti tat-test hija applikazzjoni oħra tal-NLP. Kumpaniji bħal Google u Yahoo jużaw algoritmi NLP biex jikklassifikaw id-dokumenti tal-email, u jpoġġuhom fil-bins xierqa bħal "soċjali" jew "promozzjonijiet". Huma wkoll jużaw dawn it-tekniki biex identifika l-ispam u jipprevjenih milli jasal inbox tiegħek.

Gruppi żviluppaw ukoll tekniki NLP qed jintużaw biex jidentifikaw kiri ta 'impjiegi potenzjali, billi jsibuhom ibbażati fuq ħiliet rilevanti. Il-maniġers tal-kiri qed jużaw ukoll tekniki tal-NLP biex jgħinuhom jirranġaw il-listi tal-applikanti.

It-tekniki NLP qed jintużaw ukoll biex itejbu l-kura tas-saħħa. NLP jista 'jintuża biex itejjeb l-iskoperta ta' mard. Ir-rekords tas-saħħa jistgħu jiġu analizzati u s-sintomi estratti minn algoritmi NLP, li mbagħad jistgħu jintużaw biex jissuġġerixxu dijanjosi possibbli. Eżempju wieħed ta 'dan hija l-pjattaforma Comprehend Medical ta' Amazon, li tanalizza r-rekords tas-saħħa u tiġbed il-mard u t-trattamenti. L-applikazzjonijiet għall-kura tas-saħħa tal-NLP jestendu wkoll għas-saħħa mentali. Hemm apps bħal WoeBot, li titkellem lill-utenti permezz ta 'varjetà ta' tekniki ta 'ġestjoni tal-ansjetà bbażati fuq Terapija Konjittiva tal-Imġieba.