Ce este NLP (Procesarea Limbajului Natural)?

Procesarea Limbajului Natural (NLP) este studiul și aplicarea tehnicilor și instrumentelor care permit calculatoarelor să proceseze, să analizeze, să interpreteze și să raționeze despre limbajul uman. NLP este un domeniu interdisciplinar și combină tehnici stabilite în domenii precum lingvistica și informatica. Aceste tehnici sunt utilizate în concert cu inteligența artificială pentru a crea chatbot-uri și asistenți digitali precum Google Assistant și Amazon’s (AMZN ) Alexa.

Să luăm ceva timp pentru a explora rațiunea din spatele Procesării Limbajului Natural, unele dintre tehnicile utilizate în NLP și unele cazuri de utilizare comune pentru NLP.

De ce Procesarea Limbajului Natural (NLP) contează

Pentru ca calculatoarele să interpreteze limbajul uman, acestea trebuie convertite într-o formă pe care un calculator o poate manipula. Cu toate acestea, acest lucru nu este la fel de simplu ca conversia datelor text în numere. Pentru a extrage sensul din limbajul uman, trebuie să se extragă modele din sutele sau mii de cuvinte care alcătuiesc un document text. Acesta nu este un lucru ușor. Există puține reguli stricte care pot fi aplicate interpretării limbajului uman. De exemplu, același set de cuvinte poate însemna lucruri diferite, în funcție de context. Limbajul uman este un lucru complex și adesea ambiguu, iar o afirmație poate fi rostită cu sinceritate sau sarcasm.

În ciuda acestui fapt, există unele linii directoare generale care pot fi utilizate la interpretarea cuvintelor și caracterelor, cum ar fi caracterul “s” care este utilizat pentru a denota faptul că un articol este plural. Aceste linii directoare generale trebuie să fie utilizate în concert una cu alta pentru a extrage sensul din text, pentru a crea caracteristici pe care un algoritm de învățare automată le poate interpreta.

Procesarea Limbajului Natural implică aplicarea diverselor algoritmi capabili să ia date nestructurate și să le convertească în date structurate. Dacă acești algoritmi sunt aplicați în mod greșit, calculatorul va eşua adesea să extragă sensul corect din text. Acest lucru poate fi adesea observat în traducerea textului între limbaje, unde sensul exact al propoziției este adesea pierdut. În timp ce traducerea automată a fost îmbunătățită substanțial în ultimii ani, erorile de traducere automată încă apar frecvent.

Tehnici de Procesare a Limbajului Natural (NLP)

Foto: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Multe dintre tehnicile care sunt utilizate în procesarea limbajului natural pot fi plasate în una dintre două categorii: sintaxă sau semantică. Tehnicile de sintaxă sunt cele care se ocupă de ordonarea cuvintelor, în timp ce tehnicile semantice sunt cele care implică sensul cuvintelor.

Tehnici de Sintaxă NLP

Exemple de sintaxă includ:

• Lemmatizare
• Segmentare morfologică
• Etichetare part-of-speech
• Analiză
• Împărțirea propozițiilor
• Reducere
• Segmentare de cuvinte

Lemmatizarea se referă la distilarea diferitelor inflexiuni ale unui cuvânt la o singură formă. Lemmatizarea ia lucruri precum timpuri și pluraluri și îi simplifică, de exemplu, “picioare” ar deveni “picior” și “dungi” ar deveni “dungă”. Această formă de cuvânt simplificat face ca un algoritm să poată interpreta cuvintele dintr-un document.

Segmentarea morfologică este procesul de divizare a cuvintelor în morfeme sau unitățile de bază ale unui cuvânt. Aceste unități sunt lucruri precum morfeme libere (care pot sta singure ca cuvinte) și prefixe sau sufixe.

Etichetarea part-of-speech este pur și simplu procesul de identificare a părții de vorbire a fiecărui cuvânt dintr-un document de intrare.

Analiza se referă la analiza tuturor cuvintelor dintr-o propoziție și la corelarea lor cu etichetele gramaticale formale sau la efectuarea analizei gramaticale pentru toate cuvintele.

Împărțirea propozițiilor, sau segmentarea limitelor propozițiilor, se referă la decizia unde începe și unde se termină o propoziție.

Reducerea este procesul de reducere a cuvintelor la forma lor de bază. De exemplu, “conectat”, “conexiune” și “conexiuni” ar fi reduse toate la “conecta”.

Segmentarea de cuvinte este procesul de divizare a unor bucăți mari de text în unități mici, care pot fi cuvinte sau unități reduse/lematizate.

Tehnici Semantice NLP

Tehnicile semantice NLP includ tehnici precum:

• Recunoașterea entităților numite
• Generarea limbajului natural
• Disambiguizarea sensului cuvintelor

Recunoașterea entităților numite implică etichetarea anumitor porțiuni de text care pot fi plasate într-una dintre mai multe categorii predefinite. Categoriile predefinite includ lucruri precum date, orașe, locuri, companii și persoane.

Generarea limbajului natural este procesul de utilizare a bazelor de date pentru a transforma date structurate în limbaj natural. De exemplu, statistici despre vreme, cum ar fi temperatura și viteza vântului, ar putea fi rezumate în limbaj natural.

Disambiguizarea sensului cuvintelor este procesul de atribuire a sensului cuvintelor dintr-un text pe baza contextului în care acestea apar.

Modele de Învățare Profundă pentru NLP

Perceptronii multi-stratificați obișnuiți nu pot face față interpretării datelor secvențiale, unde ordinea informației este importantă. Pentru a face față importanței ordinii în datele secvențiale, se utilizează un tip de rețea neuronală care păstrează informații din timpurile anterioare în timpul antrenamentului.

Rețelele Neuronale Recurente sunt tipuri de rețele neuronale care parcurg datele din timpurile anterioare, luându-le în considerare la calcularea greutăților timpului curent. Esențial, RNN-urile au trei parametri care sunt utilizați în timpul trecerii înainte a antrenamentului: o matrice bazată pe starea ascunsă anterioară, o matrice bazată pe intrarea curentă și o matrice care este între starea ascunsă și ieșire. Deoarece RNN-urile pot lua în considerare informații din timpurile anterioare, acestea pot extrage modele relevante din datele text prin luarea în considerare a cuvintelor anterioare din propoziție atunci când se interpretează sensul unui cuvânt.

Un alt tip de arhitectură de învățare profundă utilizată pentru a procesa datele text este o rețea neuronală cu memorie pe termen lung (LSTM). Rețelele LSTM sunt similare cu RNN-urile în structură, dar datorită unor diferențe în arhitectura lor, acestea tind să performeze mai bine decât RNN-urile. Acestea evită o problemă specifică care apare adesea atunci când se utilizează RNN-uri, numită problema gradientului exploziv.

Aceste rețele neuronale profunde pot fi fie unidirecționale, fie bidirecționale. Rețelele bidirecționale sunt capabile să ia în considerare nu numai cuvintele care preced cuvântul curent, ci și cuvintele care urmează după el. Deși acest lucru conduce la o acuratețe mai mare, este mai scump din punct de vedere computațional.

Cazuri de Utilizare pentru Procesarea Limbajului Natural (NLP)

Foto: mohammed_hassan via Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Deoarece Procesarea Limbajului Natural implică analiza și manipularea limbajelor umane, are o gamă foarte largă de aplicații. Aplicațiile posibile pentru NLP includ chatbot-uri, asistenți digitali, analiza sentimentului, organizarea documentelor, recrutarea talentelor și sănătatea.

Chatbot-urile și asistenții digitali precum Amazon’s Alexa și Google Assistant sunt exemple de platforme de recunoaștere și sinteză a vocii care utilizează NLP pentru a interpreta și răspunde la comenzi vocale. Acești asistenți digitali ajută oamenii cu o varietate de sarcini, permițându-le să externalizeze unele dintre sarcinile lor cognitive către un alt dispozitiv și să elibereze o parte din puterea lor de calcul pentru alte lucruri mai importante. În loc să caute cea mai bună rută către bancă într-o dimineață aglomerată, putem să o facem pe asistentul nostru digital.

Analiza sentimentului este utilizarea tehnicilor NLP pentru a studia reacțiile și sentimentele oamenilor față de un fenomen, așa cum este comunicat prin utilizarea limbajului. Capturarea sentimentului unei afirmații, cum ar fi interpretarea dacă o recenzie a unui produs este bună sau rea, poate oferi companiilor informații substanțiale despre modul în care produsul lor este primit.

Organizarea automată a documentelor text este o altă aplicație a NLP. Companii precum Google și Yahoo utilizează algoritmi NLP pentru a clasifica documente de e-mail, plasându-le în cutii adecvate, cum ar fi “social” sau “promovare”. Acestea utilizează, de asemenea, aceste tehnici pentru a identifica spamul și a preveni ajungerea lui în cutia dvs. de primire.

Grupuri au dezvoltat, de asemenea, tehnici NLP care sunt utilizate pentru a identifica potențiali angajați, găsindu-i pe baza abilităților relevante. Managerii de resurse umane utilizează, de asemenea, tehnici NLP pentru a ajuta la sortarea listelor de aplicați.

Tehnicile NLP sunt, de asemenea, utilizate pentru a îmbunătăți sănătatea. NLP poate fi utilizat pentru a îmbunătăți detectarea bolilor. Înregistrările medicale pot fi analizate și simptomele extrase de algoritmi NLP, care pot fi utilizate apoi pentru a sugera posibile diagnostice. Un exemplu în acest sens este platforma Amazon Comprehend Medical, care analizează înregistrări medicale și extrage boli și tratamente. Aplicațiile de sănătate ale NLP se extind și la sănătatea mintală. Există aplicații precum WoeBot, care vorbește cu utilizatorii despre diverse tehnici de gestionare a anxietății bazate pe terapia cognitiv-comportamentală.