AI 101
Ce este NLU (înțelegerea limbajului natural)?
Înțelegerea limbajului natural (NLU) este un concept tehnic în cadrul subiectului mai larg al procesării limbajului natural. NLU este procesul responsabil de traducerea cuvintelor naturale, umane într-un format pe care un computer îl poate interpreta. În esență, înainte ca un computer să poată procesa datele lingvistice, trebuie să înțeleagă datele.
Tehnicile pentru NLU includ utilizarea de sintaxă și reguli gramaticale comune pentru a permite unui computer să înțeleagă sensul și contextul limbajului uman natural. Scopul final al acestor tehnici este ca un computer să ajungă să aibă o înțelegere „intuitivă” a limbajului, capabil să scrie și să înțeleagă limba așa cum o face un om, fără a se referi în mod constant la definițiile cuvintelor.
Definirea NLU (înțelegerea limbajului natural)
Există numeroase tehnici pe care informaticienii și experții în NLP le folosesc pentru a permite computerelor să înțeleagă limbajul uman. Majoritatea tehnicilor se încadrează în categoria „analiza sintactică”. Tehnicile analitice sintactice includ:
- lematizarea
- care rezultă
- segmentarea cuvintelor
- analizare
- segmentare morfologică
- ruperea propoziției
- parte a etichetării vorbirii
Aceste tehnici analitice sintactice aplică reguli gramaticale unor grupuri de cuvinte și încearcă să folosească aceste reguli pentru a obține sens. În schimb, NLU funcționează folosind tehnici de „analiza semantică”.
Analiza semantică aplică textului algoritmi de computer, încercând să înțeleagă sensul cuvintelor în contextul lor natural, în loc să se bazeze pe abordări bazate pe reguli. Corectitudinea/incorectitudinea gramaticală a unei fraze nu se corelează neapărat cu validitatea unei fraze. Pot exista expresii care sunt corecte din punct de vedere gramatical, dar lipsite de sens, și expresii care sunt incorecte din punct de vedere gramatical, dar au sens. Pentru a distinge cele mai semnificative aspecte ale cuvintelor, NLU aplică o varietate de tehnici menite să capteze semnificația unui grup de cuvinte cu mai puțină dependență de structura și regulile gramaticale.
NLU este un domeniu în evoluție și schimbare și este considerată una dintre problemele grele ale AI. Sunt dezvoltate diverse tehnici și instrumente pentru a oferi mașinilor o înțelegere a limbajului uman. Majoritatea sistemelor NLU au anumite componente de bază în comun. Este necesar un lexicon pentru limbă, precum și un tip de analizator de text și reguli gramaticale pentru a ghida crearea reprezentărilor de text. Sistemul necesită, de asemenea, o teorie a semanticii pentru a permite înțelegerea reprezentărilor. Există diverse teorii semantice folosite pentru a interpreta limbajul, cum ar fi analiza semantică stocastică sau semantica naivă.
Tehnicile comune NLU includ:
Recunoașterea entităților numite este procesul de recunoaștere a „entităților numite”, care sunt oameni și locuri/lucruri importante. Recunoașterea entităților numite funcționează prin distingerea conceptelor și referințelor fundamentale într-un corp de text, identificând entitățile numite și plasându-le în categorii precum locații, date, organizații, oameni, lucrări etc. Modelele supravegheate bazate pe reguli gramaticale sunt de obicei utilizate pentru a realiza NER sarcini.
Dezambiguizarea sensului cuvântului este procesul de determinare a sensului sau a sensului unui cuvânt pe baza contextului în care apare cuvântul. Dezambiguizarea sensului cuvântului folosește adesea o parte a etichetelor de vorbire pentru a contextualiza cuvântul țintă. Metodele supravegheate de dezambiguizare a sensului cuvântului includ utilizatorul de mașini vectori suport și învățarea bazată pe memorie. Cu toate acestea, majoritatea modelelor de dezambiguizare a sensului cuvintelor sunt modele semi-supravegheate care folosesc atât date etichetate, cât și neetichetate.
Exemple de NLU (înțelegerea limbajului natural)
Exemplele comune de NLU includ raționamentul automat, rutarea automată a biletelor, traducerea automată și răspunsul la întrebări.
Raționament automat
Raționament automat este o disciplină care își propune să ofere mașinilor un tip de logică sau raționament. Este o ramură a științei cognitive care se străduiește să facă deducții bazate pe diagnostice medicale sau să rezolve programatic/automat teoreme matematice. NLU este utilizat pentru a ajuta la colectarea și analiza informațiilor și pentru a genera concluzii bazate pe informații.
Dirijarea automată a biletelor
NLU este adesea folosit pentru a automatiza sarcinile de servicii pentru clienți. Atunci când se generează un bilet de serviciu pentru clienți, chatboții și alte mașini pot interpreta natura de bază a nevoii clientului și le pot direcționa către departamentul corect. Companiile primesc mii de solicitări de asistență în fiecare zi, așa că algoritmii NLU sunt utili pentru prioritizarea biletelor și pentru a permite agenților de asistență să le gestioneze în moduri mai eficiente.
Traducere automată
Este dificil să traduci cu acuratețe vorbirea sau textul dintr-o limbă în altă limbă. De fapt, traducere automată este una dintre cele mai dificile probleme în NLP și NLU. Multe sisteme de traducere automată se bazează pe reguli lingvistice pentru a traduce între limbi, dar cercetătorii caută modalități mai sofisticate de traducere între limbi. Traducerea automată NLU încearcă să permită o traducere mai precisă prin păstrarea contextului și a informațiilor semantice asociate cu textul țintă. Cele mai precise sisteme de traducere automată combină regulile lingvistice cu algoritmi care extrag semnificația semantică.
Răspuns la întrebare
Recunoașterea vorbirii folosește tehnici NLU pentru a permite computerelor intelege intrebarile pozat cu limbaj natural. NLU este folosit pentru a oferi utilizatorilor dispozitivului un răspuns în limbajul lor natural, în loc să le ofere o listă de răspunsuri posibile. Când puneți o întrebare unui asistent digital, NLU este folosit pentru a ajuta mașinile să înțeleagă întrebările, selectând cele mai potrivite răspunsuri pe baza caracteristicilor precum entitățile recunoscute și contextul declarațiilor anterioare.
