AI 101 m
Kas yra NLU (natūralios kalbos supratimas)?
Natūralios kalbos supratimas (NLU) yra techninė koncepcija, susijusi su didesne natūralios kalbos apdorojimo tema. NLU yra procesas, atsakingas už natūralių, žmogiškų žodžių vertimą į formatą, kurį kompiuteris gali interpretuoti. Iš esmės, kad kompiuteris galėtų apdoroti kalbos duomenis, jis turi juos suprasti.
NLU metodai apima bendrų sintaksės ir gramatikos taisyklių naudojimą, kad kompiuteris galėtų suprasti natūralios žmogaus kalbos prasmę ir kontekstą. Galutinis šių metodų tikslas yra tai, kad kompiuteris įgautų „intuityvų“ kalbos supratimą, gebėtų rašyti ir suprasti kalbą taip, kaip tai daro žmogus, nuolat nesiremdamas į žodžių apibrėžimus.
NLU (natūralios kalbos supratimo) apibrėžimas
Yra daug metodų, kuriuos kompiuterių mokslininkai ir NLP ekspertai naudoja, kad kompiuteriai galėtų suprasti žmonių kalbą. Dauguma metodų patenka į „sintaksinės analizės“ kategoriją. Sintaksės analizės metodai apima:
- lemmatizacija
- nuotaika
- žodžių segmentacija
- analizuojant
- morfologinis segmentavimas
- sakinio laužymas
- kalbos žymėjimo dalis
Šie sintaksės analizės metodai taiko gramatines taisykles žodžių grupėms ir bando naudoti šias taisykles reikšmei gauti. Priešingai, NLU veikia naudodama „semantinės analizės“ metodus.
Semantinė analizė tekstui taiko kompiuterinius algoritmus, bandydama suprasti žodžių reikšmę jų natūraliame kontekste, o ne pasikliauti taisyklėmis pagrįstais metodais. Frazės gramatinis teisingumas / neteisingumas nebūtinai koreliuoja su frazės galiojimu. Gali būti frazių, kurios yra gramatiškai teisingos, bet beprasmės, ir frazės, kurios yra gramatiškai neteisingos, tačiau turi prasmę. Siekdama išskirti prasmingiausius žodžių aspektus, NLU taiko įvairius metodus, skirtus žodžių grupės reikšmei atpažinti mažiau pasikliaujant gramatine struktūra ir taisyklėmis.
NLU yra besivystanti ir besikeičianti sritis, kuri laikoma viena iš sudėtingiausių AI problemų. Kuriami įvairūs būdai ir įrankiai, padedantys mašinoms suprasti žmonių kalbą. Dauguma NLU sistemų turi tam tikrų bendrų pagrindinių komponentų. Reikalingas kalbos žodynas, taip pat tam tikros rūšies teksto analizatorius ir gramatikos taisyklės, padedančios kurti teksto reprezentacijas. Sistema taip pat reikalauja semantikos teorijos, kad būtų galima suprasti reprezentacijas. Kalbai interpretuoti naudojamos įvairios semantinės teorijos, pavyzdžiui, stochastinė semantinė analizė arba naivi semantika.
Įprasti NLU metodai apima:
Įvardytų objektų atpažinimas – tai „įvardytų subjektų“, kurie yra žmonės ir svarbios vietos/dalykai, atpažinimo procesas. Pavadintų objektų atpažinimas veikia išskirdamas pagrindines sąvokas ir nuorodas tekste, identifikuodamas įvardintus objektus ir suskirstydamas juos į kategorijas, pvz., vietas, datas, organizacijas, žmones, darbus ir tt. NER atlikti paprastai naudojami prižiūrimi modeliai, pagrįsti gramatikos taisyklėmis. užduotys.
Žodžio prasmės išaiškinimas yra žodžio reikšmės arba prasmės nustatymo procesas, pagrįstas kontekstu, kuriame žodis pasirodo. Žodžio prasmės išaiškinimas dažnai panaudoja dalį kalbos žymeklių, kad būtų galima kontekstualizuoti tikslinį žodį. Prižiūrimi žodžio prasmės išaiškinimo metodai apima paramos vektorinių mašinų vartotoją ir atmintimi pagrįstą mokymąsi. Tačiau dauguma žodžių prasmės išaiškinimo modelių yra pusiau prižiūrimi modeliai, kuriuose naudojami ir pažymėti, ir nepažymėti duomenys.
NLU (natūralios kalbos supratimo) pavyzdžiai
Įprasti NLU pavyzdžiai yra automatinis samprotavimas, automatinis bilietų nukreipimas, mašininis vertimas ir atsakymas į klausimus.
Automatizuotas samprotavimas
Automatizuotas samprotavimas yra disciplina, kurios tikslas – suteikti mašinoms tam tikrą logiką ar samprotavimą. Tai kognityvinio mokslo šaka, kuri stengiasi daryti išskaičiavimus remiantis medicininėmis diagnozėmis arba programiškai/automatiškai išspręsti matematines teoremas. NLU naudojamas padėti rinkti ir analizuoti informaciją bei daryti išvadas remiantis informacija.
Automatinis bilietų maršrutas
NLU dažnai naudojamas automatizuoti klientų aptarnavimo užduotis. Kai sugeneruojamas klientų aptarnavimo bilietas, pokalbių robotai ir kiti įrenginiai gali suprasti pagrindinį kliento poreikio pobūdį ir nukreipti juos į tinkamą skyrių. Įmonės kasdien gauna tūkstančius pagalbos užklausų, todėl NLU algoritmai yra naudingi nustatant pirmenybę bilietams ir leidžiant palaikymo agentams juos tvarkyti efektyviau.
Mašininis vertimas
Sunku tiksliai išversti kalbą ar tekstą iš vienos kalbos į kitą. Faktiškai, mašininis vertimas yra viena iš sudėtingiausių NLP ir NLU problemų. Daugelis mašininio vertimo sistemų remiasi kalbinėmis taisyklėmis versdamos iš vienos kalbos į kitą, tačiau mokslininkai ieško sudėtingesnių vertimo iš vienos kalbos būdų. NLU mašininis vertimas bando įgalinti tikslesnį vertimą išsaugant kontekstą ir semantinę informaciją, susietą su tiksliniu tekstu. Tiksliausios mašininio vertimo sistemos sujungia kalbines taisykles su semantinę prasmę ištraukiančiais algoritmais.
Atsakymas į klausimą
Kalbos atpažinimas naudoja NLU metodus, kad kompiuteriai galėtų dirbti suprasti klausimus pozavo natūralia kalba. NLU naudojamas norint pateikti atsakymą įrenginio naudotojams jų natūralia kalba, o ne pateikti galimų atsakymų sąrašą. Kai užduodate klausimą skaitmeniniam asistentui, NLU naudojamas padėti mašinoms suprasti klausimus, pasirenkant tinkamiausius atsakymus pagal tokias funkcijas kaip pripažinti objektai ir ankstesnių teiginių kontekstas.
