AI 101
Mis on NLU (loomuliku keele mõistmine)?
Loomuliku keele mõistmine (NLU) on tehniline mõiste loomuliku keele töötlemise suuremas teemas. NLU on protsess, mis vastutab loomulike, inimlike sõnade tõlkimise eest vormingusse, mida arvuti suudab tõlgendada. Põhimõtteliselt peab arvuti enne keeleandmete töötlemist andmetest aru saama.
NLU tehnikad hõlmavad tavaliste süntaksi ja grammatiliste reeglite kasutamist, et võimaldada arvutil mõista loomuliku inimkeele tähendust ja konteksti. Nende tehnikate lõppeesmärk on, et arvuti saaks "intuitiivselt" keelest aru, suudab kirjutada ja keelt mõista täpselt nii, nagu inimene seda teeb, ilma pidevalt sõnade määratlustele viitamata.
NLU (loomuliku keele mõistmise) määratlemine
Arvutiteadlased ja NLP-eksperdid kasutavad arvukalt tehnikaid, mis võimaldavad arvutitel inimkeelt mõista. Enamik tehnikaid kuulub "süntaktilise analüüsi" kategooriasse. Süntaktilised analüüsimeetodid hõlmavad järgmist:
- lemmatiseerimine
- meeleolu
- sõna segmenteerimine
- sõelumine
- morfoloogiline segmenteerimine
- lause murdmine
- osa kõnemärgistusest
Need süntaktilised analüütilised tehnikad rakendavad sõnarühmadele grammatilisi reegleid ja püüavad neid reegleid tähenduse tuletamiseks kasutada. Seevastu NLU kasutab semantilise analüüsi tehnikaid.
Semantiline analüüs rakendab tekstile arvutialgoritme, püüdes mõista sõnade tähendust nende loomulikus kontekstis, selle asemel, et tugineda reeglipõhistele lähenemistele. Fraasi grammatiline õigsus/ebaõigsus ei pruugi olla korrelatsioonis fraasi kehtivusega. Võib esineda fraase, mis on grammatiliselt õiged, kuid mõttetud, ja fraase, mis on grammatiliselt ebaõiged, kuid millel on tähendus. Sõnade kõige tähendusrikkamate aspektide eristamiseks kasutab NLU mitmesuguseid tehnikaid, mis on mõeldud sõnarühma tähenduse leidmiseks, tuginedes vähem grammatilistele struktuuridele ja reeglitele.
NLU on arenev ja muutuv valdkond ning seda peetakse tehisintellekti üheks raskemaks probleemiks. Arendatakse erinevaid tehnikaid ja tööriistu, et anda masinatele arusaamine inimkeelest. Enamikul NLU-süsteemidel on teatud põhikomponendid ühised. Vaja on keele leksikoni, nagu ka teatud tüüpi teksti parser ja grammatikareegleid, mis juhivad tekstiesitluste loomist. Süsteem nõuab ka semantika teooriat, et võimaldada esituste mõistmist. Keele tõlgendamiseks kasutatakse erinevaid semantilisi teooriaid, nagu stohhastiline semantiline analüüs või naiivne semantika.
Levinud NLU tehnikad hõlmavad järgmist:
Nimetatud olemi tuvastamine on protsess, mille käigus tuvastatakse "nimetatud olemid", mis on inimesed ja olulised kohad/asjad. Nimetatud olemi tuvastamine eristab põhimõisteid ja viiteid tekstikogus, identifitseerib nimetatud üksused ja paigutab need kategooriatesse, nagu asukohad, kuupäevad, organisatsioonid, inimesed, teosed jne. NER-i läbiviimiseks kasutatakse tavaliselt grammatikareeglitel põhinevaid juhendatud mudeleid. ülesandeid.
Sõnatähteline täpsustus on sõna tähenduse või tähenduse määramise protsess konteksti alusel, milles sõna esineb. Sõnatähte täpsustus kasutab sageli osa kõnesilte, et sihtsõna kontekstualiseerida. Sõnamõttelise täpsustuse juhendamise meetodid hõlmavad tugivektori masinate kasutajat ja mälupõhist õpet. Kuid enamik sõna tähenduse täpsustusmudeleid on pooljärelevalvega mudelid, mis kasutavad nii märgistatud kui ka märgistamata andmeid.
NLU (loomuliku keele mõistmise) näited
NLU levinumate näidete hulka kuuluvad automaatne arutluskäik, piletite automaatne suunamine, masintõlge ja küsimustele vastamine.
Automatiseeritud arutluskäik
Automatiseeritud arutluskäik on distsipliin, mille eesmärk on anda masinatele teatud tüüpi loogika või arutluskäik. See on kognitiivteaduse haru, mis püüab teha järeldusi meditsiiniliste diagnooside põhjal või programmiliselt/automaatselt lahendada matemaatilisi teoreeme. NLU-d kasutatakse teabe kogumiseks ja analüüsimiseks ning teabe põhjal järelduste tegemiseks.
Automaatne piletite marsruutimine
NLU-d kasutatakse sageli klienditeeninduse ülesannete automatiseerimiseks. Klienditeeninduse pileti genereerimisel saavad vestlusrobotid ja muud masinad tõlgendada kliendi vajaduste põhiolemust ja suunata need õigesse osakonda. Ettevõtted saavad iga päev tuhandeid toetaotlusi, seega on NLU algoritmid kasulikud piletite tähtsuse järjekorda seadmisel ja tugiagentidel neid tõhusamalt käsitleda.
Masintõlge
Kõnet või teksti on raske ühest keelest teise täpselt tõlkida. Tegelikult, masintõlge on NLP ja NLU üks raskemaid probleeme. Paljud masintõlkesüsteemid tuginevad keeltevahelisel tõlkimisel keelereeglitele, kuid teadlased kasutavad keeltevaheliseks tõlkimiseks keerukamaid viise. NLU masintõlge püüab võimaldada täpsemat tõlget, säilitades sihttekstiga seotud konteksti ja semantilise teabe. Kõige täpsemad masintõlkesüsteemid ühendavad keelelised reeglid semantilist tähendust eraldavate algoritmidega.
Küsimusele vastamine
Kõnetuvastus kasutab arvutite lubamiseks NLU tehnikaid mõista küsimusi poseeriti loomuliku keelega. NLU-d kasutatakse selleks, et anda seadme kasutajatele vastus nende loomulikus keeles, selle asemel, et pakkuda neile võimalike vastuste loendit. Kui esitate digitaalsele assistendile küsimuse, kasutatakse NLU-d, et aidata masinatel küsimusi mõista, valides kõige sobivamad vastused selliste funktsioonide nagu tunnustatud olemid ja varasemate väidete konteksti põhjal.
