AI 101
Čo je to NLU (Porozumenie prirodzenému jazyku)?
Pochopenie prirodzeného jazyka (NLU) je technický koncept v rámci rozsiahlejšej témy spracovania prirodzeného jazyka. NLU je proces zodpovedný za preklad prirodzených, ľudských slov do formátu, ktorý počítač dokáže interpretovať. V podstate skôr, ako môže počítač spracovať jazykové údaje, musí týmto údajom porozumieť.
Techniky pre NLU zahŕňajú použitie bežnej syntaxe a gramatických pravidiel, ktoré počítaču umožňujú pochopiť význam a kontext prirodzeného ľudského jazyka. Konečným cieľom týchto techník je, že počítač získa „intuitívne“ chápanie jazyka, ktorý je schopný písať a rozumieť jazyku presne tak, ako to robí človek, bez toho, aby sa neustále odvolával na definície slov.
Definovanie NLU (porozumenie prirodzenému jazyku)
Existuje množstvo techník, ktoré počítačoví vedci a experti na NLP používajú, aby umožnili počítačom porozumieť ľudskej reči. Väčšina techník patrí do kategórie „syntaktickej analýzy“. Syntaktické analytické techniky zahŕňajú:
- lemmatizácia
- nálada
- segmentácia slov
- parsovanie
- morfologické členenie
- lámanie vety
- slovné označovanie
Tieto syntaktické analytické techniky aplikujú gramatické pravidlá na skupiny slov a pokúšajú sa použiť tieto pravidlá na odvodenie významu. Na rozdiel od toho NLU funguje pomocou techník „sémantickej analýzy“.
Sémantická analýza aplikuje počítačové algoritmy na text, pričom sa pokúša pochopiť význam slov v ich prirodzenom kontexte, namiesto toho, aby sa spoliehala na prístupy založené na pravidlách. Gramatická správnosť/nesprávnosť frázy nemusí nevyhnutne korelovať s platnosťou frázy. Môžu existovať frázy, ktoré sú gramaticky správne, ale nezmyselné, a frázy, ktoré sú gramaticky nesprávne, ale majú význam. Aby bolo možné rozlíšiť najzmysluplnejšie aspekty slov, NLU používa rôzne techniky určené na vyzdvihnutie významu skupiny slov s menšou závislosťou od gramatickej štruktúry a pravidiel.
NLU je vyvíjajúca sa a meniaca oblasť a považuje sa za jeden z najťažších problémov AI. Vyvíjajú sa rôzne techniky a nástroje, aby stroje porozumeli ľudskej reči. Väčšina systémov NLU má niektoré základné komponenty spoločné. Vyžaduje sa lexikón pre daný jazyk, ako aj určitý typ analyzátora textu a gramatické pravidlá na usmernenie vytvárania textových reprezentácií. Systém tiež vyžaduje teóriu sémantiky, aby bolo možné porozumieť reprezentáciám. Na interpretáciu jazyka sa používajú rôzne sémantické teórie, ako je stochastická sémantická analýza alebo naivná sémantika.
Bežné techniky NLU zahŕňajú:
Rozpoznávanie pomenovaných entít je proces rozpoznávania „pomenovaných entít“, ktorými sú ľudia a dôležité miesta/veci. Rozpoznávanie pomenovaných entít funguje tak, že rozlišuje základné pojmy a odkazy v texte, identifikuje pomenované entity a umiestňuje ich do kategórií, ako sú miesta, dátumy, organizácie, ľudia, diela atď. Na vykonávanie NER sa zvyčajne používajú modely pod dohľadom založené na gramatických pravidlách. úlohy.
Zjednoznačnenie zmyslu slova je proces určovania významu alebo zmyslu slova na základe kontextu, v ktorom sa slovo vyskytuje. Zjednoznačnenie zmyslu slova často využíva značkovače slovných druhov na kontextualizáciu cieľového slova. Kontrolované metódy disambiguácie slovného zmyslu zahŕňajú používanie podporných vektorových strojov a učenie založené na pamäti. Väčšina modelov disambiguácie zmyslu slov sú však modely s čiastočným dohľadom, ktoré využívajú označené aj neoznačené údaje.
Príklady NLU (porozumenie prirodzenému jazyku)
Bežné príklady NLU zahŕňajú automatické uvažovanie, automatické smerovanie lístkov, strojový preklad a odpovedanie na otázky.
Automatizované uvažovanie
Automatizované uvažovanie je disciplína, ktorej cieľom je dať strojom určitý typ logiky alebo uvažovania. Je to odvetvie kognitívnej vedy, ktoré sa snaží robiť dedukcie na základe lekárskych diagnóz alebo programovo/automaticky riešiť matematické vety. NLU sa používa na pomoc pri zhromažďovaní a analýze informácií a vytváraní záverov na základe informácií.
Automatické smerovanie lístkov
NLU sa často používa na automatizáciu úloh služieb zákazníkom. Keď sa vygeneruje lístok na zákaznícky servis, chatboty a ďalšie stroje dokážu interpretovať základnú povahu potrieb zákazníka a nasmerovať ich do správneho oddelenia. Spoločnosti dostávajú každý deň tisíce žiadostí o podporu, takže algoritmy NLU sú užitočné pri uprednostňovaní lístkov a umožňujú agentom podpory ich spracovávať efektívnejšie.
Strojový preklad
Je ťažké presne preložiť reč alebo text z jedného jazyka do druhého. V skutočnosti, strojový preklad je jedným z najťažších problémov v NLP a NLU. Mnohé systémy strojového prekladu sa pri preklade medzi jazykmi spoliehajú na lingvistické pravidlá, no výskumníci využívajú sofistikovanejšie spôsoby prekladu medzi jazykmi. Strojový preklad NLU sa pokúša umožniť presnejší preklad zachovaním kontextu a sémantických informácií spojených s cieľovým textom. Najpresnejšie systémy strojového prekladu kombinujú lingvistické pravidlá s algoritmami, ktoré extrahujú sémantický význam.
Odpovedanie na otázku
Rozpoznávanie reči využíva techniky NLU, ktoré umožňujú počítačom porozumieť otázkam pózoval prirodzeným jazykom. NLU sa používa na poskytnutie odpovede používateľom zariadenia v ich prirodzenom jazyku namiesto toho, aby im poskytol zoznam možných odpovedí. Keď digitálnemu asistentovi položíte otázku, NLU sa používa na to, aby pomohla strojom porozumieť otázkam, pričom vyberie najvhodnejšie odpovede na základe funkcií, ako sú rozpoznané entity a kontext predchádzajúcich vyhlásení.
