Co je NLU (Natural Language Understanding)?

Natural language understanding (NLU) je technický koncept v rámci širšího tématu zpracování přirozeného jazyka. NLU je proces, který je zodpovědný za překlad přirozených, lidských slov do formátu, který může počítač interpretovat. V podstatě, předtím, než počítač může zpracovat jazykové údaje, musí rozumět údajům.

Techniky pro NLU zahrnují použití běžné syntaxe a gramatických pravidel, aby umožnily počítači pochopit význam a kontext přirozeného lidského jazyka. Cílem těchto technik je, aby počítač měl “intuitivní” pochopení jazyka, schopné psát a rozumět jazyku stejně jako člověk, bez neustálého odkazování na definice slov.

Definice NLU (Natural Language Understanding)

Existuje mnoho technik, které počítačoví vědci a odborníci na NLP používají k umožnění počítačům pochopit lidský jazyk. Většina těchto technik spadá do kategorie “syntaktické analýzy”. Syntaktické analytické techniky zahrnují:

• lemmatizaci
• odstranění koncovky
• segmentaci slov
• parse
• morfologickou segmentaci
• rozdělení vět
• označení části řeči

Tyto syntaktické analytické techniky aplikují gramatická pravidla na skupiny slov a snaží se pomocí těchto pravidel odvodit význam. Naopak, NLU funguje pomocí “semantické analýzy” technik.

Semantická analýza aplikuje počítačové algoritmy na text, snažící se pochopit význam slov v jejich přirozeném kontextu, místo aby se spoléhala na pravidla-založené přístupy. Gramatická správnost/nesprávnost věty nevyhnutelně nekoreluje s platností věty. Existují věty, které jsou gramaticky správné, ale bezvýznamné, a věty, které jsou gramaticky nesprávné, ale mají význam. Aby byly odlišeny nejvýznamnější aspekty slov, NLU aplikuje řadu technik, jejichž cílem je zachytit význam skupiny slov s menší závislostí na gramatické struktuře a pravidlech.

NLU je se vyvíjejícím a měnícím se oborem a je považován za jeden z tvrdých problémů umělé inteligence. Rozvoj různých technik a nástrojů umožňuje strojům pochopit lidský jazyk. Většina systémů NLU má společné základní komponenty. Pro jazyk je vyžadována lexika, stejně jako nějaký typ textového parseru a gramatických pravidel, které řídí tvorbu textových reprezentací. Systém také vyžaduje teorii sémantiky, aby umožnil pochopení reprezentací. Existují různé sémantické teorie, které se používají k interpretaci jazyka, jako je stochastická sémantická analýza nebo naivní sémantika.

Běžné techniky NLU zahrnují:

• Rozpoznání pojmenovaných entit
• Rozlišení významu slov

Rozpoznání pojmenovaných entit je proces, který rozpoznává “pojmenované entity”, které jsou lidé, důležité místa a věci. Rozpoznání pojmenovaných entit funguje tak, že rozlišuje základní koncepty a odkazy v textu, identifikuje pojmenované entity a řadí je do kategorií, jako jsou umístění, data, organizace, lidé, díla atd. Dozorované modely založené na gramatických pravidlech se obvykle používají k provedení úkolů rozpoznání pojmenovaných entit.

Rozlišení významu slov je proces, který určuje význam, nebo smysl, slova na základě kontextu, ve kterém se slovo objevuje. Rozlišení významu slov často využívá označení části řeči, aby kontextualizovalo cílové slovo. Dozorované metody rozlišení významu slov zahrnují použití podpůrných vektorových strojů a paměťového učení. Nicméně, většina modelů rozlišení významu slov jsou polo dozorované modely, které využívají både označených a neošetřených dat.

Příklady NLU (Natural Language Understanding)

Běžné příklady NLU zahrnují automatizované uvažování, automatické směrování lístků, strojový překlad a zodpovězení otázek.

Automatizované uvažování

Automatizované uvažování je disciplína, která se snaží dát strojům určitý typ logiky nebo uvažování. Je to odvětví kognitivní vědy, která se snaží dělat dedukce na základě lékařských diagnóz nebo programově/automaticky řešit matematické teorie. NLU se používá k pomoci shromáždit a analyzovat informace a vygenerovat závěry na základě informací.

Automatické směrování lístků

NLU se často používá k automatizaci úkonů zákaznické podpory. Když je vygenerován lístek zákaznické podpory, chatboty a další stroje mohou interpretovat základní povahu zákazníkovy potřeby a směrovat je do správného oddělení. Společnosti dostávají tisíce žádostí o podporu každý den, takže algoritmy NLU jsou užitečné při prioritizaci lístků a umožňují agentům zákaznické podpory zpracovat je efektivněji.

Strojový překlad

Je obtížné přesně přeložit řeč nebo text z jednoho jazyka do jiného jazyka. Ve skutečnosti je strojový překlad jedním z nejobtížnějších problémů v NLP a NLU. Mnoho systémů strojového překladu se spoléhá na lingvistické pravidla k překladu mezi jazyky, ale výzkumníci se snaží o více sofistikované způsoby překladu mezi jazyky. NLU strojový překlad se snaží umožnit přesnější překlad tím, že zachovává kontext a sémantické informace spojené s cílovým textem. Nejpreciznější systémy strojového překladu kombinují lingvistické pravidla s algoritmy, které extrahují sémantický význam.

Zodpovězení otázek

Rozpoznávání řeči používá techniky NLU, aby umožnilo počítačům pochopit otázky položené přirozeným jazykem. NLU se používá k tomu, aby uživatelé zařízení dostali odpověď v jejich přirozeném jazyce, místo aby jim poskytli seznam možných odpovědí. Když položíte digitálnímu asistentovi otázku, NLU se používá k tomu, aby stroje pochopily otázky, vybraly nejvhodnější odpovědi na základě funkcí, jako jsou rozpoznané entity a kontext předchozích prohlášení.