Co je NLU (Natural Language Understanding)?

Přírodní jazykové porozumění (NLU) je technický koncept v rámci širšího tématu zpracování přirozeného jazyka. NLU je proces, který je zodpovědný za překlad přirozených, lidských slov do formátu, který může počítač interpretovat. V podstatě, předtím, než počítač může zpracovat jazykové údaje, musí rozumět údajům.

Techniky pro NLU zahrnují použití běžné syntaxe a gramatických pravidel, aby počítač mohl pochopit význam a kontext přirozeného lidského jazyka. Cílem těchto technik je, aby počítač měl “intuitivní” porozumění jazyka, aby mohl psát a rozumět jazyku stejně jako člověk, bez neustálého odkazování na definice slov.

Definice NLU (Natural Language Understanding)

Existuje mnoho technik, které počítačoví vědci a odborníci na NLP používají k umožnění počítačům porozumět lidskému jazyku. Většina technik spadá do kategorie “syntaktické analýzy”. Syntaktické analytické techniky zahrnují:

• lemmatizace
• odvozování
• segmentace slov
• parse
• morfologická segmentace
• rozdělení vět
• označení části řeči

Tyto syntaktické analytické techniky aplikují gramatická pravidla na skupiny slov a snaží se pomocí těchto pravidel odvodit význam. Naopak, NLU funguje pomocí “semantické analýzy” technik.

Semantická analýza aplikuje počítačové algoritmy na text, aby pochopila význam slov v jejich přirozeném kontextu, místo aby se spoléhala na pravidla-založené přístupy. Gramatická správnost/nesprávnost věty nemusí nutně korelovat s platností věty. Existují věty, které jsou gramaticky správné, ale bezvýznamné, a věty, které jsou gramaticky nesprávné, ale mají význam. Aby NLU rozlišila nejvýznamnější aspekty slov, aplikuje řadu technik, které jsou určeny k zachycení významu skupiny slov s menší závislostí na gramatické struktuře a pravidlech.

NLU je vyvíjející se a měnící se obor, a je považován za jeden z tvrdých problémů AI. Rozličná technika a nástroje se vyvíjejí, aby daly strojům porozumění lidskému jazyku. Většina systémů NLU má určitá základní komponenty společná. Pro jazyk je vyžadována lexika, stejně jako some typ textového parseru a gramatická pravidla, která vedou k vytvoření textových reprezentací. Systém také vyžaduje teorii sémantiky, aby umožnil pochopení reprezentací. Existuje řada sémantických teorií, které se používají k interpretaci jazyka, jako je stochastická sémantická analýza nebo naivní sémantika.

Běžné techniky NLU zahrnují:

• Rozpoznání pojmenovaných entit
• Odstranění homonymie slov

Rozpoznání pojmenovaných entit je proces, který rozpoznává “pojmenované entity”, které jsou lidé, a důležité místa/věci. Rozpoznání pojmenovaných entit funguje tak, že rozlišuje základní koncepty a odkazy v textu, identifikuje pojmenované entity a umisťuje je do kategorií, jako jsou místa, data, organizace, lidé, díla atd. Dozorované modely založené na gramatických pravidlech se obvykle používají k provedení úkolů rozpoznání pojmenovaných entit.

Odstranění homonymie slov je proces, který určuje význam, nebo smysl, slova na základě kontextu, ve kterém se slovo objevuje. Odstranění homonymie slov často využívá označení části řeči, aby kontextualizovalo cílové slovo. Dozorované metody odstranění homonymie slov zahrnují použití podpůrných vektorových strojů a paměťového učení. Nicméně, většina modelů odstranění homonymie slov jsou semi-dozené modely, které využívají både označené a neošetřené údaje.

Příklady NLU (Natural Language Understanding)

Běžné příklady NLU zahrnují automatizované uvažování, automatické směrování tiketů, strojový překlad a zodpovězení otázek.

Automatizované uvažování

Automatizované uvažování je disciplína, která se snaží dát strojům určitý typ logiky nebo uvažování. Je to odvětví kognitivní vědy, které se snaží učinit dedukce na základě lékařských diagnóz nebo programově/automaticky řešit matematické teorie. NLU se používá, aby pomohla shromáždit a analyzovat informace a vygenerovat závěry na základě informací.

Automatické směrování tiketů

NLU se často používá k automatizaci úkolů zákaznické podpory. Když je vygenerován tiket zákaznické podpory, chatboty a další stroje mohou interpretovat základní povahu potřeb zákazníka a směrovat je do správného oddělení. Společnosti dostávají tisíce žádostí o podporu každý den, takže algoritmy NLU jsou užitečné při prioritizaci tiketů a umožňují podporu agentům, aby je zpracovali efektivněji.

Strojový překlad

Je obtížné přesně přeložit řeč nebo text z jednoho jazyka do jiného jazyka. Ve skutečnosti je strojový překlad jedním z nejobtížnějších problémů v NLP a NLU. Mnoho systémů strojového překladu se spoléhá na lingvistické pravidla k překladu mezi jazyky, ale výzkumníci se snaží o více sofistikované způsoby překladu mezi jazyky. NLU strojový překlad se snaží umožnit přesnější překlad tím, že zachovává kontext a sémantické informace spojené s cílovým textem. Nejpreciznější systémy strojového překladu kombinují lingvistické pravidla s algoritmy, které extrahují sémantický význam.

Zodpovězení otázek

Rozpoznání řeči používá techniky NLU, aby umožnilo počítačům porozumět otázkám položeným v přirozeném jazyce. NLU se používá, aby uživatelům zařízení poskytla odpověď v jejich přirozeném jazyce, místo aby jim poskytla seznam možných odpovědí. Když položíte digitálnímu asistentovi otázku, NLU se používá, aby pomohla strojům pochopit otázky, vybrat nejvhodnější odpovědi na základě funkcí, jako jsou rozpoznané entity a kontext předchozích prohlášení.