AI 101
Co je to NLU (Natural Language Understanding)?
porozumění přirozenému jazyku (NLU) je technický koncept v rámci širšího tématu zpracování přirozeného jazyka. NLU je proces zodpovědný za překlad přirozených, lidských slov do formátu, který počítač dokáže interpretovat. V podstatě, než může počítač zpracovat jazyková data, musí těmto datům porozumět.
Techniky pro NLU zahrnují použití běžné syntaxe a gramatických pravidel, které umožňují počítači porozumět významu a kontextu přirozeného lidského jazyka. Konečným cílem těchto technik je, že počítač dosáhne „intuitivního“ porozumění jazyku, bude schopen psát a rozumět jazyku stejně jako člověk, aniž by se neustále odvolával na definice slov.
Definice NLU (Porozumění přirozenému jazyku)
Existuje mnoho technik, které počítačoví vědci a odborníci na NLP používají, aby umožnili počítačům porozumět lidské řeči. Většina technik spadá do kategorie „syntaktické analýzy“. Syntaktické analytické techniky zahrnují:
- lemmatizace
- nálada
- segmentace slov
- parsování
- morfologické členění
- lámání věty
- značkování slovních druhů
Tyto syntaktické analytické techniky aplikují gramatická pravidla na skupiny slov a pokoušejí se použít tato pravidla k odvození významu. Naproti tomu NLU funguje pomocí technik „sémantické analýzy“.
Sémantická analýza aplikuje na text počítačové algoritmy a snaží se porozumět významu slov v jejich přirozeném kontextu, místo aby se spoléhala na přístupy založené na pravidlech. Gramatická správnost/nesprávnost fráze nemusí nutně korelovat s platností fráze. Mohou existovat fráze, které jsou gramaticky správné, ale nesmyslné, a fráze, které jsou gramaticky nesprávné, ale mají význam. Aby bylo možné rozlišit nejsmysluplnější aspekty slov, NLU používá různé techniky určené k zachycení významu skupiny slov s menším spoléháním se na gramatickou strukturu a pravidla.
NLU je vyvíjející se a měnící se obor a považuje se za jeden z nejtěžších problémů AI. Vyvíjejí se různé techniky a nástroje, aby stroje porozuměly lidské řeči. Většina systémů NLU má některé základní komponenty společné. Je vyžadován lexikon pro daný jazyk, stejně jako určitý typ analyzátoru textu a pravidla gramatiky, která vedou vytváření textových reprezentací. Systém také vyžaduje teorii sémantiky, která umožní pochopení reprezentací. K interpretaci jazyka se používají různé sémantické teorie, jako je stochastická sémantická analýza nebo naivní sémantika.
Mezi běžné techniky NLU patří:
Rozpoznávání pojmenovaných entit je proces rozpoznávání „pojmenovaných entit“, což jsou lidé a důležitá místa/věci. Rozpoznávání pojmenovaných entit funguje tak, že rozlišuje základní pojmy a odkazy v textu, identifikuje pojmenované entity a umísťuje je do kategorií, jako jsou místa, data, organizace, lidé, díla atd. K provádění NER se obvykle používají modely pod dohledem založené na gramatických pravidlech. úkoly.
Zjednoznačnění slovního smyslu je proces určování významu nebo smyslu slova na základě kontextu, ve kterém se slovo vyskytuje. Zjednoznačnění slovního smyslu často používá značkovače slovních druhů, aby uvedlo cílové slovo do kontextu. Mezi kontrolované metody dezambiguace slovního smyslu patří uživatel podpůrných vektorových strojů a učení založené na paměti. Většina modelů pro zjednoznačnění slovního významu jsou však modely s polovičním dohledem, které využívají jak označená, tak neoznačená data.
Příklady NLU (porozumění přirozenému jazyku)
Mezi běžné příklady NLU patří automatické uvažování, automatické směrování lístků, strojový překlad a odpovídání na otázky.
Automatické uvažování
Automatické uvažování je disciplína, jejímž cílem je dát strojům určitý typ logiky nebo uvažování. Je to obor kognitivní vědy, který se snaží dělat dedukce na základě lékařských diagnóz nebo programově/automaticky řešit matematické věty. NLU se používá ke shromažďování a analýze informací a vytváření závěrů na základě informací.
Automatické směrování vstupenek
NLU se často používá k automatizaci úkolů služeb zákazníkům. Když je vygenerován lístek zákaznického servisu, chatboti a další stroje mohou interpretovat základní povahu zákaznických potřeb a nasměrovat je do správného oddělení. Společnosti dostávají tisíce žádostí o podporu každý den, takže algoritmy NLU jsou užitečné při upřednostňování lístků a umožňují agentům podpory zpracovávat je efektivněji.
Strojový překlad
Je obtížné přesně přeložit řeč nebo text z jednoho jazyka do druhého. Ve skutečnosti, Strojový překlad je jedním z nejobtížnějších problémů v NLP a NLU. Mnoho systémů strojového překladu se při překladu mezi jazyky spoléhá na lingvistická pravidla, ale výzkumníci sledují sofistikovanější způsoby překladu mezi jazyky. Strojový překlad NLU se pokouší umožnit přesnější překlad zachováním kontextu a sémantických informací spojených s cílovým textem. Nejpřesnější systémy strojového překladu kombinují lingvistická pravidla s algoritmy, které extrahují sémantický význam.
Odpověď na otázku
Rozpoznávání řeči využívá techniky NLU k umožnění počítačů porozumět otázkám pózoval přirozeným jazykem. NLU se používá k tomu, aby uživatelům zařízení poskytla odpověď v jejich přirozeném jazyce, místo aby jim poskytovala seznam možných odpovědí. Když digitálnímu asistentovi položíte otázku, NLU se používá k tomu, aby pomohla strojům porozumět otázkám a vybírá nejvhodnější odpovědi na základě funkcí, jako jsou rozpoznané entity a kontext předchozích prohlášení.
