Co je NLP (Natural Language Processing)?

Natural Language Processing (NLP) je studium a aplikace technik a nástrojů, které umožňují počítačům zpracovávat, analyzovat, interpretovat a rozumět lidskému jazyku. NLP je mezioborový obor, který kombinuje techniky z oblastí jako lingvistika a počítačová věda. Tyto techniky se používají ve spojení s umělou inteligencí k vytváření chatbotů a digitálních asistentů, jako je Google Assistant a Amazon (AMZN ) Alexa.

Počínaje tím, že prozkoumáme důvody, proč je Natural Language Processing důležitý, některé techniky používané v NLP a některé běžné použití NLP.

Proč Natural Language Processing (NLP) Matters

Aby počítače mohly interpretovat lidský jazyk, musí být převedeny do formy, kterou může počítač zpracovat. To však není tak jednoduché, jako převést textová data na čísla. Aby se z lidského jazyka získal význam, musí být z textu odstraněny vzory. To není snadný úkol. Existuje málo pevných pravidel, která lze aplikovat na interpretaci lidského jazyka. Například stejná sada slov může mít různé významy v závislosti na kontextu. Lidský jazyk je komplexní a často nejednoznačný, a výpověď může být učiněna s upřímností nebo sarkasmem.

Navzdory tomu existují některé obecné pokyny, které lze použít při interpretaci slov a znaků, jako je použití znaku “s” k označení, že položky jsou množné. Tyto obecné pokyny musí být použity ve spojení s ostatními, aby se z textu získal význam, a vytvořily funkce, které může algoritmus strojového učení interpretovat.

Natural Language Processing zahrnuje aplikaci různých algoritmů, které mohou převést nestrukturovaná data na strukturovaná data. Pokud tyto algoritmy nejsou použity správně, počítač často nezíská správný význam z textu. To lze často vidět při překladu textu mezi jazyky, kde je přesný význam věty často ztracen. Přestože strojový překlad podstatně pokročil v posledních letech, chyby strojového překladu se stále vyskytují.

Natural Language Processing (NLP) Techniques

Foto: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Mnohé techniky používané v přírodním jazykovém zpracování lze zařadit do jedné ze dvou kategorií: syntaxe nebo sémantiky. Syntaxe techniky jsou ty, které se zabývají pořadím slov, zatímco sémantické techniky jsou ty, které se zabývají významem slov.

Syntax NLP Techniques

Příklad syntaxe zahrnuje:

• Lemmatizace
• Morfologická segmentace
• Označení části řeči
• Parsing
• Rozdělení vět
• Stemming
• Segmentace slov

Lemmatizace se týká zjednodušení různých forem slova na jednu formu. Lemmatizace bere věci, jako jsou časy a množná čísla, a zjednodušuje je, například “feet” se stává “foot” a “stripes” se stává “stripe”. Tato zjednodušená forma slova usnadňuje algoritmu interpretaci slov v dokumentu.

Morfologická segmentace je proces dělení slov na morfémy nebo základní jednotky slova. Tyto jednotky jsou věci, jako jsou volné morfémy (které mohou stát samostatně jako slova) a prefixy nebo suffixy.

Označení části řeči je jednoduše proces identifikace, která část řeči je každému slovu ve vstupním dokumentu.

Parsing se týká analýzy všech slov ve větě a jejich korelace s formálními gramatickými značkami nebo provedení gramatické analýzy pro všechna slova.

Rozdělení vět, nebo segmentace hranic vět, se týká rozhodnutí, kde věta začíná a končí.

Stemming je proces snižování slov na jejich kořenovou formu. Například “connected”, “connection” a “connections” by byly všechny zredukovány na “connect”.

Segmentace slov je proces dělení velkých kusů textu na malé jednotky, které mohou být slova nebo zredukována/lematizovaná jednotky.

Sémantické NLP Techniky

Sémantické NLP techniky zahrnují techniky, jako jsou:

• Rozpoznání jmenovaných entit
• Generování přirozeného jazyka
• Odstranění nejednoznačnosti významu slov

Rozpoznání jmenovaných entit zahrnuje označování určitých částí textu, které lze umístit do jedné z předem definovaných skupin. Předdefinované kategorie zahrnují věci, jako jsou data, města, místa, společnosti a jednotlivci.

Generování přirozeného jazyka je proces použití databází k transformaci strukturovaných dat na přirozený jazyk. Například statistiky o počasí, jako je teplota a rychlost větru, by mohly být shrnuty pomocí přirozeného jazyka.

Odstranění nejednoznačnosti významu slov je proces přiřazování významu slov v textu na základě kontextu, ve kterém se objevují.

Hluboké učení modelů pro NLP

Pravidelné multilayer perceptrony nejsou schopny zpracovat interpretaci sekvencí dat, kde je pořadí informací důležité. Aby se vyrovnal s důležitostí pořadí v sekvencích dat, používá se typ neuronové sítě, který uchovává informace z předchozích časových kroků během tréninku.

Recurrentní neuronové sítě jsou typy neuronových sítí, které projdou data z předchozích časových kroků, berou je v úvahu při výpočtu váhy aktuálního časového kroku. Základní RNN mají tři parametry, které se používají během předávání vpřed: matici založenou na předchozím skrytém stavu, matici založenou na aktuálním vstupu a matici mezi skrytým stavem a výstupem. Protože RNN mohou vzít v úvahu informace z předchozích časových kroků, mohou extrahovat relevantní vzory z textových dat, berou v úvahu předchozí slova ve větě při interpretaci významu slova.

Jiný typ hlubokého učení architektury používaný k zpracování textových dat je Long Short-Term Memory (LSTM) síť. LSTM sítě jsou podobné RNN v struktuře, ale díky rozdílům ve své architektuře obvykle fungují lépe než RNN. Vyhnou se konkrétnímu problému, který se často vyskytuje při použití RNN, nazývanému problém explodujících gradientů.

Tyto hluboké neuronové sítě mohou být buď unidirekční nebo bidirekční. Bidirekční sítě jsou schopny vzít v úvahu nejen slova, která předcházejí aktuální slovo, ale i slova, která následují. Ačkoli to vede k vyšší přesnosti, je to výpočetně nákladnější.

Případy použití Natural Language Processing (NLP)

Foto: mohammed_hassan via Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Přírodní jazykové zpracování zahrnuje analýzu a manipulaci lidských jazyků, a proto má neuvěřitelně širokou škálu aplikací. Možné aplikace pro NLP zahrnují chatboty, digitální asistenty, sentimentální analýzu, organizaci dokumentů, nábor talentů a zdravotnictví.

Chatboty a digitální asistenty, jako je Amazon Alexa a Google Assistant, jsou příklady platforem pro rozpoznávání a syntézu hlasu, které používají NLP k interpretaci a odpovědi na hlasové příkazy. Tyto digitální asistenty pomáhají lidem s širokou škálou úkolů, umožňují jim přenést některé své kognitivní úkoly na jiný zařízení a uvolnit část své mozkové kapacity pro jiné, důležitější věci. Místo toho, aby hledali nejlepší cestu k bance v rušném dopoledni, mohou mít svůj digitální asistent, aby to udělal.

Sentimentální analýza je použití technik NLP ke studiu reakcí a pocitů lidí na jev, jak je vyjádřeno jejich užíváním jazyka. Zachycení sentimentu prohlášení, jako je interpretace, zda je recenze produktu dobrá nebo špatná, může poskytnout společnostem podstatné informace o tom, jak je jejich produkt přijímán.

Automatizace organizace textových dokumentů je další aplikací NLP. Společnosti, jako je Google a Yahoo, používají algoritmy NLP k klasifikaci e-mailových dokumentů, umístění jich do příslušných kategorií, jako je “sociální” nebo “propagace”. Používají také tyto techniky k identifikaci spamu a zabránění jeho doručování do vaší schránky.

Skupiny také vyvinuly techniky NLP, které se používají k identifikaci potenciálních uchazečů o zaměstnání, nalezení jich na základě relevantních dovedností. Manažeři náboru také používají techniky NLP, aby jim pomohly třídit seznamy uchazečů.

Techniky NLP se také používají ke zlepšení zdravotnictví. NLP lze použít ke zlepšení detekce nemocí. Zdravotnické záznamy lze analyzovat a symptomy lze extrahovat pomocí algoritmů NLP, které lze poté použít k navržení možných diagnóz. Jedním z příkladů je platforma Amazon Comprehend Medical, která analyzuje zdravotnické záznamy a extrahuje nemoci a léčby. Aplikace NLP ve zdravotnictví se také vztahují na duševní zdraví. Existují aplikace, jako je WoeBot, které vedou uživatele prostřednictvím různých technik řízení úzkosti založených na kognitivní behaviorální terapii.