Co to jest NLP (Przetwarzanie Języka Naturalnego)?

Przetwarzanie Języka Naturalnego (NLP) jest studium i zastosowaniem technik i narzędzi, które umożliwiają komputerom przetwarzanie, analizę, interpretację i wnioskowanie o języku ludzkim. NLP jest dziedziną interdyscyplinarną i łączy techniki ustanowione w dziedzinach takich jak lingwistyka i informatyka. Te techniki są stosowane w połączeniu z AI w celu tworzenia chatbotów i asystentów cyfrowych, takich jak Google Assistant i Amazon’s (AMZN ) Alexa.

Zajmijmy się bliżej racjonalnością za Przetwarzaniem Języka Naturalnego, niektórymi z technik stosowanych w NLP oraz niektórymi przypadkami użycia NLP.

Dlaczego Przetwarzanie Języka Naturalnego (NLP) jest ważne

Aby komputery mogły interpretować język ludzki, muszą być przekształcone w postać, którą komputer może manipulować. Jednak nie jest to tak proste, jak przekształcenie danych tekstowych w liczby. Aby wywnioskować znaczenie z języka ludzkiego, muszą być wyodrębnione wzorce z setek lub tysięcy słów, które tworzą dokument tekstowy. Nie jest to łatwe zadanie. Są niewiele twardych i szybkich zasad, które mogą być stosowane do interpretacji języka ludzkiego. Na przykład, ten sam zestaw słów może oznaczać różne rzeczy w zależności od kontekstu. Język ludzki jest złożonym i często niejasnym, a zdanie może być wypowiedziane ze szczerością lub sarkazmem.

Pomimo tego, istnieją pewne ogólne wytyczne, które mogą być stosowane przy interpretowaniu słów i znaków, takich jak znak „s” używany do oznaczenia, że przedmiot jest liczony. Te ogólne wytyczne muszą być stosowane w połączeniu z sobą, aby wyodrębnić znaczenie z tekstu, aby utworzyć funkcje, które mogą być interpretowane przez algorytm uczenia maszynowego.

Przetwarzanie Języka Naturalnego obejmuje zastosowanie różnych algorytmów, które mogą przekształcić nieustrukturyzowane dane w strukturyzowane dane. Jeśli te algorytmy są stosowane w niewłaściwy sposób, komputer często nie jest w stanie wywnioskować poprawnego znaczenia z tekstu. Może to być często widoczne w tłumaczeniu tekstu między językami, gdzie dokładne znaczenie zdania jest często tracone. Chociaż tłumaczenie maszynowe znacznie się poprawiło w ciągu ostatnich kilku lat, błędy tłumaczenia maszynowego nadal zdarzają się często.

Techniki Przetwarzania Języka Naturalnego (NLP)

Photo: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Wiele z technik, które są stosowane w przetwarzaniu języka naturalnego, może być umieszczone w jednej z dwóch kategorii: składnia lub semantyka. Techniki składniowe są tymi, które dotyczą kolejności słów, podczas gdy techniki semantyczne są tymi, które dotyczą znaczenia słów.

Techniki NLP Składniowe

Przykłady składni obejmują:

• Lematyzacja
• Segmentacja morfologiczna
• Oznaczanie części mowy
• Parsowanie
• Rozdzielanie zdań
• Odcięcie
• Segmentacja słów

Lematyzacja odnosi się do destylacji różnych odmian słowa do jednej postaci. Lematyzacja bierze rzeczy takie jak czasy i liczby mnogie i upraszcza je, na przykład „stopy” mogą stać się „stopa” i „paski” mogą stać się „pasek”. Ta uproszczona postać słowa ułatwia algorytmowi interpretację słów w dokumencie.

Segmentacja morfologiczna jest procesem dzielenia słów na morfemy lub podstawowe jednostki słowa. Te jednostki są rzeczami takimi jak wolne morfemy (które mogą samodzielnie funkcjonować jako słowa) i przedrostki lub przyrostki.

Oznaczanie części mowy jest po prostu procesem identyfikacji, jaka część mowy jest każde słowo w wejściowym dokumencie.

Parsowanie odnosi się do analizy wszystkich słów w zdaniu i skorelowania ich z formalnymi etykietami gramatycznymi lub wykonywania analizy gramatycznej dla wszystkich słów.

Rozdzielanie zdań, lub segmentacja granic zdań, odnosi się do decyzji, gdzie zdanie zaczyna się i kończy.

Odcięcie jest procesem redukowania słów do postaci korzeniowej słowa. Na przykład, połączone, połączenie i połączenia byłyby wszystkie odcięte do „połączyć”.

Segmentacja słów jest procesem dzielenia dużych części tekstu na małe jednostki, które mogą być słowami lub odciętymi/lematyzowanymi jednostkami.

Techniki NLP Semantyczne

Techniki semantyczne NLP obejmują techniki takie jak:

• Rozpoznawanie nazwanych jednostek
• Generowanie języka naturalnego
• Rozróżnianie znaczenia słów

Rozpoznawanie nazwanych jednostek obejmuje oznaczanie pewnych części tekstu, które mogą być umieszczone w jednej z wielu predefiniowanych grup. Predefiniowane kategorie obejmują rzeczy takie jak daty, miasta, miejsca, firmy i osoby.

Generowanie języka naturalnego jest procesem używania baz danych do transformacji strukturyzowanych danych w język naturalny. Na przykład, statystyki o pogodzie, takie jak temperatura i prędkość wiatru, mogą być podsumowane w języku naturalnym.

Rozróżnianie znaczenia słów jest procesem przypisywania znaczenia słowom w tekście na podstawie kontekstu, w którym występują.

Głębokie Modele Uczenia Maszynowego Dla NLP

Regularne wielowarstwowe perceptrony są niezdolne do radzenia sobie z interpretacją sekwencyjnych danych, gdzie kolejność informacji jest ważna. Aby poradzić sobie z ważnością kolejności w sekwencyjnych danych, używa się typu sieci neuronowej, która zachowuje informacje z poprzednich kroków czasowych podczas treningu.

Sieci Neuronowe Rekurencyjne są typem sieci neuronowej, która przechodzi przez dane z poprzednich kroków czasowych, biorąc je pod uwagę podczas obliczania wag bieżącego kroku czasowego. Podstawowo, sieci neuronowe rekurencyjne mają trzy parametry, które są używane podczas przodu treningu: macierz oparta na poprzednim ukrytym stanie, macierz oparta na bieżącym wejściu i macierz pomiędzy stanem ukrytym a wyjściem. Ponieważ sieci neuronowe rekurencyjne mogą brać pod uwagę informacje z poprzednich kroków czasowych, mogą wyodrębnić istotne wzorce z danych tekstowych, biorąc pod uwagę wcześniejsze słowa w zdaniu podczas interpretacji znaczenia słowa.

Inny typ głębokiej architektury uczenia maszynowego stosowany do przetwarzania danych tekstowych to Sieć Pamięciowa Długoterminowej (LSTM). Sieci LSTM są podobne do sieci neuronowych rekurencyjnych w strukturze, ale ze względu na pewne różnice w ich architekturze, mają tendencję do lepszego działania niż sieci neuronowe rekurencyjne. Unikają pewnego problemu, który często występuje podczas używania sieci neuronowych rekurencyjnych, zwanego problemem wybuchających gradientów.

Te głębokie sieci neuronowe mogą być albo jednokierunkowe, albo dwukierunkowe. Sieci dwukierunkowe są w stanie brać pod uwagę nie tylko słowa, które poprzedzają bieżące słowo, ale także słowa, które następują po nim. Chociaż prowadzi to do wyższej dokładności, jest bardziej kosztowne obliczeniowo.

Przypadki Użycia Przetwarzania Języka Naturalnego (NLP)

Photo: mohammed_hassan via Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Ponieważ Przetwarzanie Języka Naturalnego obejmuje analizę i manipulację językami ludzkimi, ma niezwykle szeroki zakres zastosowań. Możliwe zastosowania NLP obejmują chatboty, asystentów cyfrowych, analizę nastrojów, organizację dokumentów, rekrutację talentów i opiekę zdrowotną.

Chatboty i asystenci cyfrowi, takie jak Amazon’s Alexa i Google Assistant, są przykładami platform rozpoznawania i syntezowania mowy, które używają NLP do interpretacji i odpowiedzi na polecenia głosowe. Te asystenci cyfrowi pomagają ludziom w szerokim zakresie zadań, pozwalając im przerzucić niektóre z ich zadań poznawczych na inny urządzenie i uwolnić niektóre z ich mocy mózgu na inne, bardziej ważne rzeczy. Zamiast szukać najlepszej trasy do banku w zajętym poranku, możemy po prostu poprosić naszego asystenta cyfrowego, aby to zrobił.

Analiza nastrojów jest użyciem technik NLP do badania reakcji i uczuć ludzi na zjawisko, tak jak jest ono komunikowane przez ich użycie języka. Przechwycenie nastroju wypowiedzi, takiego jak interpretacja, czy recenzja produktu jest dobra czy zła, może dostarczyć firmom znacznych informacji na temat tego, jak ich produkt jest odbierany.

Automatyczna organizacja dokumentów tekstowych jest innym zastosowaniem NLP. Firmy takie jak Google i Yahoo używają algorytmów NLP do klasyfikacji dokumentów e-mail, umieszczając je w odpowiednich kategoriach, takich jak „społeczne” lub „promocje”. Używają również tych technik do identyfikacji spamu i zapobiegania mu, aby trafił do Twojej skrzynki.

Grupy również opracowały techniki NLP, które są używane do identyfikacji potencjalnych kandydatów do pracy, znajdując ich na podstawie odpowiednich umiejętności. Menadżerowie ds. rekrutacji również używają technik NLP, aby pomóc im przeglądać listy kandydatów.

Techniki NLP są również używane do poprawy opieki zdrowotnej. NLP może być użyty do poprawy wykrywania chorób. Rejestracje zdrowia mogą być analizowane, a objawy mogą być wyodrębnione przez algorytmy NLP, które mogą być następnie użyte do sugerowania możliwych rozpoznań. Jednym z przykładów jest platforma Amazon’s Comprehend Medical, która analizuje rejestracje zdrowia i wyodrębnia choroby i leczenia. Zastosowania opieki zdrowotnej NLP sięgają również do zdrowia psychicznego. Są aplikacje takie jak WoeBot, które rozmawiają z użytkownikami przez różne techniki zarządzania lękami oparte na Terapii Poznawczo-Behawioralnej.