Sztuczna inteligencja
Co to jest NLU (Natural Language Understanding)?
Natural language understanding (NLU) jest pojęciem technicznym w ramach szerszego tematu przetwarzania języka naturalnego. NLU jest procesem odpowiedzialnym za tłumaczenie naturalnych, ludzkich słów na format, który może być interpretowany przez komputer. Podstawowo, zanim komputer może przetworzyć dane językowe, musi zrozumieć dane.
Techniki NLU obejmują stosowanie wspólnej składni i reguł gramatycznych, aby umożliwić komputerowi zrozumienie znaczenia i kontekstu naturalnego języka ludzkiego. Ostatecznym celem tych technik jest to, aby komputer miał „intuicyjne” zrozumienie języka, aby mógł pisać i zrozumieć język tak jak człowiek, bez ciągłego odwoływania się do definicji słów.
Definiowanie NLU (Natural Language Understanding)
Istnieje wiele technik, których używają naukowcy komputerowi i eksperci NLP, aby umożliwić komputerom zrozumienie języka ludzkiego. Większość tych technik należy do kategorii „analizy składniowej”. Techniki analityczne składniowe obejmują:
- lematyzację
- odcinanie
- segmentację słów
- analizę składniową
- segmentację morfologiczną
- rozdzielanie zdań
- oznaczanie części mowy
Te techniki analityczne składniowe stosują reguły gramatyczne do grup słów i próbują wykorzystać te reguły do wywnioskowania znaczenia. W przeciwieństwie do tego, NLU działa poprzez stosowanie technik „analizy semantycznej”.
Analiza semantyczna stosuje algorytmy komputerowe do tekstu, próbując zrozumieć znaczenie słów w ich naturalnym kontekście, zamiast polegać na podejściach opartych na regułach. Poprawność lub niepoprawność gramatyczna zdania nie musi koniecznie korelować z ważnością zdania. Mogą istnieć zdania, które są gramatycznie poprawne, ale pozbawione znaczenia, oraz zdania, które są gramatycznie niepoprawne, ale mają znaczenie. Aby odróżnić najbardziej znaczące aspekty słów, NLU stosuje różne techniki mające na celu wykrycie znaczenia grupy słów z mniejszym uwzględnieniem struktury gramatycznej i reguł.
NLU jest ewoluującą i zmieniającą się dziedziną, i uważa się ją za jeden z trudnych problemów sztucznej inteligencji. Rozwija się wiele technik i narzędzi, aby dać maszynom zrozumienie języka ludzkiego. Większość systemów NLU ma pewne wspólne składniki. Wymagany jest leksykon języka, a także rodzaj parsera tekstu i reguł gramatycznych, aby ułatwić tworzenie reprezentacji tekstu. System wymaga również teorii semantyki, aby umożliwić zrozumienie reprezentacji. Istnieją różne teorie semantyki używane do interpretacji języka, takie jak stochastyczna analiza semantyczna lub semantyka naiwna.
Powszechne techniki NLU obejmują:
Named Entity Recognition jest procesem rozpoznawania „nazwanych jednostek”, które są ludźmi, miejscami i rzeczami. Named Entity Recognition działa poprzez rozróżnianie podstawowych pojęć i odniesień w tekście, identyfikowanie nazwanych jednostek i umieszczanie ich w kategoriach takich jak lokalizacje, daty, organizacje, ludzie, prace itp. Modele nadzorowane oparte na regułach gramatycznych są zwykle używane do realizacji zadań NER.
Word-Sense Disambiguation jest procesem określania znaczenia, lub sensu, słowa w zależności od kontekstu, w którym słowo występuje. Word sense disambiguation często wykorzystuje oznaczanie części mowy, aby umiejscowić słowo docelowe. Metody nadzorowane word-sense disambiguation obejmują użycie wektorów nośnych i uczenia się opartego na pamięci. Jednak większość modeli word sense disambiguation to półnadzorowane modele, które wykorzystują zarówno oznaczone, jak i nieoznaczone dane.
Przykłady NLU (Natural Language Understanding)
Powszechne przykłady NLU obejmują Automatyczne Rozumowanie, Automatyczne Kierowanie Biletami, Tłumaczenie Maszynowe i Odpowiadanie na Pytania.
Automatyczne Rozumowanie
Automatyczne rozumowanie jest dyscypliną, która ma na celu dać maszynom rodzaj logiki lub rozumowania. Jest to gałąź nauki kognitywnej, która stara się wyciągać wnioski na podstawie diagnoz medycznych lub programowo/automatycznie rozwiązywać teoremy matematyczne. NLU jest używany do pomocy w zbieraniu i analizie informacji oraz generowaniu wniosków na podstawie informacji.
Automatyczne Kierowanie Biletami
NLU jest często używany do automatyzacji zadań obsługi klienta. Gdy wygenerowany jest bilet serwisowy, czaty i inne maszyny mogą interpretować podstawową naturę potrzeby klienta i skierować go do odpowiedniego departamentu. Firmy otrzymują tysiące wniosków o wsparcie każdego dnia, więc algorytmy NLU są przydatne w priorytyzowaniu biletów i umożliwianiu agentom wsparcia obsługiwać je w bardziej efektywny sposób.
Tłumaczenie Maszynowe
Trudno jest dokładnie tłumaczyć mowę lub tekst z jednego języka na inny język. W rzeczywistości, tłumaczenie maszynowe jest jednym z najtrudniejszych problemów w NLP i NLU. Wiele systemów tłumaczenia maszynowego opiera się na regułach językowych, aby tłumaczyć między językami, ale badacze są zaangażowani w bardziej zaawansowane sposoby tłumaczenia między językami. NLU tłumaczenia maszynowego próbuje umożliwić bardziej dokładne tłumaczenie, zachowując kontekst i informacje semantyczne związane z tekstem docelowym. Najdokładniejsze systemy tłumaczenia maszynowego łączą reguły językowe z algorytmami, które wyodrębniają znaczenie semantyczne.
Odpowiadanie na Pytania
Rozpoznawanie mowy używa technik NLU, aby umożliwić komputerom zrozumienie pytań zadawanych w języku naturalnym. NLU jest używany, aby dać użytkownikom urządzenia odpowiedź w ich języku naturalnym, zamiast zapewnienia im listy możliwych odpowiedzi. Gdy zadajesz cyfrowemu asystentowi pytanie, NLU jest używany, aby pomóc maszynom zrozumieć pytania, wybierając najbardziej odpowiednie odpowiedzi na podstawie cech takich jak rozpoznane jednostki i kontekst poprzednich oświadczeń.
