Vad är NLU (Naturlig Språkförståelse)?

Naturlig språkförståelse (NLU) är ett tekniskt begrepp inom det större området naturlig språkbehandling. NLU är processen som ansvarar för att översätta naturliga, mänskliga ord till ett format som en dator kan tolka. I princip måste en dator förstå data innan den kan bearbeta språkdata.

Tekniker för NLU inkluderar användning av vanlig syntax och grammatiska regler för att möjliggöra för en dator att förstå betydelsen och sammanhanget av naturligt mänskligt språk. Det ultimata målet med dessa tekniker är att en dator ska få en “intuitiv” förståelse av språk, kunna skriva och förstå språk på samma sätt som en människa, utan att ständigt hänvisa till definitioner av ord.

Definiering av NLU (Naturlig Språkförståelse)

Det finns många tekniker som datavetare och NLP-experter använder för att möjliggöra för datorer att förstå mänskligt språk. De flesta av dessa tekniker faller inom kategorin “syntaktisk analys”. Syntaktiska analytiska tekniker inkluderar:

• lemmatisering
• stamning
• ordsegmentering
• parsning
• morfologisk segmentering
• meningsbrytning
• del av tal identifiering

Dessa syntaktiska analytiska tekniker tillämpar grammatiska regler på grupper av ord och försöker använda dessa regler för att hämta betydelse. I kontrast fungerar NLU genom att använda “semantisk analys” tekniker.

Semantisk analys tillämpar datoralgoritmer på text, i försök att förstå betydelsen av ord i deras naturliga sammanhang, istället för att förlita sig på regelbaserade tillvägagångssätt. Den grammatiska korrektheten/inkorrektheten av en fras behöver inte nödvändigtvis korrelera med giltigheten av en fras. Det kan finnas fraser som är grammatiskt korrekta men meningslösa, och fraser som är grammatiskt inkorrekta men har mening. För att skilja de mest meningsfulla aspekterna av ord, tillämpar NLU en mängd tekniker som syftar till att identifiera betydelsen av en grupp av ord med mindre beroende av grammatisk struktur och regler.

NLU är ett utvecklande och föränderligt område, och det anses vara ett av de svåra problemen inom AI. Olika tekniker och verktyg utvecklas för att ge maskiner en förståelse av mänskligt språk. De flesta NLU-system har vissa kärnkomponenter gemensamt. En lexikon för språket krävs, liksom någon form av textparser och grammatiska regler för att vägleda skapandet av textrepresentationer. Systemet kräver också en semantisk teori för att möjliggöra förståelse av representationerna. Det finns olika semantiska teorier som används för att tolka språk, som stokastisk semantisk analys eller naiv semantik.

Vanliga NLU-tekniker inkluderar:

• Namngiven entitetsigenkänning
• Ordförklaringsdisambigueringsanalys

Namngiven entitetsigenkänning är processen att känna igen “namngivna entiteter”, som är människor, och viktiga platser/saker. Namngiven entitetsigenkänning fungerar genom att skilja grundläggande begrepp och referenser i en text, identifiera namngivna entiteter och placera dem i kategorier som platser, datum, organisationer, människor, verk, etc. Tillsynsmodeller baserade på grammatiska regler används vanligtvis för att utföra NER-uppgifter.

Ordförklaringsdisambigueringsanalys är processen att bestämma betydelsen, eller betydelsen, av ett ord baserat på sammanhanget som ordet förekommer i. Ordförklaringsdisambigueringsanalys använder ofta del av tal-taggar för att kontextualisera målordet. Tillsynsmetoder för ordförklaringsdisambigueringsanalys inkluderar användning av stödvectorsmaskiner och minnesbaserat lärande. Men de flesta ordförklaringsdisambigueringsmodeller är semitillsynsmodeller som använder både märkta och omärkta data.

Exempel på NLU (Naturlig Språkförståelse)

Vanliga exempel på NLU inkluderar Automatiserad resonemang, Automatisk biljettvägning, Maskinöversättning och Frågesvar.

Automatiserad resonemang

Automatiserad resonemang är ett område som syftar till att ge maskiner en typ av logik eller resonemang. Det är en gren av kognitiv vetenskap som syftar till att göra deduktioner baserat på medicinska diagnoser eller programmerat/automatiskt lösa matematiska satser. NLU används för att hjälpa till att samla in och analysera information och generera slutsatser baserat på informationen.

Automatisk biljettvägning

NLU används ofta för att automatisera kundtjänstuppgifter. När en kundtjänstbiljett genereras, kan chatbots och andra maskiner tolka den grundläggande naturen av kundens behov och dirigera dem till rätt avdelning. Företag tar emot tusentals förfrågningar om support varje dag, så NLU-algoritmer är användbara för att prioritera biljetter och möjliggöra för supportagenter att hantera dem på ett mer effektivt sätt.

Maskinöversättning

Det är svårt att översätta tal eller text från ett språk till ett annat språk på ett korrekt sätt. I själva verket är maskinöversättning ett av de svåraste problemen inom NLP och NLU. Många maskinöversättningsystem förlitar sig på lingvistiska regler för att översätta mellan språk, men forskare strävar efter mer avancerade sätt att översätta mellan språk. NLU-maskinöversättning försöker möjliggöra mer exakt översättning genom att bevara sammanhanget och semantisk information som är associerad med måltexten. De mest exakta maskinöversättningsystemen kombinerar lingvistiska regler med algoritmer som extraherar semantisk betydelse.

Frågesvar

Taligenkänning använder NLU-tekniker för att låta datorer förstå frågor som ställs med naturligt språk. NLU används för att ge enhetens användare ett svar i deras naturliga språk, istället för att tillhandahålla en lista med möjliga svar. När du ställer en fråga till en digital assistent, används NLU för att hjälpa maskinerna att förstå frågorna, välja de mest lämpliga svaren baserat på funktioner som erkända entiteter och sammanhanget av tidigare uttalanden.