Artificiell intelligens
Vad är NLU (Naturlig Språkförståelse)?
Naturlig språkförståelse (NLU) är ett tekniskt begrepp inom det större området naturlig språkbehandling. NLU är processen som ansvarar för att översätta naturliga, mänskliga ord till ett format som en dator kan tolka. I princip, innan en dator kan bearbeta språkdata, måste den förstå data.
Tekniker för NLU inkluderar användning av vanlig syntax och grammatiska regler för att möjliggöra för en dator att förstå betydelsen och sammanhanget av naturligt mänskligt språk. Det ultimata målet med dessa tekniker är att en dator ska få en “intuitiv” förståelse av språk, kunna skriva och förstå språk precis som en människa, utan att ständigt hänvisa till definitioner av ord.
Definiera NLU (Naturlig Språkförståelse)
Det finns många tekniker som datavetare och NLP-experter använder för att möjliggöra för datorer att förstå mänskligt språk. De flesta av teknikerna faller inom kategorin “syntaktisk analys”. Syntaktiska analytiska tekniker inkluderar:
- lemmatisering
- stamning
- ordsegmentering
- parsning
- morfologisk segmentering
- meningsbrytning
- del av tal identifiering
Dessa syntaktiska analytiska tekniker tillämpar grammatiska regler på grupper av ord och försöker använda dessa regler för att härleda betydelse. I kontrast, NLU fungerar genom att använda “semantisk analys” tekniker.
Semantisk analys tillämpar datoralgoritmer på text, i försök att förstå betydelsen av ord i deras naturliga sammanhang, istället för att förlita sig på regelbaserade tillvägagångssätt. Den grammatiska korrektheten/inkorrektheten av en fras korrelerar inte nödvändigtvis med frasens giltighet. Det kan finnas fraser som är grammatiskt korrekta men meningslösa, och fraser som är grammatiskt inkorrekta men har mening. För att skilja på de mest meningsfulla aspekterna av ord, tillämpar NLU en mängd olika tekniker som är avsedda att upptäcka betydelsen av en grupp av ord med mindre beroende av grammatisk struktur och regler.
NLU är ett utvecklande och föränderligt område, och det anses vara ett av de svåra problemen inom AI. Olika tekniker och verktyg utvecklas för att ge maskiner en förståelse av mänskligt språk. De flesta NLU-system har vissa kärnkomponenter gemensamma. En lexikon för språket krävs, liksom någon typ av textparser och grammatiska regler för att vägleda skapandet av textrepresentationer. Systemet kräver också en semantisk teori för att möjliggöra förståelse av representationerna. Det finns olika semantiska teorier som används för att tolka språk, som stokastisk semantisk analys eller naiv semantik.
Vanliga NLU-tekniker inkluderar:
Namngiven entitetsigenkänning är processen att känna igen “namngivna entiteter”, som är människor, och viktiga platser/saker. Namngiven entitetsigenkänning fungerar genom att skilja på grundläggande begrepp och referenser i en text, identifiera namngivna entiteter och placera dem i kategorier som platser, datum, organisationer, människor, verk, etc. Övervakade modeller baserade på grammatiska regler används vanligtvis för att utföra NER-uppgifter.
Ord-sinne-desambigueringsprocessen består i att bestämma betydelsen eller meningen av ett ord baserat på sammanhanget som ordet förekommer i. Ord-sinne-desambigueringsprocessen använder ofta del av tal-taggar för att kontextualisera målordet. Övervakade metoder för ord-sinne-desambigueringsprocessen inkluderar användning av supportvektor-maskiner och minnesbaserat lärande. Men de flesta ord-sinne-desambigueringsmodeller är semi-övervakade modeller som använder både märkta och omärkta data.
Exempel på NLU (Naturlig Språkförståelse)
Vanliga exempel på NLU inkluderar Automatiserad resonemang, Automatisk biljett-routning, Maskinöversättning och Frågesvar.
Automatiserad resonemang
Automatiserad resonemang är ett område som syftar till att ge maskiner en typ av logik eller resonemang. Det är en gren av kognitiv vetenskap som försöker göra deduktioner baserat på medicinska diagnoser eller programmera/automatisera matematiska bevis. NLU används för att samla in och analysera information och generera slutsatser baserat på informationen.
Automatisk biljett-routning
NLU används ofta för att automatisera kundtjänstuppgifter. När en kundtjänstbiljett genereras, kan chatbots och andra maskiner tolka den grundläggande naturen av kundens behov och dirigera dem till rätt avdelning. Företag tar emot tusentals förfrågningar om support varje dag, så NLU-algoritmer är användbara för att prioritera biljetter och möjliggöra för supportagenter att hantera dem på ett mer effektivt sätt.
Maskinöversättning
Det är svårt att exakt översätta tal eller text från ett språk till ett annat språk. I själva verket är maskinöversättning ett av de svåraste problemen inom NLP och NLU. Många maskinöversättningsystem förlitar sig på lingvistiska regler för att översätta mellan språk, men forskare försöker hitta mer sofistikerade sätt att översätta mellan språk. NLU-maskinöversättning försöker möjliggöra mer exakt översättning genom att bevara sammanhanget och den semantiska informationen som är associerad med måltexten. De mest exakta maskinöversättningsystemen kombinerar lingvistiska regler med algoritmer som extraherar semantisk mening.
Frågesvar
Talsystem använder NLU-tekniker för att låta datorer förstå frågor som ställs med naturligt språk. NLU används för att ge användarna av enheten ett svar på deras naturliga språk, istället för att ge dem en lista med möjliga svar. När du ställer en fråga till en digital assistent, används NLU för att hjälpa maskinerna att förstå frågorna, välja det mest lämpliga svaret baserat på funktioner som igenkända entiteter och sammanhanget av tidigare uttalanden.
