AI 101
Vad är NLU (Natural Language Understanding)?
Naturlig språkförståelse (NLU) är ett tekniskt koncept inom det större ämnet naturlig språkbehandling. NLU är den process som ansvarar för att översätta naturliga, mänskliga ord till ett format som en dator kan tolka. I huvudsak, innan en dator kan bearbeta språkdata, måste den förstå data.
Tekniker för NLU inkluderar användningen av vanliga syntax- och grammatiska regler för att göra det möjligt för en dator att förstå innebörden och sammanhanget av naturligt mänskligt språk. Det yttersta målet med dessa tekniker är att en dator kommer att få en "intuitiv" förståelse av språk, kunna skriva och förstå språk precis som en människa gör, utan att ständigt hänvisa till definitionerna av ord.
Definiera NLU (Natural Language Understanding)
Det finns många tekniker som datavetare och NLP-experter använder för att göra det möjligt för datorer att förstå mänskligt språk. De flesta av teknikerna faller inom kategorin "syntaktisk analys". Syntaktiska analytiska tekniker inkluderar:
- lemmatisering
- stemming
- ordsegmentering
- parsning
- morfologisk segmentering
- meningsbrytning
- del av talmärkning
Dessa syntaktiska analytiska tekniker tillämpar grammatiska regler på grupper av ord och försöker använda dessa regler för att härleda mening. Däremot arbetar NLU genom att använda "semantisk analys"-tekniker.
Semantisk analys tillämpar datoralgoritmer på text och försöker förstå betydelsen av ord i deras naturliga sammanhang, istället för att förlita sig på regelbaserade tillvägagångssätt. Den grammatiska riktigheten/felaktigheten av en fras korrelerar inte nödvändigtvis med giltigheten av en fras. Det kan finnas fraser som är grammatiskt korrekta men ändå meningslösa, och fraser som är grammatiskt felaktiga men ändå har betydelse. För att särskilja de mest meningsfulla aspekterna av ord, använder NLU en mängd olika tekniker som är avsedda att ta upp betydelsen av en grupp av ord med mindre beroende av grammatisk struktur och regler.
NLU är ett fält som utvecklas och förändras, och det anses vara ett av de svåra problemen med AI. Olika tekniker och verktyg utvecklas för att ge maskiner förståelse för mänskligt språk. De flesta NLU-system har vissa kärnkomponenter gemensamma. Ett lexikon för språket krävs, liksom någon typ av texttolkare och grammatikregler för att styra skapandet av textrepresentationer. Systemet kräver också en teori om semantik för att möjliggöra förståelse av representationerna. Det finns olika semantiska teorier som används för att tolka språk, som stokastisk semantisk analys eller naiv semantik.
Vanliga NLU-tekniker inkluderar:
Namngivna enheter är processen att känna igen "namngivna enheter", som är människor och viktiga platser/saker. Named Entity Recognition fungerar genom att särskilja grundläggande begrepp och referenser i en text, identifiera namngivna enheter och placera dem i kategorier som platser, datum, organisationer, personer, verk, etc. Övervakade modeller baserade på grammatikregler används vanligtvis för att utföra NER uppgifter.
Ord-Sense Disambiguation är processen att bestämma betydelsen, eller betydelsen, av ett ord baserat på det sammanhang som ordet förekommer i. Ordbemärkelsedisambiguation använder ofta del av taltaggare för att kontextualisera målordet. Övervakade metoder för disambiguation av ord och mening inkluderar användaren av stödvektormaskiner och minnesbaserad inlärning. De flesta disambigueringsmodeller för ordbemärkelse är dock semi-övervakade modeller som använder både märkta och omärkta data.
Exempel på NLU (Natural Language Understanding)
Vanliga exempel på NLU inkluderar automatiserad resonemang, automatisk biljettdirigering, maskinöversättning och frågesvar.
Automatiserad resonemang
Automatiserade resonemang är en disciplin som syftar till att ge maskiner en typ av logik eller resonemang. Det är en gren av kognitionsvetenskapen som strävar efter att göra slutsatser baserade på medicinska diagnoser eller programmatiskt/automatiskt lösa matematiska teoremer. NLU används för att samla in och analysera information och generera slutsatser baserade på informationen.
Automatisk biljettförmedling
NLU används ofta för att automatisera kundtjänstuppgifter. När en kundtjänstbiljett genereras kan chatbots och andra maskiner tolka den grundläggande karaktären av kundens behov och dirigera dem till rätt avdelning. Företag får tusentals förfrågningar om support varje dag, så NLU-algoritmer är användbara för att prioritera biljetter och göra det möjligt för supportagenter att hantera dem på ett mer effektivt sätt.
Maskinöversättning
Det är svårt att korrekt översätta tal eller text från ett språk till ett annat. Faktiskt, maskinöversättning är ett av de svåraste problemen inom NLP och NLU. Många maskinöversättningssystem förlitar sig på språkliga regler för att översätta mellan språk, men forskare eftersträvar mer sofistikerade sätt att översätta mellan språk. NLU maskinöversättning försöker möjliggöra mer exakt översättning genom att bevara kontexten och den semantiska informationen som är associerad med måltexten. De mest exakta maskinöversättningssystemen kombinerar språkliga regler med algoritmer som extraherar semantisk betydelse.
Frågeställning
Taligenkänning använder NLU-tekniker för att låta datorer förstå frågor poserade med naturligt språk. NLU används för att ge användarna av enheten ett svar på deras naturliga språk, istället för att ge dem en lista med möjliga svar. När du ställer en fråga till en digital assistent, används NLU för att hjälpa maskinerna att förstå frågorna, välja de lämpligaste svaren baserat på funktioner som erkända enheter och sammanhanget för tidigare påståenden.
