Hvad er NLU (Naturlig Sprogforståelse)?

Naturlig sprogforståelse (NLU) er et teknisk begreb inden for det større emne om naturlig sprogbehandling. NLU er processen, der er ansvarlig for at oversætte naturlige, menneskelige ord til et format, som en computer kan fortolke. I virkeligheden skal en computer først forstå data, før den kan behandle sprogdata.

Teknikker til NLU omfatter brugen af almindelig syntaks og grammatiske regler for at enable en computer til at forstå betydningen og konteksten af naturligt menneskesprog. Det ultimative mål for disse teknikker er, at en computer vil få en “intuitiv” forståelse af sprog, så den kan skrive og forstå sprog på samme måde som et menneske, uden konstant at referere til definitionerne af ord.

Definering af NLU (Naturlig Sprogforståelse)

Der er talrige teknikker, som computerforskere og NLP-eksperter bruger til at enable computere til at forstå menneskesprog. De fleste af disse teknikker falder inden for kategorien “syntaktisk analyse”. Syntaktiske analytiske teknikker omfatter:

• lemmatisering
• stamning
• ordsegmentering
• parsing
• morfologisk segmentering
• sætningsskæring
• part-of-speech-tagging

Disse syntaktiske analytiske teknikker anvender grammatiske regler til grupper af ord og forsøger at bruge disse regler til at aflede betydning. I modsætning hertil fungerer NLU ved at bruge “semantiske analytiske” teknikker.

Semantisk analyse anvender computeralgoritmer til tekst, med det formål at forstå betydningen af ord i deres naturlige kontekst, i stedet for at afhænge af regelbaserede tilgange. Den grammatiske korrekthed/inkorrekthed af en frase behøver ikke nødvendigvis at korrelerer med validiteten af en frase. Der kan være fraser, der er grammatiske korrekte, men meningsløse, og fraser, der er grammatiske inkorrekte, men har betydning. For at skelne de mest meningsfulde aspekter af ord, anvender NLU en række teknikker, der er designet til at fange betydningen af en gruppe af ord med mindre afhængighed af grammatiske strukturer og regler.

NLU er et udviklende og foranderligt felt, og det anses for at være et af de svære problemer i AI. Forskere udvikler forskellige teknikker og værktøjer for at give maskiner en forståelse af menneskesprog. De fleste NLU-systemer har visse grundlæggende komponenter til fælles. En ordbog for sproget er nødvendig, ligesom en tekstparser og grammatiske regler til at guide skabelsen af tekstrepræsentationer. Systemet kræver også en teori om semantik for at enable forståelse af repræsentationerne. Der er forskellige semantiske teorier, der bruges til at fortolke sprog, som f.eks. stokastisk semantisk analyse eller naiv semantik.

Almindelige NLU-teknikker omfatter:

• Nævnt-entitetsgenkendelse
• Ordforskel

Nævnt-entitetsgenkendelse er processen med at genkende “nævnte entiteter”, der er personer, og vigtige steder/ting. Nævnt-entitetsgenkendelse fungerer ved at skelne grundlæggende begreber og referencer i en tekst, ved at identificere nævnte entiteter og placere dem i kategorier som f.eks. steder, datoer, organisationer, personer, værker osv. Overvågede modeller baseret på grammatiske regler bruges typisk til at udføre NER-opgaver.

Ordforskel er processen med at bestemme betydningen eller betydningen af et ord baseret på konteksten, som ordet optræder i. Ordforskel bruger ofte part-of-speech-tagging til at kontekstualisere målordet. Overvågede metoder til ordforskel omfatter brugen af supportvektor-maskiner og memory-baseret læring. Men de fleste ordforskel-modeller er semi-overvågede modeller, der anvender både markeret og umarkeret data.

Eksempler på NLU (Naturlig Sprogforståelse)

Almindelige eksempler på NLU omfatter Automatiseret Ræsonnement, Automatisk Billet-Routing, Maskinoversættelse og Spørgsmålssvar.

Automatiseret Ræsonnement

Automatiseret ræsonnement er en disciplin, der sigter mod at give maskiner en type logik eller ræsonnement. Det er en gren af kognitiv videnskab, der søger at træffe slutninger baseret på medicinske diagnoser eller programmeringsmæssigt/automatisk løse matematiske teorier. NLU bruges til at hjælpe med at samle og analysere information og generere konklusioner baseret på informationen.

Automatisk Billet-Routing

NLU bruges ofte til at automatisere kundeserviceopgaver. Når en kundeservicebillett genereres, kan chatbots og andre maskiner fortolke den grundlæggende natur af kundens behov og routere dem til den rette afdeling. Virksomheder modtager tusindvis af anmodninger om support hver dag, så NLU-algoritmer er nyttige til at prioritere billetter og enable support-agenter til at håndtere dem på mere effektive måder.

Maskinoversættelse

Det er svært at oversætte tale eller tekst fra ét sprog til et andet sprog nøjagtigt. I virkeligheden er maskinoversættelse et af de sværeste problemer i NLP og NLU. Mange maskinoversættelsessystemer afhænger af lingvistiske regler til at oversætte mellem sprog, men forskere søger efter mere avancerede måder at oversætte mellem sprog på. NLU-maskinoversættelse søger at enable mere nøjagtig oversættelse ved at bevare konteksten og semantiske informationer forbundet med målteksten. De mest nøjagtige maskinoversættelsessystemer kombinerer lingvistiske regler med algoritmer, der udtrækker semantisk betydning.

Spørgsmålssvar

Talegenkendelse bruger NLU-teknikker til at lade computere forstå spørgsmål, der er formuleret med naturligt sprog. NLU bruges til at give brugerne af enheden en respons i deres naturlige sprog, i stedet for at give dem en liste over mulige svar. Når du spørger en digital assistent et spørgsmål, bruges NLU til at hjælpe maskinerne med at forstå spørgsmålene, ved at vælge de mest passende svar baseret på funktioner som genkendte entiteter og konteksten af tidligere udsagn.