Hva er NLU (Naturlig Språkforståelse)?

Naturlig språkforståelse (NLU) er et teknisk begrep innen det større området naturlig språkbehandling. NLU er prosessen som er ansvarlig for å oversette naturlige, menneskelige ord til et format som en datamaskin kan tolke. I essensen, før en datamaskin kan prosessere språkdata, må den forstå dataene.

Teknikker for NLU inkluderer bruk av vanlig syntaks og grammatikregler for å enable en datamaskin å forstå meningen og konteksten av naturlig menneskespråk. Det ultimate målet for disse teknikker er at en datamaskin vil få en “intuitiv” forståelse av språk, i stand til å skrive og forstå språk på samme måte som et menneske, uten å måtte hele tiden referere til definisjonene av ord.

Definering av NLU (Naturlig Språkforståelse)

Det finnes flere teknikker som datavitenskapsmenn og NLP-eksperter bruker for å enable datamaskiner å forstå menneskespråk. De fleste av disse teknikker faller innen kategorien “syntaktisk analyse”. Syntaktiske analyseteknikker inkluderer:

• lemmatisering
• stamming
• ordsegmentering
• parsing
• morfologisk segmentering
• setningsdeling
• del av tale-tagging

Disse syntaktiske analyseteknikker anvender grammatikregler til grupper av ord og prøver å bruke disse reglene til å avlede mening. I motsetning til dette, opererer NLU ved å bruke “semantisk analyse”-teknikker.

Semantisk analyse anvender datamaskinalgoritmer til tekst, og prøver å forstå meningen av ord i deres naturlige kontekst, i stedet for å stole på regelbaserte tilnærminger. Den grammatikalske korrektheten/inkorrektheten av en frase behøver ikke å korrelere med gyldigheten av en frase. Det kan finnes fraser som er grammatisk korrekte, men meningsløse, og fraser som er grammatisk inkorrekte, men har mening. For å skille de mest meningsfulle aspektene av ord, anvender NLU en rekke teknikker som er ment å fange opp meningen av en gruppe ord med mindre avhengighet av grammatisk struktur og regler.

NLU er et utviklende og forandrende felt, og det regnes som ett av de vanskelige problemene i AI. Forskere utvikler flere teknikker og verktøy for å gi maskiner en forståelse av menneskespråk. De fleste NLU-systemer har visse felles komponenter. En leksikon for språket er nødvendig, samt en type tekstparser og grammatikregler for å guide skapelsen av tekstrepresentasjoner. Systemet krever også en teori om semantikk for å enable forståelse av representasjonene. Det finnes flere semantiske teorier som brukes til å tolke språk, som stokastisk semantisk analyse eller naiv semantikk.

Vanlige NLU-teknikker inkluderer:

• Navngitt enhetsgjenkjenning
• Ordsans-gjenkjenning

Navngitt enhetsgjenkjenning er prosessen med å gjenkjenne “navngitte enheter”, som er mennesker og viktige steder/ting. Navngitt enhetsgjenkjenning opererer ved å skille fundamentale konsepter og referanser i en tekst, og identifisere navngitte enheter og plassere dem i kategorier som steder, datoer, organisasjoner, mennesker, verk, osv. Overvåkede modeller basert på grammatikregler brukes vanligvis til å utføre NER-oppgaver.

Ordsans-gjenkjenning er prosessen med å bestemme meningen eller betydningen av et ord basert på konteksten det opptrer i. Ordsans-gjenkjenning bruker ofte del av tale-tagging for å kontekstualisere målordet. Overvåkede metoder for ordsans-gjenkjenning inkluderer bruk av støttevektormaskiner og minnebasert læring. Imidlertid er de fleste ordsans-gjenkjenningmodeller semi-overvåkede modeller som bruker både merket og umerket data.

Eksempler på NLU (Naturlig Språkforståelse)

Vanlige eksempler på NLU inkluderer Automatisert resonnering, Automatisk billett-ruting, Maskinoversettelse og Spørsmål-svar.

Automatisert resonnering

Automatisert resonnering er en disiplin som har som mål å gi maskiner en type logikk eller resonnering. Det er en gren av kognitiv vitenskap som forsøker å gjøre deduksjoner basert på medisinske diagnoser eller å løse matematiske teorier programmeringsmessig/automatisk. NLU brukes til å hjelpe med å samle inn og analysere informasjon og generere konklusjoner basert på informasjonen.

Automatisk billett-ruting

NLU brukes ofte til å automatisere kundeservicetasker. Når en kundeserviceticket genereres, kan chatboter og andre maskiner tolke den grunnleggende naturen av kundens behov og rute dem til riktig avdeling. Selskaper mottar tusenvis av forespørsler om støtte hver dag, så NLU-algoritmer er nyttige i å prioritere billetter og enable støtteagenter å håndtere dem på mer effektive måter.

Maskinoversettelse

Det er vanskelig å oversette tale eller tekst fra ett språk til et annet språk nøyaktig. Faktisk er maskinoversettelse ett av de vanskeligste problemene i NLP og NLU. Mange maskinoversettelsessystemer avhenger av lingvistiske regler for å oversette mellom språk, men forskere søker etter mer avanserte måter å oversette mellom språk på. NLU-maskinoversettelse forsøker å enable mer nøyaktig oversettelse ved å bevare konteksten og semantisk informasjon assosiert med målteksten. De mest nøyaktige maskinoversettelsessystemene kombinerer lingvistiske regler med algoritmer som trekker ut semantisk mening.

Spørsmål-svar

Tale-gjenkjenning bruker NLU-teknikker for å la datamaskiner forstå spørsmål stilt med naturlig språk. NLU brukes til å gi brukerne av enheten en respons i deres naturlige språk, i stedet for å gi dem en liste over mulige svar. Når du spør en digital assistent et spørsmål, brukes NLU til å hjelpe maskinene å forstå spørsmålet, og velger det mest passende svaret basert på egenskaper som gjenkjente enheter og konteksten av tidligere uttalelser.