AI 101
Hva er NLU (Natural Language Understanding)?
Naturlig språkforståelse (NLU) er et teknisk konsept innenfor det større temaet naturlig språkbehandling. NLU er prosessen ansvarlig for å oversette naturlige, menneskelige ord til et format som en datamaskin kan tolke. I hovedsak, før en datamaskin kan behandle språkdata, må den forstå dataene.
Teknikker for NLU inkluderer bruk av vanlige syntaks og grammatiske regler for å gjøre det mulig for en datamaskin å forstå betydningen og konteksten til naturlig menneskelig språk. Det endelige målet med disse teknikkene er at en datamaskin vil få en "intuitiv" forståelse av språk, i stand til å skrive og forstå språk akkurat slik et menneske gjør, uten å stadig referere til definisjonene av ord.
Definere NLU (Natural Language Understanding)
Det er mange teknikker som informatikere og NLP-eksperter bruker for å gjøre det mulig for datamaskiner å forstå menneskelig språk. De fleste teknikkene faller inn i kategorien "syntaktisk analyse". Syntaktiske analytiske teknikker inkluderer:
- lemmatisering
- stemming
- ordsegmentering
- parsing
- morfologisk segmentering
- setningsbryting
- del av talemerking
Disse syntaktiske analytiske teknikkene bruker grammatiske regler på grupper av ord og forsøker å bruke disse reglene for å utlede mening. Derimot opererer NLU ved å bruke "semantisk analyse"-teknikker.
Semantisk analyse bruker dataalgoritmer på tekst, og forsøker å forstå betydningen av ord i deres naturlige kontekst, i stedet for å stole på regelbaserte tilnærminger. Den grammatiske riktigheten/feilen til en setning korrelerer ikke nødvendigvis med gyldigheten til en setning. Det kan være setninger som er grammatisk korrekte, men meningsløse, og setninger som er grammatisk feil, men som likevel har mening. For å skille de mest meningsfulle aspektene ved ord, bruker NLU en rekke teknikker ment å fange opp betydningen av en gruppe ord med mindre avhengighet av grammatisk struktur og regler.
NLU er et felt i utvikling og endring, og det anses som et av de vanskelige problemene med AI. Ulike teknikker og verktøy utvikles for å gi maskiner en forståelse av menneskelig språk. De fleste NLU-systemer har visse kjernekomponenter til felles. Et leksikon for språket er nødvendig, og det samme er en type tekstparser og grammatikkregler for å veilede opprettelsen av tekstrepresentasjoner. Systemet krever også en semantikkteori for å muliggjøre forståelse av representasjonene. Det er forskjellige semantiske teorier som brukes til å tolke språk, som stokastisk semantisk analyse eller naiv semantikk.
Vanlige NLU-teknikker inkluderer:
Anerkjennelse av navngitte enheter er prosessen med å gjenkjenne "navngitte enheter", som er mennesker og viktige steder/ting. Named Entity Recognition opererer ved å skille grunnleggende konsepter og referanser i en tekst, identifisere navngitte enheter og plassere dem i kategorier som steder, datoer, organisasjoner, personer, verk osv. Overvåkede modeller basert på grammatikkregler brukes vanligvis til å utføre NER oppgaver.
Ord-Sense-disambiguation er prosessen med å bestemme betydningen, eller betydningen, av et ord basert på konteksten som ordet opptrer i. Ordsans-disambiguation bruker ofte del av tale-taggere for å kontekstualisere målordet. Overvåkede metoder for ord-sans-disambiguering inkluderer brukeren av støttevektormaskiner og minnebasert læring. Imidlertid er de fleste disambigueringsmodeller for ordsans semi-overvåket modeller som bruker både merkede og umerkede data.
Eksempler på NLU (Natural Language Understanding)
Vanlige eksempler på NLU inkluderer automatisert resonnement, automatisk billettruting, maskinoversettelse og svar på spørsmål.
Automatisert resonnement
Automatisert resonnement er en disiplin som har som mål å gi maskiner en type logikk eller resonnement. Det er en gren av kognitiv vitenskap som forsøker å gjøre deduksjoner basert på medisinske diagnoser eller programmatisk/automatisk løse matematiske teoremer. NLU brukes til å hjelpe til med å samle inn og analysere informasjon og generere konklusjoner basert på informasjonen.
Automatisk billettruting
NLU brukes ofte til å automatisere kundeserviceoppgaver. Når en kundeservicebillett genereres, kan chatbots og andre maskiner tolke den grunnleggende naturen til kundens behov og dirigere dem til riktig avdeling. Bedrifter mottar tusenvis av forespørsler om støtte hver dag, så NLU-algoritmer er nyttige for å prioritere billetter og gjøre det mulig for støtteagenter å håndtere dem på mer effektive måter.
Maskinoversettelse
Det er vanskelig å nøyaktig oversette tale eller tekst fra ett språk til et annet. Faktisk, maskinoversettelse er et av de vanskeligste problemene i NLP og NLU. Mange maskinoversettelsessystemer er avhengige av språklige regler for å oversette mellom språk, men forskere forfølger mer sofistikerte måter å oversette mellom språk. NLU maskinoversettelse forsøker å muliggjøre mer nøyaktig oversettelse ved å bevare konteksten og den semantiske informasjonen knyttet til målteksten. De mest nøyaktige maskinoversettelsessystemene kombinerer språklige regler med algoritmer som trekker ut semantisk mening.
Spørsmål svar
Talegjenkjenning bruker NLU-teknikker for å la datamaskiner forstå spørsmål stilt med naturlig språk. NLU brukes til å gi brukerne av enheten et svar på deres naturlige språk, i stedet for å gi dem en liste over mulige svar. Når du stiller et spørsmål til en digital assistent, brukes NLU til å hjelpe maskinene med å forstå spørsmålene, ved å velge de mest passende svarene basert på funksjoner som gjenkjente enheter og konteksten til tidligere utsagn.
