AI 101
Hvad er NLU (Natural Language Understanding)?
Naturlig sprogforståelse (NLU) er et teknisk koncept inden for det større emne naturlig sprogbehandling. NLU er den proces, der er ansvarlig for at oversætte naturlige, menneskelige ord til et format, som en computer kan fortolke. Grundlæggende, før en computer kan behandle sprogdata, skal den forstå dataene.
Teknikker til NLU omfatter brugen af fælles syntaks og grammatiske regler for at gøre det muligt for en computer at forstå betydningen og konteksten af naturligt menneskeligt sprog. Det ultimative mål med disse teknikker er, at en computer vil komme til at have en "intuitiv" forståelse af sprog, i stand til at skrive og forstå sprog på samme måde, som et menneske gør, uden konstant at henvise til definitionerne af ord.
Definition af NLU (Natural Language Understanding)
Der er adskillige teknikker, som dataloger og NLP-eksperter bruger til at sætte computere i stand til at forstå menneskeligt sprog. De fleste af teknikkerne falder ind under kategorien "syntaktisk analyse". Syntaktiske analytiske teknikker omfatter:
- lemmatisering
- hidrører
- ordsegmentering
- parsing
- morfologisk segmentering
- sætningsbrud
- del af talemærkning
Disse syntaktiske analytiske teknikker anvender grammatiske regler på grupper af ord og forsøger at bruge disse regler til at udlede mening. I modsætning hertil opererer NLU ved at bruge "semantisk analyse" teknikker.
Semantisk analyse anvender computeralgoritmer til tekst og forsøger at forstå betydningen af ord i deres naturlige kontekst i stedet for at stole på regelbaserede tilgange. Den grammatiske korrekthed/ukorrekthed af en sætning hænger ikke nødvendigvis sammen med gyldigheden af en sætning. Der kan være sætninger, der er grammatisk korrekte, men meningsløse, og sætninger, der er grammatisk forkerte, men som alligevel har betydning. For at skelne mellem de mest meningsfulde aspekter af ord, anvender NLU en række forskellige teknikker, der har til formål at opfange betydningen af en gruppe ord med mindre afhængighed af grammatisk struktur og regler.
NLU er et felt i udvikling og forandring, og det betragtes som et af de svære problemer ved AI. Forskellige teknikker og værktøjer udvikles for at give maskiner en forståelse af det menneskelige sprog. De fleste NLU-systemer har visse kernekomponenter til fælles. Et leksikon for sproget er påkrævet, ligesom der er en form for tekstparser og grammatikregler til at guide skabelsen af tekstrepræsentationer. Systemet kræver også en semantikteori for at muliggøre forståelse af repræsentationerne. Der er forskellige semantiske teorier, der bruges til at fortolke sprog, såsom stokastisk semantisk analyse eller naiv semantik.
Almindelige NLU-teknikker omfatter:
Anerkendelse af navngivne enheder er processen med at genkende "navngivne enheder", som er mennesker og vigtige steder/ting. Named Entity Recognition fungerer ved at skelne mellem grundlæggende begreber og referencer i en tekst, identificere navngivne enheder og placere dem i kategorier som steder, datoer, organisationer, personer, værker osv. Overvågede modeller baseret på grammatikregler bruges typisk til at udføre NER opgaver.
Ord-Sense Disambiguation er processen med at bestemme betydningen eller betydningen af et ord baseret på den kontekst, som ordet optræder i. Ordsans-disambiguation gør ofte brug af del af tale-taggers for at kontekstualisere målordet. Overvågede metoder til ord-sans-disambiguation inkluderer brugeren af støttevektormaskiner og hukommelsesbaseret læring. De fleste disambigueringsmodeller for ordsans er dog semi-overvågede modeller, der anvender både mærkede og umærkede data.
Eksempler på NLU (Natural Language Understanding)
Almindelige eksempler på NLU omfatter automatisk ræsonnement, automatisk billetruting, maskinoversættelse og besvarelse af spørgsmål.
Automatiseret ræsonnement
Automatiseret ræsonnement er en disciplin, der har til formål at give maskiner en form for logik eller ræsonnement. Det er en gren af kognitiv videnskab, der bestræber sig på at foretage deduktioner baseret på medicinske diagnoser eller programmatisk/automatisk løse matematiske teoremer. NLU bruges til at hjælpe med at indsamle og analysere information og generere konklusioner baseret på informationen.
Automatisk billetruting
NLU bruges ofte til at automatisere kundeserviceopgaver. Når en kundeservicebillet genereres, kan chatbots og andre maskiner fortolke den grundlæggende karakter af kundens behov og dirigere dem til den rigtige afdeling. Virksomheder modtager tusindvis af anmodninger om support hver dag, så NLU-algoritmer er nyttige til at prioritere billetter og gøre det muligt for supportagenter at håndtere dem på mere effektive måder.
Maskinoversættelse
Det er svært nøjagtigt at oversætte tale eller tekst fra et sprog til et andet sprog. Faktisk, maskine oversættelse er et af de sværeste problemer i NLP og NLU. Mange maskinoversættelsessystemer er afhængige af sproglige regler for at oversætte mellem sprog, men forskere forfølger mere sofistikerede måder at oversætte mellem sprog. NLU maskinoversættelse forsøger at muliggøre mere nøjagtig oversættelse ved at bevare konteksten og den semantiske information forbundet med målteksten. De mest nøjagtige maskinoversættelsessystemer kombinerer sproglige regler med algoritmer, der uddrager semantisk betydning.
Besvarelse af spørgsmål
Talegenkendelse bruger NLU-teknikker til at lade computere forstå spørgsmål stillet med naturligt sprog. NLU bruges til at give brugerne af enheden et svar på deres naturlige sprog i stedet for at give dem en liste over mulige svar. Når du stiller en digital assistent et spørgsmål, bruges NLU til at hjælpe maskinerne med at forstå spørgsmålene ved at vælge de mest passende svar baseret på funktioner som genkendte enheder og konteksten af tidligere udsagn.
