Hva er NLP (Naturlig Språkbehandling)?

Naturlig Språkbehandling (NLP) er studiet og anvendelsen av teknikkene og verktøyene som gjør det mulig for datamaskiner å prosessere, analysere, tolke og resonere om menneskespråk. NLP er et tverrfaglig felt som kombinerer teknikkene etablert i fag som lingvistikk og datavitenskap. Disse teknikkene brukes i kombinasjon med AI til å lage chatboter og digitale assistenter som Google Assistant og Amazons Alexa.

La oss ta noen tid til å utforske grunnene bak Naturlig Språkbehandling, noen av teknikkene som brukes i NLP og noen vanlige bruksområder for NLP.

Hvorfor Naturlig Språkbehandling (NLP) Måtte

For at datamaskiner skal kunne tolke menneskespråk, må de konverteres til en form som en datamaskin kan manipulere. Men dette er ikke så enkelt som å konvertere tekstdata til tall. For å kunne utlede mening fra menneskespråk, må mønster trekkes ut fra de hundre eller tusen ord som utgjør en tekst. Dette er ingen enkel oppgave. Det finnes få harde og raske regler som kan brukes til å tolke menneskespråk. For eksempel kan samme sett med ord bety forskjellige ting avhengig av konteksten. Menneskespråk er et komplekst og ofte tvetydig fenomen, og en uttalelse kan bli uttalt med ærlighet eller sarkasme.

Til tross for dette, finnes det noen generelle retningslinjer som kan brukes når man tolker ord og tegn, som for eksempel tegnet “s” som brukes til å angi at et element er flertall. Disse generelle retningslinjene må brukes i kombinasjon med hverandre for å trekke ut mening fra teksten, og for å skape trekk som en maskinlæringsalgoritme kan tolke.

Naturlig Språkbehandling innebærer anvendelsen av ulike algoritmer som kan konvertere ustrukturert data til strukturert data. Hvis disse algoritmene brukes på feil måte, vil datamaskinen ofte feile i å trekke ut riktig mening fra teksten. Dette kan ofte sees i oversettelse av tekst mellom språk, hvor den nøyaktige meningen av setningen ofte går tapt. Mens maskinoversettelse har blitt betydelig bedre de siste årene, skjer maskinoversettelsesfeil likevel ofte.

Naturlig Språkbehandling (NLP) Teknisker

Foto: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Mange av teknikkene som brukes i naturlig språkbehandling kan plasseres i en av to kategorier: syntaks eller semantikk. Syntaks-teknikker er de som handler om ordens rekkefølge, mens semantiske teknikker er de som handler om ordens mening.

Syntaks NLP-teknikker

Eksempler på syntaks inkluderer:

• Lematisering
• Morfologisk segmentering
• Del-av-tale-tagging
• Parsing
• Setningsbryting
• Stamming
• Ordsegmentering

Lematisering refererer til å destillere de forskjellige bøyningene av et ord ned til en enkelt form. Lematisering tar ting som tid og flertall og forenkler dem, for eksempel kan “føtter” bli “fot” og “stripes” kan bli “stripe”. Denne forenklete ordformen gjør det lettere for en algoritme å tolke ordene i en dokument.

Morfologisk segmentering er prosessen med å dele ord inn i morfemer eller grunnenheter av et ord. Disse enhetene er ting som frie morfemer (som kan stå alene som ord) og prefikser eller suffikser.

Del-av-tale-tagging er bare prosessen med å identifisere hvilken del av tale hver ord i en inndata-dokument er.

Parsing refererer til å analysere alle ordene i en setning og korrelere dem med deres formelle grammatikklismer eller gjøre grammatisk analyse for alle ordene.

Setningsbryting, eller setningsgrense-segmentering, refererer til å bestemme hvor en setning begynner og slutter.

Stamming er prosessen med å redusere ord ned til roten av ordet. For eksempel ville “koblet”, “kobling” og “koblinger” alle bli stammet til “koble”.

Ordsegmentering er prosessen med å dele store deler av tekst ned i små enheter, som kan være ord eller stammet/lematisert enheter.

Semantiske NLP-teknikker

Semantiske NLP-teknikker inkluderer teknikker som:

• Navngitt enhetsgjenkjenning
• Naturlig språkgenerering
• Ord-sans-disambiguering

Navngitt enhetsgjenkjenning innebærer å merke bestemte tekstdelar som kan plasseres i en av en rekke forhåndsdefinerte grupper. Forhåndsdefinerte kategorier inkluderer ting som datoer, byer, steder, selskaper og personer.

Naturlig språkgenerering er prosessen med å bruke databaser til å transformere strukturert data til naturlig språk. For eksempel kunne statistikk om været, som temperatur og vindhastighet, bli sammenfattet med naturlig språk.

Ord-sans-disambiguering er prosessen med å tildele mening til ord innen en tekst basert på konteksten ordene opptrer i.

Dype Læringsmodeller For NLP

Vanlige flerlagede perceptroner er ikke i stand til å håndtere tolkningen av sekvensiell data, hvor rekkefølgen av informasjonen er viktig. For å håndtere viktigheten av rekkefølge i sekvensiell data, brukes en type neuralt nettverk som bevarer informasjon fra tidligere tidspunkter i treningen.

Rekursive neurale nettverk er typer neurale nettverk som løper over data fra tidligere tidspunkter, og tar dem med i beregningen av vektene for det nåværende tidspunktet. I praksis har RNN-er tre parametre som brukes under fremover-treningen: en matrise basert på tidligere skjult tilstand, en matrise basert på nåværende inndata, og en matrise som er mellom skjult tilstand og utdata. Fordi RNN-er kan ta informasjon fra tidligere tidspunkter med i beregningen, kan de trekke ut relevante mønster fra tekstdata ved å ta tidligere ord i setningen med i beregningen når de tolker meningen av et ord.

En annen type dyp læringsarkitektur som brukes til å prosessere tekstdata er en Lang Korttidsminne (LSTM)-nettverk. LSTM-nettverk er lik RNN-er i struktur, men på grunn av noen forskjeller i arkitekturen, tendrer de til å fungere bedre enn RNN-er. De unngår et spesifikt problem som ofte oppstår når man bruker RNN-er, kalt eksploderende gradient-problemet.

Disse dype neurale nettverk kan være enten unidireksjonale eller bidireksjonale. Bidireksjonale nettverk er i stand til å ta ikke bare ordene som kommer før det nåværende ordet med i beregningen, men også ordene som kommer etter det. Mens dette fører til høyere nøyaktighet, er det mer komputasjonskrevende.

Bruksområder For Naturlig Språkbehandling (NLP)

Foto: mohammed_hassan via Pixabay, Pixabay-lisens (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Fordi Naturlig Språkbehandling innebærer analysen og manipuleringen av menneskespråk, har det en usedvanlig bred rekke av bruksområder. Mulige bruksområder for NLP inkluderer chatboter, digitale assistenter, holdningsanalyse, dokumentorganisering, rekruttering og helse.

Chatboter og digitale assistenter som Amazons Alexa og Google Assistant er eksempler på talegjenkjenning og syntese-plattformer som bruker NLP til å tolke og svare på vokale kommandoer. Disse digitale assistentene hjelper mennesker med en rekke oppgaver, og lar dem avlaste noen av sine kognitive oppgaver til en annen enhet og frigjøre litt av deres hjernekapasitet til andre, viktigere ting. I stedet for å søke opp den beste ruten til banken på en traveldag, kan vi bare la vår digitale assistent gjøre det.

Holdningsanalyse er bruken av NLP-teknikker til å studere menneskers reaksjoner og følelser overfor et fenomen, som kommunisert gjennom deres språkbruk. Å fange opp holdningen av en uttalelse, som å tolke om en anmeldelse av et produkt er god eller dårlig, kan gi selskaper betydelig informasjon om hvordan deres produkt mottas.

Automatisk organisering av tekst-dokumenter er et annet bruksområde for NLP. Selskaper som Google og Yahoo bruker NLP-algoritmer til å klassifisere e-postdokumenter, og plasserer dem i riktige mapper som “sociale” eller “fremmings”. De bruker også disse teknikkene til å identifisere spam og forhindre at det når innboksen din.

Grupper har også utviklet NLP-teknikker som brukes til å identifisere potensielle jobbkandidater, og finner dem basert på relevante ferdigheter. Rekrutteringsledere bruker også NLP-teknikker til å hjelpe dem med å sortere gjennom lister av søkere.

NLP-teknikker brukes også til å forbedre helsen. NLP kan brukes til å forbedre oppdagingen av sykdommer. Helsejournaler kan analyseres og symptomer trekkes ut av NLP-algoritmer, som kan brukes til å foreslå mulige diagnoser. Et eksempel på dette er Amazons Comprehend Medical-plattform, som analyserer helsejournaler og trekker ut sykdommer og behandlinger. Helseapplikasjoner for NLP omfatter også mental helse. Det finnes apper som WoeBot, som fører brukerne gjennom en rekke angstbehandlings-teknikker basert på kognitiv atferdsterapi.