Wat is NLU (Natural Language Understanding)?

Natural language understanding (NLU) is een technisch concept binnen het bredere onderwerp van natural language processing. NLU is het proces dat verantwoordelijk is voor het vertalen van natuurlijke, menselijke woorden naar een formaat dat een computer kan interpreteren. In wezen moet een computer eerst de gegevens begrijpen voordat deze de taalgegevens kan verwerken.

Technieken voor NLU omvatten het gebruik van algemene syntaxis en grammaticale regels om een computer in staat te stellen de betekenis en context van natuurlijke menselijke taal te begrijpen. Het uiteindelijke doel van deze technieken is dat een computer een “intuïtief” begrip van taal zal krijgen, waardoor deze taal kan schrijven en begrijpen op dezelfde manier als een mens, zonder voortdurend te verwijzen naar de definities van woorden.

Definitie van NLU (Natural Language Understanding)

Er zijn verschillende technieken die computerwetenschappers en NLP-experts gebruiken om computers in staat te stellen menselijke taal te begrijpen. De meeste van deze technieken vallen onder de categorie “syntactische analyse”. Syntactische analysetechnieken omvatten:

• lemmatisering
• stemming
• woordsegmentatie
• parsing
• morfologische segmentatie
• zinverdeling
• part-of-speech-tagging

Deze syntactische analysetechnieken passen grammaticale regels toe op groepen woorden en proberen met behulp van deze regels de betekenis af te leiden. In tegenstelling tot NLU werkt NLU met “semantische analyse”-technieken.

Semantische analyse past computeralgoritmes toe op tekst, in een poging de betekenis van woorden in hun natuurlijke context te begrijpen, in plaats van te vertrouwen op regelgebaseerde benaderingen. De grammaticale correctheid/onjuistheid van een zin correleert niet noodzakelijkerwijs met de geldigheid van een zin. Er kunnen zinnen zijn die grammaticaal correct zijn maar zinloos, en zinnen die grammaticaal onjuist zijn maar wel betekenis hebben. Om de meest betekenisvolle aspecten van woorden te onderscheiden, past NLU verschillende technieken toe die zijn ontworpen om de betekenis van een groep woorden op te pikken met minder afhankelijkheid van grammaticale structuur en regels.

NLU is een evoluerend en veranderend veld, en het wordt beschouwd als een van de moeilijke problemen van AI. Verschillende technieken en tools worden ontwikkeld om machines een begrip van menselijke taal te geven. De meeste NLU-systemen hebben bepaalde basiscomponenten gemeen. Een lexicon voor de taal is vereist, evenals een soort tekstparser en grammaticale regels om de creatie van tekstrepresentaties te leiden. Het systeem vereist ook een theorie van semantiek om de representaties te begrijpen. Er worden verschillende semantische theorieën gebruikt om taal te interpreteren, zoals stochastische semantische analyse of naive semantiek.

Gangbare NLU-technieken omvatten:

• Named Entity Recognition
• Word-Sense Disambiguation

Named Entity Recognition is het proces van het herkennen van “genoemde entiteiten”, die mensen, en belangrijke plaatsen/dingen zijn. Named Entity Recognition werkt door fundamentele concepten en verwijzingen in een lichaam van tekst te onderscheiden, genoemde entiteiten te identificeren en ze in categorieën te plaatsen zoals locaties, datums, organisaties, mensen, werken, enz. Gesteunde modellen op basis van grammaticale regels worden meestal gebruikt om NER-taken uit te voeren.

Word-Sense Disambiguation is het proces van het bepalen van de betekenis, of zin, van een woord op basis van de context waarin het woord verschijnt. Word sense disambiguation maakt vaak gebruik van part-of-speech-taggers om het doelwoord te contextualiseren. Gesteunde methoden voor word-sense disambiguation omvatten het gebruik van support vector machines en memory-based learning. Echter, de meeste modellen voor word sense disambiguation zijn semi-gesteunde modellen die zowel gelabelde als ongelabelde gegevens gebruiken.

Voorbeelden van NLU (Natural Language Understanding)

Gangbare voorbeelden van NLU omvatten Automated Reasoning, Automatic Ticket Routing, Machine Translation en Question Answering.

Automated Reasoning

Automated reasoning is een discipline die ernaar streeft om machines een soort logica of redenering te geven. Het is een tak van cognitieve wetenschap die ernaar streeft om conclusies te trekken op basis van medische diagnoses of om programmatisch/automatisch wiskundige stellingen op te lossen. NLU wordt gebruikt om informatie te verzamelen en te analyseren en conclusies te genereren op basis van de informatie.

Automatic Ticket Routing

NLU wordt vaak gebruikt om klantenservicetaken te automatiseren. Wanneer een klantenserviceticket wordt gegenereerd, kunnen chatbots en andere machines de basisnatuur van de behoefte van de klant interpreteren en deze doorverwijzen naar het juiste departement. Bedrijven ontvangen duizenden verzoeken om ondersteuning elke dag, dus NLU-algoritmes zijn nuttig bij het prioriteren van tickets en het mogelijk maken voor ondersteuningsagenten om deze efficiënter te verwerken.

Machine Translation

Het is moeilijk om spraak of tekst van de ene taal naar een andere taal nauwkeurig te vertalen. In feite is machine translation een van de moeilijkste problemen in NLP en NLU. Veel machinevertalingssystemen vertrouwen op linguïstische regels om tussen talen te vertalen, maar onderzoekers zijn op zoek naar meer geavanceerde manieren om tussen talen te vertalen. NLU-machinevertaling probeert nauwkeurigere vertaling mogelijk te maken door de context en semantische informatie die is gekoppeld aan de doeltekst te behouden. De meest nauwkeurige machinevertalingssystemen combineren linguïstische regels met algoritmes die semantische betekenis extraheren.

Question Answering

Spraakherkenning gebruikt NLU-technieken om computers in staat te stellen vragen te begrijpen die met natuurlijke taal worden gesteld. NLU wordt gebruikt om de gebruikers van het apparaat een antwoord te geven in hun natuurlijke taal, in plaats van hen een lijst met mogelijke antwoorden te geven. Wanneer u een digitale assistent een vraag stelt, wordt NLU gebruikt om de machines te helpen de vragen te begrijpen, door het selecteren van de meest geschikte antwoorden op basis van functies zoals herkende entiteiten en de context van eerdere verklaringen.