AI 101
Wat is NLU (Natural Language Understanding)?
Natuurlijk taalbegrip (NLU) is een technisch concept binnen het grotere onderwerp van natuurlijke taalverwerking. NLU is het proces dat verantwoordelijk is voor het vertalen van natuurlijke, menselijke woorden in een formaat dat een computer kan interpreteren. In wezen moet een computer, voordat hij taalgegevens kan verwerken, de gegevens begrijpen.
Technieken voor NLU omvatten het gebruik van gemeenschappelijke syntaxis en grammaticale regels om een computer in staat te stellen de betekenis en context van natuurlijke menselijke taal te begrijpen. Het uiteindelijke doel van deze technieken is dat een computer een 'intuïtief' begrip van taal krijgt, in staat is om taal te schrijven en te begrijpen zoals een mens dat doet, zonder voortdurend naar de definities van woorden te verwijzen.
NLU definiëren (Natural Language Understanding)
Er zijn tal van technieken die computerwetenschappers en NLP-experts gebruiken om computers in staat te stellen menselijke taal te begrijpen. De meeste technieken vallen in de categorie 'syntactische analyse'. Syntactische analytische technieken omvatten:
- lemmatisering
- voortvloeien
- woordsegmentatie
- parsing
- morfologische segmentatie
- zin breken
- onderdeel van spraak tagging
Deze syntactische analytische technieken passen grammaticale regels toe op woordgroepen en proberen deze regels te gebruiken om betekenis te ontlenen. NLU werkt daarentegen met behulp van "semantische analyse" -technieken.
Semantische analyse past computeralgoritmen toe op tekst en probeert de betekenis van woorden in hun natuurlijke context te begrijpen, in plaats van te vertrouwen op op regels gebaseerde benaderingen. De grammaticale juistheid/onjuistheid van een zin correleert niet noodzakelijkerwijs met de geldigheid van een zin. Er kunnen zinnen zijn die grammaticaal correct zijn maar betekenisloos, en zinnen die grammaticaal incorrect zijn maar toch betekenis hebben. Om de meest betekenisvolle aspecten van woorden te onderscheiden, past NLU een verscheidenheid aan technieken toe die bedoeld zijn om de betekenis van een groep woorden op te pikken met minder afhankelijkheid van grammaticale structuur en regels.
NLU is een evoluerend en veranderend veld en wordt beschouwd als een van de moeilijke problemen van AI. Er worden verschillende technieken en tools ontwikkeld om machines de menselijke taal te laten begrijpen. De meeste NLU-systemen hebben bepaalde kerncomponenten gemeen. Een lexicon voor de taal is vereist, evenals een soort tekstparser en grammaticaregels om het maken van tekstrepresentaties te begeleiden. Het systeem vereist ook een theorie van semantiek om begrip van de representaties mogelijk te maken. Er zijn verschillende semantische theorieën die worden gebruikt om taal te interpreteren, zoals stochastische semantische analyse of naïeve semantiek.
Veel voorkomende NLU-technieken zijn onder meer:
Named Entity Recognition is het proces van het herkennen van “benoemde entiteiten”, dit zijn mensen en belangrijke plaatsen/dingen. Named Entity Recognition werkt door fundamentele concepten en referenties in een tekstgedeelte te onderscheiden, benoemde entiteiten te identificeren en ze in categorieën te plaatsen zoals locaties, data, organisaties, mensen, werken, etc. Gesuperviseerde modellen op basis van grammaticaregels worden meestal gebruikt om NER uit te voeren taken.
Word-Sense-disambiguatie is het proces waarbij de betekenis of betekenis van een woord wordt bepaald op basis van de context waarin het woord voorkomt. Bij het disambigueren van woordzin wordt vaak gebruik gemaakt van woordsoorttaggers om het doelwoord te contextualiseren. Onder toezicht staande methoden voor het ondubbelzinnig maken van woordbetekenissen omvatten de gebruiker van ondersteunende vectormachines en op geheugen gebaseerd leren. De meeste modellen voor het ondubbelzinnig maken van woorden zijn echter semi-gecontroleerde modellen die zowel gelabelde als ongelabelde gegevens gebruiken.
Voorbeelden van NLU (Natural Language Understanding)
Veelvoorkomende voorbeelden van NLU zijn Automated Reasoning, Automatic Ticket Routing, Machine Translation en Question Answering.
Geautomatiseerd redeneren
Geautomatiseerd redeneren is een discipline die tot doel heeft machines een soort logica of redenering te geven. Het is een tak van de cognitieve wetenschap die probeert conclusies te trekken op basis van medische diagnoses of programmatisch/automatisch wiskundige stellingen op te lossen. NLU wordt gebruikt om te helpen bij het verzamelen en analyseren van informatie en het genereren van conclusies op basis van de informatie.
Automatische ticketroutering
NLU wordt vaak gebruikt om klantenservicetaken te automatiseren. Wanneer een klantenserviceticket wordt gegenereerd, kunnen chatbots en andere machines de fundamentele aard van de behoefte van de klant interpreteren en deze naar de juiste afdeling doorsturen. Bedrijven ontvangen elke dag duizenden verzoeken om ondersteuning, dus NLU-algoritmen zijn nuttig bij het prioriteren van tickets en zorgen ervoor dat ondersteuningsagenten deze op efficiëntere manieren kunnen afhandelen.
Machine vertaling
Het is moeilijk om spraak of tekst nauwkeurig te vertalen van de ene taal naar de andere taal. In werkelijkheid, machine vertaling is een van de moeilijkste problemen in NLP en NLU. Veel automatische vertaalsystemen vertrouwen op taalkundige regels om tussen talen te vertalen, maar onderzoekers streven naar meer geavanceerde manieren om tussen talen te vertalen. NLU-machinevertaling probeert een nauwkeurigere vertaling mogelijk te maken door de context en semantische informatie die aan de doeltekst is gekoppeld, te behouden. De meest nauwkeurige automatische vertaalsystemen combineren taalkundige regels met algoritmen die semantische betekenis extraheren.
Vraag beantwoorden
Spraakherkenning maakt gebruik van NLU-technieken om computers door te laten vragen begrijpen gesteld met natuurlijke taal. NLU wordt gebruikt om de gebruikers van het apparaat een antwoord te geven in hun natuurlijke taal, in plaats van hen een lijst met mogelijke antwoorden te geven. Wanneer u een digitale assistent een vraag stelt, wordt NLU gebruikt om de machines te helpen de vragen te begrijpen, door de meest geschikte antwoorden te selecteren op basis van kenmerken zoals herkende entiteiten en de context van eerdere verklaringen.
