Wat is NLP (Natural Language Processing)?

Natural Language Processing (NLP) is de studie en toepassing van technieken en tools die computers in staat stellen om menselijke taal te verwerken, te analyseren, te interpreteren en erover te redeneren. NLP is een interdisciplinair veld en combineert technieken die zijn vastgesteld in vakgebieden zoals taalkunde en informatica. Deze technieken worden gebruikt in combinatie met AI om chatbots en digitale assistenten zoals Google Assistant en Amazon’s Alexa te creëren.

Laten we wat tijd nemen om de rationale achter Natural Language Processing te verkennen, enkele van de technieken die in NLP worden gebruikt en enkele veelvoorkomende use cases voor NLP.

Waarom Natural Language Processing (NLP) ertoe doet

Om computers in staat te stellen menselijke taal te interpreteren, moeten ze worden omgezet in een vorm die een computer kan manipuleren. Dit is echter niet zo eenvoudig als het omzetten van tekstgegevens in nummers. Om betekenis te kunnen afleiden uit menselijke taal, moeten patronen worden geëxtraheerd uit de honderden of duizenden woorden die een tekstdocument vormen. Dit is geen eenvoudige taak. Er zijn weinig harde en snelle regels die kunnen worden toegepast op de interpretatie van menselijke taal. Bijvoorbeeld kan dezelfde set woorden verschillende dingen betekenen, afhankelijk van de context. Menselijke taal is een complexe en vaak dubbelzinnige zaak, en een verklaring kan met oprechtheid of sarcasme worden geuit.

Ondanks dit zijn er enkele algemene richtlijnen die kunnen worden gebruikt bij het interpreteren van woorden en tekens, zoals het karakter “s” dat wordt gebruikt om aan te geven dat een item meervoudig is. Deze algemene richtlijnen moeten in combinatie met elkaar worden gebruikt om betekenis te kunnen afleiden uit de tekst, om kenmerken te creëren die een machine learning-algoritme kan interpreteren.

Natural Language Processing houdt de toepassing in van verschillende algoritmen die in staat zijn ongestructureerde gegevens om te zetten in gestructureerde gegevens. Als deze algoritmen op de verkeerde manier worden toegepast, zal de computer vaak niet in staat zijn de juiste betekenis af te leiden uit de tekst. Dit kan vaak worden gezien in de vertaling van tekst tussen talen, waarbij de precieze betekenis van de zin vaak verloren gaat. Hoewel machinevertaling de afgelopen jaren aanzienlijk is verbeterd, komen machinevertalingfouten nog steeds frequent voor.

Natural Language Processing (NLP) Technieken

Foto: Tamur via WikiMedia Commons, Publiek Domein (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Veel van de technieken die in natuurlijke taalverwerking worden gebruikt, kunnen in een van twee categorieën worden onderverdeeld: syntaxis of semantiek. Syntaxis-technieken zijn die welke te maken hebben met de volgorde van woorden, terwijl semantische technieken de technieken zijn die te maken hebben met de betekenis van woorden.

Syntaxis NLP Technieken