AI 101
Cos'è la NLU (comprensione del linguaggio naturale)?
Comprensione del linguaggio naturale (NLU) è un concetto tecnico all'interno del tema più ampio dell'elaborazione del linguaggio naturale. NLU è il processo responsabile della traduzione di parole naturali e umane in un formato che un computer può interpretare. In sostanza, prima che un computer possa elaborare i dati linguistici, deve comprendere i dati.
Le tecniche per la NLU includono l'uso della sintassi comune e delle regole grammaticali per consentire a un computer di comprendere il significato e il contesto del linguaggio umano naturale. L'obiettivo finale di queste tecniche è che un computer arrivi ad avere una comprensione "intuitiva" del linguaggio, in grado di scrivere e comprendere il linguaggio proprio come fa un essere umano, senza fare costantemente riferimento alle definizioni delle parole.
Definizione di NLU (Natural Language Understanding)
Esistono numerose tecniche che gli informatici e gli esperti di PNL utilizzano per consentire ai computer di comprendere il linguaggio umano. La maggior parte delle tecniche rientra nella categoria di "analisi sintattica". Le tecniche di analisi sintattica includono:
- lemmatizzazione
- derivanti
- segmentazione delle parole
- l'analisi
- segmentazione morfologica
- rottura della frase
- parte dell'etichettatura vocale
Queste tecniche analitiche sintattiche applicano regole grammaticali a gruppi di parole e tentano di utilizzare queste regole per derivare il significato. Al contrario, la NLU opera utilizzando tecniche di "analisi semantica".
L'analisi semantica applica algoritmi informatici al testo, tentando di comprendere il significato delle parole nel loro contesto naturale, invece di affidarsi ad approcci basati su regole. La correttezza/erroneità grammaticale di una frase non è necessariamente correlata alla validità di una frase. Possono esserci frasi grammaticalmente corrette ma prive di significato e frasi grammaticalmente errate ma dotate di significato. Per distinguere gli aspetti più significativi delle parole, la NLU applica una varietà di tecniche intese a cogliere il significato di un gruppo di parole con meno affidamento sulla struttura e sulle regole grammaticali.
L'NLU è un campo in evoluzione e cambiamento ed è considerato uno dei problemi più difficili dell'IA. Varie tecniche e strumenti sono in fase di sviluppo per dare alle macchine una comprensione del linguaggio umano. La maggior parte dei sistemi NLU ha alcuni componenti fondamentali in comune. È richiesto un lessico per la lingua, così come un qualche tipo di parser di testo e regole grammaticali per guidare la creazione di rappresentazioni testuali. Il sistema richiede anche una teoria della semantica per consentire la comprensione delle rappresentazioni. Esistono varie teorie semantiche utilizzate per interpretare il linguaggio, come l'analisi semantica stocastica o la semantica ingenua.
Le tecniche NLU comuni includono:
Il riconoscimento di entità nominate è il processo di riconoscimento di "entità nominate", che sono persone e luoghi/cose importanti. Il Named Entity Recognition opera distinguendo concetti e riferimenti fondamentali in un corpo di testo, identificando entità nominate e inserendole in categorie come luoghi, date, organizzazioni, persone, opere, ecc. I modelli supervisionati basati su regole grammaticali sono tipicamente utilizzati per eseguire NER compiti.
La disambiguazione del senso della parola è il processo di determinazione del significato, o senso, di una parola in base al contesto in cui appare la parola. La disambiguazione del senso della parola spesso fa uso di parte dei tag del discorso per contestualizzare la parola di destinazione. I metodi supervisionati di disambiguazione del senso delle parole includono l'uso di macchine vettoriali di supporto e l'apprendimento basato sulla memoria. Tuttavia, la maggior parte dei modelli di disambiguazione del senso delle parole sono modelli semi-supervisionati che utilizzano dati sia etichettati che non etichettati.
Esempi di NLU (comprensione del linguaggio naturale)
Esempi comuni di NLU includono il ragionamento automatico, l'instradamento automatico dei ticket, la traduzione automatica e la risposta alle domande.
Ragionamento automatico
Ragionamento automatizzato è una disciplina che mira a dare alle macchine un tipo di logica o ragionamento. È una branca della scienza cognitiva che si sforza di fare deduzioni basate su diagnosi mediche o risolvere in modo programmatico/automatico teoremi matematici. L'NLU viene utilizzato per aiutare a raccogliere e analizzare le informazioni e generare conclusioni basate sulle informazioni.
Instradamento automatico dei biglietti
La NLU viene spesso utilizzata per automatizzare le attività del servizio clienti. Quando viene generato un ticket di servizio clienti, i chatbot e altre macchine possono interpretare la natura fondamentale delle esigenze del cliente e indirizzarlo al reparto corretto. Le aziende ricevono migliaia di richieste di supporto ogni giorno, quindi gli algoritmi NLU sono utili per dare priorità ai ticket e consentire agli agenti di supporto di gestirli in modi più efficienti.
Traduzione automatica
È difficile tradurre con precisione parole o testi da una lingua a un'altra. Infatti, traduzione automatica è uno dei problemi più difficili in PNL e NLU. Molti sistemi di traduzione automatica si basano su regole linguistiche per tradurre da una lingua all'altra, ma i ricercatori stanno cercando modi più sofisticati per tradurre da una lingua all'altra. La traduzione automatica NLU tenta di consentire una traduzione più accurata preservando il contesto e le informazioni semantiche associate al testo di destinazione. I sistemi di traduzione automatica più accurati combinano regole linguistiche con algoritmi che estraggono il significato semantico.
Risposta alla domanda
Il riconoscimento vocale utilizza tecniche NLU per consentire ai computer capire le domande poste con linguaggio naturale. L'NLU viene utilizzato per fornire agli utenti del dispositivo una risposta nel loro linguaggio naturale, invece di fornire loro un elenco di possibili risposte. Quando poni una domanda a un assistente digitale, l'NLU viene utilizzato per aiutare le macchine a comprendere le domande, selezionando le risposte più appropriate in base a caratteristiche come le entità riconosciute e il contesto delle affermazioni precedenti.
