IA 101
Què és NLU (Natural Language Understanding)?
Comprensió del llenguatge natural (NLU) és un concepte tècnic dins del tema més ampli del processament del llenguatge natural. NLU és el procés responsable de traduir paraules naturals i humanes en un format que un ordinador pugui interpretar. Bàsicament, abans que un ordinador pugui processar dades d'idiomes, ha d'entendre les dades.
Les tècniques per a NLU inclouen l'ús de la sintaxi i les regles gramaticals comunes per permetre a un ordinador entendre el significat i el context del llenguatge humà natural. L'objectiu final d'aquestes tècniques és que un ordinador arribi a tenir una comprensió "intuïtiva" del llenguatge, capaç d'escriure i entendre el llenguatge tal com ho fa un humà, sense fer referència constantment a les definicions de les paraules.
Definició de NLU (Comprensió del llenguatge natural)
Hi ha nombroses tècniques que els informàtics i els experts en PNL utilitzen per permetre que els ordinadors entenguin el llenguatge humà. La majoria de les tècniques entren a la categoria d'"anàlisi sintàctica". Les tècniques analítiques sintàctiques inclouen:
- lematització
- derivats
- segmentació de paraules
- anàlisi
- segmentació morfològica
- trencament de frase
- part de l'etiquetatge de la parla
Aquestes tècniques analítiques sintàctiques apliquen regles gramaticals a grups de paraules i intenten utilitzar aquestes regles per obtenir el significat. En canvi, NLU funciona mitjançant tècniques d'anàlisi semàntica.
L'anàlisi semàntica aplica algorismes informàtics al text, intentant entendre el significat de les paraules en el seu context natural, en lloc de basar-se en enfocaments basats en regles. La correcció/incorrecció gramatical d'una frase no necessàriament es correlaciona amb la validesa d'una frase. Hi pot haver frases que siguin gramaticalment correctes però sense sentit, i frases que siguin gramaticalment incorrectes però que tinguin significat. Per tal de distingir els aspectes més significatius de les paraules, NLU aplica una varietat de tècniques destinades a recollir el significat d'un grup de paraules amb menys confiança en l'estructura gramatical i les regles.
NLU és un camp en evolució i canvi, i es considera un dels problemes difícils de la IA. S'estan desenvolupant diverses tècniques i eines per donar a les màquines una comprensió del llenguatge humà. La majoria dels sistemes NLU tenen certs components bàsics en comú. Es requereix un lèxic per a la llengua, així com algun tipus d'analitzador de text i regles gramaticals per guiar la creació de representacions de text. El sistema també requereix una teoria de la semàntica per permetre la comprensió de les representacions. Hi ha diverses teories semàntiques utilitzades per interpretar el llenguatge, com l'anàlisi semàntica estocàstica o la semàntica ingènua.
Les tècniques comunes de NLU inclouen:
El reconeixement d'entitats anomenades és el procés de reconeixement d'"entitats anomenades", que són persones i llocs/coses importants. El reconeixement d'entitats amb nom funciona distingint conceptes i referències fonamentals en un cos de text, identificant entitats amb nom i col·locant-les en categories com ara ubicacions, dates, organitzacions, persones, obres, etc. Normalment s'utilitzen models supervisats basats en regles gramaticals per dur a terme el NER tasques.
La desambiguació del sentit de la paraula és el procés de determinar el significat, o sentit, d'una paraula en funció del context en què apareix la paraula. La desambiguació del sentit de la paraula sovint fa servir part dels etiquetadors de parla per contextualitzar la paraula objectiu. Els mètodes supervisats de desambiguació del sentit de les paraules inclouen l'usuari de màquines vectorials de suport i l'aprenentatge basat en memòria. Tanmateix, la majoria dels models de desambiguació del sentit de la paraula són models semisupervisats que utilitzen dades etiquetades i no etiquetades.
Exemples de NLU (Comprensió del llenguatge natural)
Els exemples habituals de NLU inclouen el raonament automatitzat, l'encaminament automàtic de bitllets, la traducció automàtica i la resposta a preguntes.
Raonament automatitzat
Raonament automatitzat és una disciplina que pretén donar a les màquines un tipus de lògica o raonament. És una branca de la ciència cognitiva que s'esforça per fer deduccions basades en diagnòstics mèdics o resoldre de manera programada/automàtica teoremes matemàtics. NLU s'utilitza per ajudar a recopilar i analitzar informació i generar conclusions basades en la informació.
Encaminament automàtic de bitllets
NLU s'utilitza sovint per automatitzar les tasques d'atenció al client. Quan es genera un bitllet d'atenció al client, els chatbots i altres màquines poden interpretar la naturalesa bàsica de les necessitats del client i dirigir-los al departament correcte. Les empreses reben milers de sol·licituds de suport cada dia, de manera que els algorismes de NLU són útils per prioritzar els bitllets i permetre als agents de suport gestionar-los de manera més eficient.
Traducció automàtica
És difícil traduir amb precisió el discurs o el text d'un idioma a un altre. De fet, traducció automàtica és un dels problemes més difícils de la PNL i la NLU. Molts sistemes de traducció automàtica es basen en regles lingüístiques per traduir entre idiomes, però els investigadors estan buscant maneres més sofisticades de traduir entre idiomes. La traducció automàtica NLU intenta permetre una traducció més precisa conservant el context i la informació semàntica associada al text de destinació. Els sistemes de traducció automàtica més precisos combinen regles lingüístiques amb algorismes que extreuen significat semàntic.
Pregunta Resposta
El reconeixement de veu utilitza tècniques NLU per permetre als ordinadors entendre preguntes plantejat amb llenguatge natural. NLU s'utilitza per donar als usuaris del dispositiu una resposta en el seu llenguatge natural, en lloc de proporcionar-los una llista de possibles respostes. Quan feu una pregunta a un assistent digital, NLU s'utilitza per ajudar les màquines a entendre les preguntes, seleccionant les respostes més adequades en funció de característiques com les entitats reconegudes i el context de les declaracions anteriors.
