AI 101
¿Qué es NLU (comprensión del lenguaje natural)?
Comprensión del lenguaje natural (NLU) es un concepto técnico dentro del tema más amplio del procesamiento del lenguaje natural. NLU es el proceso responsable de traducir palabras humanas naturales. en un formato que una computadora pueda interpretar. Esencialmente, antes de que una computadora pueda procesar datos de lenguaje, debe comprender los datos.
Las técnicas para NLU incluyen el uso de sintaxis común y reglas gramaticales para permitir que una computadora comprenda el significado y el contexto del lenguaje humano natural. El objetivo final de estas técnicas es que una computadora llegue a tener una comprensión "intuitiva" del lenguaje, capaz de escribir y comprender el lenguaje de la misma manera que lo hace un humano, sin tener que consultar constantemente las definiciones de las palabras.
Definición de NLU (comprensión del lenguaje natural)
Existen numerosas técnicas que los científicos informáticos y los expertos en PNL utilizan para permitir que las computadoras entiendan el lenguaje humano. La mayoría de las técnicas entran en la categoría de "análisis sintáctico". Las técnicas analíticas sintácticas incluyen:
- lematización
- derivados
- segmentación de palabras
- Analizando
- segmentación morfológica
- ruptura de oraciones
- parte del etiquetado del discurso
Estas técnicas analíticas sintácticas aplican reglas gramaticales a grupos de palabras e intentan usar estas reglas para obtener significado. En contraste, NLU opera utilizando técnicas de "análisis semántico".
El análisis semántico aplica algoritmos informáticos al texto, intentando comprender el significado de las palabras en su contexto natural, en lugar de confiar en enfoques basados en reglas. La corrección/incorrección gramatical de una frase no se correlaciona necesariamente con la validez de una frase. Puede haber frases que sean gramaticalmente correctas pero sin significado, y frases que sean gramaticalmente incorrectas pero que tengan significado. Para distinguir los aspectos más significativos de las palabras, NLU aplica una variedad de técnicas destinadas a captar el significado de un grupo de palabras con menos dependencia de la estructura y las reglas gramaticales.
NLU es un campo en evolución y cambio, y se considera uno de los problemas difíciles de la IA. Se están desarrollando varias técnicas y herramientas para que las máquinas comprendan el lenguaje humano. La mayoría de los sistemas NLU tienen ciertos componentes centrales en común. Se requiere un léxico para el idioma, así como algún tipo de analizador de texto y reglas gramaticales para guiar la creación de representaciones de texto. El sistema también requiere una teoría de la semántica que permita la comprensión de las representaciones. Existen varias teorías semánticas utilizadas para interpretar el lenguaje, como el análisis semántico estocástico o la semántica ingenua.
Las técnicas comunes de NLU incluyen:
El reconocimiento de entidades nombradas es el proceso de reconocimiento de "entidades nombradas", que son personas y lugares/cosas importantes. El Reconocimiento de Entidades Nombradas opera distinguiendo conceptos y referencias fundamentales en un cuerpo de texto, identificando entidades nombradas y colocándolas en categorías como ubicaciones, fechas, organizaciones, personas, obras, etc. Los modelos supervisados basados en reglas gramaticales se usan típicamente para llevar a cabo NER tareas.
La desambiguación del sentido de las palabras es el proceso de determinar el significado o sentido de una palabra en función del contexto en el que aparece. La desambiguación del sentido de las palabras a menudo utiliza etiquetas de parte del discurso para contextualizar la palabra objetivo. Los métodos supervisados de desambiguación del sentido de las palabras incluyen el uso de máquinas de vectores de soporte y el aprendizaje basado en la memoria. Sin embargo, la mayoría de los modelos de desambiguación del sentido de las palabras son modelos semisupervisados que emplean datos tanto etiquetados como no etiquetados.
Ejemplos de NLU (comprensión del lenguaje natural)
Los ejemplos comunes de NLU incluyen el razonamiento automatizado, el enrutamiento automático de tickets, la traducción automática y la respuesta a preguntas.
Razonamiento automatizado
Razonamiento automatizado es una disciplina que pretende dotar a las maquinas de un tipo de logica o razonamiento. Es una rama de la ciencia cognitiva que se esfuerza por hacer deducciones basadas en diagnósticos médicos o resolver teoremas matemáticos mediante programación/automática. NLU se utiliza para ayudar a recopilar y analizar información y generar conclusiones basadas en la información.
Enrutamiento automático de boletos
NLU se utiliza a menudo para automatizar tareas de servicio al cliente. Cuando se genera un ticket de servicio al cliente, los chatbots y otras máquinas pueden interpretar la naturaleza básica de la necesidad del cliente y dirigirla al departamento correcto. Las empresas reciben miles de solicitudes de soporte todos los días, por lo que los algoritmos NLU son útiles para priorizar los tickets y permitir que los agentes de soporte los manejen de manera más eficiente.
Máquina traductora
Es difícil traducir con precisión el habla o el texto de un idioma a otro. De hecho, máquina traductora es uno de los problemas más difíciles en NLP y NLU. Muchos sistemas de traducción automática se basan en reglas lingüísticas para traducir entre idiomas, pero los investigadores buscan formas más sofisticadas de traducir entre idiomas. La traducción automática de NLU intenta permitir una traducción más precisa al preservar el contexto y la información semántica asociada con el texto de destino. Los sistemas de traducción automática más precisos combinan reglas lingüísticas con algoritmos que extraen significado semántico.
Respuesta a preguntas
El reconocimiento de voz utiliza técnicas NLU para permitir que las computadoras entender preguntas planteado con lenguaje natural. NLU se utiliza para dar a los usuarios del dispositivo una respuesta en su lenguaje natural, en lugar de proporcionarles una lista de posibles respuestas. Cuando le hace una pregunta a un asistente digital, NLU se usa para ayudar a las máquinas a comprender las preguntas, seleccionando las respuestas más apropiadas en función de características como entidades reconocidas y el contexto de declaraciones anteriores.
