Inteligência artificial
O que é NLU (Compreensão de Linguagem Natural)?
Compreensão de linguagem natural (NLU) é um conceito técnico dentro do tema maior de processamento de linguagem natural. NLU é o processo responsável por traduzir palavras humanas naturais em um formato que um computador possa interpretar. Essencialmente, antes que um computador possa processar dados de linguagem, ele deve entender os dados.
Técnicas para NLU incluem o uso de sintaxe comum e regras gramaticais para permitir que um computador entenda o significado e o contexto da linguagem humana natural. O objetivo final dessas técnicas é que um computador venha a ter uma compreensão “intuitiva” da linguagem, capaz de escrever e entender a linguagem da mesma forma que um humano, sem precisar constantemente referir-se às definições das palavras.
Definindo NLU (Compreensão de Linguagem Natural)
Existem numerousas técnicas que cientistas da computação e especialistas em NLP usam para permitir que os computadores entendam a linguagem humana. A maioria das técnicas cai na categoria de “análise sintática”. Técnicas de análise sintática incluem:
- lematização
- stemming
- segmentação de palavras
- análise
- segmentação morfológica
- quebra de frases
- marcação de parte do discurso
Essas técnicas de análise sintática aplicam regras gramaticais a grupos de palavras e tentam usar essas regras para derivar significado. Em contraste, NLU opera usando técnicas de “análise semântica”.
Análise semântica aplica algoritmos de computador ao texto, tentando entender o significado das palavras em seu contexto natural, em vez de confiar em abordagens baseadas em regras. A correção/incorreção gramatical de uma frase não se correlaciona necessariamente com a validade de uma frase. Existem frases que são gramaticalmente corretas, mas sem significado, e frases que são gramaticalmente incorretas, mas têm significado. Para distinguir os aspectos mais significativos das palavras, NLU aplica uma variedade de técnicas destinadas a capturar o significado de um grupo de palavras com menos dependência da estrutura gramatical e regras.
NLU é um campo em evolução e mudança, e é considerado um dos problemas difíceis da IA. Várias técnicas e ferramentas estão sendo desenvolvidas para dar às máquinas uma compreensão da linguagem humana. A maioria dos sistemas NLU tem componentes básicos em comum. Um léxico para a linguagem é necessário, assim como um tipo de analisador de texto e regras gramaticais para orientar a criação de representações de texto. O sistema também requer uma teoria de semântica para permitir a compreensão das representações. Existem várias teorias semânticas usadas para interpretar a linguagem, como análise semântica estocástica ou semântica ingênua.
Técnicas comuns de NLU incluem:
Reconhecimento de Entidades Nomeadas é o processo de reconhecer “entidades nomeadas”, que são pessoas e lugares/coisas importantes. Reconhecimento de Entidades Nomeadas opera distinguindo conceitos fundamentais e referências em um corpo de texto, identificando entidades nomeadas e colocando-as em categorias como localizações, datas, organizações, pessoas, obras, etc. Modelos supervisionados baseados em regras gramaticais são normalmente usados para realizar tarefas de NER.
Disambiguação de Sentido de Palavras é o processo de determinar o significado ou sentido de uma palavra com base no contexto em que a palavra aparece. Disambiguação de Sentido de Palavras frequentemente usa marcadores de parte do discurso para contextualizar a palavra alvo. Métodos supervisionados de disambiguação de sentido de palavras incluem o uso de máquinas de vetores de suporte e aprendizado baseado em memória. No entanto, a maioria dos modelos de disambiguação de sentido de palavras são modelos semi-supervisionados que empregam dados rotulados e não rotulados.
Exemplos de NLU (Compreensão de Linguagem Natural)
Exemplos comuns de NLU incluem Raciocínio Automatizado, Roteamento Automático de Tickets, Tradução de Máquina e Resposta a Perguntas.
Raciocínio Automatizado
Raciocínio automatizado é uma disciplina que visa dar às máquinas um tipo de lógica ou raciocínio. É uma ramificação da ciência cognitiva que se esforça para fazer deduções com base em diagnósticos médicos ou resolver teoremas matemáticos de forma programática/automática. NLU é usado para ajudar a coletar e analisar informações e gerar conclusões com base nas informações.
Roteamento Automático de Tickets
NLU é frequentemente usado para automatizar tarefas de serviço ao cliente. Quando um ticket de serviço ao cliente é gerado, chatbots e outras máquinas podem interpretar a natureza básica da necessidade do cliente e roteá-los para o departamento correto. As empresas recebem milhares de solicitações de suporte todos os dias, então algoritmos NLU são úteis para priorizar tickets e permitir que os agentes de suporte os lidem de maneira mais eficiente.
Tradução de Máquina
É difícil traduzir com precisão discurso ou texto de um idioma para outro. Na verdade, tradução de máquina é um dos problemas mais difíceis em NLP e NLU. Muitos sistemas de tradução de máquina confiam em regras linguísticas para traduzir entre idiomas, mas os pesquisadores estão perseguindo maneiras mais sofisticadas de traduzir entre idiomas. NLU de tradução de máquina tenta permitir uma tradução mais precisa, preservando o contexto e as informações semânticas associadas ao texto de destino. Os sistemas de tradução de máquina mais precisos combinam regras linguísticas com algoritmos que extraem significado semântico.
Resposta a Perguntas
Reconhecimento de fala usa técnicas NLU para permitir que os computadores entendam perguntas formuladas em linguagem natural. NLU é usado para dar aos usuários do dispositivo uma resposta em sua linguagem natural, em vez de fornecer-lhes uma lista de possíveis respostas. Quando você faz uma pergunta a um assistente digital, NLU é usado para ajudar as máquinas a entender as perguntas, selecionando as respostas mais apropriadas com base em recursos como entidades reconhecidas e o contexto de declarações anteriores.
