AI 101
O que é NLU (Natural Language Understanding)?
Compreensão de linguagem natural (NLU) é um conceito técnico dentro do tópico maior de processamento de linguagem natural. NLU é o processo responsável por traduzir palavras naturais e humanas para um formato que um computador pode interpretar. Essencialmente, antes que um computador possa processar dados de linguagem, ele deve entender os dados.
As técnicas para NLU incluem o uso de sintaxe comum e regras gramaticais para permitir que um computador entenda o significado e o contexto da linguagem humana natural. O objetivo final dessas técnicas é que um computador venha a ter uma compreensão “intuitiva” da linguagem, capaz de escrever e entender a linguagem da mesma forma que um humano, sem se referir constantemente às definições das palavras.
Definindo NLU (Natural Language Understanding)
Existem inúmeras técnicas que os cientistas da computação e especialistas em PNL usam para permitir que os computadores entendam a linguagem humana. A maioria das técnicas se enquadra na categoria de “análise sintática”. As técnicas analíticas sintáticas incluem:
- lematização
- humor
- segmentação de palavras
- análise
- segmentação morfológica
- quebra de frase
- marcação de classe gramatical
Essas técnicas analíticas sintáticas aplicam regras gramaticais a grupos de palavras e tentam usar essas regras para derivar significado. Em contraste, o NLU opera usando técnicas de “análise semântica”.
A análise semântica aplica algoritmos de computador ao texto, tentando entender o significado das palavras em seu contexto natural, em vez de depender de abordagens baseadas em regras. A correção/incorreção gramatical de uma frase não se correlaciona necessariamente com a validade de uma frase. Pode haver frases gramaticalmente corretas, mas sem sentido, e frases gramaticalmente incorretas, mas com significado. Para distinguir os aspectos mais significativos das palavras, a NLU aplica uma variedade de técnicas destinadas a captar o significado de um grupo de palavras com menos dependência da estrutura e regras gramaticais.
NLU é um campo em evolução e mudança, e é considerado um dos problemas difíceis da IA. Várias técnicas e ferramentas estão sendo desenvolvidas para dar às máquinas uma compreensão da linguagem humana. A maioria dos sistemas NLU tem certos componentes principais em comum. É necessário um léxico para o idioma, assim como algum tipo de analisador de texto e regras gramaticais para orientar a criação de representações de texto. O sistema também requer uma teoria da semântica para permitir a compreensão das representações. Existem várias teorias semânticas usadas para interpretar a linguagem, como a análise semântica estocástica ou a semântica ingênua.
Técnicas comuns de NLU incluem:
Reconhecimento de entidade nomeada é o processo de reconhecer “entidades nomeadas”, que são pessoas e lugares/coisas importantes. O Reconhecimento de Entidade Nomeada opera distinguindo conceitos e referências fundamentais em um corpo de texto, identificando entidades nomeadas e colocando-as em categorias como locais, datas, organizações, pessoas, obras, etc. Modelos supervisionados baseados em regras gramaticais são normalmente usados para realizar NER tarefas.
A desambiguação do sentido da palavra é o processo de determinação do significado, ou sentido, de uma palavra com base no contexto em que a palavra aparece. A desambiguação do sentido da palavra geralmente faz uso de etiquetadores de classes gramaticais para contextualizar a palavra-alvo. Os métodos supervisionados de desambiguação do sentido das palavras incluem o usuário de máquinas de vetores de suporte e aprendizado baseado em memória. No entanto, a maioria dos modelos de desambiguação do sentido das palavras são modelos semissupervisionados que empregam dados rotulados e não rotulados.
Exemplos de NLU (Natural Language Understanding)
Exemplos comuns de NLU incluem Raciocínio Automatizado, Roteamento Automático de Tickets, Tradução Automática e Resposta a Perguntas.
Raciocínio Automatizado
Raciocínio automatizado é uma disciplina que visa dar às máquinas um tipo de lógica ou raciocínio. É um ramo da ciência cognitiva que se esforça para fazer deduções com base em diagnósticos médicos ou programaticamente/automaticamente resolver teoremas matemáticos. NLU é usado para ajudar a coletar e analisar informações e gerar conclusões com base nas informações.
Roteamento automático de tickets
O NLU é frequentemente usado para automatizar tarefas de atendimento ao cliente. Quando um ticket de atendimento ao cliente é gerado, chatbots e outras máquinas podem interpretar a natureza básica da necessidade do cliente e encaminhá-la ao departamento correto. As empresas recebem milhares de solicitações de suporte todos os dias, portanto, os algoritmos NLU são úteis para priorizar tickets e permitir que os agentes de suporte os tratem de maneira mais eficiente.
Maquina de tradução
É difícil traduzir com precisão a fala ou o texto de um idioma para outro. Na verdade, maquina de tradução é um dos problemas mais difíceis em PNL e NLU. Muitos sistemas de tradução automática dependem de regras linguísticas para traduzir entre idiomas, mas os pesquisadores estão buscando maneiras mais sofisticadas de traduzir entre idiomas. A tradução automática NLU tenta permitir uma tradução mais precisa, preservando o contexto e as informações semânticas associadas ao texto de destino. Os sistemas de tradução automática mais precisos combinam regras linguísticas com algoritmos que extraem significado semântico.
Resposta a Perguntas
O reconhecimento de fala usa técnicas NLU para permitir que os computadores entender perguntas colocados com linguagem natural. O NLU é usado para dar aos usuários do dispositivo uma resposta em sua linguagem natural, em vez de fornecer uma lista de possíveis respostas. Quando você faz uma pergunta a um assistente digital, o NLU é usado para ajudar as máquinas a entender as perguntas, selecionando as respostas mais adequadas com base em recursos como entidades reconhecidas e o contexto de declarações anteriores.
