O que é PNL (Processamento de Linguagem Natural)?

Processamento de Linguagem Natural (PNL) é o estudo e a aplicação de técnicas e ferramentas que permitem que os computadores processem, analisem, interpretem e raciocinem sobre a linguagem humana. A PNL é um campo interdisciplinar que combina técnicas estabelecidas em áreas como a linguística e a ciência da computação. Essas técnicas são usadas em conjunto com a inteligência artificial para criar chatbots e assistentes digitais como o Google Assistant e o Alexa da Amazon (AMZN ).

Vamos dedicar algum tempo para explorar a razão por trás do Processamento de Linguagem Natural, algumas das técnicas usadas na PNL e alguns casos de uso comuns para a PNL.

Por que o Processamento de Linguagem Natural (PNL) é Importante

Para que os computadores possam interpretar a linguagem humana, eles devem ser convertidos em uma forma que um computador possa manipular. No entanto, isso não é tão simples quanto converter dados de texto em números. Para derivar significado da linguagem humana, padrões devem ser extraídos das centenas ou milhares de palavras que compõem um documento de texto. Isso não é uma tarefa fácil. Existem poucas regras rígidas que possam ser aplicadas à interpretação da linguagem humana. Por exemplo, o mesmo conjunto de palavras pode significar coisas diferentes dependendo do contexto. A linguagem humana é uma coisa complexa e frequentemente ambígua, e uma declaração pode ser feita com sinceridade ou sarcasmo.

Apesar disso, existem algumas diretrizes gerais que podem ser usadas ao interpretar palavras e caracteres, como o caractere “s” sendo usado para denotar que um item é plural. Essas diretrizes gerais devem ser usadas em conjunto para extrair significado do texto, para criar recursos que um algoritmo de aprendizado de máquina possa interpretar.

O Processamento de Linguagem Natural envolve a aplicação de vários algoritmos capazes de tomar dados não estruturados e convertê-los em dados estruturados. Se esses algoritmos forem aplicados de maneira errada, o computador frequentemente falhará em derivar o significado correto do texto. Isso pode ser visto frequentemente na tradução de texto entre idiomas, onde o significado preciso da sentença é frequentemente perdido. Embora a tradução automática tenha melhorado substancialmente nos últimos anos, erros de tradução automática ainda ocorrem com frequência.

Técnicas de Processamento de Linguagem Natural (PNL)

Foto: Tamur via WikiMedia Commons, Domínio Público (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Muitas das técnicas usadas no processamento de linguagem natural podem ser colocadas em uma de duas categorias: sintaxe ou semântica. Técnicas de sintaxe são aquelas que lidam com a ordem das palavras, enquanto técnicas semânticas são as técnicas que envolvem o significado das palavras.

Técnicas de Sintaxe PNL

Exemplos de sintaxe incluem:

• Leematização
• Segmentação Morfológica
• Marcação de Parte do Discurso
• Análise
• Quebra de Sentença
• Radicalização
• Segmentação de Palavra

A leematização refere-se a reduzir as diferentes inflexões de uma palavra a uma forma única. A leematização leva coisas como tempos verbais e plurais e as simplifica, por exemplo, “pés” pode se tornar “pé” e “listras” pode se tornar “lista”. Essa forma de palavra simplificada torna mais fácil para um algoritmo interpretar as palavras em um documento.

A segmentação morfológica é o processo de dividir palavras em morfemas ou as unidades básicas de uma palavra. Essas unidades são coisas como morfemas livres (que podem estar sozinhos como palavras) e prefixos ou sufixos.

A marcação de parte do discurso é simplesmente o processo de identificar qual parte do discurso cada palavra em um documento de entrada é.

A análise refere-se a analisar todas as palavras em uma sentença e correlacioná-las com suas etiquetas gramaticais formais ou fazer análise gramatical para todas as palavras.

A quebra de sentença, ou segmentação de limite de sentença, refere-se a decidir onde uma sentença começa e termina.

A radicalização é o processo de reduzir palavras à forma raiz da palavra. Por exemplo, “conectado”, “conexão” e “conexões” seriam todos reduzidos a “conectar”.

A segmentação de palavra é o processo de dividir grandes peças de texto em unidades menores, que podem ser palavras ou unidades radicalizadas/leematizadas.

Técnicas Semânticas PNL

Técnicas semânticas PNL incluem técnicas como:

• Reconhecimento de Entidade Nomeada
• Geração de Linguagem Natural
• Disambiguação de Sentido de Palavra

O reconhecimento de entidade nomeada envolve etiquetar certas porções de texto que podem ser colocadas em uma das várias categorias pré-definidas. Categorias pré-definidas incluem coisas como datas, cidades, lugares, empresas e indivíduos.

A geração de linguagem natural é o processo de usar bancos de dados para transformar dados estruturados em linguagem natural. Por exemplo, estatísticas sobre o clima, como temperatura e velocidade do vento, poderiam ser resumidas com linguagem natural.

A disambiguação de sentido de palavra é o processo de atribuir significado a palavras dentro de um texto com base no contexto em que as palavras aparecem.

Modelos de Aprendizado Profundo para PNL

Perceptrons multilayer regulares são incapazes de lidar com a interpretação de dados sequenciais, onde a ordem da informação é importante. Para lidar com a importância da ordem em dados sequenciais, um tipo de rede neural é usado que preserva informações de etapas anteriores no treinamento.

Redes Neurais Recorrentes são tipos de redes neurais que loop sobre dados de etapas anteriores, levando-os em consideração ao calcular os pesos da etapa atual. Basicamente, as RNNs têm três parâmetros que são usados durante a passagem de treinamento para a frente: uma matriz baseada no Estado Oculto Anterior, uma matriz baseada na Entrada Atual e uma matriz que está entre o estado oculto e a saída. Como as RNNs podem levar em consideração informações de etapas anteriores, elas podem extrair padrões relevantes de dados de texto, levando em consideração palavras anteriores na sentença ao interpretar o significado de uma palavra.

Outro tipo de arquitetura de aprendizado profundo usada para processar dados de texto é uma Rede de Memória de Curto Prazo (LSTM). Redes LSTM são semelhantes às RNNs em estrutura, mas devido a algumas diferenças em sua arquitetura, elas tendem a performar melhor do que as RNNs. Elas evitam um problema específico que frequentemente ocorre ao usar RNNs, chamado de problema de gradiente explosivo.

Essas redes neurais profundas podem ser unidirecionais ou bidirecionais. Redes bidirecionais são capazes de levar em consideração não apenas as palavras que vêm antes da palavra atual, mas também as palavras que vêm depois dela. Embora isso leve a uma maior precisão, é mais caro computacionalmente.

Casos de Uso para Processamento de Linguagem Natural (PNL)

Foto: mohammed_hassan via Pixabay, Licença Pixabay (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Porque o Processamento de Linguagem Natural envolve a análise e manipulação de linguagens humanas, ele tem uma ampla gama de aplicações. Aplicações possíveis para a PNL incluem chatbots, assistentes digitais, análise de sentimento, organização de documentos, recrutamento de talentos e saúde.

Chatbots e assistentes digitais como o Alexa da Amazon e o Google Assistant são exemplos de plataformas de reconhecimento e síntese de voz que usam a PNL para interpretar e responder a comandos vocais. Esses assistentes digitais ajudam as pessoas com uma ampla variedade de tarefas, permitindo que elas descarreguem algumas de suas tarefas cognitivas para outro dispositivo e liberem algum de seu poder cerebral para coisas mais importantes. Em vez de procurar a melhor rota para o banco em uma manhã movimentada, podemos simplesmente ter nosso assistente digital fazer isso.

A análise de sentimento é o uso de técnicas de PNL para estudar as reações e sentimentos das pessoas em relação a um fenômeno, como comunicado por seu uso da linguagem. Capturar o sentimento de uma declaração, como interpretar se uma revisão de um produto é boa ou ruim, pode fornecer às empresas informações substanciais sobre como seu produto está sendo recebido.

A organização automática de documentos de texto é outra aplicação da PNL. Empresas como o Google e o Yahoo usam algoritmos de PNL para classificar documentos de e-mail, colocando-os nas categorias apropriadas, como “social” ou “promoções”. Eles também usam essas técnicas para identificar spam e evitar que ele chegue à sua caixa de entrada.

Grupos também desenvolveram técnicas de PNL que estão sendo usadas para identificar potenciais contratações, encontrando-as com base em habilidades relevantes. Gerentes de contratação também estão usando técnicas de PNL para ajudá-los a classificar listas de candidatos.

Técnicas de PNL também estão sendo usadas para melhorar a saúde. A PNL pode ser usada para melhorar a detecção de doenças. Registros de saúde podem ser analisados e sintomas extraídos por algoritmos de PNL, que podem então ser usados para sugerir diagnósticos possíveis. Um exemplo disso é a plataforma Comprehend Medical da Amazon, que analisa registros de saúde e extrai doenças e tratamentos. Aplicações de saúde da PNL também se estendem à saúde mental. Existem aplicativos como o WoeBot, que fala com os usuários sobre uma variedade de técnicas de gerenciamento de ansiedade baseadas na Terapia Cognitivo-Comportamental.