Como o Processamento de Linguagem está sendo Aprimorado através do Modelo BERT de Código Aberto do Google

Bidirectional Encoder Representations from Transformers, também conhecido como BERT; é um modelo de treinamento que melhorou drasticamente a eficiência e o efeito dos modelos de NLP. Agora que o Google tornou os modelos BERT de código aberto, permite a melhoria dos modelos de NLP em todas as indústrias. No artigo, analisamos como o BERT está tornando a NLP uma das soluções de IA mais poderosas e úteis no mundo de hoje. 

Aplicando modelos BERT à Pesquisa

O mecanismo de busca do Google é mundialmente reconhecido por sua capacidade de apresentar conteúdo relevante e eles tornaram esse programa de processamento de linguagem natural de código aberto para o mundo.

A capacidade de um sistema de ler e interpretar linguagem natural está se tornando cada vez mais vital à medida que o mundo produz novos dados exponencialmente. A biblioteca de significados de palavras, frases e capacidade geral de apresentar conteúdo relevante do Google é DE CÓDIGO ABERTO. Além do processamento de linguagem natural, o modelo BERT tem a capacidade de extrair informações de grandes quantidades de dados não estruturados e pode ser aplicado para criar interfaces de pesquisa para qualquer biblioteca. Neste artigo, veremos como essa tecnologia pode ser aplicada no setor de energia. 

BERT (Bidirectional Encoder Representations from Transformers) é uma abordagem de pré-treinamento proposta pelo Google AI Language group, desenvolvida para superar um problema comum dos primeiros modelos de NLP: a falta de dados de treinamento suficientes.

Vamos elaborar, sem entrar em muitos detalhes:

Treinamento de Modelos

Tarefas de NLP de baixo nível (por exemplo, reconhecimento de entidades nomeadas, segmentação de tópicos) e tarefas de alto nível (por exemplo, análise de sentimento, reconhecimento de fala) exigem conjuntos de dados anotados específicos da tarefa. Embora sejam difíceis de obter e caros para montar, conjuntos de dados anotados desempenham um papel fundamental no desempenho de modelos de rede neural profunda e superficial. Resultados de inferência de alta qualidade só poderiam ser alcançados quando milhões ou até bilhões de exemplos de treinamento anotados estavam disponíveis. E esse era um problema que tornava muitas tarefas de NLP inacessíveis. Até que o BERT foi desenvolvido.

BERT é um modelo de representação de linguagem de propósito geral, treinado em grandes corpora de texto não anotado. Quando o modelo é exposto a grandes quantidades de conteúdo de texto, ele aprende a entender o contexto e as relações entre as palavras em uma sentença. Ao contrário dos modelos de aprendizado anteriores que apenas representavam o significado em nível de palavra (banco significaria o mesmo em “conta bancária” e “margem gramada”), o BERT realmente se importa com o contexto. Ou seja, o que vem antes e depois da palavra em uma sentença. O contexto se mostrou uma capacidade fundamental ausente nos modelos de NLP, com um impacto direto no desempenho do modelo. Projetar um modelo consciente de contexto, como o BERT, é conhecido por muitos como o início de uma nova era em NLP.

Treinar o BERT em grandes quantidades de conteúdo de texto é uma técnica conhecida como pré-treinamento. Isso significa que os pesos do modelo são ajustados para tarefas gerais de compreensão de texto e que modelos mais refinados podem ser construídos sobre ele. Os autores comprovaram a superioridade de tal técnica quando empregaram modelos baseados em BERT em 11 tarefas de NLP e alcançaram resultados de estado da arte.

Modelos Pré-Treinados

A melhor coisa é: os modelos BERT pré-treinados são de código aberto e disponíveis publicamente. Isso significa que qualquer pessoa pode lidar com tarefas de NLP e construir seus modelos sobre o BERT. Nada pode superar isso, certo? Ah, espere: isso também significa que os modelos de NLP agora podem ser treinados (ajustados) em conjuntos de dados menores, sem a necessidade de treinar do zero. O início de uma nova era, de fato.

Esses modelos pré-treinados ajudam as empresas a reduzir o custo e o tempo de implantação para que os modelos de NLP sejam usados interna ou externamente. A eficácia de modelos de NLP bem treinados é enfatizada por Michael Alexis, CEO da empresa de construção de cultura de equipe virtual, teambuilding.com. 

“O maior benefício da NLP é a inferência e processamento de informações escaláveis e consistentes.”   – Michael Alexis CEO da teambuilding.com

Michael afirma como a NLP pode ser aplicada a programas de cultivo de cultura, como quebra-gelos ou pesquisas. Uma empresa pode obter insights valiosos sobre como a cultura da empresa está indo, analisando as respostas dos funcionários. Isso é alcançado não apenas analisando o texto, mas também analisando a anotação do texto. Basicamente, o modelo também “lê entre as linhas” para tirar inferências sobre emoção, sentimento e perspectiva geral. O BERT pode ajudar em situações como essa, pré-treinando modelos com uma base de indicadores que ele pode usar para descobrir as nuances da linguagem e fornecer insights mais precisos.  

Melhorando Consultas

A capacidade de modelar o contexto transformou o BERT em um herói da NLP e revolucionou a própria Pesquisa do Google. Abaixo está uma citação da equipe de produtos do Google Search e suas experiências de teste, enquanto ajustavam o BERT para entender a intenção por trás de uma consulta.

“Aqui estão alguns exemplos que demonstram a capacidade do BERT de entender a intenção por trás de sua pesquisa. Aqui está uma pesquisa por “2019 brasileiro viajando para os EUA precisa de visto”. A palavra “para” e sua relação com as outras palavras na consulta são particularmente importantes para entender o significado. É sobre um brasileiro viajando para os EUA e não o contrário. Anteriormente, nossos algoritmos não entendiam a importância dessa conexão e retornávamos resultados sobre cidadãos americanos viajando para o Brasil. Com o BERT, a Pesquisa é capaz de capturar essa nuance e saber que a palavra muito comum “para” realmente importa muito aqui, e podemos fornecer um resultado muito mais relevante para essa consulta.”– Entendendo pesquisas melhor do que nunca, por Pandu Nayak, Google Fellow e Vice-Presidente de Pesquisa.

Exemplo de pesquisa BERT, antes e depois. Fonte blog

Em nosso último artigo sobre NLP e OCR, ilustramos alguns usos da NLP no setor imobiliário. Também mencionamos como “as ferramentas de NLP são ideais para extração de informações”. Vamos olhar para o setor de energia e ver como as tecnologias de NLP disruptivas, como o BERT, habilitam novos casos de uso de aplicativos. 

Modelos de NLP podem extrair informações de grandes quantidades de dados não estruturados

Uma maneira pela qual os modelos de NLP podem ser usados é para a extração de informações críticas de dados de texto não estruturados. E-mails, jornais, notas, logs e relatórios são todos exemplos de fontes de dados de texto que fazem parte das operações diárias dos negócios. Alguns desses documentos podem se provar cruciais nos esforços organizacionais para aumentar a eficiência operacional e reduzir custos. 

Ao visar implementar manutenção preditiva de turbinas eólicas, relatórios de falha pode conter informações críticas sobre o comportamento de diferentes componentes. Mas, como os diferentes fabricantes de turbinas eólicas têm normas de coleta de dados diferentes (ou seja, relatórios de manutenção vêm em formatos e até idiomas diferentes), identificar manualmente itens de dados relevantes poderia se tornar caro para o proprietário da usina. Ferramentas de NLP podem extrair conceitos, atributos e eventos relevantes de conteúdo não estruturado. A análise de texto pode ser empregada para encontrar correlações e padrões em diferentes fontes de dados. Isso dá aos proprietários da usina a chance de implementar manutenção preditiva com base em medidas quantitativas identificadas em seus relatórios de falha.

Modelos de NLP podem fornecer interfaces de pesquisa de linguagem natural

Da mesma forma, geocientistas que trabalham para empresas de petróleo e gás geralmente precisam revisar muitos documentos relacionados a operações de perfuração passadas, registros de poços e dados sísmicos. Como esses documentos também vêm em diferentes formatos e geralmente estão espalhados por vários locais (tanto físicos quanto digitais), eles desperdiçam muito tempo procurando as informações nos lugares errados. Uma solução viável nesse caso seria uma interface de pesquisa alimentada por NLP, que permitiria aos usuários procurar dados em linguagem natural. Em seguida, um modelo de NLP poderia correlacionar dados em centenas de documentos e retornar um conjunto de respostas à consulta. Os trabalhadores podem então validar a saída com base em seu próprio conhecimento especializado e o feedback melhoraria ainda mais o modelo. 

No entanto, também há considerações técnicas para implantar esses modelos. Um aspecto seria que o jargão específico da indústria pode confundir modelos de aprendizado tradicionais que não têm a compreensão semântica apropriada. Em segundo lugar, o desempenho dos modelos pode ser afetado pelo tamanho do conjunto de dados de treinamento. É quando os modelos pré-treinados, como o BERT, podem se mostrar benéficos. Representações contextuais podem modelar o significado apropriado da palavra e remover qualquer confusão causada por termos específicos da indústria. Usando modelos pré-treinados, é possível treinar a rede em conjuntos de dados menores. Isso economiza tempo, energia e recursos que seriam necessários para treinar do zero.

E sobre o seu próprio negócio? 

Você pode pensar em alguma tarefa de NLP que possa ajudar a reduzir custos e aumentar a eficiência operacional?A equipe de ciência de dados da Blue Orange Digital está feliz em ajustar o BERT para o seu benefício também!