Como o processamento de linguagem está sendo aprimorado por meio do modelo BERT de código aberto do Google

Representações de codificador bidirecional de transformadores, também conhecidas como BERT; é um modelo de treinamento que melhorou drasticamente a eficiência e o efeito dos modelos de PNL. Agora que o Google tornou os modelos BERT de código aberto, ele permite a melhoria dos modelos NLP em todos os setores. No artigo, veremos como o BERT está transformando o NLP em uma das soluções de IA mais poderosas e úteis do mundo atual. 

Aplicando modelos BERT à pesquisa

O mecanismo de busca do Google é mundialmente conhecido por sua capacidade de apresentar conteúdo relevante e eles tornaram este programa de processamento de linguagem natural de código aberto para o mundo.

A capacidade de um sistema ler e interpretar a linguagem natural está se tornando cada vez mais vital à medida que o mundo produz exponencialmente novos dados. A biblioteca do Google de significados de palavras, frases e capacidade geral de apresentar conteúdo relevante é OPEN SOURCE. Além do processamento de linguagem natural, seu modelo BERT tem a capacidade de extrair informações de grandes quantidades de dados não estruturados e pode ser aplicado para criar interfaces de pesquisa para qualquer biblioteca. Neste artigo veremos como essa tecnologia pode ser aplicada no setor energético. 

BERT (Bidirectional Encoder Representations from Transformers) é uma abordagem de pré-treinamento proposta pelo Idioma da IA ​​do Google group, desenvolvido para superar um problema comum dos primeiros modelos de PNL: a falta de dados de treinamento suficientes.

Vamos elaborar, sem entrar em muitos detalhes:

Modelos de treinamento

Tarefas NLP de baixo nível (por exemplo, reconhecimento de entidade nomeada, segmentação de tópico) e alto nível (por exemplo, análise de sentimento, reconhecimento de fala) requerem conjuntos de dados anotados específicos da tarefa. Embora sejam difíceis de obter e caros de montar, os conjuntos de dados rotulados desempenham um papel crucial no desempenho de modelos de redes neurais rasas e profundas. Resultados de inferência de alta qualidade só poderiam ser alcançados quando milhões ou mesmo bilhões de exemplos de treinamento anotados estivessem disponíveis. E esse era um problema que tornava muitas tarefas da PNL inacessíveis. Isso é até o BERT ser desenvolvido.

BERT é um modelo de representação de linguagem de uso geral, treinado em grandes corpora de texto não anotado. Quando o modelo é exposto a grandes quantidades de conteúdo de texto, ele aprende entender o contexto e as relações entre as palavras em uma frase. Ao contrário dos modelos de aprendizagem anteriores que representavam apenas o significado em nível de palavra (banco significaria o mesmo em “bank account” e “grassy bank”), o BERT realmente se preocupa com o contexto. Ou seja, o que vem antes e depois da palavra em uma frase. O contexto acabou sendo uma das principais capacidades ausentes dos modelos NLP, com impacto direto no desempenho do modelo. Projetar um modelo sensível ao contexto como o BERT é conhecido por muitos como o início de uma nova era na PNL.

O treinamento do BERT em grandes quantidades de conteúdo de texto é uma técnica conhecida como Pré treino. Isso significa que os pesos do modelo são ajustados para tarefas gerais de compreensão de texto e que modelos mais refinados podem ser construídos sobre ele. Os autores provaram a superioridade de tal técnica quando empregaram modelos baseados em BERT em 11 tarefas de PNL e alcançaram resultados de ponta.

Modelos Pré-Treinados

A melhor coisa é: os modelos BERT pré-treinados são de código aberto e estão disponíveis publicamente. Isso significa que qualquer pessoa pode lidar com tarefas de PNL e construir seus modelos com base no BERT. Nada pode superar isso, certo? Ah, espere: isso também significa que os modelos NLP agora podem ser treinados (ajustados) em conjuntos de dados menores, sem a necessidade de treinar do zero. O início de uma nova era, de fato.

Esses modelos pré-treinados ajudam as empresas a reduzir o custo e o tempo de implantação de modelos de PNL para serem usados ​​interna ou externamente. A eficácia de modelos de PNL bem treinados é enfatizada por Michael Alexis, CEO da empresa de criação de cultura de equipe virtual, teambuilding.com. 

“O maior benefício da PNL é a inferência e o processamento de informações escaláveis ​​e consistentes.” – Michael Alexis CEO da teambuilding. com

Michael afirma como a PNL pode ser aplicada a programas de promoção da cultura, como quebra-gelos ou pesquisas. Uma empresa pode obter informações valiosas sobre como está a cultura da empresa analisando as respostas dos funcionários. Isso é alcançado não apenas analisando o texto, mas analisando a anotação do texto. Essencialmente, o modelo também “lê nas entrelinhas” para fazer inferências sobre emoções, sentimentos e perspectivas gerais. O BERT pode ajudar em situações como esta por meio do pré-treinamento de modelos com uma base de indicadores que podem revelar as nuances da linguagem e fornecer insights mais precisos.  

Melhorando as consultas

A capacidade de modelar o contexto transformou o BERT em um herói da PNL e revolucionou a própria Pesquisa do Google. Abaixo está uma citação da equipe de produto da Pesquisa Google e suas experiências de teste, enquanto eles ajustavam o BERT para entender a intenção por trás de uma consulta.

“Aqui estão alguns dos exemplos que demonstram a capacidade do BERT de entender a intenção por trás de sua pesquisa. Aqui está uma busca por “viajante brasileiro para os EUA em 2019 precisa de visto”. A palavra “to” e sua relação com as outras palavras na consulta são particularmente importantes para entender o significado. É sobre um brasileiro viajando para os Estados Unidos e não o contrário. Anteriormente, nossos algoritmos não entenderiam a importância dessa conexão e retornamos resultados sobre cidadãos americanos viajando para o Brasil. Com o BERT, a Pesquisa é capaz de captar essa nuance e saber que a palavra “para” muito comum realmente importa muito aqui, e podemos fornecer um resultado muito mais relevante para essa consulta.”
- Entendendo as pesquisas melhor do que nunca, por Pandu Nayak, Google Fellow e vice-presidente de pesquisa.

Exemplo de pesquisa BERT, antes e depois. Fonte blog

Em nossa última peça sobre PNL e OCR, ilustramos alguns usos da PNL no setor imobiliário. Também mencionamos como “as ferramentas de NLP são ferramentas ideais de extração de informações”. Vamos olhar para o setor de energia e ver como tecnologias disruptivas de NLP, como BERT, permitem novos casos de uso de aplicativos. 

Os modelos NLP podem extrair informações de grandes quantidades de dados não estruturados

Uma maneira pela qual os modelos NLP podem ser usados ​​é para a extração de informações críticas de dados de texto não estruturados. E-mails, diários, notas, logs e relatórios são exemplos de fontes de dados de texto que fazem parte das operações diárias das empresas. Alguns desses documentos podem ser cruciais nos esforços organizacionais para aumentar a eficiência operacional e reduzir custos. 

Ao pretender implementar manutenção preditiva de turbinas eólicas, relatórios de falha pode conter informações críticas sobre o comportamento de diferentes componentes. Mas como diferentes fabricantes de turbinas eólicas têm diferentes normas de coleta de dados (ou seja, relatórios de manutenção vêm em diferentes formatos e até idiomas), a identificação manual de itens de dados relevantes pode rapidamente se tornar dispendiosa para o proprietário da usina. As ferramentas de NLP podem extrair conceitos, atributos e eventos relevantes de conteúdo não estruturado. A análise de texto pode então ser empregada para encontrar correlações e padrões em diferentes fontes de dados. Isso dá aos proprietários de plantas a chance de implementar manutenção preditiva com base em medidas quantitativas identificadas em seus relatórios de falha.

Os modelos NLP podem fornecer interfaces de pesquisa de linguagem natural

Da mesma forma, os geocientistas que trabalham para empresas de petróleo e gás geralmente precisam revisar muitos documentos relacionados a operações de perfuração anteriores, registros de poços e dados sísmicos. Como esses documentos também vêm em diferentes formatos e geralmente estão espalhados em vários locais (físicos e digitais), eles perdem muito tempo procurando as informações nos lugares errados. Uma solução viável nesse caso seria um interface de pesquisa baseada em NLP, que permitiria aos usuários procurar dados em linguagem natural. Então, um modelo NLP pode correlacionar dados em centenas de documentos e retornar um conjunto de respostas para a consulta. Os trabalhadores podem então validar a saída com base em seu próprio conhecimento especializado e o feedback melhoraria ainda mais o modelo. 

No entanto, também há considerações técnicas para implantar esses modelos. Um aspecto seria que o jargão específico da indústria pode confundir os modelos de aprendizagem tradicionais que não possuem a compreensão semântica apropriada. Em segundo lugar, o desempenho dos modelos pode ser afetado pelo tamanho do conjunto de dados de treinamento. É quando os modelos pré-treinados, como o BERT, podem ser benéficos. As representações contextuais podem modelar o significado apropriado da palavra e remover qualquer confusão causada por termos específicos do setor. Ao usar modelos pré-treinados, é possível treinar a rede em conjuntos de dados menores. Isso economiza tempo, energia e recursos que, de outra forma, seriam necessários para o treinamento do zero.

E o seu próprio negócio? 

Você consegue pensar em alguma tarefa de PNL que possa ajudá-lo a reduzir custos e aumentar a eficiência operacional?

A Azul Laranja Digital a equipe de ciência de dados também está feliz em ajustar o BERT para seu benefício!