Baidu Supera Google e Microsoft, Cria Nova Técnica Para Compreensão de Linguagem

Baidu, uma das maiores empresas de tecnologia da China, desenvolveu recentemente um novo método de ensinar AIs a entender a linguagem. Como relatado pelo TechnologyReview, a empresa recentemente superou a Microsoft e o Google na competição General Language and Understanding Evaluation (GLUE), alcançando resultados de ponta.

A GLUE é composta por nove testes diferentes, com cada teste medindo uma tarefa diferente importante para a compreensão da linguagem, como discernir nomes de entidades em uma frase e discernir em que contexto o pronome “it” está sendo usado quando há vários candidatos potenciais. O ser humano médio normalmente pontua cerca de 87 pontos na GLUE, de um total de 100. O novo modelo da Baidu, ERNIE, ultrapassou a barreira dos 90 pontos.

Os pesquisadores estão sempre tentando melhorar o desempenho de seus modelos na GLUE, e, portanto, o padrão atual estabelecido pela Baidu provavelmente será superado em breve. No entanto, o que torna os feitos da Baidu notáveis é que a abordagem de aprendizado que eles usam parece ser capaz de generalizar para outras línguas. Embora o modelo tenha sido desenvolvido para interpretar o chinês, os mesmos princípios o tornam melhor em interpretar a língua inglesa. ERNIE significa “Enhanced Representation through knowledge Integration”, e segue o desenvolvimento do modelo de linguagem BERT (“Bidirectional Encoder Representations from Transformers”).

O BERT estabeleceu um novo padrão para a compreensão da linguagem devido ao fato de ser um modelo bidirecional. Os modelos de linguagem anteriores eram capazes de interpretar apenas dados que fluíam em uma “direção”, olhando para uma palavra que veio antes ou depois da palavra alvo como contexto. O BERT foi capaz de implementar uma abordagem bidirecional que podia usar tanto as palavras anteriores quanto as posteriores em uma frase para ajudar a descobrir o significado de uma palavra alvo. O BERT usa uma técnica chamada masking para tornar a análise bidirecional possível, escolhendo uma palavra em uma frase e escondendo-a, o que divide as possíveis pistas de contexto para essa palavra em pistas de contexto anteriores e posteriores.

Na língua inglesa, a palavra é a unidade semântica dominante, as pessoas olham para as palavras inteiras em vez de caracteres individuais para discernir o significado. É possível remover uma palavra de seu contexto e ainda ter essa palavra manter seu significado, e o significado dos caracteres individuais é quase sempre o mesmo. Em contraste, a língua chinesa depende muito mais de como os caracteres são combinados com outros caracteres para discernir o significado. Os caracteres podem ter significados diferentes dependendo dos caracteres ao seu redor.

A equipe de pesquisa da Baidu basicamente pegou o modelo que o BERT usou e o expandiu, escondendo sequências de caracteres em vez de palavras inteiras. O sistema de IA também foi treinado para diferenciar entre sequências aleatórias e sequências significativas para que as sequências de caracteres certas pudessem ser mascaradas. Isso torna o ERNIE proficiente em recuperar informações de um documento de texto e realizar tradução automática. A equipe de pesquisa também descobriu que seu método de treinamento resultou em um modelo que podia distinguir frases em inglês melhor do que muitos outros modelos podiam. Isso ocorre porque o inglês às vezes, embora raramente, usa combinações de palavras que expressam significados diferentes quando são juntas em vez de quando estão sozinhas. Nomes próprios e expressões idiomáticas ou coloquiais, como “chip off the old block”, são exemplos de tais fenômenos linguísticos.

O ERNIE usa várias outras técnicas de treinamento para otimizar o desempenho, incluindo a análise da ordem e da distância das frases ao interpretar parágrafos. Um método de treinamento contínuo também é usado, que permite que o ERNIE seja treinado em novos dados e aprenda novos padrões sem esquecer o conhecimento previamente adquirido.

A Baidu atualmente usa o ERNIE para melhorar a qualidade dos resultados de busca. A arquitetura mais recente do ERNIE será detalhada em um artigo futuro a ser apresentado na conferência 2020 Association for the Advancement of Artificial Intelligence.