O Google Envisiona um Sistema de Consulta Semelhante ao GPT-3, Sem Resultados de Pesquisa

Um novo artigo de quatro pesquisadores do Google propõe um sistema “especialista” capaz de responder autoritativamente às perguntas dos usuários sem apresentar uma lista de resultados de pesquisa possíveis, semelhante ao paradigma de Perguntas e Respostas que ganhou atenção pública com o advento do GPT-3 nos últimos anos.

O artigo, intitulado Rethinking Search: Making Experts out of Dilettantes, sugere que o padrão atual de apresentar ao usuário uma lista de resultados de pesquisa em resposta a uma pergunta é uma “carga cognitiva” e propõe melhorias na capacidade de um sistema de processamento de linguagem natural (NLP) de fornecer uma resposta autoritativa e definitiva.

Sob o modelo proposto de um ‘especialista’, oráculo de domínio cruzado, os milhares de fontes de resultados de pesquisa possíveis serão incorporados a um modelo de linguagem em vez de estarem explicitamente disponíveis como um recurso exploratório para os usuários avaliarem e navegar por si mesmos. Fonte: https://arxiv.org/pdf/2105.02274.pdf

O artigo, liderado por Donald Metzler na Pesquisa do Google, propõe melhorias no tipo de respostas de oráculo de domínio múltiplo que podem ser obtidas atualmente a partir de modelos de linguagem autoregressivos de aprendizado profundo, como o GPT-3. As principais melhorias previstas são a) que o modelo seria capaz de citar com precisão as fontes que informaram a resposta e b) que o modelo seria impedido de “alucinar” respostas ou inventar material de fonte inexistente, o que é atualmente um problema com essas arquiteturas.

Treinamento e Capacidades de Domínio Múltiplo

Além disso, o modelo de linguagem proposto, caracterizado no artigo como “Um Modelo Único para Todas as Tarefas de Recuperação de Informação”, seria treinado em uma variedade de domínios, incluindo imagens e texto. Ele também precisaria ter uma compreensão sobre a proveniência do conhecimento, que falta nas arquiteturas do estilo GPT-3.

‘Para substituir índices por um modelo unificado, é necessário que o modelo em si tenha conhecimento sobre o universo de identificadores de documentos, da mesma forma que os índices tradicionais. Uma maneira de fazer isso é se afastar dos modelos de linguagem tradicionais e ir em direção a modelos de corpus que modelam conjuntamente as relações termo-termo, termo-documento e documento-documento.’

Na imagem acima, do artigo, três abordagens em resposta a uma pergunta do usuário: à esquerda, os modelos de linguagem implícitos nos resultados de pesquisa algorítmicos do Google escolheram e priorizaram uma “melhor resposta”, mas a deixaram como o resultado superior de muitos. Centro, uma resposta conversacional do estilo GPT-3, que fala com autoridade, mas não justifica suas alegações ou cita fontes. Direita, o sistema de especialista proposto incorpora a “melhor resposta” dos resultados de pesquisa classificados diretamente em uma resposta didática, com citações de estilo acadêmico (não mostradas na imagem original) indicando as fontes que informam a resposta.

Remoção de Resultados Tóxicos e Inexatos

Os pesquisadores observam que a natureza dinâmica e constantemente atualizada dos índices de pesquisa é um desafio para replicar completamente em um modelo de aprendizado de máquina dessa natureza. Por exemplo, onde uma fonte confiável foi treinada diretamente na compreensão do modelo do mundo, remover sua influência (por exemplo, após ser desacreditada) pode ser mais difícil do que simplesmente remover uma URL dos resultados de pesquisa, pois os conceitos de dados podem se tornar abstratos e amplamente representados durante a assimilação no treinamento.

Além disso, tal modelo precisaria ser treinado continuamente para fornecer o mesmo nível de responsividade a novos artigos e publicações como atualmente fornecido pelo spidering constante de fontes do Google. Isso significa, efetivamente, um lançamento contínuo e automatizado, em contraste com o regime atual, onde alterações menores são feitas nos pesos e configurações do algoritmo de pesquisa de forma livre, mas o algoritmo em si é usualmente atualizado com pouca frequência.

Superfícies de Ataque para um Oráculo de Especialista Centralizado

Um modelo centralizado constantemente assimilando e generalizando novos dados pode transformar a superfície de ataque para consultas de pesquisa.

Atualmente, um atacante pode obter benefício alcançando um alto ranking para domínios ou páginas que contenham informações falsas ou códigos maliciosos. Sob a égide de um oráculo “especialista” mais opaco, a oportunidade de redirecionar os usuários para domínios de ataque é grandemente diminuída, mas a possibilidade de injetar ataques de dados tóxicos é grandemente aumentada.

Isso ocorre porque o sistema proposto não elimina o algoritmo de classificação de pesquisa, mas o esconde do usuário, efetivamente automatizando a prioridade do resultado superior e incorporando-o (ou incorporando-os) em uma declaração didática. Usuários mal-intencionados sempre conseguiram orquestrar ataques contra o algoritmo de pesquisa do Google, para vender produtos falsos, direcionar usuários para domínios que espalham malware, ou para fins de manipulação política, entre muitos outros casos de uso.

Não é AGI

Os pesquisadores enfatizam que tal sistema seria improvável de se qualificar como Inteligência Artificial Geral (AGI) e colocam a perspectiva de um respondedor de especialista universal no contexto do processamento de linguagem natural, sujeito a todos os desafios que esses modelos atualmente enfrentam.

O artigo descreve cinco requisitos para uma resposta de “alta qualidade”:

1: Autoridade
Como nos algoritmos de classificação atuais, a “autoridade” parece ser derivada da citação de domínios de alta qualidade que são considerados autoritativos em si mesmos. Os pesquisadores observam:

‘As respostas devem gerar conteúdo puxando de fontes altamente autoritativas. Isso é outra razão pela qual estabelecer conexões mais explícitas entre sequências de termos e metadados de documentos é tão crucial. Se todos os documentos em um corpus forem anotados com uma pontuação de autoridade, essa pontuação deve ser levada em conta ao treinar o modelo, gerar respostas ou ambos.’

Embora os pesquisadores não sugiram que os resultados tradicionais de SERPs se tornariam indisponíveis se um oráculo de especialista desse tipo fosse encontrado para ser performático e popular, todo o artigo apresenta o sistema de classificação tradicional e as listas de resultados de pesquisa sob a luz de um sistema de recuperação de informações “de décadas” e ultrapassado.

‘O fato de que o ranking é um componente crítico desse paradigma é um sintoma do sistema de recuperação fornecendo aos usuários uma seleção de respostas potenciais, o que induz uma carga cognitiva bastante significativa no usuário. O desejo de retornar respostas em vez de listas classificadas de resultados foi um dos fatores motivadores para desenvolver sistemas de resposta a perguntas. ‘

2: Transparência
Os pesquisadores comentam:

‘Sempre que possível, a proveniência da informação apresentada ao usuário deve ser tornada disponível para ele. É esta a fonte primária de informação? Se não, qual é a fonte primária?’

3: Lidando com Viés
O artigo nota que os modelos de linguagem pré-treinados são projetados não para avaliar a verdade empírica, mas para generalizar e priorizar tendências dominantes nos dados. Ele admite que essa diretriz abre o modelo para ataques (como ocorreu com o chatbot racista involuntário da Microsoft em 2016) e que sistemas auxiliares serão necessários para salvaguardar contra respostas do sistema com viés.
4: Habilitando Pontos de Vista Diversos
O artigo também propõe mecanismos para garantir uma pluralidade de pontos de vista:

‘As respostas geradas devem representar uma gama de perspectivas diversas, mas não devem ser polarizantes. Por exemplo, para consultas sobre tópicos controversos, ambos os lados do tópico devem ser cobertos de forma justa e equilibrada. Isso obviamente tem laços estreitos com o viés do modelo.’

5: Linguagem Acessível
Além de fornecer traduções precisas nos casos em que a resposta autoritativa considerada está em um idioma diferente, o artigo sugere que as respostas encapsuladas devem ser ‘escritas em termos o mais simples possível’.