Além do ‘Modo Leitor’ Com Aprendizado de Máquina

Pesquisadores da Coreia do Sul utilizaram aprendizado de máquina para desenvolver um método aprimorado para extrair o conteúdo real de páginas da web, de modo que o “mobiliário” de uma página da web – como sidebars, footers e cabeçalhos de navegação, bem como blocos de anúncios – desaparece para o leitor.

Embora tal funcionalidade seja incorporada à maioria dos navegadores da web populares, ou esteja facilmente disponível por meio de extensões e plugins, essas tecnologias dependem de formatação semântica que pode não estar presente na página da web, ou que pode ter sido comprometida deliberadamente pelo proprietário do site para evitar que o leitor esconda a “experiência completa” da página.

Uma das nossas próprias páginas da web ‘slimmed down’ com a funcionalidade de Leitor do Firefox.

Em vez disso, o novo método utiliza um sistema baseado em grade que itera pela página da web, avaliando quão pertinente o conteúdo é para o objetivo central da página.

O pipeline de extração de conteúdo divide a página em uma grade (linha superior) antes de avaliar a relação das células pertinentes encontradas com outras células (meio) e, finalmente, mesclar as células aprovadas (inferior). Fonte: https://arxiv.org/ftp/arxiv/papers/2110/2110.14164.pdf

Uma vez que uma célula pertinente é identificada, sua relação com células próximas também é avaliada antes de ser mesclada no conteúdo “core” interpretado.

A ideia central da abordagem é abandonar a marcação baseada em código como um índice de relevância (ou seja, tags HTML que normalmente denotam o início de um parágrafo, por exemplo, que podem ser substituídas por tags alternativas que “enganam” leitores de tela e utilitários como Leitor de Página), e deduzir o conteúdo com base apenas em sua aparência visual.

A abordagem, chamada Grid-Center-Expand (GCE), foi estendida pelos pesquisadores em modelos de Redes Neurais Profundas (DNN) que exploram o TabNet da Google, uma arquitetura de aprendizado tabular interpretativo.

Vamos ao Ponto

O artigo é intitulado Não leia, apenas olhe: Extração de conteúdo principal de páginas da web usando recursos visualmente aparentes, e vem de três pesquisadores da Universidade Hanyang, e um do Instituto de Tecnologia de Convergência, todos localizados em Seul.

A extração aprimorada do conteúdo central de páginas da web é potencialmente valiosa não apenas para o usuário final casual, mas também para sistemas de máquina que são responsáveis por ingerir ou indexar conteúdo de domínio para fins de Processamento de Linguagem Natural (NLP) e outros setores de IA.

Como está, se o conteúdo não relevante for incluído nesses processos de extração, pode ser necessário filtrá-lo manualmente (ou rotulá-lo), a um grande custo; pior, se o conteúdo indesejado for incluído com o conteúdo central, pode afetar como o conteúdo central é interpretado, e o resultado de sistemas de transformador e codificador/decodificador que dependem de conteúdo limpo.

Um método aprimorado, argumentam os pesquisadores, é especialmente necessário porque as abordagens existentes frequentemente falham com páginas da web não em inglês.

Páginas da web em francês, japonês e russo são notadas como tendo as piores taxas de sucesso para as quatro abordagens mais comuns de ‘Modo Leitor’: Readability.js da Mozilla; DOM Distiller do Google; Web2Text; e Boilernet.

Conjuntos de Dados e Treinamento

Os pesquisadores compilaram material do conjunto de dados a partir de palavras-chave em inglês no GoogleTrends-2017 e GoogleTrends-2020, embora observem que, em termos de resultados, não houve diferenças práticas entre os dois conjuntos de dados.

Além disso, os autores reuniram palavras-chave não em inglês da Coreia do Sul, França, Japão, Rússia, Indonésia e Arábia Saudita. Palavras-chave em chinês foram adicionadas a partir de um conjunto de dados do Baidu, desde que o Google Trends não pôde oferecer dados em chinês.

Testes e Resultados

Ao testar o sistema, os autores descobriram que ele oferece o mesmo nível de desempenho que os modelos DNN recentes, enquanto fornece melhor acomodação para uma variedade mais ampla de idiomas.

Por exemplo, a arquitetura Boilernet, embora mantenha um bom desempenho na extração de conteúdo pertinente, se adapta mal a conjuntos de dados em chinês e japonês, enquanto Web2Text, os autores encontram, tem ‘desempenho relativamente pobre’ em geral, com recursos linguísticos que não são multilíngues e não são adequados para extrair o conteúdo central de páginas da web.

O Readbility.js da Mozilla foi encontrado para atingir um desempenho aceitável em vários idiomas, incluindo inglês, mesmo como um método baseado em regras. No entanto, os pesquisadores encontraram que seu desempenho caiu notavelmente em conjuntos de dados em japonês e francês, destacando as limitações de tentar analisar características de uma região específica inteiramente por meio de abordagens baseadas em regras.

Enquanto isso, o DOM Distiller do Google, que combina heurísticas e abordagens de aprendizado de máquina, foi encontrado para ter um desempenho bom em geral.

Tabela de resultados para os métodos testados durante o projeto, incluindo o próprio módulo GCE dos pesquisadores. Números mais altos são melhores.

Os pesquisadores concluem que ‘GCE não precisa acompanhar o ambiente da web em constante mudança porque depende da natureza humana – recursos genuinamente globais e multilíngues’.