Em Direção à Redação Automatizada de Ciência

Esta manhã, navegando pelas seções de Ciência da Computação do Arxiv, como faço todas as manhãs, encontrei um artigo recente da Universidade Federal do Ceará, no Brasil, que oferece um novo quadro de Processamento de Linguagem Natural para automatizar a suma rização e extração de dados essenciais de artigos científicos.

Como isso é mais ou menos o que faço todos os dias, o artigo me fez lembrar de um comentário em uma thread de escritores do Reddit no início do ano – uma previsão de que a redação científica será um dos primeiros empregos jornalísticos a serem assumidos por aprendizado de máquina.

Deixe-me ser claro – eu absolutamente acredito que o redator automático de ciência está vindo, e que todos os desafios que eu destaco neste artigo são solucionáveis agora ou eventualmente serão. Onde possível, dou exemplos disso. Além disso, não estou abordando se os atuais ou próximos redatores de ciência baseados em IA serão capazes de escrever de forma coerente; com base no atual nível de interesse nesse setor do PLN, estou presumindo que esse desafio eventualmente será solucionado.

Em vez disso, estou perguntando se um redator de ciência baseado em IA será capaz de identificar histórias científicas relevantes de acordo com os resultados desejados (altamente variados) dos editores.

Não acredito que isso esteja prestes a acontecer; com base em navegar pelos títulos e/ou cópias de cerca de 2000 novos artigos científicos sobre aprendizado de máquina todas as semanas, tenho uma visão mais cínica sobre a extensão em que submissões acadêmicas podem ser decompostas algoritmicamente, seja para fins de indexação acadêmica ou para jornalismo científico. Como de costume, são as malditas pessoas que estão atrapalhando.

Requisitos para o Redator Automático de Ciência

Vamos considerar o desafio de automatizar a reportagem científica sobre a pesquisa acadêmica mais recente. Para manter a justiça, vamos limitar principalmente às categorias de Ciência da Computação do muito popular domínio Arxiv sem paywall, da Universidade de Cornell, que pelo menos tem uma série de características sistemáticas e padronizadas que podem ser plugadas em um pipeline de extração de dados.

Vamos supor também que a tarefa em questão, como no caso do novo artigo do Brasil, é iterar pelos títulos, resumos, metadados e (se justificado) o conteúdo do corpo de novos artigos científicos em busca de constantes, parâmetros confiáveis, tokens e informações de domínio reduzíveis e ações.

Isso é, afinal, o princípio pelo qual novos quadros muito bem-sucedidos estão ganhando terreno em áreas como relatórios de terremotos, redação esportiva, jornalismo financeiro e cobertura de saúde, e um ponto de partida razoável para o jornalista científico baseado em IA.

O fluxo de trabalho da nova oferta brasileira. O artigo científico em PDF é convertido em texto simples UTF-8 (embora isso remova ênfases itálicas que podem ter significado semântico), e as seções do artigo são rotuladas e extraídas antes de serem passadas por um filtro de texto. O texto desmontado é quebrado em frases como quadros de dados, e os quadros de dados são mesclados antes da identificação de tokens e geração de duas matrizes de tokens de documento   Fonte: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Complicando o Modelo

Uma camada encorajadora de conformidade e regularização é que o Arxiv impõe um modelo de submissão bastante bem aplicado, e fornecer diretrizes detalhadas para autores que submetem. Portanto, os artigos geralmente se conformam às partes do protocolo que se aplicam ao trabalho descrito.

Assim, o sistema de pré-processamento de IA para o redator automático de ciência pode geralmente tratar essas seções como subdomínios: resumo, introdução, trabalho relacionado/anterior, metodologia/dados, resultados/descobertas, estudos de ablação, discussão, conclusão.

No entanto, na prática, algumas dessas seções podem estar faltando, renomeadas ou conter conteúdo que, estritamente falando, pertence a uma seção diferente. Além disso, os autores naturalmente incluirão títulos e subtítulos que não se conformam ao modelo. Portanto, caberá ao PLN/NLU identificar conteúdo relacionado à seção a partir do contexto.

Rumo ao Problema

Uma hierarquia de cabeçalhos é uma maneira fácil para os sistemas de PLN inicialmente categorizar blocos de conteúdo. Muitas submissões do Arxiv são exportadas do Microsoft Word (como evidenciado nos PDFs do Arxiv mal manuseados que deixam ‘Microsoft Word’ no título do cabeçalho – veja imagem abaixo). Se você usar cabeçalhos de seção adequados no Word, uma exportação para PDF os recriará como cabeçalhos hierárquicos úteis para os processos de extração de dados de uma máquina repórter.

No entanto, isso pressupõe que os autores estão realmente usando esses recursos no Word, ou outros quadros de criação de documentos, como TeX e derivados (raramente fornecidos como formatos alternativos nativos em submissões do Arxiv, com a maioria das ofertas limitada a PDF e, ocasionalmente, o ainda mais opaco PostScript).

Com base em anos de leitura de artigos do Arxiv, notei que a vasta maioria deles não contém nenhum metadados estruturais interpretáveis, com o título relatado no leitor (ou seja, um navegador da web ou um leitor de PDF) como o título completo (incluindo extensão) do próprio documento.

Nesse caso, a interpretabilidade semântica do artigo é limitada, e um sistema de redator de ciência baseado em IA precisará relinkar programaticamente o artigo à sua metadados associada no domínio Arxiv. A convenção Arxiv determina que metadados básicos também são inseridos lateralmente em letras cinzas grandes na página 1 de uma submissão em PDF (veja imagem abaixo). Infelizmente – não menos porque isso é o único lugar confiável onde você pode encontrar uma data de publicação ou número de versão – é frequentemente excluído.

Muitos autores usam nenhum estilo ou usam apenas o estilo H1 (título mais alto), deixando o NLU extrair cabeçalhos novamente do contexto (provavelmente não tão difícil), ou analisando o número de referência que compõe o título no caminho do documento (ou seja, https://arxiv.org/pdf/2110.00168.pdf) e se beneficiando de metadados baseados na web (em vez de locais) para a submissão.

Embora o último não resolva cabeçalhos ausentes, pelo menos estabelecerá a qual seção da Ciência da Computação a submissão se aplica e fornecerá informações de data e versão.

Texto Colado em Retornos de Parágrafo

Com PDF e postscript como os formatos mais comuns disponíveis submetidos por autores, o sistema de PLN precisará de uma rotina para dividir palavras de fim de linha de palavras de início de linha subsequente que se “colam” a elas sob os métodos de otimização padrão do formato PDF.

Desconcatenar (e des-hifenizar) palavras pode ser feito em Perl e muitas outras rotinas recursivas simples, embora uma abordagem baseada em Python possa ser menos demorada e mais adaptada a um quadro de ML. A Adobe, a criadora do formato PDF, também desenvolveu um sistema de conversão habilitado por IA chamado Liquid Mode, capaz de “refluir” texto assado em PDFs, embora sua implantação além do espaço móvel tenha sido lenta.

Inglês Pobre

O inglês permanece o padrão científico global para a submissão de artigos científicos, mesmo que isso seja controverso. Portanto, artigos interessantes e notáveis às vezes contêm padrões apavorantes de inglês, de pesquisadores não ingleses. Se o uso habilidoso do inglês for incluído como uma métrica de valor quando um sistema de máquina avalia o trabalho, então não apenas boas histórias serão frequentemente perdidas, mas a saída pedante de baixo valor será classificada mais alta simplesmente porque diz muito pouco muito bem.

Sistemas de PLN que são inflexíveis nesse aspecto provavelmente experimentarão uma camada adicional de obstáculos na extração de dados, exceto nas ciências mais rígidas e parametrizadas, como química e física teórica, onde gráficos e tabelas se conformam mais uniformemente em comunidades científicas globais. Embora artigos de aprendizado de máquina frequentemente apresentem fórmulas, essas podem não representar o valor definidor da submissão na ausência do consenso científico estabelecido sobre a metodologia que as ciências mais antigas desfrutam.

Seleção: Determinando Requisitos de Audiência

Voltaremos aos muitos problemas de decompor artigos científicos excêntricos em pontos de dados discretos em breve. Agora, vamos considerar nosso público e objetivos, pois esses serão essenciais para ajudar o redator de ciência baseado em IA a filtrar milhares de artigos por semana. Prever o sucesso de histórias de notícias potenciais já é uma área ativa em aprendizado de máquina.

Se, por exemplo, o tráfego científico de alto volume for o único objetivo em um site onde a redação científica é apenas uma parte de uma oferta jornalística mais ampla (como é o caso da seção de ciência do Daily Mail do Reino Unido), um sistema de IA pode ser necessário para determinar os tópicos de maior tráfego em termos de tráfego e otimizar sua seleção para isso. Esse processo provavelmente priorizará (relativamente) frutas fáceis de colher, como robôs, drones, deepfakes, privacidade e vulnerabilidades de segurança.

Em linha com o estado atual da arte em sistemas de recomendação, essa colheita de alto nível provavelmente levará a ‘bolhas de filtro’ para nosso redator de ciência baseado em IA, pois o algoritmo dá atenção aumentada a uma série de artigos científicos espúrios que apresentam palavras-chave e frases de alta frequência “desejáveis” nesses tópicos (novamente, porque há dinheiro a ser ganho com isso, tanto em termos de tráfego para veículos de notícias quanto de financiamento para departamentos acadêmicos), enquanto ignora alguns dos “ovos de Páscoa” (veja abaixo) mais escrevíveis que podem ser encontrados em muitos dos cantos menos frequentados do Arxiv.

Um Só e Pronto!

Boa matéria de notícias científicas pode vir de lugares estranhos e inesperados, e de setores e tópicos anteriormente infrutíferos. Para confundir ainda mais nosso redator de ciência baseado em IA, que esperava criar um índice produtivo de fontes de notícias “frutíferas”, a fonte de um “sucesso” inesperado (como um servidor Discord, um departamento de pesquisa acadêmica ou uma startup de tecnologia) frequentemente nunca mais produzirá material ação, enquanto continua a produzir um fluxo de informações volumoso e barulhento de valor menor.

O que um sistema de aprendizado de máquina iterativo pode deduzir disso? Que os muitos milhares de fontes de notícias “fora do comum” que ele uma vez identificou e excluiu devem ser priorizados (mesmo que isso crie uma relação sinal-ruído ingovernável, considerando o alto volume de artigos publicados todos os anos)? Que o tópico em si é mais digno de uma camada de ativação do que a fonte de notícias de que veio (o que, no caso de um tópico popular, é uma ação redundante)..?

Mais utilmente, o sistema pode aprender que precisa mover-se para cima ou para baixo na hierarquia de dimensionalidade de dados em busca de padrões – se é que existem – que constituem o que meu avô jornalista chamava de “nariz para notícias”, e definir a característica digno de notícia como uma qualidade itinerante e abstrata que não pode ser prevista com precisão com base apenas na proveniência, e que pode ser esperada para mutar diariamente.

Identificando Falha de Hipótese

Devido à pressão de cota, departamentos acadêmicos às vezes publicam trabalhos em que a hipótese central falhou completamente (ou quase completamente) em testes, mesmo que os métodos e descobertas do projeto sejam, no entanto, dignos de algum interesse por direito próprio.

Tais desapontamentos são frequentemente não sinalizados em resumos; nos piores casos, hipóteses refutadas são discerníveis apenas lendo os gráficos de resultados. Isso não apenas envolve inferir uma compreensão detalhada da metodologia a partir da informação limitada e seletiva que o artigo pode fornecer, mas também exigiria algoritmos de interpretação de gráficos habilidosos que possam interpretar significativamente tudo, desde um gráfico de pizza até um gráfico de dispersão, no contexto.

Um sistema de PLN que confia nos resumos, mas não pode interpretar os gráficos e tabelas, pode ficar muito animado com um novo artigo, ao ler pela primeira vez. Infelizmente, exemplos anteriores de “falha oculta” em artigos acadêmicos são (para fins de treinamento) difíceis de generalizar em padrões, pois esse “crime acadêmico” é principalmente um de omissão ou subestimação, e portanto, elusivo.

Em um caso extremo, nosso redator de IA pode precisar localizar e testar dados de repositório (ou seja, do GitHub), ou analisar quaisquer materiais suplementares disponíveis, para entender o que os resultados significam em termos dos objetivos dos autores. Portanto, um sistema de aprendizado de máquina precisaria percorrer as múltiplas fontes e formatos não mapeados envolvidos nisso, tornando a automação de processos de verificação um desafio arquitetônico.

Cenários ‘Caixa Branca’

Algumas das afirmações mais ultrajantes feitas em artigos de segurança baseados em IA acabam por exigir níveis extraordinários e muito improváveis de acesso ao código-fonte ou infraestrutura-fonte – ‘ataques de caixa branca’. Embora isso seja útil para extrapolar anteriormente desconhecidos caprichos nas arquiteturas de sistemas de IA, quase nunca representa uma superfície de ataque realisticamente explorável. Portanto, o redator de ciência baseado em IA precisará de um detector de bobagem bastante capaz para decompor afirmações de segurança em probabilidades para implantação eficaz.

O redator automático de ciência precisará de uma rotina de NLU capaz para isolar menções de ‘caixa branca’ em um contexto significativo (ou seja, para distinguir menções de implicações centrais para o artigo), e a capacidade de deduzir metodologia de caixa branca em casos em que a frase nunca aparece no artigo.

Outros ‘Armadilhas’

Outros lugares onde a inviabilidade e a falha de hipótese podem acabar bastante enterrados são nos estudos de ablação, que sistematicamente removem elementos-chave de uma nova fórmula ou método para ver se os resultados são afetados negativamente, ou se uma ‘descoberta central’ é resiliente. Na prática, artigos que incluem estudos de ablação geralmente estão bastante confiantes de suas descobertas, embora uma leitura cuidadosa possa frequentemente desenterrar um ‘blefe’. Em pesquisa de IA, esse blefe frequentemente equivale a superajuste, onde um sistema de aprendizado de máquina se sai admiravelmente no conjunto de dados de pesquisa original, mas falha em generalizar para novos dados, ou opera sob outras restrições não reprodutíveis.

Outra seção de cabeçalho útil para extração sistemática é Limitações. Essa é a primeira seção que qualquer redator de ciência (IA ou humano) deve pular, pois pode conter informações que anulam a hipótese inteira do artigo, e pular para ela pode economizar horas de trabalho perdido (pelo menos, para os humanos). Um cenário pior aqui é que um artigo realmente tem uma seção Limitações, mas os fatos ‘comprometendo’ são incluídos em outro lugar no trabalho, e não aqui (ou são subestimados aqui).

Em seguida, está Trabalho Anterior. Isso ocorre no início do modelo do Arxiv e frequentemente revela que o artigo atual representa apenas um avanço menor sobre um projeto muito mais inovador, geralmente dos 12 a 18 meses anteriores. Nesse estágio, o redator de IA precisará da capacidade de estabelecer se o trabalho anterior obteve tração; há uma história aqui? O trabalho anterior merecidamente passou despercebido no momento da publicação? Ou o novo artigo é apenas um pós-escrito perfunctório para um projeto anterior bem coberto?

Avaliando Reaparições e ‘Novidade’

Além de corrigir erros em uma versão anterior, a versão 2 de um artigo frequentemente representa pouco mais do que os autores clamando por atenção que não receberam quando a versão 1 foi publicada. Com frequência, no entanto, um artigo realmente merece uma segunda chance, pois a atenção da mídia pode ter sido desviada para outro lugar no momento da publicação original, ou o trabalho foi obscurecido por um tráfego alto de submissões em períodos de “simposio” e conferência (como outono e final de inverno).

Uma característica útil no Arxiv para distinguir uma reaparição é a marca [ATUALIZADO] anexada a títulos de submissão. O sistema de recomendação interno do nosso redator de IA precisará considerar cuidadosamente se [ATUALIZADO] == ‘Jogado Fora’, particularmente desde que (presumivelmente) pode avaliar o artigo reaquecido muito mais rápido do que um redator de ciência apertado, mas humano. Nesse aspecto, tem uma vantagem notável sobre os humanos, graças a uma convenção de nomenclatura que provavelmente perdurará, pelo menos no Arxiv.

O Arxiv também fornece informações na página de resumo sobre se o artigo foi identificado como tendo ‘cruzamento significativo’ de texto com outro artigo (frequentemente pelos mesmos autores), e isso também pode ser potencialmente analisado em um status de ‘reaparição/duplicata’ por um sistema de redator de IA na ausência da marca [ATUALIZADO].

Determinando Difusão

Como a maioria dos jornalistas, nosso redator de ciência baseado em IA projetado está procurando notícias não relatadas ou sub-relatadas, a fim de adicionar valor ao fluxo de conteúdo que ele apoia. Na maioria dos casos, relatar novamente avanços científicos apresentados pela primeira vez em grandes veículos como TechCrunch, The Verge e EurekaAlert et al é inútil, pois essas grandes plataformas apoiam seu conteúdo com máquinas de publicidade exaustivas, garantindo praticamente a saturação da mídia para o artigo.

Portanto, nosso redator de IA deve determinar se a história é fresca o suficiente para ser digna de perseguição.

A maneira mais fácil, em teoria, seria identificar links de entrada recentes para as páginas de pesquisa principais (resumo, PDF, seção de notícias do site do departamento acadêmico, etc.). Em geral, quadros que podem fornecer informações de links de entrada atualizadas não são de código aberto ou de baixo custo, mas grandes editores poderiam presumivelmente suportar o custo do SaaS como parte de um quadro de avaliação de noticiabilidade.

Supondo tal acesso, nosso redator de IA está então diante do problema de que um grande número de veículos de reportagem científica não cita os artigos que estão escrevendo, mesmo em casos em que essa informação está livremente disponível. Afinal, um veículo deseja que relatórios secundários linkem para eles, e não para a fonte. Como, em muitos casos, eles realmente obtiveram acesso privilegiado ou semi-privilegiado a um artigo de pesquisa (veja O Redator de Ciência Social abaixo), eles têm um pretexto desonesto para isso.

Portanto, nosso redator de IA precisará extrair palavras-chave ação de um artigo e realizar buscas restritas ao tempo para estabelecer onde, se em algum lugar, a história já foi relatada – e, em seguida, avaliar se qualquer difusão anterior pode ser descartada, ou se a história está jogada fora.

Às vezes, os artigos fornecem material de vídeo suplementar no YouTube, onde a ‘contagem de visualizações’ pode servir como um índice de difusão. Além disso, nosso redator de IA pode extrair imagens do artigo e realizar buscas sistemáticas baseadas em imagens para estabelecer se, onde e quando alguma das imagens foram republicadas.

Ovos de Páscoa

Às vezes, um artigo ‘seco’ revela descobertas que têm implicações profundas e notáveis, mas que são subestimadas (ou até mesmo ignoradas ou desconsideradas) pelos autores, e só serão reveladas lendo o artigo inteiro e fazendo as contas.

Em casos raros, acredito, isso ocorre porque os autores estão muito mais preocupados com a recepção na academia do que no público em geral, talvez porque sintam (não sempre incorretamente) que os conceitos centrais envolvidos simplesmente não podem ser simplificados o suficiente para o consumo geral, apesar dos esforços frequentemente hiperbólicos de seus departamentos de RP.

Mas quase tão frequentemente, os autores podem subestimar ou não ver ou não reconhecer as implicações de seu trabalho, operando oficialmente sob ‘distanciamento científico’. Às vezes, esses ‘ovos de Páscoa’ não são indicadores positivos para o trabalho, como mencionado anteriormente, e podem ser cínica e obscurecidos em tabelas complexas de descobertas.

Além do Arxiv

Deve-se considerar que parametrizar artigos sobre ciência da computação em tokens e entidades discretas será muito mais fácil em um domínio como o Arxiv, que fornece uma série de ‘ganchos’ consistentes e padronizados para análise, e não requer logins para a maioria da funcionalidade.

Não todos os acessos a publicações científicas são de código aberto, e permanece por ser visto se (do ponto de vista prático ou legal) nosso redator de ciência baseado em IA pode ou irá recorrer a evadir paywalls por meio de Sci-Hub; para usar sites de arquivamento para obviar paywalls; e se é prático construir arquiteturas de mineração de domínio semelhantes para uma ampla variedade de outras plataformas de publicação científica, muitas das quais são estruturalmente resistentes à investigação sistemática.

Deve-se considerar ainda que, mesmo o Arxiv tem limites de taxa que provavelmente desacelerarão as rotinas de avaliação de notícias do redator de IA para uma velocidade mais ‘humana’.

O Redator de Ciência Social

Além do reino aberto e acessível do Arxiv e plataformas de publicação científica semelhantes, mesmo obter acesso a um artigo de pesquisa novo e interessante pode ser um desafio, envolvendo localizar um canal de contato para um autor e abordá-lo para solicitar ler o trabalho, e até mesmo obter citações (onde a pressão do tempo não é um fator predominante – um caso raro para repórteres de ciência humanos hoje em dia).

Isso pode envolver a travessia automatizada de domínios científicos e a criação de contas (você precisa estar conectado para revelar o endereço de e-mail de um autor de um artigo, mesmo no Arxiv). A maioria das vezes, o LinkedIn é a maneira mais rápida de obter uma resposta, mas os sistemas de IA atualmente são proibidos de contatar membros.

Quanto a como os pesquisadores receberiam solicitações de e-mail de um redator de ciência baseado em IA – bem, como no mundo de redação de ciência de carne e osso, é provável que dependa da influência do veículo. Se um redator baseado em IA putativo do Wired contatasse um autor ansioso para disseminar seu trabalho, é razoável supor que não encontraria uma resposta hostil.

Na maioria dos casos, podemos imaginar que o autor estaria esperando que essas trocas semi-automatizadas eventualmente convocassem um humano para o loop, mas não está além do reino das possibilidades que entrevistas de follow-up VOIP possam ser facilitadas por um IA, pelo menos onde a viabilidade do artigo for prevista estar abaixo de um certo limiar, e onde a publicação tiver tração suficiente para atrair a participação humana em uma conversa com um ‘pesquisador de IA’.

Identificando Notícias com IA

Muitos dos princípios e desafios delineados aqui se aplicam ao potencial de automação em outros setores do jornalismo, e, como sempre foi, identificar uma história potencial é o desafio central. A maioria dos jornalistas humanos concordará que escrever a história é apenas os 10% finais do esforço, e que, no momento em que o teclado está tilintando, o trabalho está principalmente concluído.

O grande desafio, então, é desenvolver sistemas de IA que possam detectar, investigar e autenticar uma história, com base nas muitas vicissitudes arcânicas do jogo de notícias, e percorrer uma ampla gama de plataformas que já estão endurecidas contra a investigação e exfiltração, humana ou de outra forma.

No caso da reportagem científica, os autores de novos artigos têm uma agenda auto-serviça tão profunda quanto qualquer outra fonte primária de uma história de notícias, e deconstruir sua saída envolverá incorporar conhecimento prévio sobre motivações sociológicas, psicológicas e econômicas. Portanto, um redator automático de ciência putativo precisará de mais do que rotinas de PLN redutivas para estabelecer onde as notícias estão hoje, a menos que o domínio de notícias seja particularmente estratificado, como é o caso de ações, números de pandemia, resultados esportivos, atividade sísmica e outras fontes de notícias puramente estatísticas.