IA como Pesquisador: Primeiro Artigo de Pesquisa Revisado por Pares Escrito Sem Humanos

A inteligência artificial cruzou outra marca significativa que desafia nossa compreensão do que as máquinas podem alcançar de forma independente. Pela primeira vez na história científica, um sistema de IA escreveu um artigo de pesquisa completo que passou pela revisão por pares em uma conferência acadêmica sem qualquer assistência humana no processo de escrita. Essa conquista pode ser um desvio fundamental em como a pesquisa científica pode ser realizada no futuro.

Realização Histórica

Um artigo produzido pelo AI Scientist-v2 passou pelo processo de revisão por pares em um workshop em uma conferência internacional de IA de alto nível. A pesquisa foi submetida a um ICLR 2025 workshop, que é um dos principais locais de machine learning. O artigo foi gerado por uma versão aprimorada do original AI Scientist, chamado de AI Scientist-v2.

O artigo aceito, intitulado “Compositional Regularization: Obstáculos Inesperados na Melhoria da Generalização de Redes Neurais“, recebeu pontuações impressionantes de revisores humanos. Dos três artigos submetidos para revisão, um recebeu classificações que o colocaram acima do limiar de aceitação. Essa conquista é um avanço significativo, pois a IA agora pode participar do processo fundamental de descoberta científica que foi exclusivamente humano por séculos.

A equipe de pesquisa da Sakana AI, trabalhando com colaboradores da Universidade da Colúmbia Britânica e da Universidade de Oxford, realizou esse experimento. Eles receberam aprovação do conselho de revisão institucional e trabalharam diretamente com os organizadores da conferência ICLR para garantir que o experimento seguisse os protocolos científicos adequados.

Como o AI Scientist-v2 Funciona

O AI Scientist-v2 alcançou esse sucesso devido a várias melhorias significativas em relação ao seu antecessor. Ao contrário do seu antecessor, o AI Scientist-v2 elimina a necessidade de modelos de código autorados por humanos, pode trabalhar em diferentes domínios de machine learning e emprega uma metodologia de busca em árvore para explorar múltiplos caminhos de pesquisa simultaneamente.

O sistema opera por meio de um processo de ponta a ponta que espelha como os pesquisadores humanos trabalham. Ele começa formulando hipóteses científicas com base no domínio de pesquisa que lhe foi atribuído para explorar. A IA então projeta experimentos para testar essas hipóteses, escreve o código necessário para realizar os experimentos e os executa automaticamente.

O que torna esse sistema particularmente avançado é o uso da metodologia de busca em árvore agente. Essa abordagem permite que a IA explore múltiplos direções de pesquisa simultaneamente, muito como os pesquisadores humanos podem considerar várias abordagens para resolver um problema. Isso envolve a execução de experimentos por meio da busca em árvore agente, análise de resultados e geração de um rascunho do artigo. Um agente gerente de experimentos dedicado coordena todo o processo para garantir que a pesquisa permaneça focada e produtiva.

O sistema também inclui um componente de revisor de IA aprimorado que usa modelos de linguagem de visão para fornecer feedback sobre o conteúdo e a apresentação visual dos resultados de pesquisa. Isso cria um processo de refinamento iterativo onde a IA pode melhorar seu próprio trabalho com base no feedback, semelhante à forma como os pesquisadores humanos refinam seus manuscritos com base no feedback de colegas.

O que Tornou Esse Artigo de Pesquisa Especial

O artigo aceito se concentrou em um problema desafiador em machine learning chamado generalização composicional. Isso se refere à capacidade das redes neurais de entender e aplicar conceitos aprendidos em novas combinações que nunca viram antes. O AI Scientist-v2 investigou métodos de regularização novos que podem melhorar essa capacidade.

Interessantemente, o artigo também relatou resultados negativos. A IA descobriu que certas abordagens que ela hipotetizou melhorariam o desempenho da rede neural na verdade criaram obstáculos inesperados. Na ciência, resultados negativos são valiosos porque impedem que outros pesquisadores sigam caminhos improdutivos e contribuem para nossa compreensão do que não funciona.

A pesquisa seguiu rigorosos padrões científicos ao longo do processo. O AI Scientist-v2 realizou múltiplas execuções experimentais para garantir a validade estatística, criou visualizações claras de seus achados e citou adequadamente o trabalho anterior relevante. Ele formatou todo o manuscrito de acordo com os padrões acadêmicos e escreveu discussões abrangentes de sua metodologia e achados.

Os pesquisadores humanos que supervisionaram o projeto realizaram sua própria revisão minuciosa de todos os três artigos gerados. Eles descobriram que, embora o artigo aceito fosse de qualidade de workshop, continha alguns problemas técnicos que impediriam a aceitação na trilha principal da conferência. Essa avaliação honesta demonstra as limitações atuais, enquanto reconhece o progresso significativo alcançado.

Capacidades Técnicas e Melhorias

O AI Scientist-v2 demonstra várias capacidades técnicas notáveis que o distinguem de sistemas de pesquisa automatizados anteriores. O sistema pode trabalhar em diferentes domínios de machine learning sem requerer modelos de código pré-escritos. Essa flexibilidade significa que ele pode se adaptar a novas áreas de pesquisa e gerar abordagens experimentais originais, em vez de seguir padrões pré-determinados.

A metodologia de busca em árvore é uma inovação significativa na automação de pesquisa de IA. Em vez de perseguir uma única direção de pesquisa, o sistema pode manter múltiplas hipóteses simultaneamente e alocar recursos computacionais com base na promessa que cada direção mostra. Essa abordagem espelha como os pesquisadores humanos experientes muitas vezes mantêm várias linhas de pesquisa enquanto se concentram principalmente nas vias mais promissoras.

Outra melhoria crucial é a integração de modelos de linguagem de visão para revisar e refinar os elementos visuais dos artigos de pesquisa. Figuras científicas e visualizações são críticas para a comunicação eficaz dos resultados de pesquisa. A IA agora pode avaliar e melhorar suas próprias visualizações de dados de forma iterativa.

O sistema também demonstra compreensão das convenções de escrita científica. Ele estrutura adequadamente os artigos com seções apropriadas, mantém terminologia consistente em todo o manuscrito e cria um fluxo lógico entre as diferentes partes da narrativa de pesquisa. A IA mostra consciência de como apresentar metodologia, discutir limitações e contextualizar achados dentro da literatura existente.

Limitações e Desafios Atuais

Apesar dessa conquista histórica, várias limitações importantes restringem as capacidades atuais de pesquisa gerada por IA. A empresa disse que nenhum de seus estudos gerados por IA passou no padrão interno para publicação em trilhas de conferência ICLR. Isso indica que, embora a IA possa produzir pesquisa de qualidade de workshop, alcançar os níveis mais altos de publicação científica permanece um desafio.

As taxas de aceitação fornecem um contexto importante para avaliar essa conquista. O artigo foi aceito em uma trilha de workshop, que normalmente tem padrões menos rigorosos do que a trilha principal da conferência (60-70% de taxa de aceitação versus 20-30% de taxas de aceitação típicas das trilhas principais das conferências. Embora isso não diminua a importância da conquista, sugere que produzir pesquisa verdadeiramente inovadora permanece além das capacidades atuais da IA.

O AI Scientist-v2 também demonstrou algumas fraquezas que os pesquisadores humanos identificaram durante o processo de revisão. O sistema ocasionalmente cometeu erros de citação, atribuindo achados de pesquisa a autores ou publicações incorretos. Ele também lutou com alguns aspectos do design experimental que os especialistas humanos abordariam de forma diferente.

Talvez o mais importante, a pesquisa gerada por IA se concentrou em melhorias incrementais, em vez de descobertas paradigmáticas. O sistema parece mais capaz de realizar investigações aprofundadas dentro de estruturas de pesquisa estabelecidas do que de propor maneiras completamente novas de pensar sobre problemas científicos.

O Caminho à Frente

A revisão por pares bem-sucedida de pesquisa gerada por IA é o início de uma nova era na pesquisa científica. À medida que os modelos de base continuam a melhorar, podemos esperar que o AI Scientist e sistemas semelhantes produzam pesquisas cada vez mais sofisticadas que se aproximam e potencialmente excedem as capacidades humanas em muitos domínios.

A equipe de pesquisa antecipa que versões futuras serão capazes de produzir artigos dignos de aceitação em conferências e jornais de alto nível. A progressão lógica sugere que os sistemas de IA podem eventualmente contribuir para descobertas inovadoras em campos que variam da medicina à física à química.

Esse desenvolvimento também levanta questões importantes sobre ética em pesquisa e padrões de publicação. A comunidade científica deve desenvolver novas normas para lidar com pesquisa gerada por IA, incluindo quando e como divulgar o envolvimento da IA e como avaliar esse trabalho ao lado da pesquisa gerada por humanos.

A transparência demonstrada pela equipe de pesquisa nesse experimento fornece um modelo valioso para a avaliação futura de capacidades de pesquisa automatizadas. Ao trabalhar abertamente com os organizadores da conferência e submetendo seu trabalho gerado por IA aos mesmos padrões que a pesquisa humana, eles estabeleceram precedentes importantes para o desenvolvimento responsável de capacidades de pesquisa automatizadas.

A Linha de Fundo

A aceitação de um artigo escrito por IA em um workshop de machine learning de ponta é um avanço significativo nas capacidades de IA. Embora o trabalho ainda não esteja no nível de conferências de alto nível, demonstra uma trajetória clara em direção a sistemas de IA se tornando contribuintes sérios para a descoberta científica. O desafio agora não está apenas no avanço da tecnologia, mas também em moldar os quadros éticos e acadêmicos que governarão essa nova fronteira de pesquisa.