IA como Pesquisador: Primeiro Artigo de Pesquisa Revisado por Pares Escrito sem Humanos

A inteligência artificial cruzou outra marca significativa que desafia nossa compreensão do que as máquinas podem alcançar de forma independente. Pela primeira vez na história científica, um sistema de IA escreveu um artigo de pesquisa completo que passou pela revisão por pares em uma conferência acadêmica sem qualquer assistência humana no processo de escrita. Essa conquista pode ser um desvio fundamental na forma como a pesquisa científica pode ser realizada no futuro.

Realização Histórica

Um artigo produzido pelo AI Scientist-v2 passou pelo processo de revisão por pares em um workshop em uma conferência internacional de IA de alto nível. A pesquisa foi submetida a um workshop ICLR 2025, que é um dos principais locais de machine learning. O artigo foi gerado por uma versão aprimorada do original AI Scientist, chamado de AI Scientist-v2.

O artigo aceito, intitulado “Compositional Regularization: Obstáculos Inesperados na Melhoria da Generalização de Redes Neurais“, recebeu pontuações impressionantes de revisores humanos. Dos três artigos submetidos para revisão, um recebeu classificações que o colocaram acima do limiar de aceitação. Essa conquista é um avanço significativo, pois a IA agora pode participar do processo fundamental de descoberta científica que foi exclusivamente humano por séculos.

A equipe de pesquisa da Sakana AI, trabalhando com colaboradores da Universidade da Colúmbia Britânica e da Universidade de Oxford, realizou esse experimento. Eles receberam aprovação do conselho de revisão institucional e trabalharam diretamente com os organizadores da conferência ICLR para garantir que o experimento seguisse os protocolos científicos adequados.

Como o AI Scientist-v2 Funciona

O AI Scientist-v2 alcançou esse sucesso devido a várias melhorias significativas em relação ao seu antecessor. Ao contrário do seu antecessor, o AI Scientist-v2 elimina a necessidade de modelos de código autorados por humanos, pode trabalhar em diferentes domínios de machine learning e emprega uma metodologia de busca em árvore para explorar múltiplas direções de pesquisa simultaneamente.

O sistema opera por meio de um processo de ponta a ponta que espelha como os pesquisadores humanos trabalham. Ele começa formulando hipóteses científicas com base no domínio de pesquisa que lhe é atribuído. A IA então projeta experimentos para testar essas hipóteses, escreve o código necessário para realizar os experimentos e os executa automaticamente.

O que torna esse sistema particularmente avançado é o uso da metodologia de busca em árvore agente. Essa abordagem permite que a IA explore múltiplas direções de pesquisa simultaneamente, assim como os pesquisadores humanos podem considerar várias abordagens para resolver um problema. Isso envolve a execução de experimentos por meio da busca em árvore agente, análise de resultados e geração de um rascunho do artigo. Um agente de gerenciamento de experimentos dedicado coordena todo o processo para garantir que a pesquisa permaneça focada e produtiva.

O sistema também inclui um componente de revisor de IA aprimorado que usa modelos de linguagem de visão para fornecer feedback sobre o conteúdo e a apresentação visual dos resultados de pesquisa. Isso cria um processo de refinamento iterativo onde a IA pode melhorar seu próprio trabalho com base no feedback, semelhante à forma como os pesquisadores humanos refinam seus manuscritos com base no feedback de colegas.

O que Tornou Esse Artigo de Pesquisa Especial

O artigo aceito se concentrou em um problema desafiador em machine learning chamado generalização composicional. Isso se refere à capacidade das redes neurais de entender e aplicar conceitos aprendidos em novas combinações que nunca viram antes. O AI Scientist-v2 investigou métodos de regularização novos que podem melhorar essa capacidade.

Interessantemente, o artigo também relatou resultados negativos. A IA descobriu que certas abordagens que ela hipotetizou melhorariam o desempenho da rede neural na verdade criaram obstáculos inesperados. Na ciência, resultados negativos são valiosos porque impedem que outros pesquisadores sigam caminhos improdutivos e contribuem para nossa compreensão do que não funciona.

A pesquisa seguiu padrões científicos rigorosos ao longo do processo. O AI Scientist-v2 realizou múltiplas execuções experimentais para garantir a validade estatística, criou visualizações claras de seus resultados e citou adequadamente o trabalho anterior relevante. Ele formatou todo o manuscrito de acordo com os padrões acadêmicos e escreveu discussões abrangentes sobre sua metodologia e resultados.

Os pesquisadores humanos que supervisionaram o projeto realizaram sua própria revisão minuciosa dos três artigos gerados. Eles descobriram que, embora o artigo aceito fosse de qualidade de workshop, ele continha alguns problemas técnicos que impediriam a aceitação na trilha principal da conferência. Essa avaliação honesta demonstra as limitações atuais, enquanto reconhece o progresso significativo alcançado.

Capacidades Técnicas e Melhorias

O AI Scientist-v2 demonstra várias capacidades técnicas notáveis que o distinguem de sistemas de pesquisa automatizados anteriores. O sistema pode trabalhar em diferentes domínios de machine learning sem exigir modelos de código pré-escritos. Essa flexibilidade significa que ele pode se adaptar a novas áreas de pesquisa e gerar abordagens experimentais originais, em vez de seguir padrões pré-determinados.

A metodologia de busca em árvore é uma inovação significativa na automação de pesquisa de IA. Em vez de perseguir uma única direção de pesquisa, o sistema pode manter múltiplas hipóteses simultaneamente e alocar recursos computacionais com base na promessa que cada direção mostra. Essa abordagem espelha a forma como os pesquisadores humanos experientes muitas vezes mantêm várias linhas de pesquisa enquanto se concentram principalmente nas vias mais promissoras.

Outra melhoria crucial é a integração de modelos de linguagem de visão para revisar e refinar os elementos visuais dos artigos de pesquisa. Figuras e visualizações científicas são críticas para a comunicação eficaz dos resultados de pesquisa. A IA agora pode avaliar e melhorar suas próprias visualizações de dados de forma iterativa.

O sistema também demonstra compreensão das convenções de escrita científica. Ele estrutura os artigos com seções apropriadas, mantém terminologia consistente em todo o manuscrito e cria um fluxo lógico entre as diferentes partes da narrativa de pesquisa. A IA mostra consciência de como apresentar metodologia, discutir limitações e contextualizar os resultados dentro da literatura existente.

Limitações e Desafios Atuais

Apesar dessa conquista histórica, várias limitações importantes restringem as capacidades atuais da pesquisa gerada por IA. A empresa disse que nenhum de seus estudos gerados por IA passou no padrão interno para a publicação em trilhas de conferência ICLR. Isso indica que, embora a IA possa produzir pesquisa de qualidade de workshop, alcançar os níveis mais altos de publicação científica ainda é um desafio.

As taxas de aceitação fornecem um contexto importante para avaliar essa conquista. O artigo foi aceito em uma trilha de workshop, que normalmente tem padrões menos rigorosos do que a trilha principal da conferência (60-70% de taxa de aceitação versus 20-30% de taxas de aceitação típicas das trilhas principais das conferências. Embora isso não diminua a significância da conquista, sugere que produzir pesquisa realmente inovadora ainda está além das capacidades atuais da IA.

O AI Scientist-v2 também demonstrou algumas fraquezas que os pesquisadores humanos identificaram durante o processo de revisão. O sistema ocasionalmente cometeu erros de citação, atribuindo resultados de pesquisa a autores ou publicações incorretos. Ele também lutou com alguns aspectos do design experimental que os especialistas humanos teriam abordado de forma diferente.

Talvez o mais importante, a pesquisa gerada por IA se concentrou em melhorias incrementais, em vez de descobertas paradigmáticas. O sistema parece mais capaz de realizar investigações aprofundadas dentro de estruturas de pesquisa estabelecidas do que de propor maneiras completamente novas de pensar sobre problemas científicos.

O Caminho À Frente

A revisão por pares bem-sucedida da pesquisa gerada por IA é o início de uma nova era na pesquisa científica. À medida que os modelos de fundação continuam a melhorar, podemos esperar que o AI Scientist e sistemas semelhantes produzam pesquisas cada vez mais sofisticadas que se aproximam e potencialmente excedem as capacidades humanas em muitos domínios.

A equipe de pesquisa antecipa que as versões futuras serão capazes de produzir artigos dignos de aceitação em conferências e jornais de alto nível. A progressão lógica sugere que os sistemas de IA podem eventualmente contribuir para descobertas inovadoras em campos que variam da medicina à física à química.

Esse desenvolvimento também levanta questões importantes sobre ética em pesquisa e padrões de publicação. A comunidade científica deve desenvolver novas normas para lidar com a pesquisa gerada por IA, incluindo quando e como divulgar a participação da IA e como avaliar esse trabalho ao lado da pesquisa gerada por humanos.

A transparência demonstrada pela equipe de pesquisa nesse experimento fornece um modelo valioso para a avaliação futura da pesquisa de IA. Ao trabalhar abertamente com os organizadores da conferência e submeter o trabalho gerado por IA aos mesmos padrões que a pesquisa humana, eles estabeleceram precedentes importantes para o desenvolvimento responsável de capacidades de pesquisa automatizadas.

A Linha de Fundo

A aceitação de um artigo escrito por IA em um workshop de machine learning de ponta é um avanço significativo nas capacidades de IA. Embora o trabalho ainda não esteja no nível de conferências de alto nível, ele demonstra uma trajetória clara em direção à IA se tornando uma contribuinte séria para a descoberta científica. O desafio agora não está apenas em avançar a tecnologia, mas também em moldar os quadros éticos e acadêmicos que governarão essa nova fronteira de pesquisa.