IA como Pesquisadora: Primeiro Artigo de Pesquisa Revisado por Pares Escrito Sem Humanos

A inteligência artificial atingiu outro marco significativo que desafia nossa compreensão do que as máquinas podem realizar de forma independente. Pela primeira vez na história da ciência, um sistema de IA escreveu um artigo científico completo, aprovado pela revisão por pares em uma conferência acadêmica, sem qualquer assistência humana no processo de escrita. Esse avanço pode representar uma mudança fundamental na forma como a pesquisa científica poderá ser conduzida no futuro.

Conquista Histórica

Um artigo produzido por The Cientista de IA-v2 passou pelo processo de revisão por pares em um workshop em uma importante conferência internacional de IA. A pesquisa foi submetida a um ICLR 2025 See More workshop, que é um dos locais mais prestigiados em aprendizado de máquina. O artigo foi gerado por uma versão aprimorada do original Cientista de IA, chamado The AI ​​Scientist-v2.

O artigo aceito, intitulado “Regularização Composicional: Obstáculos Inesperados no Aprimoramento da Generalização de Redes Neurais”, recebeu pontuações impressionantes de revisores humanos. Dos três artigos submetidos para revisão, um recebeu classificações que o colocaram acima do limite de aceitação. Este avanço representa um avanço significativo, pois a IA agora pode participar do processo fundamental de descoberta científica que tem sido exclusivamente humano há séculos.

A equipe de pesquisa da Sakana AI, em colaboração com colaboradores da Universidade da Colúmbia Britânica e da Universidade de Oxford, conduziu este experimento. Eles receberam aprovação do conselho de revisão institucional e trabalharam diretamente com os organizadores da conferência do ICLR para garantir que o experimento seguisse os protocolos científicos adequados.

Como funciona o AI Scientist-v2

O AI Scientist-v2 alcançou esse sucesso devido a vários avanços importantes em relação ao seu antecessor. Diferentemente de seu antecessor, o AI Scientist-v2 elimina a necessidade de modelos de código criados por humanos, pode trabalhar em diversos domínios de aprendizado de máquina e emprega uma metodologia de busca em árvore para explorar vários caminhos de pesquisa simultaneamente.

O sistema opera por meio de um processo de ponta a ponta que espelha o trabalho de pesquisadores humanos. Ele começa formulando hipóteses científicas com base no domínio de pesquisa que lhe é atribuído para explorar. A IA então projeta experimentos para testar essas hipóteses, escreve o código necessário para conduzir os experimentos e os executa automaticamente.

O que torna este sistema particularmente avançado é o uso da metodologia de busca em árvore agêntica. Essa abordagem permite que a IA explore múltiplas direções de pesquisa simultaneamente, de forma semelhante à forma como pesquisadores humanos podem considerar diferentes abordagens para resolver um problema. Isso envolve a execução de experimentos por meio de busca em árvore agêntica, a análise dos resultados e a geração de um rascunho de artigo. Um agente gerente de experimentos dedicado coordena todo esse processo para garantir que a pesquisa permaneça focada e produtiva.

O sistema também inclui um componente de revisão de IA aprimorado que usa modelos de linguagem de visão para fornecer feedback sobre o conteúdo e a apresentação visual dos resultados da pesquisa. Isso cria um processo de refinamento iterativo, no qual a IA pode aprimorar seu próprio trabalho com base no feedback, semelhante a como pesquisadores humanos refinam seus manuscritos com base nas contribuições de colegas.

O que tornou este artigo de pesquisa especial

O artigo aceito focou em um problema desafiador em aprendizado de máquina chamado generalização composicional. Isso se refere à capacidade das redes neurais de compreender e aplicar conceitos aprendidos em novas combinações nunca antes vistas. O Cientista de IA v2 investigou novos métodos de regularização que podem aprimorar essa capacidade.

Curiosamente, o artigo também relatou resultados negativos. A IA descobriu que certas abordagens que ela supôs que melhorariam o desempenho da rede neural, na verdade, criaram obstáculos inesperados. Na ciência, resultados negativos são valiosos porque impedem outros pesquisadores de seguir caminhos improdutivos e contribuem para a nossa compreensão do que não funciona.

A pesquisa seguiu rigorosos padrões científicos durante todo o processo. O AI Scientist-v2 conduziu múltiplas execuções experimentais para garantir a validade estatística, criou visualizações claras de suas descobertas e citou adequadamente trabalhos anteriores relevantes. Formatou todo o manuscrito de acordo com os padrões acadêmicos e escreveu discussões abrangentes sobre sua metodologia e descobertas.

Os pesquisadores humanos que supervisionaram o projeto realizaram sua própria revisão completa dos três artigos gerados. Eles constataram que, embora o artigo aceito tivesse qualidade para o workshop, continha alguns problemas técnicos que impediriam sua aceitação na conferência principal. Esta avaliação honesta demonstra as limitações atuais, ao mesmo tempo em que reconhece o progresso significativo alcançado.

Capacidades e Melhorias Técnicas

O AI Scientist-v2 demonstra diversas capacidades técnicas notáveis ​​que o distinguem de sistemas de pesquisa automatizados anteriores. O sistema pode operar em diversos domínios de aprendizado de máquina sem a necessidade de modelos de código pré-escritos. Essa flexibilidade significa que ele pode se adaptar a novas áreas de pesquisa e gerar abordagens experimentais originais, em vez de seguir padrões pré-determinados.

A metodologia de busca em árvore é uma inovação significativa na automação de pesquisas em IA. Em vez de seguir uma única direção de pesquisa, o sistema pode manter múltiplas hipóteses simultaneamente e alocar recursos computacionais com base na promessa que cada direção demonstra. Essa abordagem reflete como pesquisadores humanos experientes frequentemente mantêm várias linhas de pesquisa, concentrando a maior parte do esforço nas vias mais promissoras.

Outra melhoria crucial é a integração de modelos de visão e linguagem para revisar e refinar os elementos visuais de artigos científicos. Figuras científicas e visualizações são essenciais para comunicar os resultados da pesquisa de forma eficaz. A IA agora pode avaliar e aprimorar suas próprias visualizações de dados iterativamente.

O sistema também demonstra compreensão das convenções da escrita científica. Estrutura adequadamente os artigos com seções apropriadas, mantém a terminologia consistente em todos os manuscritos e cria um fluxo lógico entre as diferentes partes da narrativa da pesquisa. A IA demonstra conhecimento sobre como apresentar a metodologia, discutir limitações e contextualizar as descobertas na literatura existente.

Limitações e desafios atuais

Apesar dessa conquista histórica, diversas limitações importantes restringem as capacidades atuais da pesquisa gerada por IA. A empresa afirmou que nenhum de seus estudos gerados por IA passou pelos padrões internos de publicação em conferências do ICLR. Isso indica que, embora a IA possa produzir pesquisas com qualidade de workshop, alcançar os níveis mais altos de publicação científica continua sendo um desafio.

As taxas de aceitação fornecem um contexto importante para avaliar essa conquista. O artigo foi aceito em uma oficina, que normalmente possui padrões menos rigorosos do que a conferência principal (taxa de aceitação de 60-70% versus as taxas de aceitação de 20-30% típicas das principais conferências). Embora isso não diminua a importância da conquista, sugere que a produção de pesquisas verdadeiramente inovadoras ainda está além das capacidades atuais da IA.

O AI Scientist-v2 também demonstrou algumas fragilidades identificadas por pesquisadores humanos durante o processo de revisão. O sistema ocasionalmente cometia erros de citação, atribuindo resultados de pesquisa a autores ou publicações incorretos. Também apresentava dificuldades com alguns aspectos do desenho experimental que especialistas humanos teriam abordado de forma diferente.

Talvez o mais importante seja que a pesquisa gerada pela IA se concentrou em melhorias incrementais, em vez de descobertas que mudassem paradigmas. O sistema parece mais capaz de conduzir investigações completas dentro de estruturas de pesquisa estabelecidas do que de propor maneiras inteiramente novas de pensar sobre problemas científicos.

A estrada adiante

A revisão por pares bem-sucedida de pesquisas geradas por IA marca o início de uma nova era na pesquisa científica. À medida que os modelos de base continuam aprimorando, podemos esperar que o The AI ​​Scientist e sistemas similares produzam pesquisas cada vez mais sofisticadas que se aproximam e potencialmente excedem as capacidades humanas em muitos domínios.

A equipe de pesquisa prevê que versões futuras serão capazes de produzir artigos dignos de aceitação em conferências e periódicos de alto nível. A progressão lógica sugere que os sistemas de IA podem eventualmente contribuir para descobertas revolucionárias em áreas que vão da medicina à física e à química.

Este desenvolvimento também levanta questões importantes sobre ética em pesquisa e padrões de publicação. A comunidade científica precisa desenvolver novas normas para lidar com pesquisas geradas por IA, incluindo quando e como divulgar o envolvimento de IA e como avaliar esse trabalho em conjunto com pesquisas geradas por humanos.

A transparência demonstrada pela equipe de pesquisa neste experimento fornece um modelo valioso para futuras avaliações de pesquisas em IA. Ao trabalhar abertamente com os organizadores de conferências e submeter seu trabalho gerado por IA aos mesmos padrões da pesquisa humana, eles estabeleceram precedentes importantes para o desenvolvimento responsável de capacidades de pesquisa automatizadas.

Concluindo!

A aceitação de um artigo escrito sobre IA em um importante workshop de aprendizado de máquina representa um avanço significativo nas capacidades da IA. Embora o trabalho ainda não esteja no nível de uma conferência de alto nível, demonstra uma trajetória clara para que os sistemas de IA se tornem importantes contribuidores para a descoberta científica. O desafio agora reside não apenas no avanço da tecnologia, mas também na definição das estruturas éticas e acadêmicas que regerão essa nova fronteira da pesquisa.