A startup japonesa Sakana disse que sua IA gerou a primeira publicação científica revisada por pares. Mas, embora a afirmação não seja falsa, há importantes ressalvas a serem observadas.
O debate em torno da IA e seu papel no processo científico se torna mais acalorado a cada dia. Muitos pesquisadores não acreditam que a IA esteja pronta para servir como um 'co-cientista', enquanto outros pensam que há potencial - mas reconhecem que ainda é cedo.
Sakana se enquadra no último grupo.
A empresa disse que usou um sistema de IA chamado The AI Scientist-v2 para gerar um artigo que a Sakana então enviou para um workshop no ICLR, uma conferência de IA de longa data e respeitável. A Sakana afirma que os organizadores do workshop, bem como a liderança do ICLR, concordaram em trabalhar com a empresa para conduzir um experimento de revisão duplo-cego de manuscritos gerados por IA.
A Sakana disse que colaborou com pesquisadores da Universidade da Colúmbia Britânica e da Universidade de Oxford para enviar três artigos gerados por IA para o referido workshop para revisão por pares. O The AI Scientist-v2 gerou os artigos 'de ponta a ponta', afirma a Sakana, incluindo as hipóteses científicas, experimentos e código experimental, análises de dados, visualizações, textos e títulos.
'Geramos ideias de pesquisa fornecendo o resumo do workshop e a descrição para a IA', disse Robert Lange, cientista de pesquisa e membro fundador da Sakana, ao TechCrunch por email. 'Isso garantiu que os artigos gerados fossem adequados ao tema e fossem submissões adequadas.'
Um dos três artigos foi aceito para o workshop do ICLR - um artigo que lança um olhar crítico sobre as técnicas de treinamento para modelos de IA. A Sakana disse que imediatamente retirou o artigo antes que pudesse ser publicado em nome da transparência e do respeito pelas convenções do ICLR.
'O artigo aceito apresenta um novo método promissor para treinar redes neurais e mostra que ainda existem desafios empíricos', disse Lange. 'Fornece um ponto de dados interessante para estimular investigações científicas adicionais.'
Mas o feito não é tão impressionante quanto pode parecer à primeira vista.
Em uma postagem no blog, a Sakana admite que sua IA ocasionalmente cometeu erros de citação 'embaraçosos', por exemplo, atribuindo erroneamente um método a um artigo de 2016 em vez do trabalho original de 1997.
O artigo da Sakana também não passou por tanta escrutínio quanto algumas outras publicações revisadas por pares. Como a empresa o retirou após a revisão inicial por pares, o artigo não recebeu uma 'meta-revisão' adicional, durante a qual os organizadores do workshop poderiam, teoricamente, rejeitá-lo.
Além disso, o fato de que as taxas de aceitação para workshops de conferências tendem a ser mais altas do que as taxas de aceitação para o 'track da conferência' principal - um fato que a Sakana menciona abertamente em sua postagem no blog. A empresa disse que nenhum dos estudos gerados por IA passou por seu critério interno para publicação no track da conferência do ICLR.
Matthew Guzdial, pesquisador de IA e professor assistente da Universidade de Alberta, chamou os resultados da Sakana de 'um pouco enganosos'.
'A equipe da Sakana selecionou os artigos de alguns gerados, o que significa que estavam usando o julgamento humano em termos de escolher saídas que achavam que poderiam ser aceitas', disse ele por email. 'O que acho que isso mostra é que humanos mais IA podem ser eficazes, e não que a IA sozinha pode criar progresso científico.'
Mike Cook, pesquisador do King's College London especializado em IA, questionou a rigorosidade dos revisores por pares e do workshop.
'Novos workshops, como este, muitas vezes são revisados por pesquisadores mais juniores', disse ele ao TechCrunch. 'Também vale ressaltar que este workshop é sobre resultados negativos e dificuldades - o que é ótimo, eu já conduzi um workshop semelhante anteriormente - mas é, sem dúvida, mais fácil fazer com que uma IA escreva convincentemente sobre um fracasso.'
Cook acrescentou que não ficou surpreso por uma IA passar pela revisão por pares, considerando que a IA se destaca em escrever textos que soam humanos. Cook também destacou que papers parcialmente gerados por IA passando por revisão de periódicos não é algo novo, nem são os dilemas éticos que isso coloca para as ciências.
As deficiências técnicas da IA - como sua tendência a 'alucinar' - fazem com que muitos cientistas hesitem em endossá-la para trabalhos sérios. Além disso, os especialistas temem que a IA possa simplesmente acabar gerando ruído na literatura científica, sem elevar o progresso.
'Precisamos nos perguntar se [o resultado da Sakana] diz respeito à capacidade da IA de projetar e conduzir experimentos, ou se diz respeito à sua capacidade de vender ideias aos humanos - algo que sabemos que a IA já faz muito bem', disse Cook. 'Existe uma diferença entre passar pela revisão por pares e contribuir com conhecimento para um campo.'
A Sakana, para seu crédito, não afirma que sua IA pode produzir trabalhos científicos inovadores - ou mesmo especialmente novos. Em vez disso, o objetivo do experimento foi 'estudar a qualidade da pesquisa gerada por IA', afirmou a empresa, e destacar a necessidade urgente de 'normas em relação à ciência gerada por IA'.
'[...] há questões difíceis sobre se a ciência [gerada por IA] deve ser avaliada primeiro por seus próprios méritos para evitar preconceitos contra ela', escreveu a empresa. 'No futuro, continuaremos a trocar opiniões com a comunidade de pesquisa sobre o estado dessa tecnologia para garantir que ela não se desenvolva para uma situação no futuro onde seu único propósito seja passar pela revisão por pares, prejudicando substancialmente o significado do processo de revisão por pares científicos.'
