A inteligência artificial ameaça soterrar a ciência

Os problemas revelados no arXiv mostram que a crise atual não decorre apenas da velocidade com que produzimos artigos científicos, mas da crescente dificuldade de separar conhecimento original de conteúdo gerado em escala por algoritmo

O arXiv representa uma das maiores conquistas da ciência aberta. Desde sua criação, em 1991, democratizou o acesso ao conhecimento, acelerou a circulação de resultados científicos e reduziu a dependência dos periódicos tradicionais como único meio de divulgação da pesquisa. Para inúmeras áreas, especialmente Física, Matemática e Ciência da Computação, tornou-se uma infraestrutura essencial da ciência contemporânea.

Entretanto, duas publicações recentes chamam atenção para problemas que podem comprometer esse patrimônio coletivo.  A primeira, publicada na Nature, revela que milhões de preprints depositados no arXiv contêm informações que jamais deveriam ter sido disponibilizadas publicamente. Senhas, coordenadas geográficas de locais sensíveis, conversas privadas, nomes de arquivos internos e outros metadados permanecem embutidos nos documentos submetidos, expondo pesquisadores e instituições a riscos desnecessários. O problema não está apenas no texto principal dos artigos, mas nos arquivos-fonte e nos metadados que acompanham as submissões. A segunda reflexão, publicada pelo portal The Geyser, levanta uma questão ainda mais inquietante: estaria o arXiv deixando de ser um repositório de preprints produzidos por pesquisadores para se transformar em uma espécie de “AIXiv”, inundado por manuscritos produzidos ou fortemente assistidos por inteligência artificial (IA)?

Embora o título do The Geyser seja provocativo, ele aponta para uma transformação real. Nunca foi tão fácil produzir artigos científicos. Modelos de linguagem conseguem elaborar revisões bibliográficas, estruturar argumentos, gerar códigos, criar gráficos e até redigir manuscritos inteiros em poucas horas. Se antes o principal gargalo da ciência era produzir conhecimento, hoje um dos gargalos passa a ser distinguir produção científica relevante de uma avalanche de textos tecnicamente bem escritos, mas intelectualmente pouco originais.

Esse fenômeno produz uma contradição importante. A IA pode ampliar enormemente a produtividade científica, permitindo que pesquisadores dediquem mais tempo às perguntas relevantes e menos às tarefas mecânicas. Contudo, ela também reduz drasticamente o custo de produzir artigos medianos. Quando o custo de escrever cai quase a zero, o incentivo passa a ser publicar cada vez mais, independentemente da contribuição efetiva.

A consequência pode ser uma inflação científica. Não necessariamente de conhecimento, mas de documentos.  Nesse contexto, o arXiv ocupa uma posição particularmente delicada. Sua missão nunca foi funcionar como um filtro editorial, mas como um mecanismo rápido de disseminação do conhecimento. Essa filosofia foi extremamente bem-sucedida durante mais de três décadas. Entretanto, a escala atual da produção científica — potencializada pela IA generativa — pode exigir novos mecanismos de verificação e controle de qualidade que preservem o espírito da ciência aberta sem permitir que ela seja soterrada por uma avalanche de conteúdo automatizado. O próprio debate em torno da independência institucional recentemente adquirida pelo arXiv já reconhece o desafio de enfrentar o chamado AI slop, isto é, o excesso de conteúdo gerado por IA de baixa qualidade.

Existe ainda uma questão menos discutida, mas igualmente importante. A ciência não é apenas um produto final; ela é um processo social de construção do conhecimento. Hipóteses são refinadas, erros são identificados, argumentos amadurecem por meio da crítica entre pares. Se a produção de artigos passar a ocorrer em ritmo muito superior à capacidade humana de leitura, avaliação e reprodução dos resultados, cria-se um desequilíbrio perigoso entre a velocidade da produção e a velocidade da validação científica. Alguns estudos já alertam que as ferramentas de IA estão acelerando a escrita muito mais rapidamente do que a capacidade do sistema de revisão por pares de acompanhar esse crescimento.  O risco, portanto, não reside na inteligência artificial em si. O problema está na combinação entre incentivos acadêmicos baseados em quantidade de publicações, facilidade extrema de geração de manuscritos e limitações humanas para avaliar esse volume crescente de informação.

Paradoxalmente, a IA pode tanto fortalecer quanto enfraquecer a ciência aberta. Ela amplia o acesso ao conhecimento, mas também pode obscurecê-lo sob uma montanha de textos redundantes, superficiais ou insuficientemente verificados.

Talvez a pergunta mais importante já não seja se a IA escreverá artigos científicos — isso já está acontecendo e aparentemente em quantidades massivas. A verdadeira questão é se conseguiremos preservar os princípios fundamentais da atividade científica: originalidade, transparência, verificabilidade e honestidade intelectual.  É que no fim das contas, a ciência nunca se mediu pelo número de PDFs produzidos, mas pela capacidade de gerar conhecimento confiável capaz de transformar nossa compreensão do mundo e produzir transformações tangíveis no entendemos ser conhecimento científico.

“Sorte de principiante” na ciência?

A cobertura da Nature sobre uma pré-impressão sobre “pesquisadores novatos” é em si uma jogada de novato

Does Beginner's Luck Exist? - John M Jennings

Por Kent Anderson para  “The Geyser”

A Nature News adora manchetes sensacionalistas, e a mais recente — “Quer fazer ciência disruptiva? Inclua mais pesquisadores novatos“ — certamente chama a atenção. Inclui até um subtítulo que deixa claro que a descoberta é sólida como uma rocha:

Estudo mostra que trabalhos de equipes de pesquisa com um número substancial de iniciantes são altamente disruptivos e inovadores

Infelizmente, o artigo que norteia a cobertura é muito menos definitivo do que essas manchetes sugerem, deixa a desejar em muitos aspectos e não sustenta realmente o caso, pois faz muitas suposições superficiais e não testa alguns fatores de confusão óbvios, além de perder algumas oportunidades reais.

O primeiro erro é cobrir um preprint. Por que uma das marcas de periódicos mais prestigiosas do mundo, baseada no poder da seletividade por meio do rigor editorial e de uma revisão rigorosa, permite uma cobertura jornalística não cética de alegações não revisadas? Você me pegou — literalmente, você me pegou para fazer o que eles não farão, que é questionar se isso merecia cobertura.

O grupo responsável pela pré-impressão criou um “data lake” em 2023 e publicou sobre ele em um periódico da Springer Nature, o Scientific Data. Usando esse data lake, eles afirmam ter desambiguado os nomes dos autores em mais de 28 milhões de artigos publicados entre 1971 e 2020.

Vamos parar por aqui. Eles afirmam ter desambiguado nomes de autores com sucesso e confiabilidade ao longo de 50 anos de história de publicações, múltiplas disciplinas (a contribuição de cada uma delas não foi divulgada) e 28 milhões de artigos? Podem me chamar de cético, mas… bem, sim, podem me chamar de cético. De fato, em seu artigo de 2023, eles afirmam ter desambiguado apenas um pouco mais autores (134.197.162) do que havia artigos no conjunto de dados (134.129.188) na época. Acho que a realidade tem uma proporção de autores:artigos diferente de 1:1 ao longo do tempo.

Mas vamos supor, para fins de argumentação, que fosse possível desambiguar os autores. A premissa — de que autores experientes produzem trabalhos menos disruptivos do que autores novatos — apresenta grandes problemas que seu artigo preliminar, de rascunho, nem chega perto de abordar:

  1. Não sabemos quem teve a ideia. A premissa da pré-impressão e da cobertura jornalística é que velhos frustram, enquanto jovens renovam o sistema. Certamente existe um clichê sobre isso na ciência e na inovação em geral, um clichê não totalmente desmerecido. No entanto, o que não sabemos é se o velho frustrado ou o cientista em meio de carreira idealizou algo novo e teve que recrutar novatos para o projeto, dando a eles seu primeiro evento de publicação ao fazê-lo.
    1. Isso parece plausível e não é testado pela pré-publicação — ou seja, os novatos foram apenas adeptos de uma premissa interessante proposta por um cientista sênior financiado, ou estiveram envolvidos na sua concepção? Considerando como funcionam o financiamento e a pesquisa acadêmica, meu dinheiro está na premissa da adesão.
    2. Outra dica de que isso pode ser o caso é que os artigos resultantes foram altamente citados, o que sugere que um cientista em meio de carreira teve uma ideia de pesquisa, recrutou uma nova equipe para estudá-la, composta principalmente por novatos, e a publicou em um bom local com base no conhecimento do espaço editorial, financiamento suficiente para chegar a conclusões sólidas e poder de reputação para fazer com que novos trabalhos fossem considerados por bons periódicos.
  2. Não sabemos se os “autores novatos” fossilizaram ou abandonaram a pesquisa. Dada a confiança que tinham em desambiguar nomes e o período de 50 anos de dados, seria de se esperar que os autores pudessem ter testado trajetórias de carreira — ou seja, os novatos seguiram carreiras científicas de sucesso e fossilizaram seu próprio pensamento em direção ao incrementalismo? Ou seriam eles meros meros gênios com poucas ou nenhuma publicação subsequente, talvez se tornando profissionais e líderes valiosos em outras áreas, com alguns projetos de pesquisa na universidade como uma lembrança distante?
  3. Não sabemos se os “autores novatos” tiveram carreiras. Se os novatos permaneceram na pesquisa, como se saíram? Eram apenas ferramentas que pesquisadores financiados em meio de carreira usaram uma ou duas vezes, mas que se mostraram incapazes de reunir grandes ideias em suas carreiras de pesquisa subsequentes?
  4. Não sabemos se os novatos eram jovens. A suposição é que ser publicado pela primeira vez está diretamente associado à idade do pesquisador — ou seja, eles são sempre jovens. Eu só publiquei em um periódico aos 30 anos e conheço outros pesquisadores que só se envolvem em projetos de pesquisa mais tarde na carreira, especialmente se não forem pesquisadores em tempo integral. Ser um novato pode ser um sinal de acaso, não de idade.
  5. Não sabemos quais áreas impulsionam as alegações. Em seu artigo de 2023 sobre seu data lake, os autores afirmam ter identificado 19 áreas de estudo de alto nível e 292 subáreas. Não sabemos quais delas foram as principais impulsionadoras das alegações.
  6. Não sabemos o período que embasa essas alegações. Ao longo de 50 anos, esses resultados foram uniformes ou as alegações são motivadas por tendências mais recentes? Não temos uma ideia clara da natureza temporal das alegações — por exemplo, a alegação de que novatos citam de forma diferente é um fenômeno recente causado pela pré-impressão e pela explosão de fontes de acesso aberto? Ou sempre foi assim?

A pré-impressão também é um pouco estranha porque começa com Resultados e termina com uma seção superficial de Materiais e Métodos. Parece ter sido criada para ser um chamariz, e a Nature News aderiu imediatamente — porque, em uma economia da atenção, quem se importa se a ciência é rigorosa, desde que suas conclusões chamem a atenção e se baseiem em clichês sobre cientistas antigos estupidificados versus jovens disruptivos?

A pré-impressão é exatamente isso — um relatório preliminar de uma análise especulativa de dados que é superficial, levanta questões que seus autores poderiam ser solicitados a responder em uma boa troca com a redação de um bom periódico antes da publicação e poderia ter gerado uma contribuição sólida para a literatura, com nuances suficientes para merecer citação e contribuir significativamente. Na verdade, poderia ter gerado alguma conclusão diferente e interessante:

  • Cientistas em meio de carreira que recrutam cientistas novatos para um novo projeto geralmente buscam ideias disruptivas.
  • Uma grande proporção de autores estreantes são autores que escrevem apenas uma vez.
  • Ao longo de 50 anos, a exploração de jovens acadêmicos por acadêmicos em meio de carreira com financiamento foi acelerada pela expansão permitida das listas de autores, mas as carreiras dos jovens acadêmicos fracassam porque o financiamento para suas carreiras é inadequado.

No entanto, do jeito que está, a Nature News minou a reputação de sua marca-mãe de revisão editorial cuidadosa e rigorosa ao promover uma pré-impressão preliminar e dar a ela muito mais exposição e autoridade do que suas alegações banais merecem.

As seduções da Economia da Atenção das Notícias atacam novamente.


Fonte: The Geyser