A inteligência artificial ameaça soterrar a ciência

Os problemas revelados no arXiv mostram que a crise atual não decorre apenas da velocidade com que produzimos artigos científicos, mas da crescente dificuldade de separar conhecimento original de conteúdo gerado em escala por algoritmo

O arXiv representa uma das maiores conquistas da ciência aberta. Desde sua criação, em 1991, democratizou o acesso ao conhecimento, acelerou a circulação de resultados científicos e reduziu a dependência dos periódicos tradicionais como único meio de divulgação da pesquisa. Para inúmeras áreas, especialmente Física, Matemática e Ciência da Computação, tornou-se uma infraestrutura essencial da ciência contemporânea.

Entretanto, duas publicações recentes chamam atenção para problemas que podem comprometer esse patrimônio coletivo.  A primeira, publicada na Nature, revela que milhões de preprints depositados no arXiv contêm informações que jamais deveriam ter sido disponibilizadas publicamente. Senhas, coordenadas geográficas de locais sensíveis, conversas privadas, nomes de arquivos internos e outros metadados permanecem embutidos nos documentos submetidos, expondo pesquisadores e instituições a riscos desnecessários. O problema não está apenas no texto principal dos artigos, mas nos arquivos-fonte e nos metadados que acompanham as submissões. A segunda reflexão, publicada pelo portal The Geyser, levanta uma questão ainda mais inquietante: estaria o arXiv deixando de ser um repositório de preprints produzidos por pesquisadores para se transformar em uma espécie de “AIXiv”, inundado por manuscritos produzidos ou fortemente assistidos por inteligência artificial (IA)?

Embora o título do The Geyser seja provocativo, ele aponta para uma transformação real. Nunca foi tão fácil produzir artigos científicos. Modelos de linguagem conseguem elaborar revisões bibliográficas, estruturar argumentos, gerar códigos, criar gráficos e até redigir manuscritos inteiros em poucas horas. Se antes o principal gargalo da ciência era produzir conhecimento, hoje um dos gargalos passa a ser distinguir produção científica relevante de uma avalanche de textos tecnicamente bem escritos, mas intelectualmente pouco originais.

Esse fenômeno produz uma contradição importante. A IA pode ampliar enormemente a produtividade científica, permitindo que pesquisadores dediquem mais tempo às perguntas relevantes e menos às tarefas mecânicas. Contudo, ela também reduz drasticamente o custo de produzir artigos medianos. Quando o custo de escrever cai quase a zero, o incentivo passa a ser publicar cada vez mais, independentemente da contribuição efetiva.

A consequência pode ser uma inflação científica. Não necessariamente de conhecimento, mas de documentos.  Nesse contexto, o arXiv ocupa uma posição particularmente delicada. Sua missão nunca foi funcionar como um filtro editorial, mas como um mecanismo rápido de disseminação do conhecimento. Essa filosofia foi extremamente bem-sucedida durante mais de três décadas. Entretanto, a escala atual da produção científica — potencializada pela IA generativa — pode exigir novos mecanismos de verificação e controle de qualidade que preservem o espírito da ciência aberta sem permitir que ela seja soterrada por uma avalanche de conteúdo automatizado. O próprio debate em torno da independência institucional recentemente adquirida pelo arXiv já reconhece o desafio de enfrentar o chamado AI slop, isto é, o excesso de conteúdo gerado por IA de baixa qualidade.

Existe ainda uma questão menos discutida, mas igualmente importante. A ciência não é apenas um produto final; ela é um processo social de construção do conhecimento. Hipóteses são refinadas, erros são identificados, argumentos amadurecem por meio da crítica entre pares. Se a produção de artigos passar a ocorrer em ritmo muito superior à capacidade humana de leitura, avaliação e reprodução dos resultados, cria-se um desequilíbrio perigoso entre a velocidade da produção e a velocidade da validação científica. Alguns estudos já alertam que as ferramentas de IA estão acelerando a escrita muito mais rapidamente do que a capacidade do sistema de revisão por pares de acompanhar esse crescimento.  O risco, portanto, não reside na inteligência artificial em si. O problema está na combinação entre incentivos acadêmicos baseados em quantidade de publicações, facilidade extrema de geração de manuscritos e limitações humanas para avaliar esse volume crescente de informação.

Paradoxalmente, a IA pode tanto fortalecer quanto enfraquecer a ciência aberta. Ela amplia o acesso ao conhecimento, mas também pode obscurecê-lo sob uma montanha de textos redundantes, superficiais ou insuficientemente verificados.

Talvez a pergunta mais importante já não seja se a IA escreverá artigos científicos — isso já está acontecendo e aparentemente em quantidades massivas. A verdadeira questão é se conseguiremos preservar os princípios fundamentais da atividade científica: originalidade, transparência, verificabilidade e honestidade intelectual.  É que no fim das contas, a ciência nunca se mediu pelo número de PDFs produzidos, mas pela capacidade de gerar conhecimento confiável capaz de transformar nossa compreensão do mundo e produzir transformações tangíveis no entendemos ser conhecimento científico.

Estamos perdendo a cabeça?

Um novo documento de posicionamento alerta contra a adoção acrítica da IA ​​no meio acadêmico

Por Kent Anderson para o “The Geyser” 

Vale a pena ler um recente documento de posicionamento de um grupo internacional composto por especialistas da Holanda, EUA, Alemanha e Dinamarca como um antídoto ao exagero em torno da Inteligência Artificial (IA) ​​— que parece estar perdendo força por muitos dos motivos explorados no trabalho, outro sinal de que “ o inverno da IA ” pode estar chegando.

O público-alvo do artigo é o meio acadêmico, incluindo cientistas e profissionais da ciência, um grupo que inclui editores científicos:

Neste documento de posicionamento, explicamos por que as universidades devem levar a sério seu papel de a) combater o marketing, o exagero e os danos da indústria de tecnologia; e b) proteger o ensino superior, o pensamento crítico, a expertise, a liberdade acadêmica e a integridade científica.

Tópicos pesados, mas esses são os dias em que vivemos.

Os autores sabem o que fazem e começam com uma citação surpreendentemente boa de 1985:

A cultura da IA ​​é imperialista e busca expandir o reino da máquina.

Sim, isso definitivamente ainda é verdade…

No entanto, os autores têm bastante munição própria:

IA sempre foi uma frase de marketing que corrói a integridade científica e a discussão acadêmica por natureza, deixando a porta aberta para pseudociência, exclusão e vigilância.

Eles lançam luz sobre os problemas de definição da expressão “inteligência artificial”, observando que um coração artificial bombearia sangue, fazendo a função que imita. A IA não faz isso. Eles também observam que o termo “inteligência” é vago e carregado de um histórico de eugenia, racismo e capacitismo, portanto, quando aceitamos as alegações antropomórficas da IA, estamos nos tornando suscetíveis a sermos enganados por um sistema que tem problemas em sua essência.

Termos como “frames falsos” e “software lixo” me fizeram querer comemorar lendo o artigo, já que este último foi um que usei outro dia para responder a um entusiasta de IA — afinal, IAs não conseguem somar de forma confiável, jogar xadrez sem quebrar as regras do próprio sistema de armazenamento e assim por diante. Um lixo completo.

Descrevendo a IA como uma “tecnologia colonizadora” — o que significa que ela busca dominar qualquer campo em que seja usada — os autores rejeitam a “degradação e o desmantelamento da expertise e a desumanização dos acadêmicos”, observando que os proponentes da IA ​​rejeitam tacitamente a “autodeterminação livre das forças da indústria”.

Quanto ao uso da IA ​​como uma muleta, eles escrevem: “Os LLMs não melhoram a capacidade de escrita de alguém, assim como pegar um táxi não melhora a capacidade de dirigir de alguém”.

  • Em uma nota relacionada, um autor gracejou sobre Bluesky: “Correlação não é cognição”.

Os autores também sabem que precisamos seguir em frente, então eles oferecem cinco princípios para um futuro melhor com a IA ainda viável, mas colocada em seu lugar:

  • Honestidade  não use IA secretamente e não faça afirmações sobre ela que você não pode provar
  • Escrupulosidade  usar a IA apenas de formas científicas bem especificadas e validadas
  • Transparência  tornar toda a IA de código aberto e computacionalmente reproduzível
  • Independência garantir que qualquer pesquisa seja imparcial em relação às agendas das empresas de IA
  • Responsabilidade  não use produtos de IA que prejudiquem animais, pessoas ou o meio ambiente

Com o ceticismo em relação à IA aumentando desde o lançamento do GPT-5 e como ele caiu com um estrondo apesar do enorme hype, é ótimo ler um artigo de posicionamento escrito por pessoas que tratam isso como tecnologia, uma tecnologia que deve ser avaliada a todo momento como uma tecnologia — e não como uma tecnologia particularmente boa, compatível, eficiente, inevitável ou segura.

Para a academia, a IA é parte de um ataque tecno-utópico a todo o sistema. Não é uma ótima tecnologia nova projetada para nos ajudar a evitar tarefas domésticas. Como escreve uma de suas fontes: “Quando você terceiriza o pensamento, terceiriza o aprendizado”.

Espero que este documento sirva como um alerta.


Fonte: The Geyser