Revistas predatórias abrem as porteiras para artigos feitos por ChatGPT

Um artigo recém-publicado por Daniel Stockemer e Farah Fakri, da University of Ottawa, na revista científica PS: Political Science & Politics, publicada pela Cambridge University Press em nome da American Political Science Association, oferece evidências bastante incômodas sobre algo que há muito tempo se suspeita no mundo acadêmico: em muitas revistas predatórias, o que determina a publicação de um artigo parece ter muito menos relação com sua qualidade científica do que com a disposição do autor em participar do negócio editorial.

O mérito do trabalho de Stockemer e Fakri está justamente em ter colocado essa suspeita à prova. Os autores selecionaram 144 revistas identificadas como potencialmente predatórias a partir de mensagens de spam, da Lista de Beall e de uma base especializada. Em seguida, submeteram dois tipos de material que dificilmente deveriam atravessar uma avaliação científica minimamente rigorosa: trabalhos produzidos por estudantes de graduação e pequenos artigos de engenharia integralmente gerados pelo ChatGPT.

Os resultados são impressionantes. Entre as 76 revistas às quais foram enviados trabalhos de graduação, 51 chegaram a uma decisão editorial. Dessas, 39 aceitaram os manuscritos, uma chegou a publicá-lo imediatamente e apenas 11 os rejeitaram. Isso significa uma taxa de aceitação de 78,4% entre aquelas que efetivamente responderam. E não estamos falando de artigos científicos produzidos por jovens pesquisadores, mas de trabalhos acadêmicos escritos originalmente para disciplinas de graduação, principalmente dos primeiros anos, sem contribuição original para a literatura.

Com os textos produzidos por inteligência artificial, o resultado foi ainda mais revelador. Foram submetidos 10 pequenos estudos de caso de engenharia, totalmente gerados pelo ChatGPT, a 68 revistas. Quarenta e seis aceitaram os manuscritos, apenas quatro os rejeitaram e 18 simplesmente não responderam. Os textos tinham cerca de 800 palavras e continham problemas que uma revisão minimamente cuidadosa poderia identificar, incluindo inconsistências técnicas e referências bibliográficas inexistentes.

Há episódios quase caricatos. Um trabalho de graduação sobre a crise da dívida no Sul Global foi aceito e publicado por uma revista dedicada a imagens clínicas e médicas, apesar de o artigo tratar de economia política e não possuir qualquer relação com a área médica. Em outro caso, uma revista aceitou um artigo de engenharia totalmente produzido pelo ChatGPT depois de os autores declararem deliberadamente que não haviam utilizado inteligência artificial. A resposta editorial informou simplesmente que o trabalho havia passado pelo teste de plágio. As referências falsas produzidas pela própria IA aparentemente não despertaram qualquer preocupação.

Mas há aqui uma questão que considero particularmente importante. O artigo de Stockemer e Fakri não demonstra que a inteligência artificial seja incompatível com a produção científica. Demonstra algo diferente e talvez mais grave: a existência de um sistema editorial capaz de transformar textos sem qualquer pesquisa original — inclusive aqueles produzidos automaticamente e contendo informações falsas — em aparentes artigos científicos. A diferença é fundamental. Ferramentas de IA podem auxiliar pesquisadores na organização de informações, revisão de textos, programação, exploração preliminar de dados e inúmeras outras tarefas. Nada disso elimina a responsabilidade intelectual do pesquisador nem substitui método, dados, análise, verificabilidade ou revisão crítica. O problema começa quando um texto sintético passa a ocupar o lugar da pesquisa e encontra, do outro lado, uma revista cuja preocupação principal aparentemente não é verificar se existe ciência no manuscrito.

É aí que as revistas predatórias representam um problema que ultrapassa os autores que pagam para publicar nelas. Ao imitarem a aparência de periódicos científicos legítimos — com DOI, volume, número, conselho editorial e páginas cuidadosamente diagramadas — elas podem introduzir conteúdos sem validade científica no próprio ecossistema de circulação do conhecimento. Uma vez publicado, um artigo ruim pode ser encontrado por mecanismos de busca, incorporado a revisões bibliográficas e eventualmente citado por outros pesquisadores. Stockemer e Fakri alertam justamente para o risco de conteúdos fabricados ingressarem dessa maneira no registro científico e contaminarem trabalhos posteriores.

Por isso, talvez a conclusão mais importante desse experimento seja que o problema das revistas predatórias não está apenas na cobrança de taxas de publicação. Existem excelentes revistas de acesso aberto que cobram APCs e realizam revisão por pares rigorosa. A característica essencial da predação está na transformação da publicação científica em uma relação essencialmente comercial, na qual os mecanismos que deveriam separar conhecimento cientificamente defensável de simples aparência de ciência deixam de funcionar.

E a chegada da inteligência artificial generativa torna esse problema ainda mais perigoso. Se antes produzir dezenas ou centenas de artigos fraudulentos exigia algum esforço humano, hoje é tecnicamente possível produzir textos com aparência acadêmica em escala industrial. Se existirem revistas igualmente dispostas a publicá-los sem revisão efetiva, estarão dadas as condições para uma verdadeira linha de montagem de pseudociência.

O trabalho de Daniel Stockemer e Farah Fakri, portanto, deveria servir também de alerta para universidades e agências de fomento. Em um sistema acadêmico que continua premiando quantidade de publicações, número de artigos e determinados indicadores bibliométricos, combater revistas predatórias exige mais do que elaborar listas de periódicos suspeitos. Exige modificar os próprios incentivos que alimentam esse mercado e recolocar no centro da avaliação aquilo que deveria importar: a qualidade da pesquisa e a contribuição efetiva que ela oferece ao conhecimento científico.

Deixe uma resposta