Conteúdo gerado por IA inunda literatura com publicações de baixa qualidade e lança dúvidas sobre métricas, descobre investigação conjunta da Science e da Retraction Watch

Por Frederik Joelving, Retraction Watch, para a Science
Em 22 de outubro, um editorial incomum apareceu no periódico Neurosurgical Review . “Tomamos a difícil decisão de pausar temporariamente a aceitação de cartas ao editor e manuscritos de comentários”, escreveu o editor-chefe Daniel Prevedello , um neurocirurgião da Ohio State University. A publicação foi derrubada por um “aumento sem precedentes” em comentários enviados que pareciam ser “impulsionados por” avanços em ferramentas de inteligência artificial (IA), como o ChatGPT, ele explicou.
A Neurosurgical Review não é a única revista sobrecarregada por artigos de comentários, uma investigação conjunta da Science e da Retraction Watch descobre. Eles agora compõem 70% do conteúdo do Oral Oncology Reports da Elsevier e quase metade do International Journal of Surgery Open da Wolters Kluwer . Na Neurosurgical Review , um título da Springer Nature, cartas, comentários e editoriais compreenderam 58% da produção total de janeiro a outubro — acima dos 9% do ano passado. Mais de 80% desses comentários são de países do sul da Ásia, em comparação com menos de 20% dos artigos de pesquisa e revisão.
A investigação da Science e da Retraction Watch sugere que autores, periódicos e instituições se beneficiam do esquema, que inunda a literatura com publicações de baixa qualidade e lança dúvidas sobre métricas de produção acadêmica e impacto. Para autores, comentários podem ser uma maneira rápida e fácil de acumular publicações e citações. Autores “só querem um artigo indexado no PubMed. É isso”, diz Shirish Rao, um recém-formado em medicina que trabalha em um hospital em Mumbai, Índia. Comentários são um caminho ideal porque “você realmente não precisa de dados originais”, então ferramentas de IA podem gerá-los em quase nenhum momento, explica Rao, que é membro da Association for Socially Applicable Research, um think tank sem fins lucrativos. E como raramente são revisados por pares, eles são normalmente mais fáceis de serem colocados em periódicos do que um artigo de pesquisa.
Publicar esses artigos também pode ser um bom negócio para os periódicos. Por um lado, muitos cobram taxas de publicação por comentários. Eles também oferecem uma oportunidade madura para manipular o fator de impacto do periódico, uma medida baseada em citações que dá peso extra a artigos de opinião. Comentários “são um almoço grátis” para periódicos, diz John Ioannidis, especialista em bibliometria da Universidade de Stanford. Os periódicos também podem pedir aos autores que adicionem citações aos próprios artigos da publicação, dando outro impulso ao fator de impacto.
Quanto às instituições, os comentários oferecem uma maneira fácil de inflar seus números de produção e citação e, portanto, impulsionar suas classificações, que são usadas agressivamente para publicidade, diz Moumita Koley, analista sênior de pesquisa do Instituto Indiano de Ciência. Várias universidades privadas na Índia parecem estar manipulando suas classificações , de acordo com Achal Agrawal, cientista de dados da Universidade Sitare e fundador da organização sem fins lucrativos India Research Watchdog. “Se você estiver medindo a pesquisa pela quantidade [de artigos científicos] ou pelo número de citações, verá que a Índia está subindo muito bem”, diz ele. “Se você se aprofundar um pouco mais… perceberá que estamos indo bem porque estamos manipulando essas métricas, não porque estamos realmente produzindo uma pesquisa melhor.”
Uma olhada nos bastidores da Neurosurgical Review destaca um exemplo provável. Quatro dias antes do anúncio de Prevedello suspendendo todos os comentários, um e-mail anônimo chegou em sua caixa de entrada. O e-mail, que o remetente compartilhou com o Retraction Watch, detalhou como, nos 2 meses anteriores, três autores de uma universidade na Índia publicaram “surpreendentes 69 comentários” no periódico. Quase todos eles pareciam ter sido escritos por máquina e careciam de “relevância substancial”, de acordo com o e-mail. As publicações também citavam trabalhos “irrelevantes” de outros pesquisadores da mesma instituição que os autores — Saveetha University.
Saveetha, que hospeda a principal escola de odontologia da Índia, tem um histórico de manipulação de métricas para melhorar suas classificações. Uma investigação de 2023 da Science e da Retraction Watch descobriu que a instituição coagiu alunos a escrever milhares de artigos de pesquisa durante os exames que foram então fornecidos com citações inapropriadas para outros trabalhos da Saveetha . A Retraction Watch relatou mais tarde que a escola ofereceu pagamentos a autores prolíficos ao redor do mundo para listá-la como uma afiliação em suas publicações .
Um representante da Saveetha escreveu que sua instituição havia “ordenado uma investigação formal e tomará as medidas apropriadas se qualquer irregularidade for identificada”. Mas ele argumentou: “É absurdo alegar que a instituição tem qualquer papel em tais supostas práticas”, alegando falsamente que, como os comentários “são excluídos por todas as agências de classificação”, não haveria “nenhum benefício para ninguém manipular essas citações”. A escola também apontou o dedo para a Neurosurgical Review , que este ano publicou 466 comentários, 120 dos quais eram de autores da Saveetha. “Por que o periódico não está sendo investigado?”
Prevedello se recusou a responder como seu periódico pôde publicar tantos comentários com claras bandeiras vermelhas em um período de tempo tão curto, embora seus números tenham começado a crescer logo depois que ele assumiu o comando em janeiro de 2023. Um porta-voz da Springer Nature disse que a editora estava “analisando o assunto com urgência”, mas não poderia “compartilhar mais informações” neste momento.
Uma perseguição de papel
Comentários aumentaram como uma porcentagem do total de artigos em cinco periódicos na última década. Autores da Saveetha University, conhecida por manipular classificações de publicações, publicaram comentários em todos os cinco. ( Oral Oncology Reports começou a publicar em 2022.)

Os comentários na Neurosurgical Review são apenas uma pequena parte das mais de 1.200 cartas, editoriais e comentários escritos por acadêmicos afiliados à Saveetha neste ano — um aumento de nove vezes em relação ao ano passado, de acordo com Reese Richardson, da Northwestern University, especialista em bibliometria que contribuiu para a análise.
Science and Retraction Watch examinou os cinco periódicos que publicaram a maioria deles. Na maioria desses periódicos, os comentários começaram contribuindo apenas modestamente, se tanto, para os volumes do periódico, e depois aumentaram nos últimos anos. Um porta-voz da Elsevier, editora de dois dos títulos, disse: “Temos um rigoroso processo editorial em vigor. [Nós] continuaremos monitorando os padrões de autoria e citação, e estamos vigilantes para garantir que nossos padrões editoriais sejam mantidos.”
Verificações pontuais sistemáticas em todos os periódicos revelaram que os autores da Saveetha frequentemente citavam pesquisadores de sua própria instituição. A Neurosurgical Review teve a maior taxa de autocitações institucionais, com oito de 10 comentários amostrados da Saveetha referenciando outros trabalhos da Saveetha. “Este é claramente um esquema para inflar contagens de publicações e citações”, diz Richardson. Koley, que leu alguns dos comentários da Saveetha, os chama de “sem sentido” e “definitivamente” gerados por IA.
Cerca de 200 dos comentários da Saveetha publicados este ano incluem como autor o escritor de comentários mais prolífico do mundo, o médico tailandês Viroj Wiwanitkit, que envia mais de 500 cartas ao editor anualmente . Wiwanitkit listou uma variedade de afiliações universitárias em suas publicações; na Saveetha, ele “é um corpo docente de pesquisa em meio período”, diz o registrador da universidade. Wiwanitkit não respondeu a e-mails repetidos solicitando comentários.
Ele pode estar inspirando outros. “Talvez outras pessoas tenham entendido, ‘Ei, isso está funcionando bem; se ele pode escrever comentários, nós também podemos escrever comentários’”, diz Agrawal. “Eu não tinha visto ninguém mais usando esse truque até agora.”
Fonte: Science