revisão por pares

Reforma urgente na publicação científica volta ao centro do debate após cartas no The Guardian

/ Marcos Pędłowski / Deixe um comentário

What is Peer Review? An Explainer - Social Science Space

Por Eugênio Telles para “Período Eletrônico”

Um conjunto de cartas publicado pelo The Guardian em 20 de julho de 2025 defende que o sistema de comunicação científica precisa de reformas imediatas para preservar a confiança pública na pesquisa. Os autores, que incluem pesquisadores e profissionais de comunicação científica, reagiram a reportagem do próprio jornal sobre a explosão de artigos e a queda de qualidade, alertando que os incentivos atuais — que valorizam quantidade em detrimento de qualidade — e a lógica de negócio dos grandes editores alimentam um ciclo de produção massiva com baixo valor científico. Eles argumentam que inteligência artificial, se usada para acelerar ainda mais o “publicar ou perecer”, tende a agravar o problema, e pedem que financiadores reorientem critérios de avaliação para premiar rigor e relevância1.

Entre as críticas, os signatários ressaltam que as taxas de publicação em acesso aberto (APCs) cresceram de forma acelerada e transferem recursos públicos para margens corporativas elevadas. Eles citam estimativas recentes segundo as quais pesquisadores desembolsaram cerca de US$ 8,3 bilhões em APCs para seis grandes editoras entre 2019 e 20232, com gasto anual quase triplicando no período; em muitos periódicos, uma única publicação pode custar de £2 mil a £10 mil. O grupo também menciona relatos de margens de lucro que chegam a 38%3 em uma grande editora comercial, como a Elsevier. Para os autores, essa estrutura “extrativa” só mudará quando avaliação acadêmica — contratação, promoção e financiamento — for desvinculada do prestígio de revistas comerciais.

As cartas afirmam ainda que políticas de acesso aberto lideradas por financiadores, como o Plan S, foram “capturadas” por interesses comerciais e não produziram a democratização esperada, ao migrarem barreiras do leitor para o autor. Como alternativas, os signatários apontam modelos não comerciais, sobretudo o Acesso Aberto Diamante — sem cobrança para ler nem para publicar — e destacam iniciativas fora do norte global, com menção direta ao ecossistema SciELO na América Latina e à Aliança Global de Acesso Aberto Diamante, lançada sob a coordenação da UNESCO e parceiros para fomentar infraestruturas comunitárias.

O diagnóstico converge com a reportagem do Guardian publicada uma semana antes, que expôs a sobrecarga do sistema: crescimento de 48% no volume de artigos indexados na última década, pressão sobre a revisão por pares, reações a retratações em massa e a casos de imagens e textos gerados por IA que escaparam à triagem editorial. Ali, líderes científicos defendiam reengenharia dos incentivos e um uso mais seletivo da revisão por pares, reconhecendo que a tecnologia tanto desafia quanto pode ajudar a filtrar o que importa.

Houve também reação da indústria. Em uma das cartas, a diretora-gerente da Cambridge University Press, Mandy Hill1, reconhece que “algo precisa mudar” e informa que a editora conduziu, nos últimos meses, um “exame radical e pragmático” do ecossistema de publicação em ciência aberta, com relatório previsto para o outono. Para ela, combater apenas IA generativa ou periódicos de baixa qualidade é insuficiente; é necessário um redesenho sistêmico que alinhe publicação, avaliação e integridade, e que leve a sério a transformação tecnológica em curso.

Para editores e pesquisadores, o recado é direto: reformar critérios de avaliação para desestimular a salami science; exigir transparência de preços e serviços editoriais; fortalecer infraestruturas públicas e comunitárias de publicação; e investir em mecanismos de integridade que combinem tecnologia, curadoria humana e governança multilateral. O debate recoloca no centro a pergunta-chave: quem deve pagar — e por quê — para que o conhecimento circule com qualidade, equidade e confiança social.

Referências 

  1. “Scientific Publishing Needs Urgent Reform to Retain Trust in Research Process”. The Guardian, 20 de julho de 2025. The Guardian, https://www.theguardian.com/science/2025/jul/20/scientific-publishing-needs-urgent-reform-to-retain-trust-in-research-process. Acesso em 13 de agosto de 2025.
  2. Haustein, Stefanie, et al. Estimating global article processing charges paid to six publishers for open access between 2019 and 2023. arXiv:2407.16551, arXiv, 23 de julho de 2024. arXiv.org, https://doi.org/10.48550/arXiv.2407.16551. Acesso em 13 de agosto de 2025.
  3. “How academic publishers profit from the publish-or-perish culture”. Financial Times, 27 de maio de 2024. https://www.ft.com/content/575f72a8-4eb2-4538-87a8-7652d67d499e. Acesso em 13 de agosto de 2025.

Texto produzido com auxílio de inteligência artificial.

Fonte: Período Eletrônico

O sistema de revisão por pares já não funciona para garantir o rigor académico – é necessária uma abordagem diferente

/ Marcos Pędłowski / Deixe um comentário

peer review

Por Stephen Pinfield, Kathryn Zeiler e Jogo Waltman para o “The Conversation” 

A revisão por pares é uma característica central do trabalho acadêmico. É o processo pelo qual a pesquisa acaba sendo publicada em um periódico acadêmico: especialistas independentes examinam o trabalho de outro pesquisador para recomendar se ele deve ser aceito por uma editora e se e como deve ser melhorado.

A revisão por pares é frequentemente assumida como garantia de qualidade, mas nem sempre funciona bem na prática. Cada acadêmico tem suas próprias histórias de horror de revisão por pares, variando de atrasos de anos a múltiplas rodadas tediosas de revisões. O ciclo continua até que o artigo seja aceito em algum lugar ou até que o autor desista.

Por outro lado, o trabalho de revisão é voluntário e também invisível. Os revisores, que muitas vezes permanecem anônimos, não são recompensados ​​nem reconhecidos, embora seu trabalho seja uma parte essencial da comunicação da pesquisa. Os editores de periódicos acham que recrutar revisores por pares é cada vez mais difícil.

E sabemos que a revisão por pares, por mais elogiada que seja, muitas vezes não funciona. Às vezes é tendenciosa e, com muita frequência, permite que erros , ou mesmo fraudes acadêmicas , se infiltrem.

Claramente o sistema de revisão por pares está quebrado. Ele é lento, ineficiente e oneroso, e os incentivos para realizar uma revisão são baixos.

Publicar primeiro

Nos últimos anos, surgiram formas alternativas de escrutinar pesquisas que tentam consertar alguns dos problemas com o sistema de revisão por pares. Uma delas é o modelo “publicar, revisar, organizar”.

Isso inverte o modelo tradicional de revisão e publicação. Um artigo é primeiro publicado on-line e, em seguida, revisado por pares. Embora essa abordagem seja muito nova para entender como ela se compara à publicação tradicional, há otimismo sobre sua promessa, sugerindo que o aumento da transparência no processo de revisão aceleraria o progresso científico.

Nós criamos uma plataforma usando o modelo publicar, revisar, organizar para o campo da metapesquisa – pesquisa sobre o próprio sistema de pesquisa. Nossos objetivos são tanto inovar a revisão por pares em nosso campo quanto estudar essa inovação como um experimento de metapesquisa. Essa iniciativa nos ajudará a entender como podemos melhorar a revisão por pares de maneiras que esperamos que tenham implicações para outros campos de pesquisa.

A plataforma, chamada MetaROR (MetaResearch Open Review), acaba de ser lançada. É uma parceria entre uma sociedade acadêmica, a Association for Interdisciplinary Meta-Research and Open Science, e uma aceleradora de metapesquisa sem fins lucrativos, a Research on Research Institute.

No caso do MetaROR, os autores primeiro publicam seus trabalhos em um servidor de pré-impressão. Pré-impressões são versões de artigos de pesquisa disponibilizados por seus autores antes da revisão por pares como uma forma de acelerar a disseminação da pesquisa. A pré-impressão tem sido comum em algumas disciplinas acadêmicas por décadas, mas aumentou em outras durante a pandemia como uma forma de levar a ciência ao domínio público mais rapidamente. O MetaROR, na verdade, constrói um serviço de revisão por pares em cima de servidores de pré-impressão.

Os autores enviam seus trabalhos para a MetaROR fornecendo à MetaROR um link para seu artigo pré-impresso. Um editor-gerente então recruta revisores que são especialistas no objeto de estudo do artigo, seus métodos de pesquisa ou ambos. Revisores com interesses conflitantes são excluídos sempre que possível, e a divulgação de interesses conflitantes é obrigatória.

pessoas discutindo em volta de um computador
O modelo publicar, revisar e curar oferece a oportunidade de construir um processo mais colaborativo e transparente. Gorodenkoff/Shutterstock

A revisão por pares é conduzida abertamente, com as revisões disponibilizadas online. Isso torna o trabalho dos revisores visível, refletindo o fato de que os relatórios de revisão são contribuições para a comunicação acadêmica por direito próprio.

Esperamos que os revisores vejam cada vez mais seu papel como envolvimento em uma conversa acadêmica na qual eles são participantes reconhecidos, embora o MetaROR ainda permita que os revisores escolham se querem ser nomeados ou não. Nossa esperança é que a maioria dos revisores ache benéfico assinar suas revisões e que isso reduza significativamente o problema de revisões anônimas desdenhosas ou de má-fé.

Como os artigos submetidos ao MetaROR já estão disponíveis publicamente, a revisão por pares pode se concentrar em se envolver com um artigo com a visão de melhorá-lo. A revisão por pares se torna um processo construtivo, em vez de um que valoriza o gatekeeping.

As evidências sugerem que preprints e artigos finais diferem surpreendentemente pouco, mas melhorias podem ser feitas com frequência. O modelo publicar, revisar, curar ajuda os autores a se envolverem com os revisores.

Após o processo de revisão, os autores decidem se devem revisar seus artigos e como. No modelo MetaROR, os autores também podem escolher enviar seus artigos para um periódico. Para oferecer aos autores uma experiência simplificada, o MetaROR está colaborando com vários periódicos que se comprometem a usar as revisões do MetaROR em seus próprios processos de revisão.

Como outras plataformas de publicação, revisão e curadoria, o MetaROR é um experimento. Precisaremos avaliá-lo para entender seus sucessos e fracassos. Esperamos que outros também o façam, para que possamos aprender a melhor forma de organizar a disseminação e avaliação da pesquisa científica – sem, esperamos, muitas histórias de horror de revisão por pares.

Fonte: The Conversation

Pesadelo editorial: a busca de um pesquisador para evitar que seu trabalho fosse plagiado

/ Marcos Pędłowski / Deixe um comentário

Um cientista que revisava um estudo identificou figuras que pareciam idênticas às suas, o que levou a uma campanha frustrante para impedir sua publicação

paper mill

O bioinformático Sam Payne tropeçou em um artigo em março que incluía figuras que, segundo ele, pareciam idênticas às de um artigo que ele publicou em 2021. Crédito: Getty

Por Dan Garisto para a Nature

Quando o bioinformático Sam Payne foi convidado a revisar um manuscrito sobre um tópico relevante para seu próprio trabalho, ele concordou — sem prever o quão relevante seria.

O manuscrito, que foi enviado a Payne em março, era sobre um estudo sobre o efeito de tamanhos de amostras de células para análise de proteínas . “Eu o reconheci imediatamente”, diz Payne, que está na Brigham Young University em Provo, Utah. O texto, ele diz, era semelhante ao de um artigo 1 que ele havia escrito três anos antes, mas a característica mais marcante eram os gráficos: vários eram idênticos até o último ponto de dados. Ele disparou um e-mail para o periódico, BioSystems , que prontamente rejeitou o manuscrito.

Em julho, Payne descobriu que o manuscrito havia sido publicado 2 no periódico Proteomics e alertou os editores. Em 15 de agosto, o periódico retratou o artigo. Uma declaração que o acompanhava citava “grande sobreposição não atribuída entre as figuras” nele e o trabalho de Payne. Em resposta a perguntas da Nature , um porta-voz da Wiley, que publica a Proteomics , disse: “Este artigo foi submetido simultaneamente a vários periódicos e incluía imagens plagiadas”.

A declaração de retratação também afirmou que quatro dos autores disseram que “não participaram da redação e submissão do artigo e não deram consentimento para publicação”, e que o quinto autor não respondeu. No entanto, a equipe de notícias da Nature encontrou links entre vários dos autores e a International Publisher, uma fábrica de artigos sediada em Moscou. Nem os autores nem a International Publisher responderam aos pedidos de comentários da Nature .

O suposto plágio do artigo de Payne destaca vulnerabilidades sistêmicas na comunidade global de pesquisa, diz Lisa Rasmussen, editora-chefe do periódico Accountability in Research . De acordo com uma análise, cerca de 70.000 artigos com características comuns ao trabalho produzido por fábricas de papel foram publicados somente em 2022.

Apesar da escala do problema, não há um equivalente da Interpol para periódicos, nem uma autoridade oficial para fornecer alertas para toda a indústria sobre manuscritos suspeitos. “Foi apenas um golpe de sorte que a pessoa solicitada para revisá-lo fosse o autor”, diz Rasmussen. “Obviamente, nosso sistema não deve depender desse tipo de serendipidade.”

Cópia carbono

Embora algumas figuras no manuscrito do BioSystems fossem cópias diretas daquelas no artigo de Payne, outras foram simplesmente refeitas usando seus dados, que estão disponíveis publicamente, ele diz. Ele compartilhou a experiência desconcertante no X, anteriormente conhecido como Twitter. “Bem, aconteceu”, ele escreveu. Ele estava revisando um artigo, ele escreveu em um post, que incluía “uma cópia direta das figuras” em um de seus próprios artigos.

Uma correspondência muito próxima: Comparação da Fig. 1a de Boekwig et al. 2021 e Fig. 3a de Popova et al. 2024.

Fonte: Ref. 1 e Ref. 2

Quando, meses depois, ele descobriu o artigo da Proteomics , ele postou um acompanhamento. “Bem. REALMENTE aconteceu” — o artigo que ele havia sido solicitado a revisar havia sido publicado. Duas semanas depois, a Proteomics retirou o artigo, citando plágio de imagens .

Diferentemente das figuras, o texto principal do artigo Proteomics é similar ao de Payne, mas não idêntico. Por exemplo, Payne e seus colegas escreveram:

“Da grande população de 10.000 células, subamostramos um determinado número de células n_sample ∈ [7, 16, 20, 30, 100] e calculamos S/V est .”

O parágrafo correspondente do artigo sobre Proteômica apresenta os mesmos números e muitas das mesmas palavras:

“Os autores calcularam S/Vest usando a amostra n = [7, 16, 20, 30, 100] células de uma população de 10.000 células.”

O uso da terceira pessoa chamou a atenção de Payne. Ele diz que tais esquisitices o levaram a pensar que seu artigo havia sido parafraseado usando inteligência artificial (IA) para criar um texto crível, mas diferente .

Empurrando artigos científicos

No decorrer da reportagem, a Nature encontrou ligações entre autores do artigo Proteomics e uma fábrica de artigos científicos. Dois autores, Dmitrii Babaskin e Tatyana Degtyarevskaya, ambos da IM Sechenov First Moscow State Medical University, tiveram artigos separados 3 , 4 retratados do International Journal of Emerging Technologies in Learning . Ambas as declarações de retratação, emitidas em julho de 2022, usam a mesma linguagem: “O trabalho pode estar vinculado a uma fábrica de papel criminosa que vende autorias e artigos para publicação.”

Como evidência, as declarações citaram o trabalho de Brian Perron — que estuda serviço social na Universidade de Michigan em Ann Arbor e também trabalha como detetive de má conduta — e seus colegas, que encontraram ligações entre ambos os artigos retratados e a International Publisher. Nem Babaskin nem Degtyarevskaya responderam aos pedidos da Nature para comentar sobre as retratações.

O site da International Publisher anuncia uma seleção de mais de 10.000 manuscritos, sobre tópicos tão diversos quanto a metalurgia da soldagem de liga de alumínio e as características biológicas das codornas . Os compradores em potencial podem ver o título do artigo e, às vezes, seu resumo, bem como a classificação esperada no banco de dados de citações Scopus do periódico de publicação. Eles então selecionam um slot de autor, com custos variando de cerca de US$ 500 a US$ 3.000. A empresa promete que os títulos e resumos exibidos online serão “completamente alterados” para publicação. “Ninguém jamais conseguirá encontrar o manuscrito em lugar nenhum”, declara o site.

No entanto, em 2021, Perron e seus colegas relataram no site de vigilância de fraudes científicas Retraction Watch que eles identificaram quase 200 artigos publicados que provavelmente se originaram da International Publisher. Vários dos títulos publicados “eram quase palavra por palavra” os mesmos que os listados para venda, diz Perron. Muitos dos artigos listados no relatório do Retraction Watch foram posteriormente retratados . Solicitada a comentar as alegações de que é uma fábrica de papel, a International Publisher não respondeu.

Limpando o catálogo

A International Publisher remove listagens de artigos de seu catálogo on-line após os artigos serem comprados. Para contornar isso, a Nature examinou um banco de dados de listagens de artigos anteriores da International Publisher, criado por Perron, e vasculhou capturas de tela do site da fábrica de papel tiradas pela organização sem fins lucrativos Internet Archive, sediada em São Francisco, Califórnia. A busca mostrou que os títulos de vários artigos publicados por quatro dos cinco autores do estudo Proteomics correspondiam aos títulos de artigos listados anteriormente para venda pela International Publisher.

Essas listagens de artigos não incluem o texto completo do artigo, mas fortes evidências circunstanciais conectam as listagens da fábrica de papel a estudos publicados. Por exemplo, uma captura de tela do site da fábrica de papel tirada em setembro de 2021 mostra que entre os artigos à venda estava o nº 1584, “A estrutura da vegetação florestal em lixões industriais de diferentes idades”. Degtyarevskaya foi autora de um artigo publicado na Ecology and Evolution 5 em julho de 2023 com um título quase idêntico e resumo correspondente. Em resposta a uma consulta da equipe de notícias, a Ecology and Evolution disse que agora está investigando o assunto.

Embora a equipe de notícias da Nature não tenha conseguido localizar uma listagem de vendas no site da International Publisher para o artigo da Proteomics , Perron diz que o artigo tem várias características de artigos de fábricas de papel . A Nature não conseguiu encontrar nenhum outro estudo publicado pelos autores sobre o assunto do artigo, análise de proteínas. Além disso, o manuscrito foi enviado à BioSystems enquanto ainda estava sob revisão na Proteomics . Perron diz que enviar um manuscrito para mais de um periódico simultaneamente é uma tática clássica de pesquisadores que tentam publicar produtos de fábricas de artigos científicos.

Um porta-voz da Wiley não especificou se o artigo supostamente plagiado da Proteomics veio de uma fábrica de papel, mas disse: “Nossa investigação confirmou que houve manipulação sistemática do processo de publicação”.

Verifique e verifique novamente

Nos últimos anos, algumas editoras e periódicos tomaram medidas extras contra plágio e fábricas de papel . Um desses esforços, desenvolvido pela International Association of Scientific, Technical and Medical Publishers (STM), uma organização comercial em Haia, Holanda, é o STM Integrity Hub, um recurso para editoras científicas que inclui uma ‘ferramenta de verificação de fábrica de papel’ e uma ‘ferramenta de verificação de envio duplicado’. Este último está em uso em mais de 150 periódicos e verifica mais de 20.000 artigos por mês. Mais de 1% são identificados como duplicados.

Não há métricas sobre a frequência com que os pesquisadores detectam plágio em seus próprios trabalhos, mas vários pesquisadores responderam às postagens de Payne nas redes sociais compartilhando que se encontraram em uma situação semelhante.

Para Payne, a perspectiva de fábricas de artigos tirando vantagem da IA ​​é assustadora. “Isso, eu acho, é um golpe muito bom”, ele diz. “Eu acho que isso vai acontecer mais.”

doi: https://doi.org/10.1038/d41586-024-02554-8

Referências

  1. Boekweg, H., Guise, AJ, Plowey, ED, Kelly, RT e Payne, SH Mol. Proteoma celular. 20 , 100085 (2021).

    Artigo  

  2. Popova, I., Savelyeva, E., Degtyarevskaya, T., Babaskin, D. & Vokhmintsev, A. Proteômica 24 , 2300351 (2024).

    Artigo 

  3. Shchedrina, E., Valiev, I., Sabirova, F. & Babaskin, D. Int. J. Emerg. Tecnologia. Aprender. 16 , 95–107 (2021).

    Artigo 

  4. Tsvetkova, M., Ushatikova, I., Antonova, N., Salimova, S. & Degtyarevskaya, T. Int. J. Emerg. Tecnologia. Aprender. 16 , 65–78 (2021).

    Artigo 

  5. Gorozhanina, E., Gura, D., Sitkiewicz, P. & Degtyarevskaya, T. Ecol. Evol. 13 , e10276 (2023).

    Artigo 

Fonte: Nature

Agências de fomento dizem não ao uso de IA na revisão por pares

/ Marcos Pędłowski / Deixe um comentário

Preocupações incluem confidencialidade, precisão e “originalidade de pensamento”

peer review IA

Por Jocelyn Kaiser para a Science

O neurocientista Greg Siegle estava em uma conferência no início de abril quando ouviu algo que achou “muito assustador”. Outro cientista estava entusiasmado com o fato de que o ChatGPT, a ferramenta de inteligência artificial (IA) lançada em novembro de 2022, rapidamente se tornou indispensável para redigir críticas às densas propostas de pesquisa que ele teve que percorrer como revisor de pares para os Institutos Nacionais de Saúde (NIH). Outros ouvintes assentiram, dizendo que viam o ChatGPT como uma grande economia de tempo: redigir uma revisão pode envolver apenas colar partes de uma proposta, como resumo, objetivos e estratégia de pesquisa, na IA e solicitar que ela avalie as informações.

O NIH e outras agências de financiamento, no entanto, estão colocando um fim nessa abordagem. Em 23 de junho, o NIH proibiu o uso de ferramentas de IA generativas online como o ChatGPT “para analisar e formular críticas de revisão por pares” – provavelmente estimulado em parte por uma carta de Siegle, que está na Universidade de Pittsburgh, e colegas. Após a conferência, eles alertaram a agência de que permitir que o ChatGPT escreva análises de bolsas é “um precedente perigoso”. Em um movimento semelhante, o Conselho de Pesquisa Australiano (ARC) em 7 de julho proibiu a IA generativa para revisão por pares após saber de revisões aparentemente escritas pelo ChatGPT.

Outras agências também estão desenvolvendo uma resposta. A National Science Foundation dos EUA formou um grupo de trabalho interno para verificar se pode haver usos apropriados de IA como parte do processo de revisão de mérito e, em caso afirmativo, quais “guardas de proteção” podem ser necessárias, diz um porta-voz. E o Conselho Europeu de Pesquisa espera discutir a IA tanto para redação quanto para avaliação de propostas.

O ChatGPT e outros grandes modelos de linguagem são treinados em vastos bancos de dados de informações para gerar texto que parece ter sido escrito por humanos. Os bots já levaram editores científicos preocupados com ética e precisão factual a restringir seu uso para escrever artigos. Algumas editoras e periódicos, incluindo a Science , também estão proibindo seu uso por revisores.

Para as agências financiadoras, a confidencialidade está no topo da lista de preocupações. Quando partes de uma proposta são inseridas em uma ferramenta de IA online, as informações se tornam parte de seus dados de treinamento. O NIH se preocupa com “para onde os dados estão sendo enviados, salvos, visualizados ou usados ​​no futuro”, afirma seu aviso.

Os críticos também temem que as revisões escritas por IA sejam propensas a erros (os bots são conhecidos por fabricar), tendenciosas contra visões não convencionais porque se baseiam em informações existentes e carecem da criatividade que impulsiona a inovação científica. “A originalidade do pensamento que o NIH valoriza é perdida e homogeneizada com esse processo e pode até constituir plágio”, escreveram os funcionários do NIH em um blog. Para periódicos, a responsabilidade do revisor também é uma preocupação. “Não há garantia de que o [revisor] entenda ou concorde com o conteúdo” que está fornecendo, diz Kim Eggleton, que dirige a revisão por pares na IOP Publishing.

Na Austrália, a ARC proibiu os revisores de bolsas de usar ferramentas de IA generativas 1 semana depois que uma conta anônima do Twitter, ARC_Tracker, administrada por um pesquisador local, relatou que alguns cientistas receberam avaliações que pareciam ter sido escritas pelo ChatGPT. Alguns obtiveram avaliações semelhantes quando colaram partes de suas propostas no ChatGPT, diz ARC_Tracker. Uma revisão incluiu até uma oferta, as palavras “regenerar resposta” que aparecem como um prompt no final de uma resposta do ChatGPT. ( O Science Insider confirmou a identidade do ARC_Tracker, mas concordou com o anonimato para que este pesquisador e outros possam usar a conta para criticar livremente o ARC e as políticas governamentais sem medo de repercussões.)

Os cientistas podem pensar que o ChatGPT produz feedback significativo, mas essencialmente regurgita a proposta, diz o proprietário do ARC_Tracker. É certo que alguns revisores humanos também fazem isso. Mas, “Há uma diferença muito grande entre uma revisão adequada – que deve fornecer insight, crítica, opinião informada e avaliação de especialistas – e um mero resumo do que já está em uma proposta”, escreveu o pesquisador em um e-mail ao Science Insider .

Alguns pesquisadores, no entanto, dizem que a IA oferece uma chance de melhorar o processo de revisão por pares. A proibição do NIH é um “recuo tecnofóbico da oportunidade de mudança positiva”, diz o geneticista psiquiátrico Jake Michaelson, da Universidade de Iowa. Os revisores podem usar as ferramentas para verificar suas críticas para ver se eles esqueceram alguma coisa na proposta, ajudá-los a avaliar o trabalho de fora de seu próprio campo e suavizar a linguagem que eles não perceberam soar “mesquinho ou mesmo maldoso”, diz Michaelson. “Eventualmente, vejo a IA se tornando a primeira linha do processo de revisão por pares, com especialistas humanos complementando as revisões de IA de primeira linha. … Prefiro ter minhas próprias propostas revisadas pelo ChatGPT-4 do que por um revisor humano preguiçoso”, acrescenta.

A paisagem provavelmente mudará com o tempo. Vários cientistas observaram no blog do NIH que alguns modelos generativos de IA funcionam offline e não violam a confidencialidade – eliminando pelo menos essa preocupação. O NIH respondeu que espera “fornecer orientação adicional” para uma “área em rápida evolução”. 

Mohammad Hosseini, pesquisador de pós-doutorado em ética da Northwestern University que escreveu sobre IA na revisão de manuscritos, concorda que a proibição do NIH é razoável, por enquanto: “Dada a sensibilidade dos problemas e projetos com os quais o NIH lida e a novidade das ferramentas de IA, adotar uma abordagem cautelosa e medida é absolutamente necessária.”

compass black

Este texto escrito originalmente em inglês foi publicado pela revista Science [Aqui!].

Revisão por pares: estudo mostra que pesquisadores “doam” US$ 1 bilhão de tempo de trabalho não pago às grandes editoras científicas

/ Marcos Pędłowski / Deixe um comentário

revisão tempo

Aczel, B., Szaszi, B. & Holcombe, AO Uma doação de um bilhão de dólares: estimando o custo do tempo dos pesquisadores despendido na revisão por pares . Res Integr Peer Rev  6,  14 (2021). https://doi.org/10.1186/s41073-021-00118-2

Texto completo

A quantidade e o valor do trabalho de revisão por pares dos pesquisadores é fundamental para a academia e a publicação de periódicos. No entanto, este trabalho é pouco reconhecido, sua magnitude é desconhecida e formas alternativas de organizar o trabalho de revisão por pares raramente são consideradas. Usando dados disponíveis publicamente, uma estimativa do tempo dos pesquisadores e contribuição baseada no salário para o sistema de revisão por pares do periódico é fornecida.

O tempo total que os revisores trabalharam globalmente em avaliações por pares foi de mais de 100 milhões de horas em 2020, o equivalente a mais de 15.000 anos. O valor monetário estimado do tempo que os revisores americanos gastaram em revisões foi de mais de $ 1,5 bilhão em 2020. Para revisores na China, a estimativa é de mais de $ 600 milhões, e para revisores no Reino Unido, cerca de 400 milhões de dólares americanos.

Conclusões

Por design, é muito provável que nossos resultados sejam subestimados, uma vez que refletem apenas uma parte do número total de periódicos em todo o mundo. Os números destacam a enorme quantidade de trabalho e tempo que os pesquisadores dedicam ao sistema editorial, bem como a importância de se considerar formas alternativas de estruturar e pagar pela revisão por pares. Esse processo é estimulado por meio da discussão de alguns modelos alternativos que buscam potencializar os benefícios da revisão por pares, melhorando sua relação custo-benefício.

compass

Este texto foi escrito inicialmente em Espanhol e publicado no “Universo aberto”, Blog da Biblioteca de Tradução e Documentação da Universidade de Salamanca [Aqui!].

A caçada às revistas predatórias

/ Marcos Pędłowski / 1 comentário

predatory

Por Bradley Allf, Austin American-Statesman

 AUSTIN, TEXAS – Como os Texas Rangers de antigamente que caçavam gangues de ladrões de gado e pistoleiros, outro grupo do Texas liderado por Kathleen Berryman caça outros tipos de criminosos: golpistas no oeste selvagem dos golpes de correio eletrônico.

Mas os golpistas que Berryman rastreou executam um esquema sofisticado que visa o único grupo de pessoas que você acha que conhece melhor: os cientistas.

O golpe é simples: crie um jornal acadêmico falso e incentive os cientistas a enviar seus artigos para ele. Quando o fazem, eles pedem aos investigadores que paguem centenas de dólares em taxas. Eles então arrecadam até US $ 150 milhões, segundo algumas estimativas (a maioria fornecida pelos contribuintes), não fazendo nada para o avanço da ciência e fazendo-o mal em vez disso.

E eles são verdadeiros bandidos: essas revistas foram consideradas culpadas de violar a legislação dos Estados Unidos. Em um caso, um juiz federal em 2019 ordenou que o editor de revistas Srinubabu Gedela e suas empresas (OMICS Group Inc, iMedPub LLC, Conference Series LLC) pagassem mais de US $ 50,1 milhões para resolver as alegações feitas pela Federal Trade Commission. Alegações enganosas para acadêmicos e pesquisadores sobre a natureza de suas palestras e publicações, e escondeu as altas taxas de publicação.

Berryman e sua pequena equipe de detectores de fraude na Cabells International, com sede em Beaumont, são algumas das únicas pessoas no mundo que fazem algo contra esses tubarões. Universidades, bibliotecas e cientistas individuais podem pagar a Cabells para ter acesso ao seu banco de dados de periódicos.

O banco de dados consiste em duas partes: uma metade é para análise dos periódicos reais (classificação dos mesmos, divisão em campos, como apresentar trabalhos aos diferentes periódicos e coisas assim), a outra metade são “relatórios de predadores”, lista de revistas que se revelaram falsas.

Eles estão vasculhando meticulosamente os perfis online de periódicos científicos para encontrar e localizar editores “predatórios”. Mas resta saber se seu trabalho frustra esse golpe multimilionário que, às vezes, semeou desinformação em grande escala.

É assim que o golpe funciona

Desde a segunda metade do século XX, o sistema de intercâmbio de conhecimento científico segue um roteiro estabelecido. Um cientista conduz um experimento, anota seus resultados e envia o documento a uma revista acadêmica como a  Nature  ou  The Lancet . Esses periódicos examinam o documento, encaminhando-o a alguns colegas do cientista. Este processo é conhecido como revisão por pares. Se o artigo for considerado adequado pelos colegas, será publicado no próximo número da revista junto com alguns outros estudos que também foram aprovados.

Mas nas últimas décadas, algo mudou.

“Em algum momento, os acadêmicos começaram a perceber que havia periódicos que não faziam o que afirmavam fazer”, explicou Berryman. “Eles afirmam fazer essa revisão por pares, mas ou não é feita ou é uma revisão por pares falsa, como um teatro de revisão por pares.”

Esses editores predatórios, muitos deles baseados em países asiáticos como China, Índia e Paquistão, se aproveitam do ego dos cientistas, enviando-lhes e-mails lisonjeiros e pedindo que submetam suas pesquisas ao periódico.

Quando um cientista concorda (às vezes porque está enganado, às vezes porque está apenas procurando uma maneira fácil de adicionar à sua história editorial), a “revista” publica online quase que imediatamente, muitas vezes sem nem mesmo ler o artigo. O periódico então pede uma alta taxa de publicações, algo com que os cientistas concordam porque estão acostumados a fazer esses pagamentos a periódicos legítimos.

“Essas taxas podem chegar a milhares de dólares e, então, eles publicam 100 ou mais artigos por ano”, disse Berryman. “Eles ganham muito dinheiro.”

Esse dinheiro geralmente vem de bolsas de pesquisa de cientistas de instituições com financiamento público, como a National Science Foundation ou o National Institutes of Health, o que significa que os contribuintes estão pagando a conta por essa fraude elaborada.

Este é um plano inteligente, pois a execução de um desses golpes requer pouco mais do que o custo de hospedagem de um site.

“Algumas dessas revistas predatórias são compostas por uma única pessoa por trás de um computador que as publica na web, então a sobrecarga é quase nula”, diz Berryman.

Até agora, Cabells encontrou cerca de 15.000 periódicos científicos fraudulentos, e o número está crescendo a cada dia.

Mais do que roubar dinheiro

Mas, ao contrário de um golpe normal por e-mail, os golpistas de revistas predatórias fazem mais do que simplesmente roubar o dinheiro das pessoas. Eles também podem contribuir para uma forma particularmente ruim de desinformação.

“Se os artigos não estão sendo revisados ​​por pares, não sabemos ao certo se esta é uma boa pesquisa”, disse Berryman. “Um artigo que vem à mente diz que o 5G causa COVID-19, como um crescimento espontâneo da COVID-19 no corpo.”

Esse artigo absurdo foi publicado em uma revista predatória e seus resultados foram compartilhados milhares de vezes nas redes sociais e até chegaram ao site de teoria da conspiração Infowars, de Austin.

Se um grupo quer espalhar desinformação, as revistas predatórias permitem que qualquer um lave a desinformação por meio de um moinho que transforma uma ideia rebuscada em um fato comprovado cientificamente, ou pelo menos em algo que se pareça com isso.

Para combater o problema da ciência falsa, o que Berryman faz por Cabells é separar o joio do trigo (as revistas “reais” dos impostores) examinando seu site em busca de sinais de práticas predatórias. Isso permite que cientistas e bibliotecas que assinam seus serviços saibam se um periódico é legítimo ou não.

“Somos como a polícia nas revistas”, diz ele.

No entanto, não são apenas Cabells que estão lutando contra esses golpistas. Os próprios cientistas fazem justiça com as próprias mãos e deliberadamente submetem artigos sem sentido a periódicos suspeitos de serem predatórios para mostrar que os periódicos não praticam a revisão por pares.

Josh Gunn, um professor de estudos de comunicação da Universidade do Texas, enviou um desses artigos ao Open Access Library Journal quando a revista o perseguia com e-mails. O artigo de Gunn foi escrito em um jargão acadêmico que parece convincente, mas é uma verdadeira garatuja.

Uma linha caracteristicamente opaca diz: “… incorporamos as periferias existenciais de nossa existência arquivística desmaterializada, como a demanda utópica tautológica do Papa ‘no’ Twitter.”

Apesar dos erros óbvios, a revista publicou rapidamente o artigo. Gunn repetiu a manobra um ano depois com outra revista predatória. Após a publicação, ele foi convidado a enviar centenas de dólares via Western Union para algum lugar em Bangladesh, algo que ele se recusou a fazer.

Embora o artigo de Gunn pretendesse ser tolo, ele disse que outros artigos publicados nessas revistas “podem resultar em perda de vidas” se as pessoas aceitarem informações potencialmente incorretas como verdade.

“Fui convidado a publicar em revistas médicas”, disse Gunn, que tem doutorado em estudos retóricos. “Não tenho absolutamente nenhuma experiência nessas áreas. Se eu escrevesse algo para esses campos, ficaria preocupado se alguém levasse isso a sério. “

Berryman concordou.

“É muito perigoso”, disse ele. “Se os artigos não são revisados ​​por pares, não sabemos ao certo se é uma boa pesquisa, se foi feita corretamente.”

Berryman confirmou que o “Open Access Library Journal” estava em seu banco de dados de periódicos predatórios por violar vários de seus 74 indicadores diferentes que sugerem que um periódico é predatório, incluindo reter informações sobre sua empresa-mãe e publicar artigos do mesmo autor repetidamente .

“O lixo que as revistas publicam é inacreditável”, disse ele.

Embora não seja comum que um artigo de revista predatória seja amplamente compartilhado online, isso acontece. Berryman diz que verificar quem está associado a uma publicação específica pode ajudar a descobrir uma revista predatória. Visto que cientistas de verdade não querem ter nada a ver com essas publicações, os periódicos costumam ser membros de seus conselhos editoriais ou usam cientistas que não estão mais vivos.

“Certa vez, encontramos ‘Yosemite Sam’, que é um ‘professor de Yale’, em um conselho editorial. Foi muito divertido ”, diz Berryman.

No entanto, separar o bom do mau – as revistas duvidosas das legítimas – requer prática, e é aí que Berryman e sua equipe entram em jogo. O trabalho proporciona uma certa satisfação romântica em um mundo que raramente é tão simples.

“Eu amo meu trabalho. E me faz sentir que estou ajudando a melhorar a pesquisa ”, diz Berryman. “Talvez se eu puder alertar as pessoas para não enviarem artigos para revistas predatórias, então não haverá tanto lixo por aí.”

Para levar em consideração

Cabells oferece uma lista de sinais que podem ser sinais de alerta de uma fonte de informação que não é confiável.

  • O periódico afirma falsamente ter sido incluído em qualquer serviço de indexação de periódicos acadêmicos ou banco de dados de citações, como Cabells, Scopus, Journal Citation Reports, DOAJ, etc.
  • O conselho editorial contém nomes falsos ou com credenciais / afiliações fabricadas ou falsificadas.
  • Os membros do conselho editorial desconhecem sua posição no conselho editorial da revista.
  • A revista promete publicação muito rápida ou revisão por pares extraordinariamente rápida (por exemplo, publicação em menos de quatro semanas a partir do despacho).
  • Não existe uma política de revisão por pares ou a política de revisão por pares não define claramente quem analisa as submissões, quantos revisores leem cada uma delas e os possíveis resultados do processo de revisão por pares.

compass

Este texto foi escrito inicialmente em inglês e publicado pelo Austin American Statesman [Aqui!].

Centenas de cientistas fizeram revisões de artigos publicados em revistas predatórias

/ Marcos Pędłowski / Deixe um comentário

Muitos desses títulos têm alguma supervisão editorial – mas a qualidade das críticas está em questão.

revistas predatórias

Ilustração por David Parkins

Por Richard Von Noorden para a Nature

Centenas de cientistas que publicam suas atividades de revisão por pares no site Publons afirmam ter revisado artigos de periódicos “predatórios” – embora não possam saber disto. Uma análise do site constatou que ele hospeda pelo menos 6.000 revisões de registros para mais de 1.000 periódicos predatórios. Os pesquisadores que revisam a maioria desses títulos tendem a ser jovens, inexperientes e afiliados a instituições de nações de baixa renda na África e no Oriente Médio, de acordo com o estudo, publicado no servidor de pré-impressão bioRxiv em 11 de março.

O estudo é o maior a examinar alegações dos cientistas que revisam para revistas predatórias. A visão popular sobre esses periódicos é que eles geralmente publicam qualquer manuscrito oferecido por uma taxa e oferecem revisão por pares. De fato, os periódicos podem ser definidos como predatórios, mesmo que forneçam revisão por pares, porque podem ser enganosos de outras maneiras. Mas a revisão por pares que essas revistas conduzem pode não estar no padrão que muitos pesquisadores reconhecem, diz Matt Hodgkinson, chefe de pesquisa de integridade da editora Hindawi em Londres. “Eles provavelmente estão passando pelos movimentos e usando esses revisores como uma folha de figueira”, diz ele.

As análises, se genuínas, podem ser “um desperdício de tempo e esforço valiosos” dos pesquisadores, diz o estudo. Seus autores sugerem que financiadores e instituições de pesquisa devem alertar contra a  realização de revisões para publicações predatórias.

Predatória ou com poucos recursos?

Os pesquisadores usam a plataforma Publons para listar as revisões de manuscritos que realizaram. Mas a organização com sede em Londres notou há vários anos que alguns usuários estavam reivindicando a revisão de periódicos potencialmente predatórios. A equipe se juntou a pesquisadores da Fundação Nacional de Ciências da Suíça (SNSF) em Berna e da Universidade de Berna para conduzir uma análise em larga escala. Começando com uma lista negra proprietária de títulos considerados predatórios pela Cabells, uma empresa de análise editorial em Beaumont, Texas, a equipe construiu algoritmos para identificar revisões desses títulos no Publons. Eles são gostosos

Pelo menos 10% dos periódicos da lista negra de Cabells têm revisões reivindicadas no Publons, segundo o estudo. Isso não diz respeito a Cabells, diz seu diretor técnico Lucas Toutloff, porque a empresa sinaliza os periódicos como predatórios para muitos tipos de práticas enganosas, como enganar os leitores sobre qualificações do conselho editorial ou endereços físicos de escritórios, ou não ter políticas para preservar documentos digitalmente.  “Pode ser que os periódicos sinalizados como predatórios estejam realizando uma revisão por pares de boa qualidade, mas por outros motivos”, diz Anna Severin, pesquisadora do SNSF e da Universidade de Berna, coautora do estudo. Também pode ser difícil distinguir entre títulos e periódicos predatórios daqueles que são legítimos, mas com poucos recursos.

Publons diz que as revisões são registros reais: os cientistas verificam se fizeram as revisões listadas, encaminhando e-mails de reconhecimento à Publons ou solicitando que um editor de periódico verifique a revisão de forma independente.

Motivos mistos

Embora alguns cientistas possam não perceber que os periódicos para os quais estão revisando são predatórios, é possível que outros vejam a chance de expandir a lista de periódicos que revisam como uma maneira de mostrar sua produtividade acadêmica – independentemente do título. E o próprio Publons poderia estar “involuntariamente transformando a revisão por pares em um jogo”, sugere Hodgkinson. O site possui tabelas de classificação para os principais revisores – o que pode recompensar ainda mais a análise indiscriminada. Um porta-voz da Publons observa que o site fornece orientações sobre periódicos éticos e robustos e que, em julho de 2019, mudou seus placares de líderes para que seu pedido seja, por padrão, classificado por periódicos indexados no banco de dados da Web of Science.

A Nature conversou com alguns cientistas que listam resenhas no Publons para periódicos listados como predatórios na lista de Cabells. Ian Burgess, um entomologista que é diretor da Insect Research and Development, uma empresa de pesquisa contratada em Cambridge, Reino Unido, disse que revisou oito manuscritos para quatro periódicos predatórios de um editor chamado Academic Journals, da Nigéria. Burgess disse que esperava fornecer orientações aos autores, mas que a editora ignorou completamente seus comentários. “Claramente, eu fui ingênuo a pensar que, se você tivesse análises adequadas, a qualidade das publicações aumentaria”, diz Burgess, que afirma não ter feito mais análises nessas revistas, embora ainda seja solicitado. (A editora da revista em questão não respondeu ao pedido da Nature para comentar.)

E um pesquisador alemão que não deseja ser identificado disse à Nature que havia revisado para uma revista predatória, mas que suas sugestões também foram ignoradas. Ele ressaltou que algumas vezes suas sugestões de revisão foram desconsideradas também em periódicos estabelecidos.

Os autores do estudo estão planejando examinar o texto das revisões em periódicos predatórios e legítimos – em alguns casos, o Publons pode acessar o texto de relatórios de revisão particulares – para verificar se existem diferenças mensuráveis ​​na qualidade, diz Severin.

Referências

  1. Severin, A. et al. Preprint on BioRxiv https://doi.org/10.1101/2020.03.09.983155 (2020).

__________________________________________

Este artigo foi originalmente publicado em inglês pela Nature [Aqui!].