Por Reese AK Richardson, Spencer S. Hong , Jennifer A. Byrne, e Luís A. Nunes Amaral para o “Proceedings of the National Academy of Sciences”
Ao longo dos últimos quatro séculos, a produção de conhecimento científico tornou-se cada vez mais uma questão de importância estatal e social. O “contrato” entre cientistas e estados pode ser resumido assim: em troca da criação de novos conhecimentos úteis ao estado e da formação de uma força de trabalho capaz de usar esse conhecimento, a sociedade apoia os cientistas com carreiras gratificantes, bons salários e reconhecimento público. O sucesso deste contrato levou a um crescimento extraordinário na escala e no âmbito do empreendimento científico ( 1 ) e à sua adoção em todo o mundo ( 2 ). De facto, alguns estudos sugerem que a riqueza de uma nação está intimamente ligada à quantidade ( 3 , 4 ) e à qualidade ( 5 ) da investigação que produz.
O empreendimento científico apoiado pelo Estado pode ser idealizado como um jogo de bens públicos ( 6 ) com numerosas e diversas partes interessadas. Devido à crescente complexidade do conhecimento que está sendo criado e à especialização crescente, o sistema depende da suposição de boa-fé de contribuições genuínas de todos os participantes ( 7–10 ) . Os cientistas dependem de outros cientistas para divulgar conhecimento que pode ser construído, de outros cientistas e de editoras para a triagem de estudos científicos, de editoras para a disseminação de seu trabalho e de agências de financiamento e universidades para apoio. As universidades e agências de financiamento dependem de cientistas para avaliar o trabalho de seus pares e do Estado e da sociedade para seu financiamento. As empresas do setor privado dependem das universidades para formar uma força de trabalho informada. O Estado e a sociedade dependem dos cientistas para produzir conhecimento que irá melhorar o bem-estar e a segurança do Estado. Etzkowitz e Leydesdorff formalizaram certos aspectos dessa rede de relacionamentos em seu modelo de ‘hélice tripla’ de desenvolvimento econômico baseado no conhecimento ( 11 ).
O sucesso deste modelo pode estar em risco se algumas partes interessadas não contribuírem de forma justa para as tarefas que lhes são atribuídas. Devido à escala e ao âmbito crescentes do empreendimento científico, o grau em que as partes interessadas contribuem para o sistema é agora cada vez mais avaliado por proxies potencialmente enganosos ( 12 , 13 ), como o índice h ( 14 ), o fator de impacto do periódico, as classificações universitárias e os prémios científicos. No entanto, estes proxies tornaram-se rapidamente alvos de avaliação do impacto institucional e pessoal, resultando numa concorrência crescente e numa desigualdade crescente na forma como os recursos e as recompensas são distribuídos ( 15–20 ) , o que pode deixar o empreendimento científico mais suscetível à deserção ( 16 , 21–23 ) .
A deserção acadêmica ocorre quando há uma falha em fazer contribuições genuínas para a produção de conhecimento ou para o treinamento de uma força de trabalho especializada, enquanto ainda se beneficia do contrato. Uma pesquisa de 2002 com cientistas financiada pelo NIH dos Estados Unidos relatou que 0,2% dos pesquisadores em meio de carreira e 0,5% dos pesquisadores em início de carreira admitiram ter falsificado dados de pesquisa nos três anos anteriores ( 16 ). Uma análise sistemática de mais de 20.000 artigos publicados entre 1995 e 2014 relatou que 3,8% desses artigos continham imagens duplicadas indevidamente, com pelo menos metade desses casos sugerindo manipulação deliberada ( 24 ). Nós e outros também descrevemos recentemente uma classe de entidades envolvidas em fraudes científicas em larga escala, normalmente denominadas “fábricas de papel”, que vendem artigos de pesquisa de baixa qualidade produzidos em massa e fabricados (conforme descrito por Byrne et al. ( 25 ) e em um relatório do Comitê de Ética em Publicações e da Associação Internacional de Editores Científicos, Técnicos e Médicos ( 26 ); veja também o Apêndice SI ). Em uma pesquisa de 2022–2023 com residentes médicos em hospitais terciários no sudoeste da China, 46,7% dos entrevistados relataram comprar e vender artigos, deixar outras pessoas escreverem artigos ou escrever artigos para outros ( 27 ). Alguns editores relatam que até 1 em cada 7 de suas submissões são de provável “proveniência de fábrica de papel” ( 26 , 28 ). Também foi recentemente relatado que agentes de fábricas de papel tentaram subornar editores de jornais ( 29 , 30 ) e “sequestrar” todos os processos editoriais em alguns jornais ( 31 – 33 ).
Estudos de jogos de bens públicos repetidos nos ensinam que, sob algumas condições, as contribuições dos jogadores tendem a decair ao longo do tempo e que as contribuições diminuem substancialmente à medida que o número de desertores aumenta ( 34 ). Para desencorajar a deserção e sustentar um sistema colaborativo, os jogos de bens públicos devem impor mecanismos que desincentivem a deserção ( 35 – 37 ). Para esse fim, o empreendimento científico implementou vários mecanismos formais de punição para desertores. As agências de financiamento podem sancionar pesquisadores individuais e universidades com multas e exclusão de programas de financiamento. As universidades podem sancionar pesquisadores com rescisão de contratos. Os periódicos podem sancionar autores com retratação de publicações. Os agregadores de literatura podem sancionar periódicos removendo-os de seus índices (desindexação) ( 38 – 40 ). Essas medidas formais complementam medidas informais adicionais, como a exclusão de desertores das redes de confiança pessoal dos cientistas, a humilhação ( 41 ) e a documentação de preocupações em sites de revisão pós-publicação ( 42 , 43 ). No entanto, as evidências sugerem que estes mecanismos ainda não foram bem-sucedidos em conter a onda de deserções ( 24 – 33 ).
Aqui, demonstramos que grandes redes de indivíduos e entidades cooperantes que produzem fraude científica em larga escala podem ser identificadas pelas pegadas que deixaram na literatura científica existente. Identificamos grupos de indivíduos que realizam trabalho editorial e de revisão em periódicos e colaboram com autores para facilitar a publicação de manuscritos que especialistas (incluindo a equipe editorial de periódicos) associaram à má conduta do autor ou editor. Mostramos que organizações que produzem ciência fraudulenta conseguem garantir a publicação de seus manuscritos em periódicos de diversas editoras antes de sua detecção e remoção. Também mostramos que organizações que mediam a produção de manuscritos suspeitos de fraude contornam as medidas existentes de integridade científica e controle de qualidade, como a desindexação de periódicos, e que visam com sucesso subáreas específicas, evitando — ou deixando de visar — subáreas intimamente relacionadas. Por fim, mostramos que o número de publicações fraudulentas está crescendo a uma taxa muito superior ao crescimento de publicações legítimas.
Materiais e métodos
Recuperamos dados de periódicos do Web of Science (WoS) da Clarivate ( 44 ), do Scopus da Elsevier ( 45 ), do PubMed/MEDLINE da National Library of Medicine ( 46 ) e do OpenAlex, um “índice de centenas de milhões de entidades interconectadas em todo o sistema global de pesquisa” de código aberto ( 47 ). O OpenAlex agrega e padroniza dados do agora obsoleto Microsoft Academic Graph ( 48 ) e Crossref ( 49 ), bem como do ORCiD ( 50 ), Unpaywall ( 51 ) e de repositórios institucionais. Consideramos que um periódico está “publicando ativamente” em um determinado ano se ele publicou pelo menos um “artigo de periódico” ou “artigo de anais de conferência” naquele ano no OpenAlex. Dos 73.818 periódicos que publicaram ativamente em 2020, 1.489 (2,0%) continham “conferência”, “anais” ou “reunião” no título. Dos 5.629.023 artigos publicados em 2020, 476.820 (8,5%) foram rotulados como artigos de anais de congressos.
Agregadores de literatura
WoS e Scopus avaliam periódicos que solicitam inclusão em seus bancos de dados (ou seja, indexação). A indexação de um periódico pode ser revogada se o serviço encontrar motivos para preocupação com as práticas editoriais do periódico ou se o serviço avaliar o conteúdo de um periódico como de baixa qualidade. Um periódico também pode ser desindexado devido a uma mudança de nome, fusão ou fechamento. Obtivemos listas de periódicos desindexados anualmente do WoS (atualizado em dezembro de 2021), Scopus (atualizado em março de 2024) ( 52 ) e MEDLINE (último download em fevereiro de 2023) ( 53 , 54 ). Também baixamos as edições de 2020, 2021, 2023 e 2024 da Early Warning Journal List produzida pela Academia Chinesa de Ciências em junho de 2024 ( 55 ).
Retratações e comentários do PubPeer
Má conduta do autor, como relatar dados falsos ou se envolver em plágio, e má conduta editorial, como a falta de controle mínimo de qualidade do trabalho submetido, podem resultar na retratação de um estudo ou em seu relato em sites de pós-publicações. Obtivemos artigos retratados do Retraction Watch ( 56 ) (baixado em 4 de março de 2024). Este corpus compreende 47.387 registros únicos de retratação. Baixamos o Retraction Watch Hijacked Journal Checker em 1º de março de 2024. A PubPeer Foundation compartilhou conosco metadados e conteúdo para todos os comentários feitos antes de 1º de fevereiro de 2024, em 105.325 artigos com DOIs. Esta contagem não inclui comentários automatizados, como aqueles feitos pelo statcheck ( 57 ). Muito poucos comentários do PubPeer são positivos ( 43 ); a maioria relata problemas potenciais e muitos precedem a eventual retratação do artigo comentado ( 58 ).
Editores
Alguns periódicos listam o editor responsável por cada estudo publicado. Um pequeno subconjunto — incluindo os periódicos PLOS ONE e Hindawi — também permite acesso programático em massa ao conteúdo e aos metadados dos artigos. Baixamos metadados de artigos publicados no PLOS ONE até 8 de novembro de 2023 ( 59 ) e de artigos publicados em periódicos Hindawi até 2 de abril de 2024 ( 60 ) ( Conjunto de dados S3 ). Obtivemos os nomes completos dos editores dos periódicos PLOS ONE e Hindawi e atribuímos artigos ao mesmo editor em cada periódico somente se os nomes completos fossem uma correspondência exata. Classificamos um editor como “ativo” durante o período entre a data de submissão mais antiga e a data de aceitação mais recente dos artigos publicados por eles tratados. Observe que os mandatos dos editores são censurados à direita porque não temos acesso aos artigos atualmente em revisão.
Desambiguamos os autores dos artigos usando identificadores ORCiD ( 50 ), mas não conseguimos obter identificadores ORCiD para 91,2% dos autores nomeados. No total, identificamos 134.983 autores de artigos publicados na PLOS ONE para os quais conseguimos obter ORCiDs. Isso deixou 39,8% dos artigos sem nenhum autor identificável. Os identificadores ORCiD foram igualmente infrequentes em periódicos hindus, conforme descrito no Apêndice SI , Figuras S4–S13 .
Conferências IEEE
O nome e o ano das conferências do IEEE foram inferidos a partir do DOI de todos os artigos de “procedimentos” publicados pelo IEEE e registrados no OpenAlex. Correspondendo este DOI aos artigos de “procedimentos de conferências” no OpenAlex e excluindo artigos com termos específicos relacionados à matéria inicial no título ( Conjunto de dados S4 ), identificamos 2.294.067 artigos publicados em 19.969 conferências do IEEE desde 2003. Para 45 conferências do IEEE que ocorreram entre 2009 e 2011, mais de 10% dos artigos publicados foram retratados. Essa atividade resulta em um grande pico de retratações nesses anos. Embora muitos anais de conferências publiquem matérias iniciais que nomeiam a equipe editorial, essas informações não estavam disponíveis para nós em um formato estruturado que permitisse a desambiguação das identidades e funções dos editores.
Imagens duplicadas
Coletamos relatórios de duplicação de imagens feitos no PubPeer e, em seguida, construímos uma rede onde os nós representam artigos e as arestas indicam o compartilhamento de uma imagem (consulte o Apêndice SI para obter detalhes). Identificamos componentes conectados nessa rede e filtramos qualquer componente com menos de 30 artigos. Além disso, removemos qualquer componente em que qualquer uma das cinco arestas selecionadas aleatoriamente não se referisse à duplicação de imagens entre artigos.
Associação Acadêmica de Pesquisa e Desenvolvimento (ARDA)
Ao contrário de entidades documentadas anteriormente ( 61 ), o site da ARDA lista periódicos nos quais a publicação pode ser garantida. Utilizamos a “Wayback Machine” ( 62 ) do Internet Archive para construir uma cronologia do “portfólio” de periódicos em evolução da ARDA. Em seguida, comparamos os periódicos nomeados com seus registros de indexação no WoS e no Scopus e construímos uma visualização dos períodos em que esses periódicos foram usados pela ARDA e se eles já foram desindexados; consulte o Conjunto de Dados S5 para a lista de periódicos.
Em maio de 2023, baixamos o arquivo completo de cinco periódicos listados no site da ARDA (dois dos quais são considerados sequestrados) e tentamos imputar a nacionalidade dos autores a partir das afiliações listadas ( Apêndice SI ). Imputamos com sucesso a nacionalidade dos autores de 13.288 dos 20.638 documentos recuperados (64,4%, Conjunto de Dados S6 ). Desses documentos, mais da metade eram da Índia (26,4%), Iraque (19,3%) ou Indonésia (12,2%).
Corpus suspeito de fábrica de papel
Compilamos um corpus de produtos suspeitos de serem produzidos fábricas de papel, agregando registros de vários corpora selecionados por especialistas ( conjuntos de dados S1 e S2 ). Produtos suspeitos de fábricas de papel são normalmente identificados por meio de métodos manuais e automatizados que buscam semelhanças inesperadas e conteúdo compartilhado abrangendo vários artigos e periódicos ( Apêndice SI ). Baixamos metadados de artigos contendo frases distorcidas do Problematic Paper Screener ( 63 ) em 21 de março de 2024. Atualmente, esse corpus de produtos suspeitos de fábricas de papel compreende 32.786 artigos exclusivos.
Veja o Apêndice SI para mais detalhes.
Resultados
Padrões anômalos no tratamento editorial de publicações problemáticas.Existe uma percepção entre muitos cientistas praticantes de que a fraude científica é um fenômeno raro ( 64 ) resultante das ações de atores isolados ( 65 ). No entanto, evidências crescentes sugerem a possibilidade de que a fraude seja um fenômeno mais generalizado; que desertores visam periódicos para facilitar a publicação de ciência fraudulenta em grande escala ( 29 ). Para investigar esta última possibilidade, analisamos dados de vários periódicos que relatam o nome do editor responsável por manuscritos aceitos e testamos se certos indivíduos são mais propensos a editar artigos problemáticos do que seria de se esperar por acaso.
Um dos periódicos que divulga o editor responsável, PLOS ONE , publicou 276.956 artigos desde 2006; 702 foram retratados e 2.241 receberam comentários no PubPeer ( Fig. 1A ) . É visualmente aparente que a taxa de retratação e a taxa de comentários não são constantes. Determinamos para cada um dos 18.329 editores que aceitaram artigos para publicação no PLOS ONE ( Fig. 1B ) o número de artigos que eles aceitaram para publicação e o número que foi eventualmente retratado para cada ano de publicação. Em seguida, usamos um teste binomial de Poisson para verificar se cada editor aceitou artigos finalmente retratados ou comentados no PubPeer significativamente mais frequentemente do que o esperado apenas por acaso, ajustando para as taxas variáveis de retratação e comentários no tempo ( 66 ) ( Apêndice SI ). Como testamos múltiplas hipóteses, ajustamos o nível de significância por meio do procedimento de Benjamini-Hochberg ( 67 ), controlando a taxa de descoberta falsa (FDR) em 0,05.
Figura 1.
Evidência de coordenação entre editores e autores para a publicação de ciência fraudulenta na PLOS ONE . ( A ) Número de artigos publicados anualmente na PLOS ONE desde seu início ( linha superior ) e o número anual de artigos retratados (segunda linha), que receberam comentários do PubPeer (terceira linha) ou que foram aceitos 30 dias ou menos após a submissão ( linha inferior ). ( B ) Número de editores “ativos” e seus mandatos na PLOS ONE ( Materiais e Métodos ). Editores sinalizados tendem a ter mandatos sobrepostos. ( C ) Detecção de editores que aceitaram um número anômalo de artigos que foram posteriormente retratados (segunda linha), posteriormente comentados no PubPeer (terceira linha) ou aceitos após um curto período ( linha inferior ). Mostramos cada editor como um círculo com uma área proporcional ao número de artigos que eles aceitaram. A uma taxa de descoberta falsa (FDR) de 0,05, identificamos 22 editores que aceitaram um número anômalo de artigos posteriormente retratados, 33 editores que aceitaram um número anômalo de artigos que posteriormente receberam comentários do PubPeer e 88 editores que aceitaram um número anômalo de artigos após um curto prazo. ( D ) Detecção de autores cujos artigos aceitos são atribuídos a uma taxa anômala a editores sinalizados para retratações (segunda linha), comentários do PubPeer (terceira linha) e curto prazo ( linha inferior ). A uma FDR de 0,05, sinalizamos 21 autores por atribuição anômala de seus artigos aceitos a editores sinalizados para retratações, 18 autores por atribuição anômala de seus artigos aceitos a editores sinalizados para comentários do PubPeer e 7 autores por atribuição anômala de seus artigos aceitos a editores sinalizados para curto prazo. ( E ) Interações de publicação entre indivíduos sinalizados para retratações e/ou comentários do PubPeer. Mostramos cada indivíduo como um círculo cujo tamanho é proporcional ao número de artigos aceitos que eles lidaram como editor (intervalo de 1 a 852 artigos). A cunha preta dentro do círculo indica a fração dos artigos aceitos desse editor que foram posteriormente retratados. Indivíduos sinalizados apenas por retratações têm um limite vermelho, indivíduos sinalizados apenas por comentários do PubPeer têm um limite azul e indivíduos sinalizados por ambos têm um limite roxo. Os indivíduos são conectados por setas que apontam do autor para o editor, com a largura de cada seta proporcional ao número total de artigos para os quais aquele editor atuou para aquele autor (intervalo de 1 a 10 artigos). Indivíduos sinalizados frequentemente lidaram com as submissões uns dos outros para PLOS ONE , especialmente dentro de um grupo de editores servindo de 2020 a 2023 (cluster no canto inferior direito ).
A Fig. 1 C mostra que 22 editores aceitam artigos que foram retratados significativamente com mais frequência do que seria de se esperar por acaso. Ao considerar artigos que receberam comentários do PubPeer, o número de editores sinalizados aumenta para 33. Usando esse grupo de editores sinalizados, investigamos em seguida se há autores que parecem direcionar seus artigos com mais frequência a esses editores sinalizados do que o esperado por acaso. Usamos novamente um teste binomial de Poisson, ajustando para a atividade variável dos editores sinalizados ao longo do tempo ( 66 ) ( Apêndice SI ). A Fig. 1 D mostra que, para os 8,8% dos autores do PLOS ONE que conseguimos identificar de forma inequívoca, 21 autores tiveram artigos atribuídos com mais frequência a editores sinalizados para retratações do que seria de se esperar por acaso. * Também identificamos 18 autores que direcionam seus artigos a editores sinalizados para comentários do PubPeer com mais frequência do que o esperado por acaso.
Para verificação adicional, consideramos uma terceira categoria de artigos com revisão por pares anômala — aqueles que foram aceitos com tempos de resposta notavelmente curtos (30 dias ou menos entre a submissão e a aceitação). O curto tempo de manuseio é considerado por alguns como uma marca registrada da atividade da fábrica de papel ( 68 , 69 ). † Encontramos um número comparativamente grande de editores com uma taxa anômala de tempos de resposta curtos. No entanto, encontramos um número comparativamente pequeno de autores enriquecidos para submissões atribuídas a editores com taxas anômalas de tempos de resposta curtos. Isso sugere que o curto prazo pode ser um marcador menos robusto para identificar potencial conluio do que retratações ou comentários do PubPeer na PLOS ONE . No entanto, ainda pode ser um indicador valioso de potencial má conduta editorial em outros contextos.
Os 45 editores da PLOS ONE que conseguimos sinalizar devido à taxa anômala com que aceitaram publicações retratadas ou comentadas pelo PubPeer, ou tiveram suas submissões processadas por outros editores sinalizados, representam apenas 0,25% do total de editores. Esses indivíduos editaram 1,3% de todos os artigos publicados na PLOS ONE até 2024, mas 30,2% dos artigos retratados. Mais da metade desses editores (25 de 45) também foram autores de artigos retratados pela PLOS ONE ( Apêndice SI , Fig. S1 ).
Para descobrir conexões entre esses indivíduos, construímos uma rede de relacionamentos de publicação entre eles (somente dentro do PLOS ONE , Fig. 1 E ). Embora não tenhamos informações sobre relacionamentos que envolvam outros periódicos, ainda conseguimos encontrar um grupo densamente conectado de indivíduos servindo como editores entre 2020 e 2023 ( cluster inferior direito na Fig. 1 E ). Esses editores, afiliados a instituições de quatro países diferentes, enviaram a maioria de suas submissões uns aos outros em vez de outros editores. Mais da metade dos artigos aceitos por esse grupo de editores foram retratados com avisos quase idênticos — “um de uma série de submissões para as quais temos preocupações sobre autoria, interesses conflitantes e revisão por pares” ( 70 ).
Como um teste de robustez, verificamos que nossos resultados não seriam alterados se usássemos um limite mais rigoroso para significância ( Apêndice SI , Fig. S2 ). Embora também quiséssemos testar o impacto de potenciais taxas de retrações específicas de cada campo, não tínhamos poder estatístico suficiente para fazê-lo, exceto para biologia celular, o campo com o maior número de retrações no PLOS ONE . Novamente, constatamos que nossas conclusões permanecem inalteradas ( Apêndice SI , Fig. S3 ).
Esses padrões anômalos não se restringem à PLOS ONE . Os periódicos Hindawi também divulgam os editores dos manuscritos publicados. O Apêndice SI , Figuras S4–S13, mostra os resultados de nossas análises para os dez periódicos Hindawi com os artigos mais retratados e comentados pelo PubPeer. Nesses periódicos, encontramos 53 editores que aceitam artigos eventualmente retratados com frequência anômala (seis dos quais são sinalizados para vários periódicos), 52 que aceitam artigos comentados pelo PubPeer com frequência anômala (quatro dos quais são sinalizados para vários periódicos) e 96 que aceitam artigos de acompanhamento rápido com frequência anômala (sete dos quais são sinalizados para vários periódicos).
Semelhante à forma como os editores lidam com as submissões de periódicos, os artigos publicados por meio de anais de conferências geralmente são tratados por uma pequena equipe de organizadores de conferências, que também podem aceitar um número excessivo de artigos problemáticos. Aplicamos a mesma metodologia a todos os anais de conferências do IEEE desde 2003 ( Apêndice SI , Fig. S14 ), tratando cada anais de conferências como equivalente a um editor. Sinalizamos 84 conferências por hospedar artigos eventualmente retratados com frequência anômala, 158 conferências por hospedar artigos comentados pelo PubPeer com frequência anômala e 183 conferências por hospedar artigos com frases distorcidas com frequência anômala.
Em consonância com a hipótese de que a equipe editorial será amplamente mantida de ano para ano dentro de uma série de conferências, encontramos algumas séries de conferências do IEEE para as quais várias edições realizadas em anos diferentes são sinalizadas por frases distorcidas ( Apêndice SI , Fig. S15 ). Entre elas, identificamos pelo menos sete séries de conferências do IEEE com duração de três ou mais anos, nas quais a conferência foi sinalizada por tratamento anormalmente frequente de artigos com frases distorcidas em todos os anos em que foi realizada.
Produção coordenada de ciência fraudulenta
Padrões anômalos não estão presentes apenas na condução editorial da revisão por pares. De fato, acredita-se que as “fábricas de papel” sejam capazes de produzir pesquisas fraudulentas em grande escala ( 29 , 61 , 71 , 72 ). Assim, investigamos se há coordenação na produção de ciência fraudulenta e na cooptação de periódicos científicos pelas fábricas de papel, e se tal coordenação deixa rastros na literatura científica.
Para prosseguir com esta investigação, utilizamos uma característica marcante da ciência fraudulenta: a duplicação de imagens. Construímos uma rede composta por 2.213 artigos sinalizados por imagens duplicadas (nós), que são conectados por meio de 4.188 observações de duplicação de imagens entre artigos (arestas). Esta rede é dividida entre 20 componentes conectados ( Fig. 2 A ). Como alguns desses componentes são bastante grandes (o tamanho máximo é 622 artigos), usamos uma abordagem de modelagem de blocos estocásticos para identificar módulos dentro de cada componente conectado ( 73 , 74 ) ( Fig. 2 B ). Apesar do fato de a duplicação de imagens implicar que esses estudos não ocorreram conforme descrito, apenas 34,1% foram retratados ( Fig. 2 C ).
Figura 2.
Evidência de coordenação na produção de ciência fraudulenta e no direcionamento de periódicos específicos para sua publicação. ( A ) Construímos uma rede de artigos com comentários no PubPeer sobre duplicação de imagens. Identificamos 2.213 artigos (nós) que estão conectados por meio de 4.188 arestas indicativas de duplicação de imagens em um par de artigos. Identificamos 20 componentes conectados dentro dessa rede. ( B ) Representação cartográfica da rede. Cada círculo de cor diferente representa um módulo identificado usando modelagem de bloco estocástico ( 73 , 74 ). O número dentro de um círculo indica o número de artigos no módulo. As linhas que conectam os círculos indicam que os dois módulos fazem parte do mesmo componente conectado e sua largura denota o número de arestas intermódulos. ( C ) Fração de artigos retratados para cada módulo. A cunha preta denota a fração de artigos retratados no módulo. ( D ) Distribuição de anos de publicação para artigos em cada módulo ( Esquerda ) e valor de p para a hipótese nula de que os anos são distribuídos aleatoriamente entre os módulos ( Direita ). A cor indica o ano de publicação ( Esquerda ) ou log 10 de p ( Direita ). ( E ) Distribuição dos editores dos artigos em cada módulo ( Esquerda ) e valor de p para a hipótese nula de que os editores são distribuídos aleatoriamente pelos módulos ( Direita ). A cor indica o editor ( Esquerda ) ou log 10 de p ( Direita ). Vermelho escuro saturado indica probabilidades extremamente baixas (), sugerindo a rejeição da hipótese nula. É visualmente aparente para ambos os casos que a hipótese nula é rejeitada para todos os módulos para os quais a análise tem poder suficiente.
De acordo com nossa hipótese de trabalho sobre as operações das fábricas de papel, estas produzem e publicam artigos em grandes lotes. Por esse modelo, os artigos dentro de cada lote poderiam usar um banco fixo de imagens (em vez da apropriação e montagem fragmentada de imagens de múltiplas fontes) e os artigos resultantes se manifestariam como módulos dentro de nossa rede de compartilhamento de imagens. Nossa hipótese também implica que os artigos dentro de cada módulo tenderiam a aparecer nos mesmos periódicos aproximadamente na mesma época. Assim, seria de se esperar que os artigos dentro de um módulo estivessem fortemente concentrados em editoras específicas e em anos específicos, e deveríamos ser capazes de rejeitar a hipótese nula de que as distribuições de editoras e anos de publicação obtidos para diferentes módulos são estatisticamente indistinguíveis.
Para quantificar o grau em que a distribuição de anos em que os artigos pertencentes a um determinado módulo está anomalamente concentrada, usamos a entropia de Shannon ( Fig. 2 D e Apêndice SI ). Descobrimos que, para quase todos os módulos, as datas de publicação dos artigos que compartilham imagens estão extremamente concentradas no tempo, rejeitando a hipótese nula. Para quantificar o grau em que a distribuição de editoras em que os artigos pertencentes a um determinado módulo está anomalamente concentrada, usamos novamente a entropia de Shannon. Novamente, descobrimos que, para quase todos os módulos, os periódicos que publicam artigos que compartilham imagens estão extremamente concentrados por editora, rejeitando a hipótese nula ( Fig. 2 E ).
Nossa hipótese de trabalho e esses padrões anômalos são consistentes com um modus operandi em que as fábricas de papel cooperam com corretores — ou atuam, elas próprias, como corretores — que controlam pelo menos algumas das decisões nos periódicos-alvo e podem garantir a publicação simultânea de lotes de artigos fraudulentos em um único periódico. A implementação bem-sucedida dessa estratégia pode ser alcançada mesmo com a ajuda de um pequeno número de desertores no nível do periódico, como observado anteriormente ( Fig. 1 ).
Evidência de segmentação de periódicos e “Journal Hopping”
Uma implicação da hipótese de trabalho recém-discutida é que as fábricas de papel têm a capacidade de garantir a publicação em conjuntos de periódicos e editoras. No entanto, com o tempo, certos periódicos podem perder o favor da clientela de uma fábrica de papel ou podem se tornar indisponíveis. Por exemplo, um periódico usado por uma fábrica de papel pode ser desindexado pela WoS ou Scopus, levando à diminuição da demanda por publicações nesse periódico por parte da clientela pertencente a organizações acadêmicas que apenas creditam artigos em periódicos indexados. Assim, seria de se esperar que o conjunto de periódicos com o qual uma fábrica de papel opera tendesse a mudar ao longo do tempo. Chamamos esse comportamento adaptativo de “salto de periódicos”.
Conseguimos descobrir uma entidade que exibe esse comportamento: a ARDA anuncia “Conferências e Reuniões”, “Publicação de Periódicos” e “Redação de Teses/Artigos” em seu site. Em junho de 2024, a página inicial da ARDA relatou envolvimento em “mais de 4.565 publicações”. Desde janeiro de 2018, a ARDA listou 188 periódicos exclusivos em seu site como locais disponíveis para clientes, com a lista de periódicos disponíveis evoluindo ao longo do tempo. Destes, 106 periódicos (56,4%) foram indexados pela Scopus, 51 (27,1%) foram indexados pela WoS, 29 (15,5%) foram indexados por ambos e dois (1,1%) foram indexados pela MEDLINE. Notavelmente, a ARDA parece ter expandido significativamente sua operação, crescendo de uma lista de apenas 14 periódicos em janeiro de 2018 para 86 periódicos em março de 2024 ( Fig. 3A ) . Dezassete (9,0%) destas revistas são suspeitas de serem “revistas sequestradas”, onde uma revista era outrora legítima, mas uma fábrica de papel obteve controlo editorial completo sobre a revista e o seu conteúdo indexado ( 31 – 33 ).
Figura 3.
A empresa ARDA mantém um portfólio em evolução de periódicos específicos. ( A ) Número de periódicos listados no site da ARDA ao longo do tempo. Identificamos 188 periódicos exclusivos listados pela ARDA. Desde 2021, a ARDA mantém um portfólio de mais de 70 periódicos nos quais garante a publicação de artigos. ( B ) Período estimado durante o qual periódicos individuais foram listados pela ARDA. Representamos cada periódico como uma linha horizontal e usamos cores para indicar a fonte de indexação do periódico (WoS, Scopus ou ambos). Começamos uma barra na data do primeiro instantâneo em que o encontramos listado no site da ARDA e a encerramos na data do último instantâneo. Mostramos o ano da desindexação por um círculo vazio no mesmo nível da barra do periódico, colocando-o no início do ano (devido à falta de informações mais detalhadas sobre o momento exato), seguido por uma linha pontilhada deste ponto até a última vez que o periódico foi listado no site da ARDA. Observe que a desindexação pode ser retroativa (por exemplo, a Scopus poderia, em 2020, desindexar um periódico com data efetiva em 2018).
Descobrimos que a probabilidade de um periódico listado pela ARDA ser desindexado excede em muito a taxa de base — 13 de 39 (33,3%) periódicos indexados pela Scopus listados pela ARDA em 2020 foram posteriormente desindexados, contra 147 de 27.197 (0,5%) periódicos indexados pela Scopus publicando ativamente em 2020 (teste Z de proporções bicaudal,). A evolução do portfólio de periódicos da ARDA frequentemente parece ocorrer em resposta direta à desindexação. Por exemplo, um grupo de periódicos desindexados pela Scopus em 2020 ou 2021 foram todos removidos do site da ARDA em maio de 2021 e posteriormente substituídos por novos periódicos. Até onde sabemos, este é o primeiro caso relatado de uma entidade envolvida em publicação fraudulenta que, por sua vez, pratica o journal hopping ( Fig. 3 B ). O rápido aumento no volume anual de publicações de alguns periódicos aparentemente visados por essas entidades ( Apêndice SI , Fig. S16 ) é consistente com a hipótese de que o journal hopping é uma prática generalizada.
Muitos artigos publicados nos periódicos listados pela ARDA estão bem fora do escopo declarado do periódico (por exemplo, um artigo sobre avelãs torradas em um periódico sobre tratamento de HIV/AIDS ou um artigo sobre detecção de malware em um periódico sobre educação especial). Para o conjunto de cinco periódicos que inspecionamos exaustivamente, descobrimos que entre 34,0% e 98,7% dos artigos publicados nesses periódicos estavam fora do escopo declarado do periódico ( conjuntos de dados S7 e S8 ).
Entre esses periódicos, também encontramos muitas publicações com autores de vários países (10,1%), apoiando a hipótese de que as fábricas de papel venderão vagas de autoria em manuscritos individuais, mas contrastando com a hipótese de que os produtos das fábricas de papel podem ser reconhecidos pela falta de colaboração internacional em suas listas de autoria ( 30 ). As fábricas de papel, periódicos predatórios e corretores provavelmente operam sob uma série de modelos de aquisição de autores ( 75 ), incluindo modelos em que acadêmicos locais são alvos (resultando em falta de colaboração internacional em listas de autoria) ( 72 ) e modelos em que vagas de autoria são vendidas para acadêmicos em todo o mundo (resultando em colaborações internacionais implausíveis) ( 61 ).
Prevalência diferencial de fraude dentro de subcampos disciplinares
Nossos resultados mostram que redes de indivíduos e entidades agem para produzir manuscritos fraudulentos, selecionar periódicos e editoras como alvos e facilitar sua publicação em periódicos indexados por agregadores como WoS e Scopus.
Em seguida, investigamos se certos subcampos são selecionados preferencialmente por aqueles envolvidos em fraude científica. Restringimos nossa análise a subcampos intimamente relacionados e de tamanho similar na biologia do RNA que tiveram aumentos recentes em popularidade. Restringimos ainda mais nossa atenção a seis subcampos de interesse para biólogos de RNA, a saber, CRISPR-Cas9, RNAs de transferência (tRNAs) e desenvolvimento, tRNAs e câncer, RNAs circulares, micro-RNAs (miRNAs) e desenvolvimento, miRNAs e câncer e RNAs longos não codificantes (lncRNAs), e baixamos informações bibliométricas sobre artigos retornados ao pesquisar no PubMed (strings de pesquisa exatas mostradas como títulos na Fig. 4 ). Entre esses subcampos intimamente relacionados, suspeita-se que as fábricas de papel sejam particularmente atraídas por miRNAs, RNAs circulares e lncRNAs ( 76 – 78 ).
Figura 4.
Subcampos intimamente relacionados da pesquisa biomédica apresentam taxas semelhantes de errata, mas diferentes taxas de retratações. Investigamos as taxas de retratação e errata para seis subcampos dentro da biologia do RNA, focando principalmente em subcampos que tiveram seu início desde 2000 e experimentaram um aumento dramático no número de publicações anuais ( coluna da esquerda ). As linhas pontilhadas mostram todas as publicações, incluindo revisões, enquanto as linhas completas excluem as revisões da contagem. Embora o número anual de publicações ou sua taxa de crescimento possam diferir significativamente, todos os subcampos têm taxas semelhantes de errata. Em contraste, a taxa de retratações mostra diferenças notáveis entre os subcampos ( coluna da direita ). A maioria das taxas diminui após 2019, presumivelmente devido à censura temporal (ou seja, nem todas as retratações ou erratas podem ter ocorrido ou sido relatadas). Estudos sobre “lncRNAs” e “miRNAs e câncer” mostram taxas de retração que atingem o pico em torno de 4%, mais altas do que a taxa em que as erratas são escritas. É improvável que essas taxas sejam compatíveis com erros de boa-fé e apontam para tentativas concertadas de fraude científica.
Para cada um desses seis subcampos, calculamos o número anual de publicações e as taxas anuais de erratas e retratações para o período de 2002 a 2022 ( Fig. 4 ). Calculamos a taxa de publicação de erratas porque ela fornece um controle ou linha de base para a compreensão da taxa de retratações. Para todos os subcampos, constatamos que a taxa de publicação de erratas oscila entre 1,5% e 2,5%. Isso sugere que, dentro de cada subcampo, a literatura existente é revisitada em taxas relativamente semelhantes.
Como presumimos, não encontramos a mesma consistência para a taxa de retratações. Consistente com as expectativas da maioria dos cientistas em relação a erros flagrantes ou fraude científica, para CRISPR-Cas9, constatamos que a taxa de retratações é de apenas cerca de 0,1%. A taxa de retratações aumenta de tRNA (pico de aproximadamente 1% para tRNA e câncer) para RNAs circulares (pico de aproximadamente 2,5%), miRNAs (pico de aproximadamente 4% para miRNA e câncer) e lncRNAs (pico de aproximadamente 4%). Também encontramos taxas mais altas de retratações para subcampos focados em câncer do que em desenvolvimento.
As taxas de retratação podem variar bastante entre as editoras para artigos nessas subáreas. De fato, para estudos sobre “lncRNAs” e “miRNAs e câncer” publicados em determinados periódicos ( Apêndice SI ), a taxa de retratação ultrapassa 10%, enquanto para alguns outros periódicos a taxa é próxima de zero, muito abaixo do esperado ( Apêndice SI , Fig. S17 ).
A fraude científica está crescendo muito mais rápido do que o empreendimento científico como um todo
Vários estudos tentaram recentemente caracterizar a escala de produtos publicados por fábricas de papel em relação à escala da literatura científica geral ( 30 , 79 ). A aceitação dessas estimativas foi dificultada por limitações na capacidade do campo de reconhecer inequivocamente artigos produzidos por fábricas de papel, pelas taxas heterogêneas de fraude por disciplina ( Fig. 4 ) e pela dificuldade em conceber que o empreendimento de fraude científica seja suficientemente grande ou coordenado.
Em relação ao grau de coordenação e à escala das entidades envolvidas em fraudes científicas, constatamos que os avisos de retratação publicados por periódicos são agora publicados principalmente em lotes de mais de 10 artigos ( Fig. 5A ) . Seria de se esperar que avisos de retratação publicados simultaneamente fossem por motivos relacionados. De fato, os avisos de retratação publicados pela PLOS ONE são consistentes com essa expectativa ( Apêndice SI , Fig. S18 ).
Figura 5.
Artigos de proveniência fraudulenta têm uma taxa de crescimento aparente maior do que a de todo o empreendimento científico e já ultrapassam em muito o escopo das medidas de integridade científica atualmente em uso. ( A ) Retratações são cada vez mais publicadas em lotes. O pico de ∼2010 no número de retratações de grandes lotes é quase inteiramente atribuível a uma grande faixa de artigos de anais de conferências retratados pelo IEEE. Pela primeira vez desde esse pico, a maioria das retratações de 2023 foi relatada em lotes maiores que 10 artigos. ( B ) Atividade científica global anual medida por itens rotulados como “artigo de periódico” ou “artigo de anais de conferência” no OpenAlex ( 47 ), como artigos retratados relatados pelo Retraction Watch, como artigos comentados pelo PubPeer e como produtos suspeitos de fábricas de papel. Usamos as tendências lineares observáveis no gráfico log-linear para extrapolar essas observações para o período de 2020 a 2030. Mostramos o IC de 95% usando faixas sombreadas. O número de produtos suspeitos de fábricas de papel mostra a maior taxa de crescimento, com um tempo de duplicação de 1,5 ano. ( C ) Atividade científica global anual capturada pelo WoS, medida pelo número de periódicos publicando ativamente, o número de periódicos desindexados anualmente pelo WoS, o número de periódicos com retratações, o número de periódicos com comentários no PubPeer e o número de periódicos com produtos suspeitos de fábricas de papel. É visualmente aparente que a desindexação agora ocorre em um nível muito abaixo do nível de ocorrência de periódicos publicando produtos suspeitos de fábricas de papel. Esses padrões são válidos para Scopus e MEDLINE ( Apêndice SI , Figs. S21–S23 ).
Também descobrimos que o número de artigos retratados tem aumentado exponencialmente nos últimos 30 anos ( Fig. 5 B ). Notavelmente, e testemunhando o enorme impacto dos esforços de revisão pós-publicação, descobrimos que o número de artigos com comentários do PubPeer também tem aumentado exponencialmente. Para fornecer perspectiva, notamos que o número de artigos retratados e artigos comentados pelo PubPeer tem dobrado a cada 3,3 anos e a cada 3,6 anos, respectivamente, enquanto o número total de publicações tem dobrado a cada 15,0 anos ( 80 , 81 ). No entanto, produtos suspeitos de fábricas de papel têm dobrado a cada 1,5 ano ( Apêndice SI , Figs. S19 e S20 ). Notavelmente, produtos suspeitos de fábricas de papel agora superam em número os artigos retratados anualmente e projeta-se que em breve superem em número o número de artigos comentados pelo PubPeer.
Conforme discutido anteriormente, a desindexação de periódicos é um mecanismo poderoso disponível para aqueles que defendem a integridade da literatura científica. Agregadores bibliométricos podem indexar dezenas de milhares de periódicos que publicam ativamente. Em resposta a preocupações com práticas editoriais, alguns desses agregadores podem desindexar um periódico. A WoS e a Scopus desindexam cerca de cem periódicos cada anualmente. Embora isso possa parecer um número grande, é dez vezes menor do que o número de periódicos que publicam produtos de fábricas de papel ( Fig. 5 C e Apêndice SI , Fig. S21 ).
Limitações
Uma limitação do nosso estudo é a abrangência dos dados que consideramos. Nossas análises baseiam-se nos casos de fraude científica relatados. É provável que muitos campos e periódicos estejam sub-representados nos corpora que consideramos. De fato, o consenso entre os especialistas é que a grande maioria dos produtos de fábricas de papel não foi detectada ( 30 , 79 , 82 ). Além disso, alguns de nossos estudos de caso concentram-se em disciplinas específicas, fora das quais nossas descobertas podem não ser generalizáveis.
Além disso, mudanças temporais no esforço de detecção ou na atenção dada a diferentes campos podem produzir tendências espúrias. De fato, as muitas incógnitas sobre o empreendimento global da fraude científica deixam em aberto a possibilidade de que a escala da atividade fraudulenta sistemática sempre tenha sido grande, mas que só agora tenha sido detectada. Comentamos mais sobre essa possibilidade no Apêndice SI .
Discussão
A competição por financiamento e empregos limitados leva os cientistas e as organizações que os empregam a se esforçarem continuamente para aumentar a escala, a eficiência, o impacto e o crescimento das métricas pelas quais estes são avaliados. Enquanto um grupo seleto de nações, organizações e indivíduos no auge do empreendimento científico tem acesso aos recursos necessários para esse crescimento extraordinário, a maioria não tem. Pesquisas sugerem que a injustiça percebida está associada ao mau comportamento da pesquisa ( 16 ) e que a falta de oportunidade e treinamento são frequentemente citadas como impulsionadoras da má conduta ( 27 , 83 ). Assim, a crescente desigualdade na acessibilidade de recursos pode estar contribuindo para a escala crescente da fraude científica. No entanto, mesmo quando provida de recursos, a pesquisa continua sendo uma atividade de alto risco — não se sabe a priori se um estudo será bem-sucedido ou não. Por que arriscar o fracasso, colocando em risco a carreira, quando por uma taxa relativamente pequena pode-se facilmente adquirir publicações e citações que, de outra forma, exigiriam uma imensa quantidade de trabalho?
Discussões com diferentes partes interessadas sugerem que muitos atualmente percebem a ciência fraudulenta sistemática como algo que ocorre apenas na periferia do empreendimento científico “real”, ou seja, fora dos países da OCDE. Evidências acumuladas mostram que a produção sistemática de ciência fraudulenta e de baixa qualidade pode ocorrer em qualquer lugar ( 84–89 ) . Além disso, como mostramos neste estudo, grandes editoras norte-americanas e europeias e os editores que elas nomeiam dão credibilidade a essas práticas. O impacto dessas práticas provavelmente será sentido de forma muito mais imediata e intensa em países com empreendimentos científicos incipientes, mas não se restringe de forma alguma a eles.
As tendências que expomos preveem sérios riscos futuros para o empreendimento científico. Grandes grupos de editores e autores parecem ter cooperado para facilitar a fraude na publicação ( Fig. 1 ). Redes de artigos fraudulentos vinculados sugerem escala industrial de produção ( Fig. 2 ). Organizações que vendem serviços de fraude contratual antecipam e combatem a desindexação e outras intervenções de agregadores de literatura ( Fig. 3 ). A literatura em alguns campos pode já ter sido irreparavelmente danificada pela fraude ( Fig. 4 ). Finalmente, a escala de atividade no empreendimento da fraude científica já excede o escopo das medidas punitivas atuais projetadas para prevenir a fraude ( Fig. 5 ). As medidas punitivas atualmente implementadas não estão abordando a maré da ciência fraudulenta. Primeiro, artigos publicados em periódicos desindexados continuam sendo parte do registro da literatura científica em alguns agregadores de literatura ( Apêndice SI , Fig. S21 ). Segundo, retratações ainda são uma ocorrência relativamente infrequente, muito abaixo do que seria razoavelmente esperado para artigos claramente fraudulentos ( 90 ). Apenas 8.589 dos 29.956 produtos de papel suspeitos em nosso corpus que possuem um registro correspondente no OpenAlex foram retratados (28,7%). Extrapolando as tendências atuais, estimamos que apenas cerca de 25% dos produtos de papel suspeitos serão retratados e que apenas cerca de 10% dos produtos de papel suspeitos residirão em um periódico desindexado ( Apêndice SI , Fig. S23 ). Coletivamente, essas descobertas mostram que a integridade do registro científico existente e da ciência futura está sendo prejudicada pelas deficiências nos próprios sistemas pelos quais os cientistas inferem a confiabilidade do trabalho uns dos outros.
Mudar a cultura e os incentivos da ciência é um processo lento. Muitas das partes interessadas cujo envolvimento é necessário para a mudança são aquelas que se beneficiam do status quo . No entanto, na nossa opinião, a gravidade da situação exige uma ação urgente. Os esforços de responsabilização que visam identificar a deserção (nos quais o nosso estudo se baseia) foram liderados por indivíduos corajosos, mas isolados. Alguns foram acusados de vigilantismo e demitidos ( 91 ), outros foram ameaçados com ação legal ( 92 ). Precisamos criar um sistema que seja mais robusto e sistemático e onde seja mais difícil demitir ou intimidar aqueles que fornecem evidências de fraude. Antes de mais nada, precisamos separar as diferentes tarefas necessárias de um sistema de responsabilização justo: detecção, investigação e sanção.
Cada uma dessas tarefas também precisa ser removida das mãos de partes com potenciais conflitos de interesse. Editores de periódicos receberam ofertas de pagamentos substanciais pela publicação rápida de manuscritos selecionados ( 29 , 30 ) e ações editoriais coordenadas foram implicadas em esforços para aumentar o fator de impacto dos periódicos ( 13 , 77 ). Da mesma forma, instituições de pesquisa têm um conflito de interesses ao investigar seus próprios cientistas. Além disso, a detecção na escala que o problema exige não pode ser deixada para um pequeno número de voluntários isolados. Ela precisa de recursos, tanto humanos quanto tecnológicos, proporcionais à ameaça. No mínimo, significativamente mais pesquisas são necessárias para caracterizar as diversas entidades que governam a fraude científica sistemática, bem como para desenvolver um vocabulário unificado e abrangente para descrevê-las ( 93 , 94 ).
Um grande desafio é a falta de uma estrutura abrangente para os tipos de comportamentos que relatamos aqui. O comportamento antiético na ciência é frequentemente visto como uma falha de caráter de um indivíduo, não algo perpetrado, permitido e promovido por um grupo de indivíduos e entidades. De fato, até mesmo a definição de um termo agora padrão como “fábrica de papel” permanece nebulosa ( Apêndice SI ). Algumas das organizações que descrevemos podem ser melhor caracterizadas como “corretoras” do que fábricas de papel. Também não podemos determinar onde nossas observações são devido ao envolvimento de fábricas de papel comerciais ou onde elas surgem como resultado de redes de pares menos formais operando em uma base não comercial (como poderia ser o caso entre alguns dos editores que sinalizamos). Essa complexidade é a razão pela qual propomos o uso do conceito teórico dos jogos de deserção. Acreditamos que esta seja uma perspectiva útil porque enquadra alguns comportamentos não em termos éticos, mas em termos de racionalidade ( 95 ). No entanto, o termo “defecção” implica realinhamento de comportamento normativo para comportamento não normativo. Para muitos médicos juniores e cientistas iniciantes, envolver-se em comportamento de deserção pode ser a nova norma ( 27 , 29 , 83 , 87 ).
Por fim, é importante destacar explicitamente o risco representado pela ciência fraudulenta em larga escala para as abordagens emergentes de ponta. Tanto os “cientistas de máquinas” ( 96 , 97 ) quanto os modelos de linguagem de grande porte prometem ajudar a encapsular o conhecimento na literatura científica para uso de cientistas e do público leigo. No entanto, tais abordagens ainda não são capazes de distinguir ciência de qualidade de ciência de baixa qualidade ou fraudulenta, e essa tarefa se torna ainda mais difícil à medida que o número de publicações científicas fraudulentas aumenta.
Fonte: PNAS
blogdopedlowski.com 