O sistema de revisão por pares já não funciona para garantir o rigor académico – é necessária uma abordagem diferente

peer review

Por Stephen Pinfield, Kathryn Zeiler e Jogo Waltman para o “The Conversation” 

A revisão por pares é uma característica central do trabalho acadêmico. É o processo pelo qual a pesquisa acaba sendo publicada em um periódico acadêmico: especialistas independentes examinam o trabalho de outro pesquisador para recomendar se ele deve ser aceito por uma editora e se e como deve ser melhorado.

A revisão por pares é frequentemente assumida como garantia de qualidade, mas nem sempre funciona bem na prática. Cada acadêmico tem suas próprias histórias de horror de revisão por pares, variando de atrasos de anos a múltiplas rodadas tediosas de revisões. O ciclo continua até que o artigo seja aceito em algum lugar ou até que o autor desista.

Por outro lado, o trabalho de revisão é voluntário e também invisível. Os revisores, que muitas vezes permanecem anônimos, não são recompensados ​​nem reconhecidos, embora seu trabalho seja uma parte essencial da comunicação da pesquisa. Os editores de periódicos acham que recrutar revisores por pares é cada vez mais difícil.

E sabemos que a revisão por pares, por mais elogiada que seja, muitas vezes não funciona. Às vezes é tendenciosa e, com muita frequência, permite que erros , ou mesmo fraudes acadêmicas , se infiltrem.

Claramente o sistema de revisão por pares está quebrado. Ele é lento, ineficiente e oneroso, e os incentivos para realizar uma revisão são baixos.

Publicar primeiro

Nos últimos anos, surgiram formas alternativas de escrutinar pesquisas que tentam consertar alguns dos problemas com o sistema de revisão por pares. Uma delas é o modelo “publicar, revisar, organizar”.

Isso inverte o modelo tradicional de revisão e publicação. Um artigo é primeiro publicado on-line e, em seguida, revisado por pares. Embora essa abordagem seja muito nova para entender como ela se compara à publicação tradicional, há otimismo sobre sua promessa, sugerindo que o aumento da transparência no processo de revisão aceleraria o progresso científico.

Nós criamos uma plataforma usando o modelo publicar, revisar, organizar para o campo da metapesquisa – pesquisa sobre o próprio sistema de pesquisa. Nossos objetivos são tanto inovar a revisão por pares em nosso campo quanto estudar essa inovação como um experimento de metapesquisa. Essa iniciativa nos ajudará a entender como podemos melhorar a revisão por pares de maneiras que esperamos que tenham implicações para outros campos de pesquisa.

A plataforma, chamada MetaROR (MetaResearch Open Review), acaba de ser lançada. É uma parceria entre uma sociedade acadêmica, a Association for Interdisciplinary Meta-Research and Open Science, e uma aceleradora de metapesquisa sem fins lucrativos, a Research on Research Institute.

No caso do MetaROR, os autores primeiro publicam seus trabalhos em um servidor de pré-impressão. Pré-impressões são versões de artigos de pesquisa disponibilizados por seus autores antes da revisão por pares como uma forma de acelerar a disseminação da pesquisa. A pré-impressão tem sido comum em algumas disciplinas acadêmicas por décadas, mas aumentou em outras durante a pandemia como uma forma de levar a ciência ao domínio público mais rapidamente. O MetaROR, na verdade, constrói um serviço de revisão por pares em cima de servidores de pré-impressão.

Os autores enviam seus trabalhos para a MetaROR fornecendo à MetaROR um link para seu artigo pré-impresso. Um editor-gerente então recruta revisores que são especialistas no objeto de estudo do artigo, seus métodos de pesquisa ou ambos. Revisores com interesses conflitantes são excluídos sempre que possível, e a divulgação de interesses conflitantes é obrigatória.

pessoas discutindo em volta de um computador
O modelo publicar, revisar e curar oferece a oportunidade de construir um processo mais colaborativo e transparente. Gorodenkoff/Shutterstock

A revisão por pares é conduzida abertamente, com as revisões disponibilizadas online. Isso torna o trabalho dos revisores visível, refletindo o fato de que os relatórios de revisão são contribuições para a comunicação acadêmica por direito próprio.

Esperamos que os revisores vejam cada vez mais seu papel como envolvimento em uma conversa acadêmica na qual eles são participantes reconhecidos, embora o MetaROR ainda permita que os revisores escolham se querem ser nomeados ou não. Nossa esperança é que a maioria dos revisores ache benéfico assinar suas revisões e que isso reduza significativamente o problema de revisões anônimas desdenhosas ou de má-fé.

Como os artigos submetidos ao MetaROR já estão disponíveis publicamente, a revisão por pares pode se concentrar em se envolver com um artigo com a visão de melhorá-lo. A revisão por pares se torna um processo construtivo, em vez de um que valoriza o gatekeeping.

As evidências sugerem que preprints e artigos finais diferem surpreendentemente pouco, mas melhorias podem ser feitas com frequência. O modelo publicar, revisar, curar ajuda os autores a se envolverem com os revisores.

Após o processo de revisão, os autores decidem se devem revisar seus artigos e como. No modelo MetaROR, os autores também podem escolher enviar seus artigos para um periódico. Para oferecer aos autores uma experiência simplificada, o MetaROR está colaborando com vários periódicos que se comprometem a usar as revisões do MetaROR em seus próprios processos de revisão.

Como outras plataformas de publicação, revisão e curadoria, o MetaROR é um experimento. Precisaremos avaliá-lo para entender seus sucessos e fracassos. Esperamos que outros também o façam, para que possamos aprender a melhor forma de organizar a disseminação e avaliação da pesquisa científica – sem, esperamos, muitas histórias de horror de revisão por pares.


Fonte: The Conversation

Sci-Hub e a questão do acesso livre às publicações científicas

A plataforma Sci-Hub torna as publicações científicas de livre acesso e levanta a questão de saber se esse conhecimento deve ser exclusivo

sci-hub fundadoraAlexandra Elbakyan, criadora do site “Sci-Hub”

Por  Roland Fischer para o Woz

Ela já foi chamada de a “Rainha dos Piratas” ou a Robin Hood feminino no campo da publicação científica. Alexandra Elbakyan não gosta muito de tais atribuições. A mulher cazaque, que agora mora em Moscou e estuda filosofia, se vê simplesmente como uma comunista. O conhecimento científico pertence a todos, não a editoras que estão fazendo fortuna graças ao acesso restrito.

Essa é a ideia básica do Acesso Aberto, mas implementada radicalmente por Elbakyan: Irritada com as barreiras de pagamento caras, ela escreveu um script em 2011 e reuniu alguns dados de acesso da Internet. Entrar. Desde então, sua máquina, a Sci-Hub, vem coletando artigos científicos incansavelmente e os sugando em seu próprio servidor. O limite mágico de 100 milhões está ao nosso alcance, mas se Elbakyan conseguir, “todos os documentos científicos já publicados” logo estarão no Sci-Hub. Em 2015 e 2017, a Sci-Hub foi processada com sucesso por violação de direitos autorais nos EUA. Desde então, tem sido um jogo de gato e rato, os domínios mudam a cada poucos meses, mas nunca é muito difícil encontrar a casa atual do Sci-Hub.

Grandes margens

A luta de dez anos pelo livre acesso ao conhecimento não só trouxe a raiva de Elbakyan, mas também um certo status de heroína, especialmente no campo acadêmico. Para muitos pesquisadores, o Sci-Hub é na verdade uma parte indispensável de seu trabalho, porque algumas de suas instituições não conseguem nem pagar as taxas de publicação. Cerca de meio milhão de pessoas em todo o mundo acessam o Sci-Hub todos os dias, e os números aumentaram durante a pandemia.

Os poderosos oponentes, entretanto, não tentam necessariamente parecer particularmente simpáticos. As grandes editoras científicas são vacas lucrativas, já que suas margens de lucro são quase ultrajantes, sendo que no caso da Springer são 35%, na Elsevier 37%. Para efeito de comparação: em 2014, o Google relatou uma margem de 25%, a Apple uma de 29%.  Além disso, as grandes editoras estão ocupadas em uma maratona de compras concentrando-se na publicação científica, um processo que está em pleno andamento. Onde aparecem as grandes editoras de material científico, a paisagem é um labirinto cheio de paywalls. O que explica em grande parte o sucesso do Sci-Hub: Elbakyan construiu a ferramenta mais simples e definitiva para acessar publicações científicas; enquanto nossos sistemas de biblioteca estão muito longe disso. Os acessos, portanto, não vêm apenas de países emergentes ou do Sul Global.

Grande hack?

Em princípio, a narrativa seria simples: aqui o corajoso libertador do conhecimento, ali os parasitas inescrupulosos da comunidade científica, pois, afinal, eles quase não precisam pagar nada pela produção do conhecimento de cuja distribuição se beneficiam.

Mas se aprendemos uma coisa nos últimos meses, é isto: onde existem narrativas simples, também existem narrativas de conspiração. E então alguns se perguntam: como pode ser que Elbakyan sozinha tome uma iniciativa tão monstruosa e não seja posta de joelhos por poderosos oponentes internacionais? O governo russo tem que estar na vanguarda aqui! A fundadora do Sci-Hub realmente gosta de manter um segredo de como exatamente seu roteiro quebra as barreiras salariais. Existe um grande hack em andamento que pesquisa muito mais servidores universitários do que PDFs “inofensivos”?

Essas teorias mostram uma coisa acima de tudo: Sci-Hub não é sobre ciência comercial versus ciência de domínio público, mas sim uma história sobre política e privilégio. Uma história sobre inclusão e exclusão – também neste país (i.e., Suiça): quem não trabalha oficialmente em uma instituição de pesquisa não tem acesso. Mas também é a complicada história do potencial utópico do digital. Como diz na página do Google: “Nossa missão: organizar a informação do mundo e torná-la universalmente acessível […].” O comunismo também se via como um disruptor naquela época.

blue compass

Este texto foi escrito inicialmente em alemão e publicado pelo jornal “Woz” [Aqui!].

Mega-revistas de acesso aberto perdem impulso à medida que o modelo de publicação amadurece

openaccess_1280p

Por  Jeffrey Brainard para a Science

Quando a PLOS ONE estreou em 2006, seus fundadores declararam que transformaria a publicação científica. Foi a primeira revista multidisciplinar, de grande volume e de acesso aberto, que publicou ciência tecnicamente sólida, sem levar em conta a novidade. Cinco anos depois, Peter Binfield, então editor, previu que, em 2016, 50% de todos os artigos científicos apareceriam em 100 dessas “mega-revistas”.

Sediada em San Francisco, Califórnia, a PLOS ONE cresceu e se tornou a maior revista do mundo, publicando mais de 30.000 artigos em seu auge em 2013 e gerando mais de uma dúzia de imitadores, mas as mega-revistas percorreram um longo caminho. dos objetivos de Binfield. De 2013 a 2018, a produção do PLOS ONE caiu 44%. Outra mega-revista, a Scientific Reports, excedeu o tamanho de PLOS ONE em 2017, mas seu número de artigos diminuiu 30% no ano seguinte, de acordo com dados do banco de dados Scopus do editor Elsevier. O crescimento das novas mega-revistas não compensou os declínios das tradicionais. Em 2018, o PLOS ONE, Scientific Reports e 11 mega-revistas menores publicaram coletivamente cerca de 3% do total da produção científica global.

A PLOS ONE e a Scientific Reports também diminuíram em outras medidas de desempenho. A velocidade da publicação, um ponto chave no início, caiu.  Um estudo publicado em agosto de 2019 mostrou que, com certas medidas baseadas em citações, a conexão dos periódicos com a vanguarda da ciência se esgotou.

“Os editores das mega-revistas claramente ainda não convenceram muitos pesquisadores de que sua abordagem agrega um valor significativo ao ecossistema de comunicações acadêmicas”, escreveram o cientista Stephen Pinfield, da Universidade de Sheffield, no Reino Unido, e colaboradores, em um estudo realizado em julho no Journal of Documentation.

Mas as mega-revistas ainda ocupam um nicho único e importante na publicação científica, dizem alguns analistas. Como a taxa de aceitação é alta – cerca de 50% dos manuscritos enviados são aceitos para publicação – e eles não insistem na novidade, permite que os autores publiquem descobertas valiosas, como estudos de replicação e resultados negativos, que de outra forma poderiam ser rejeitados por revistas  tradicionais. Eles permanecem relevantes como uma opção para autores europeus cujos financiadores planejam exigir que seu trabalho seja lido livremente no momento da publicação. E as taxas de publicação de mega-revistas: US $ 1595 por artigo no PLOS ONE, por exemplo: eles permanecem baixos em comparação com os periódicos de acesso aberto mais seletivos, como Nature Communications and Science, a revista de acesso aberto irmã, Science Advances, que cobra US $ 4.500 por artigo.

A queda na produção se deve à diminuição nas submissões. Na Scientific Reports, os autores enviaram menos manuscritos após uma queda em seu fator de impacto, uma medida das citações por artigo, diz James Butcher, vice-presidente de revistas da empresa-mãe, Nature Research, em Londres. A métrica, que muitos autores seguem de perto, geralmente diminui quando uma revista se expande rapidamente, como a Scientific Reports fez até recentemente.

Joerg Heber, editor-chefe do PLOS ONE, diz que seu declínio nas apresentações se deve à crescente concorrência dos mais recentes periódicos de acesso aberto. O PLOS ONE adicionou novos serviços para atrair mais autores, incluindo a publicação dos comentários dos revisores.

Enquanto isso, as mega-revistas perderam uma fonte de atração: publicação rápida. Inicialmente, a PLOS ONE e o Scientific Reports publicavam seus artigos em um tempo médio de 3 meses após a submissão pelos autores, em comparação com a média dos periódicos tradicionais de cerca de 5 meses. Mas em 2018, o atraso da PLOS ONE aumentou para 6 meses e o da Scientific Reports para 5 meses, de acordo com um estudo de 2018 na Online Information Review. Tanto Heber quanto Butcher culpam as dificuldades logísticas de lidar com grandes volumes e dizem que melhoraram a equipe e as operações para reduzir os atrasos.

Talvez mais preocupante: de acordo com um estudo de Petr Heneberg, da Universidade Carolina de Praga, como os volumes editoriais diminuíram, o mesmo aconteceu com as conexões de mega-periódicos com as fronteiras da ciência. Ele examinou a frequência com que os artigos de 11 mega-revistas citaram artigos publicados recentemente em cada um dos três periódicos seletivos de alto nível – Nature, Proceedings of the American Academy of Sciences.  Heneberg também analisou o oposto: com que frequência os artigos nos três periódicos seletivos citaram artigos em mega-periódicos. Para o PLOS ONE, ambas as medidas caíram significativamente entre 2008 e 2016, aproximando-se de zero, Heneberg relatou na edição de agosto da Scientometrics. Outras citações das mega-revistas às três revistas de elite também entraram em colapso.

Heber diz que o estudo de Heneberg é muito limitado para ser significativo. Por exemplo, ele diz que a PLOS ONE publicou recentemente mais pesquisas clínicas, um tópico que não aparece com frequência nos três periódicos mais valorizados.

Embora as mega-revistas iniciais tenham perdido impulso, outras mais seletivas ou especializadas estão prosperando. Nos últimos anos, três mega-revistas especializadas em disciplina cresceram rapidamente: Medicine, da Wolters Kluwer; BMJ Open; e acesso IEEE. Os periódicos de acesso aberto, como Nature Communications e Science Advances, que consideram a novidade dos artigos, também se expandiram, diz Cassidy Sugimoto, da Universidade de Indiana, em Bloomington, co-autor de um próximo estudo desses periódicos. “Para mim, isso não mostra que as mega-revistas estão morrendo”, diz ele, mas sugere que sua natureza pioneira levou a uma maior diversidade de opções úteis de publicação.

______________________________________________

Este artigo foi inicialmente publicado em inglês pela revista Science [Aqui!].

Especialistas propõem novos critérios para avaliar revistas científicas

impact factor

Em comentário publicado na revista Nature, pesquisadores apontam a necessidade de se repensar o fator de impacto como critério predominante na avaliação de periódicos

Elton Alisson | Agência FAPESP – A necessidade de repensar o fator de impacto como critério predominante na avaliação de publicações científicas foi tema de um comentário publicado na revista Nature, no dia 28 de maio, por especialistas de diversas áreas.
Os autores e cossignatários do texto – entre eles Renato Hyuda Luna Pedrosa, professor da Universidade Estadual de Campinas (Unicamp) e coordenador do Programa de Indicadores de Ciência, Tecnologia e Inovação da FAPESP – ressaltaram a importância de buscar um conjunto de métricas mais amplo e transparente para avaliação dos periódicos científicos.

“Essa avaliação é resultado de um encontro realizado na Universidade de Leiden, na Holanda, em 2017. No evento, especialistas internacionais em bibliometria, editores de revistas científicas e representantes de agências de fomento à pesquisa discutiram a necessidade de construir novos critérios de avaliação de publicações científicas”, disse Pedrosa à Agência FAPESP.

Na opinião dos pesquisadores, o fator de impacto – concebido na década de 1970 como um método para avaliar a importância dos periódicos em suas respectivas áreas – passou a ser usado para fins diferentes do propósito original.

O indicador, que reflete a média de citações de artigos científicos publicados em um determinado periódico, tem sido usado, em diversos países, como critério para concessão de financiamento a projetos de pesquisa ou de avaliação de programas de pós-graduação.

“A finalidade original do fator de impacto, que era de apoiar a avaliação de periódicos e os pesquisadores na escolha de revistas para publicarem seus trabalhos, foi distorcida”, disse Pedrosa.

“O indicador passou a ser usado para tomada de decisão e isso começou a causar efeitos, como manipulações para inflar o índice de revistas científicas por meio de autocitação ou de citação cruzada [uma ação coordenada entre dois periódicos, pela qual um cita os artigos do outro]”, disse.

A fim de coibir essas práticas, os autores sugerem a criação de novos indicadores que possam contemplar as novas funções dos periódicos científicos, assim como as tradicionais.

Entre as funções praticamente inalteradas desde que as revistas científicas surgiram, há mais de 350 anos, estão as de permitir a garantia da autoria dos trabalhos, a revisão por pares, a curadoria das pesquisas, a disseminação dos resultados e o registro permanente dos dados.

O fator de impacto, assim como a maioria dos indicadores de uso comum, baseados em citações, captura apenas aspectos limitados dessas funções dos periódicos científicos. A criação de novos indicadores é particularmente importante, uma vez que as revistas científicas estão evoluindo rapidamente e se tornando plataformas para divulgar dados, métodos e objetos digitais, apontaram os pesquisadores.

“O surgimento de plataformas de publicação de artigos científicos do tipo open source [acesso aberto], por exemplo, tem representado um grande desafio para o método tradicional de trabalho das revistas científicas”, afirmou Pedrosa.

“Algumas das funções tradicionais dos periódicos científicos, como o arquivamento dos dados, ficam um pouco perdidas nesses novos sistemas de publicação científica. Por isso, também serão necessários novos indicadores para assegurar a qualidade desses sistemas”, avaliou.

Critérios claros

Como ressaltaram os autores do texto, simplesmente aumentar a quantidade de indicadores para avaliar as publicações científicas não equivale a melhorar a avaliação. Por isso, é preciso garantir que as novas métricas sejam construídas e usadas de forma responsável e que atendam a um conjunto de critérios claros. Entre esses critérios estão os de serem válidos – refletindo o conceito medido –, compreensíveis, transparentes, justos, adaptativos e reprodutíveis.

Outra sugestão feita por eles é a criação de um órgão, composto por representantes de todo o sistema de publicação científica, com foco em indicadores de avaliação de periódicos científicos.

O órgão poderia propor novos indicadores para abordar as diversas funções das revistas científicas, fazer recomendações de seu uso responsável e desenvolver novos padrões. Dessa forma, poderia ajudar a proteger contra “revistas predatórias” – publicações de baixa qualidade criadas para fins essencialmente financeiros – e dar orientações sobre publicações de acesso aberto e compartilhamento de dados, por exemplo.

“A ideia é que esse trabalho de discussão de novos indicadores de avaliação de periódicos científicos continue nos próximos anos para que se avance na construção de métricas novas e melhoradas”, disse Pedrosa.

O artigo Rethinking impact factors: find new ways to judge a journal (DOI: 10.1038/d41586-019-01643-3), de Paul Wouters, Cassidy R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke e Ludo Waltman, pode ser lido na revista Nature em www.nature.com/articles/d41586-019-01643-3.

_________________________________________________________

Este artigo foi inicialmente publicado pela Revista da FAPESP [Aqui!].