Para corrigir a revisão por pares, divida-a em etapas

Todos os dados devem ser verificados, mas nem todo artigo precisa de um especialista

peer review

Por Olavo B. Amaral para a Nature

A revisão por pares não é a melhor maneira de detectar erros e dados problemáticos. Os revisores especialistas são poucos, suas tarefas são inúmeras e não é viável para eles verificar os dados minuciosamente para cada artigo, especialmente quando os dados não são compartilhados. Escândalos como as retratações de 2020 de artigos de alto perfil sobre o COVID-19 por pesquisadores da empresa americana Surgisphere mostram com que facilidade documentos com resultados não verificados podem passar despercebidos.

Como um metapesquisador que estuda revisão por pares, fico impressionado com o quão vago é o conceito. Confunde a avaliação do rigor com a curadoria do que merece espaço em um periódico. Enquanto o primeiro é a chave para manter o registro científico correto, o segundo foi moldado em uma época em que o espaço impresso era limitado.

Para a maioria dos artigos, verificar se os dados são válidos é mais importante do que avaliar se suas alegações são justificadas. São os dados, não as conclusões, que se tornarão a base de evidências para um determinado assunto. Erros não detectados ou resultados fabricados danificarão permanentemente o registro científico.

Não contesto que a revisão por especialistas pode ser crucial para muitas coisas, mas nem todas as pesquisas publicadas precisam ser revisadas por um especialista. Grande parte do controle de qualidade não precisa de um especialista – ou mesmo de um ser humano. Só depois de confirmar que os dados são consistentes é que vale a pena avaliar as conclusões de um artigo.

Dividir a revisão por pares em etapas modulares de controle de qualidade pode melhorar a ciência publicada e, ao mesmo tempo, tornar a revisão menos onerosa. Cada artigo pode receber verificações básicas – por exemplo, se todos os dados estão disponíveis, se os cálculos são válidos e se as análises são reproduzíveis. Mas a revisão por pares por especialistas do domínio seria reservada para artigos que despertam interesse na comunidade ou são selecionados por periódicos. Os especialistas podem ser as melhores pessoas para avaliar as conclusões de um artigo, mas não é realista que cada artigo chame sua atenção. Soluções mais eficientes e amplamente aplicáveis ​​para controle de qualidade permitiriam que os revisores usassem seu tempo de forma mais eficaz, em artigos cujos dados são sólidos.

Algumas verificações básicas podem ser realizadas de forma eficiente por algoritmos. Em 2015, pesquisadores na Holanda desenvolveram o Statcheck , um pacote de software de código aberto que verifica se os valores P citados em artigos de psicologia correspondem às estatísticas de teste. O SciScore – um programa que verifica manuscritos biomédicos quanto a critérios de rigor, como randomização, cegueira de experimentos e autenticação de linha celular – examinou milhares de pré-impressões do COVID-19. E testes como GRIM, SPRITE e o método Carlisle têm sido usados ​​para sinalizar resultados numericamente inconsistentes na literatura clínica.

A descentralização da revisão por pares não é uma ideia nova , mas sua implementação ainda é dificultada pela falta de padronização dos dados. A precisão e a eficiência dos métodos automatizados são limitadas quando são executados em textos ou tabelas não estruturados. Statcheck, por exemplo, só pode fazer seu trabalho porque a American Psychological Association tem uma convenção amplamente usada para descrever resultados estatísticos.

Esse tipo de padronização, atualmente a exceção e não a regra, pode ser aplicado de forma mais ampla, a dados, códigos e metadados. Quando estes são compartilhados em formatos sistemáticos, verificá-los torna-se menos trabalhoso do que revisar artigos. Estima-se que os especialistas gastem mais de 100 milhões de horas por ano em revisão por pares; se pouparem um pouco desse tempo para chegar a um acordo sobre como estruturar os dados em suas áreas, é provável que tenham um impacto maior no controle de qualidade.

Ainda assim, a verificação dos dados não pode garantir que eles foram coletados conforme relatados ou que representam um registro imparcial do que foi observado. Para que isso aconteça, a certificação deve avançar, dos resultados à aquisição de dados – em vez de examinar manuscritos, o controle de qualidade deve visar laboratórios e instalações, conforme proposto por estruturas como Enhancing Quality in Preclinical Data (EQIPD). Isso pode aumentar a transparência e a confiança nos resultados e abrir espaço para que os erros sejam evitados, em vez de detectados tarde demais.

A maior parte do controle de qualidade em nível de processo ainda está a portas fechadas, mas algumas comunidades tomaram medidas para mudar isso. Vários consórcios em genômica, por exemplo, estabelecem padrões coletivos para coleta de dados e metadados. A física de partículas tem uma longa história de análise cega de dados por equipes independentes. E centros de reprodutibilidade, como o QUEST Center no Instituto de Saúde de Berlim em Charité, foram criados para supervisionar processos em vários grupos de pesquisa em suas instituições.

Esses esforços sistemáticos não se tornarão parte integrante do processo científico, a menos que instituições e agências de financiamento concedam a eles o status atualmente desfrutado pela revisão por pares de periódicos. Se essas organizações recompensarem os pesquisadores por terem aspectos específicos de seus resultados certificados, elas poderão criar um mercado para que esses serviços modulares prosperem.

A longo prazo, isso pode tornar a ciência publicada mais confiável e mais viável do que o sistema atual, no qual a revisão por pares drena centenas de milhões de horas dos pesquisadores, mas oferece pouco. Para maximizar o benefício, o controle de qualidade deve ser direcionado aos dados e processos antes de passar para palavras e teoria. Discernir quais dados são válidos é fundamental para a ciência e deve ser abordado por meio de métodos sistemáticos, em vez da opinião de especialistas.

Natureza 611 , 637 (2022)

doi: https://doi.org/10.1038/d41586-022-03791-5


compass black

Este texto escrito originalmente em inglês foi publicado pela Nature [Aqui!].

O impulso para o acesso aberto está tornando a ciência menos inclusiva

Pesquisadores em países em desenvolvimento poderão ser paralisados ​​por altas taxas de artigos, a menos que uma reforma editorial mais ampla seja realizada, afirmam quatro pesquisadores brasileiros

wall_4
Fonte: Getty (editado)
Por Alicia Kowaltowski , Marcus Oliveira , Ariel Silber Hernan Chaimovich para a “Times of Higher Education”

É difícil argumentar contra a visão de que a pesquisa desenvolvida predominantemente por meio de financiamento público deve ser abertamente acessível a todos.

Claro, sempre era possível solicitar uma cópia de um artigo aos autores, mas enquanto isso facilitava o contato entre leitores e autores, era inconveniente. Nem são os preprints um substituto adequado. Sua qualidade é altamente variável, e sua quantidade absoluta é tal que mesmo um trabalho sólido normalmente atrai a atenção somente depois de ser revisado por pares e publicado em um periódico reconhecido.

Mas a remoção de paywalls tem um custo para cientistas e instituições – e, em países em desenvolvimento, esse custo ameaça ser proibitivo. À medida que os mandatos de acesso aberto proliferam, fica cada vez mais claro que nós, cientistas do mundo em desenvolvimento, provavelmente seremos cada vez mais excluídos da publicação em um grande subconjunto de periódicos.

Os custos de processamento de artigos (APCs) têm subido bem acima da inflação e bem acima dos custos estimados de serviços de acesso aberto – que variam entre US$ 200 (R$ 1.034,03) e US$ 1.000 (R$ 5.170,18) por artigo. Existem provedores de acesso aberto que operam nessa faixa de preço, como o SciELO: Scientific Electronic Library Online, biblioteca digital latino-americana com mais de 1.000 periódicos. No entanto, as revistas disciplinares nas quais pretendemos publicar cobram pelo menos US$ 2.500 (R$ 12.931,96), enquanto APCs de US$ 4.000 (R$ 20.689,79) são considerados dentro da faixa normal. A Springer Nature anunciou recentemente que cobrará U$11.390  (R$ 58.914,20) por mais de 30 de seus prestigiosos periódicos Nature .

No Brasil, as bolsas federais de dois anos para apoio à pesquisa são limitadas entre US$ 5.640 (R$ 29.163,22) e US$ 22.560 (R$ 116.682,61) , dependendo da experiência do pesquisador. Até mesmo nossa agência de fomento à pesquisa mais generosa, a FAPESP do Estado de São Paulo, limita suas bolsas regulares de pesquisa em pouco menos de US$ 30.000 (R$ 155.163,04 ) por ano. Esta soma é usada para cobrir todos os equipamentos, consumíveis e serviços, incluindo APCs.

Quando mencionamos essas barreiras econômicas para colegas internacionais, muitas vezes ouvimos que a solução é um sistema de isenção para economias em dificuldades. Na verdade, Plano S, que lidera a pressão pelo acesso aberto, estipula que “o periódico / plataforma deve fornecer isenções de APC para autores de economias de baixa renda e descontos para autores de economias de renda média-baixa”. Mas a maioria dos países latino-americanos com produção científica significativa, como Brasil, Argentina e México, bem como países grandes como China e Federação Russa, são classificados pelo Banco Mundial como economias de renda média-alta. Cientistas nessas nações devem, portanto, pedir isenções individuais (com base, como diz o Plano S, em “necessidades demonstráveis”) após a aceitação do manuscrito. Se a dispensa for negada ou o desconto for insuficiente, o único direito do autor é levar o manuscrito para outro lugar, reiniciando o já demorado processo de revisão.

É claro que, uma vez que todas as publicações estão em formato de acesso aberto, os investimentos atualmente feitos em assinaturas de periódicos podem ser transferidos para cobrir APCs. Mas, no Brasil, as assinaturas de periódicos são negociadas pelo consórcio de bibliotecas da CAPES Periódicos, que fornece acesso a livros, periódicos e bases de dados científicas para instituições de pesquisa de todo o país. Seu orçamento para 2021 é de cerca de US $ 75 milhões, dos quais cerca de 70%  provavelmente serão gastos no acesso de texto completo – ou seja, cerca de US$ 50 milhões. O Brasil publica cerca de 56.000 artigos de periódicos acadêmicos anualmente, portanto, mesmo que todo esse valor fosse destinado a artigos científicos (em detrimento de outros acessos de texto completo que o portal oferece atualmente, como livros), o valor médio disponível por artigo seria menor do que U$ 1.000 (R$ 5.170,18).

Para evitar que a publicação se torne economicamente proibitiva, a pressão pelo acesso aberto acima de todas as outras prioridades de publicação deve ser substituída por uma pressão pela verdadeira inclusão. As medidas necessárias incluem, no mínimo, a extensão de isenções totais para países de renda média-baixa e a extensão de descontos automáticos substanciais para países de renda média-alta como o nosso.

A comunidade científica também deve garantir práticas justas e preços na publicação acadêmica. Consórcios de agências de financiamento nacionais poderiam coletar e analisar os orçamentos dos editores, comparando-os com os custos de publicação estimados e decidindo sobre um preço justo máximo que estão dispostos a pagar.

Em um nível individual, os cientistas devem priorizar periódicos apoiados por sociedades científicas e cientistas ativos em suas áreas, garantindo que pelo menos parte dos lucros dos periódicos retorne à comunidade científica. Idealmente, coletivos de pesquisadores deveriam criar seus próprios periódicos não comerciais “diamantes”, que são gratuitos para autores e leitores, como um grupo de pesquisadores em nossa área, a bioenergética, fez recentemente. Mas os pesquisadores precisarão apoiá-lo; para esse fim, elogiamos o plano francês de apoiar especificamente as lojas de diamantes, em uma tentativa de quebrar o superfaturado “glamour” das revistas.

Como professores bem estabelecidos na América Latina, somos resilientes e capazes de produzir ciência de qualidade em condições desafiadoras. No entanto, se a tendência atual continuar, seremos limitados em nossas opções de publicação pelo preço que podemos pagar. Tememos, em particular, que esse estado de coisas faça com que os resultados de nossos alunos sejam avaliados desfavoravelmente, diminuindo suas chances de obter posições competitivas em todo o mundo, nas quais possam se destacar.

O impulso para o acesso aberto primeiro, sem uma reforma mais abrangente na publicação acadêmica, tornará a ciência um pouco mais acessível. Mas também será muito menos inclusivo.

Alicia Kowaltowski é professora de bioquímica da Universidade de São Paulo . Marcus Oliveira é professor associado de bioquímica médica da Universidade Federal do Rio de Janeiro . Ariel Silber é professor titular de parasitologia e Hernan Chaimovich é professor emérito de química da Universidade de São Paulo .

compass

Este artigo foi inicialmente escrito em inglês e publicado pela Times of Higher Education [Aqui!  ].