Todos os dados devem ser verificados, mas nem todo artigo precisa de um especialista

Por Olavo B. Amaral para a Nature

A revisão por pares não é a melhor maneira de detectar erros e dados problemáticos. Os revisores especialistas são poucos, suas tarefas são inúmeras e não é viável para eles verificar os dados minuciosamente para cada artigo, especialmente quando os dados não são compartilhados. Escândalos como as retratações de 2020 de artigos de alto perfil sobre o COVID-19 por pesquisadores da empresa americana Surgisphere mostram com que facilidade documentos com resultados não verificados podem passar despercebidos.

Como um metapesquisador que estuda revisão por pares, fico impressionado com o quão vago é o conceito. Confunde a avaliação do rigor com a curadoria do que merece espaço em um periódico. Enquanto o primeiro é a chave para manter o registro científico correto, o segundo foi moldado em uma época em que o espaço impresso era limitado.

Para a maioria dos artigos, verificar se os dados são válidos é mais importante do que avaliar se suas alegações são justificadas. São os dados, não as conclusões, que se tornarão a base de evidências para um determinado assunto. Erros não detectados ou resultados fabricados danificarão permanentemente o registro científico.

Não contesto que a revisão por especialistas pode ser crucial para muitas coisas, mas nem todas as pesquisas publicadas precisam ser revisadas por um especialista. Grande parte do controle de qualidade não precisa de um especialista – ou mesmo de um ser humano. Só depois de confirmar que os dados são consistentes é que vale a pena avaliar as conclusões de um artigo.

Dividir a revisão por pares em etapas modulares de controle de qualidade pode melhorar a ciência publicada e, ao mesmo tempo, tornar a revisão menos onerosa. Cada artigo pode receber verificações básicas – por exemplo, se todos os dados estão disponíveis, se os cálculos são válidos e se as análises são reproduzíveis. Mas a revisão por pares por especialistas do domínio seria reservada para artigos que despertam interesse na comunidade ou são selecionados por periódicos. Os especialistas podem ser as melhores pessoas para avaliar as conclusões de um artigo, mas não é realista que cada artigo chame sua atenção. Soluções mais eficientes e amplamente aplicáveis ​​para controle de qualidade permitiriam que os revisores usassem seu tempo de forma mais eficaz, em artigos cujos dados são sólidos.

Algumas verificações básicas podem ser realizadas de forma eficiente por algoritmos. Em 2015, pesquisadores na Holanda desenvolveram o Statcheck , um pacote de software de código aberto que verifica se os valores P citados em artigos de psicologia correspondem às estatísticas de teste. O SciScore – um programa que verifica manuscritos biomédicos quanto a critérios de rigor, como randomização, cegueira de experimentos e autenticação de linha celular – examinou milhares de pré-impressões do COVID-19. E testes como GRIM, SPRITE e o método Carlisle têm sido usados ​​para sinalizar resultados numericamente inconsistentes na literatura clínica.

A descentralização da revisão por pares não é uma ideia nova , mas sua implementação ainda é dificultada pela falta de padronização dos dados. A precisão e a eficiência dos métodos automatizados são limitadas quando são executados em textos ou tabelas não estruturados. Statcheck, por exemplo, só pode fazer seu trabalho porque a American Psychological Association tem uma convenção amplamente usada para descrever resultados estatísticos.

Esse tipo de padronização, atualmente a exceção e não a regra, pode ser aplicado de forma mais ampla, a dados, códigos e metadados. Quando estes são compartilhados em formatos sistemáticos, verificá-los torna-se menos trabalhoso do que revisar artigos. Estima-se que os especialistas gastem mais de 100 milhões de horas por ano em revisão por pares; se pouparem um pouco desse tempo para chegar a um acordo sobre como estruturar os dados em suas áreas, é provável que tenham um impacto maior no controle de qualidade.

Ainda assim, a verificação dos dados não pode garantir que eles foram coletados conforme relatados ou que representam um registro imparcial do que foi observado. Para que isso aconteça, a certificação deve avançar, dos resultados à aquisição de dados – em vez de examinar manuscritos, o controle de qualidade deve visar laboratórios e instalações, conforme proposto por estruturas como Enhancing Quality in Preclinical Data (EQIPD). Isso pode aumentar a transparência e a confiança nos resultados e abrir espaço para que os erros sejam evitados, em vez de detectados tarde demais.

A maior parte do controle de qualidade em nível de processo ainda está a portas fechadas, mas algumas comunidades tomaram medidas para mudar isso. Vários consórcios em genômica, por exemplo, estabelecem padrões coletivos para coleta de dados e metadados. A física de partículas tem uma longa história de análise cega de dados por equipes independentes. E centros de reprodutibilidade, como o QUEST Center no Instituto de Saúde de Berlim em Charité, foram criados para supervisionar processos em vários grupos de pesquisa em suas instituições.

Esses esforços sistemáticos não se tornarão parte integrante do processo científico, a menos que instituições e agências de financiamento concedam a eles o status atualmente desfrutado pela revisão por pares de periódicos. Se essas organizações recompensarem os pesquisadores por terem aspectos específicos de seus resultados certificados, elas poderão criar um mercado para que esses serviços modulares prosperem.

Natureza 611 , 637 (2022)

doi: https://doi.org/10.1038/d41586-022-03791-5

---

Este texto escrito originalmente em inglês foi publicado pela Nature [Aqui!].