Métricas e lixo científico: porque o fator de impacto não é necessariamente uma boa medida de qualidade

fator

Estou cada vez mais convencido de que precisamos mudar a forma de avaliar o que são produções científicas efetivamente qualificadas, sem precisarmos cair nas muletas intelectuais rotuladas de “Fator de Impacto”. Antes que me acusem de ser um crítico invejoso dos que conseguem publicar em revistas com alto fator de impacto, as quais supostamente representam o cume da realização acadêmica, deixem-me compartilhar uma pequena experiência pessoal.

Essa experiência começou com um esforço que eu e dois colegas da Universidade Nacional de Brasília (UNB) estamos realizando para produzir um bom artigo científico sobre a expansão da monocultura  da soja na Amazônia ocidental, especificamente em Rondônia.   Estamos envolvidos nessa labuta há mais de um ano, e a primeira vez que submetemos o trabalho a uma revista de boa reputação, levamos um bonito toco. É que nos dito que o artigo carecia de algo que as revistas mais concorridas prezam muito atualmente, qual seja, um certo charme mercadológico.  Em termos práticos, a nossa primeira versão do artigo estaria muito centrada numa análise regional, e os editores das melhores revistas atualmente preferem análises mais generalizáveis.

Pois bem, após refazermos as análises dos dados, eis que nos defrontamos com o aspecto do interesse pelo nosso “produto”, já que no tocante ao avanço da soja na Amazônia brasileira está em voga dizer que não há impacto sobre as áreas ainda coberta por florestas, visto que essa monocultura só seria implantada em áreas já anteriormente desmatadas para o estabelecimento de outras culturas agrícolas ou para o estabelecimento da pecuária. De quebra, há ainda um aparente consenso de que a política chamada “Moratória da soja” produziu efeitos positivos no avanço do desmatamento de áreas cobertas por florestas nativas.

Como de praxe, buscamos realizar uma procura na literatura para melhor contextualizar os nossos resultados, e eis que nesse esforço encontramos um artigo publicado numa revista científica de acesso aberto que fazia considerações positivas sobre a eficácia da moratória da soja.  E importante notar, a mesma revista possui um bom fator de impacto no ranking conhecido como “Journal Citation Report” que é produzido pela megaeditora Thomson Reuters. Como utilizo sempre a “Lista de Beall” para verificar se determinadas revistas são publicadas por editores predatórios (Aqui!), fui lá e não deu outra, o editor da tal revista é apontada como predatório pelo professor Jeffrey Beall.

Este aparente paradoxo me levou a realizar uma pesquisa direta ao prof. Beall que, gentilmente, me respondeu que o editor em questão, o MDPI ( Aqui!), é efetivamente um predatório cujas decisões de publicação residem na capacidade dos autores pagarem para que isto ocorra. Quanto ao alto fator de impacto da revista, o professor Beall atribui isso à diferentes estratégias utilizadas da MDPI para elevar o nível de citação de seus artigos, a começar pelo uso de edições especiais e outros truques editoriais. Em função disso é que o professor Beall apontou que o “fator de impacto” não é uma medida de qualidade científica.

Resolvido em parte o enigma, verifiquei como anda o ritmo de citação do artigo em que os autores tecem loas à moratória da soja, notei que o mesmo foi igualmente bem citado no Web of Science da Thomson Reuters e no Scopus que é impulsionado por outra megaeditora cientifica, a Elsevier.  Diante disso, é que fiquei me perguntando quantos dos autores que utilizaram o trabalho publicado pela MDPI de forma crítica (ou seja, quantos questionaram os resultados ali apresentados) e quantos simplesmente  o assumiram como fonte válida de evidência científica.  

De forma provisória, já que não chequei os artigos que citaram o trabalho em questão, prognostico que a maioria assumiu os resultados como verdade, já que aceitar a tese da “moratória da soja” é um desses modismos que invadiu de sopetão os estudos sobre o avanço do desmatamento na Amazônia Brasileira.  E se isso, se confirmar, já que efetivamente vou verificar cada um desses estudos, estaremos diante de uma brecha inaceitável  para valorização indevida de revistas e editores predatórios em uma área que julgo estratégica não apenas para o Brasil, mas para todos os que perseguem usos social e ambientalmente sustentáveis dos ecossistemas existentes nas regiões tropicais.

De todo modo, se antes desse episódio eu já desconfiava da eficácia do Fator de Impacto para medir qualidade científica, agora não tenho mais dúvidas de sua pouca ou nenhuma utilidade para conduzir uma aferição válida de “qualidade”, mas quando muito da quantidade de citações. E olhe lá.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s