Gabriela Trindade Perry, docente do Programa de Pós-graduação em Informática na Educação DA UFRGS, faz ponderações a respeito de ofício da Capes com propostas de mudanças na avaliação de periódicos

*Ilustração: Kezia Mausolf/ Programa de Extensão Histórias e Práticas Artísticas, DAV-IA/UFRGS

Por Gabriela Trindade Perry

O  Ofício Circular n.º 46/2024-DAV/CAPES, de 03 de outubro, mudou a forma como avaliamos a produção científica nacional. No 2.° parágrafo, lemos que a nova classificação não usará o Qualis, mas, sim, “indicadores bibliométricos” do artigo e do periódico, além de uma “análise qualitativa”.  

Eu não me surpreenderia se essa medida fosse bem recebida. Acredito que todos os envolvidos com produção científica tenham críticas ao Qualis na ponta da língua – por exemplo: periódicos cuja classificação em estratos elevados é injustificada e a inclusão no Qualis de revistas claramente predatórias. Meu ponto é que admitir que o Qualis tem problemas e limitações não implica que deveríamos abrir mão de um sistema nacional de avaliação quantitativa de qualidade da pesquisa, em favor dos tais “indicadores bibliométricos” que o ofício menciona. 

Esses “indicadores bibliométricos” parecem neutros, isonômicos e de fácil obtenção, pois o conceito por trás deles é muito simples: um artigo citado muitas vezes é melhor que um artigo citado poucas vezes. Certamente é preciso fazer ajustes, considerando a data de publicação, o histórico de publicações de cada pesquisador e a área na qual o artigo é classificado. Existem métricas que ajustam estes e outros parâmetros, tais como: atribuir uma janela de n anos para a contagem de citações, o índice-H e métricas da iniciativa Snowball, como Field-Weighted Citation Impact. Mas só é possível obter essas métricas se conseguirmos fazer a contagem das citações – e isso é absurdamente complexo e caro. 

Em primeiro lugar, a contagem só é feita considerando os documentos indexados pela plataforma fornecedora da métrica – vou falar das três que conheço: RELX (Scopus e Elsevier), Clarivate (JCR e Web of Science) e Google. Por esse motivo, a quantidade de citações de um mesmo artigo é diferente, já que essas plataformas não indexam os mesmos periódicos e têm procedimentos diferentes para fazer a contagem. O Google conta até mesmo citações feitas em pôsteres de feira de ciências, e por isso a quantidade de citações reportada é muito maior. Da mesma forma, o índice-H de um pesquisador é muito maior no Google do que na Scopus ou na Web of Science. Sendo assim, caso a Capes passe a usar “indicadores bibliométricos”, quem escolherá o fornecedor do indicador? Se a contagem for a do Google, talvez estivéssemos mais bem amparados pelo Qualis, que, bem ou mal, tem algum controle de qualidade. Contudo, como no currículo Lattes (integrado à plataforma Sucupira) constam as quantidades de citação da Scopus e da Web of Science, provavelmente serão estes os indicadores utilizados.  

Uma vez esclarecido o que são “indicadores bibliométricos”, vamos a um dos argumentos em favor da mudança na metodologia de avaliação: o fortalecimento dos periódicos nacionais e o acesso aberto à ciência.

Em relação a esse ponto, faço duas observações: (1) periódicos publicados por grandes editoras (tais como Springer, Taylor & Francis, Elsevier e Wiley) costumam cobrar dos leitores pelo acesso, ou dos autores pela publicação, e, em algumas áreas, o usual é que os periódicos de acesso aberto cobrem taxas de publicação; e (2) poucos periódicos nacionais estão indexados na Scopus e na Web of Science.  

Em relação à cobrança de taxas, podemos usar a tabela de APC (Article Processing Charges) da Elsevier para ver que a APC média é $2.500,00. É importante lembrar que, antes de pagar a taxa de publicação, a maioria dos autores precisará gastar com tradução, pois revistas com alto fator de impacto costumam exigir inglês impecável. Convém lembrar que a Portaria n.º 120, de 26 de abril de 2024, prevê a possibilidade de custear as taxas de publicação e que a Capes empenhou mais de $820.000,00 a Elsevier pelo acesso aos seus periódicos, de 2023 a 2025, além de diversos empenhos de objetivo semelhante com diversas outras empresas. 

Finalmente, em relação à indexação dos periódicos brasileiros nas plataformas da Scopus e Web of Science, não foi possível obter a lista de periódicos brasileiros – nem mesmo usando a Lei de Acesso à Informação. É possível, contudo, estimar a quantidade de periódicos brasileiros indexados cruzando os periódicos indexados pelo Qualis e a lista de periódicos indexados pela Scopus – dados disponíveis publicamente na internet.

A Scopus indexa pouco mais de 46.500 periódicos, e o Qualis 2017-2020 lista pouco mais de 31.300 títulos únicos. Supus que todos os periódicos brasileiros estavam listados no Qualis; logo, ao mesclar os ISSN do Qualis e da Scopus, obtive uma lista que contém pelo menos todos os periódicos brasileiros indexados pela Scopus (além de muitos outros periódicos estrangeiros nos quais pesquisadores brasileiros publicaram nesse quadriênio). Removi os periódicos que não estavam ativos em 2024 da Scopus e os que estavam classificados como “Trade jornal”. Por último, listei manualmente os nomes de editoras que indicavam ser estrangeiras (por exemplo “University of Coimbra” e “El Colegio Mexiquense”), e removi os periódicos por elas editados. Ao final do processo, restaram apenas 244 periódicos.

De forma semelhante, a classificação dos periódicos nas áreas do conhecimento também não é um processo objetivo, já que essa classificação não está presente na planilha do Qualis. Muitos dos títulos e sites dos periódicos não informam claramente a área, de modo que a classificação também pode ter equívocos. Mesmo admitindo algum erro, fica claro que muitas áreas estão sub-representadas. Treze áreas têm menos de 5 periódicos brasileiros indexados, sete têm entre 10 e 19 e apenas uma tem mais de 20. É preciso considerar que algumas áreas têm subdivisões, como Medicina, Ciências Agrárias, Ciências Biológicas e Engenharias. Os periódicos não indexados deixarão de ser vistos como veículos interessantes e, a menos que sejam resgatados pela “análise qualitativa” mencionada no ofício da Capes, podem desaparecer.

Finalmente, é necessário refletir se vale a pena delegar a empresas privadas estrangeiras a avaliação da nossa produção científica, pois isso nos deixa sujeitos aos interesses de empresas e à legislação de outro país em um assunto sensível e estratégico.

Se, por um lado, o rigor na obtenção das métricas baseadas em contagem é fundamental para o sucesso do modelo de negócio dessas empresas, o monopólio também é. RELX e Clarivate detêm um oligopólio da avaliação científica mundial, e não há motivo para supor que deixarão de usar isso para aumentar seus lucros. Algumas possibilidades são a venda de palavras-chave, de espaço de anúncio e criação de lista de tópicos mais buscados. Não é difícil, por exemplo, imaginar empresas de fertilizantes pagando por impulsionamento de artigos para que eles sejam listados nas primeiras páginas de buscas que incluírem tais-e-tais palavras-chave. Também não é difícil imaginar como o acesso de um país inteiro à produção científica poderia ser interrompido em caso de embargos – mesmo que esse país seja um colaborador ativo. Em resumo, a mesma estratégia usada pelo Google e pelas redes sociais para promover engajamento pode ser aplicável a essas plataformas. 

Encerro manifestando a certeza de que a Capes levou esses dados em consideração – além de muitos outros que pessoas (como eu) fora dos círculos de decisão não têm acesso –, bem como a esperança de estar enganada em relação aos meus prognósticos. 

Fonte: UFRGS