Critérios adotados para o sistema de avaliação de publicações científicas promovem distorções cujos impactos alcançam inclusive outras instâncias, como classificação de artigos de candidatos a concursos. Indicador deve ser visto como um meio, não um fim em si mesmo

Por Marcelo Takeshi Yamashita para o “Jornal da Unesp”

A Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), órgão vinculado ao Ministério da Educação (MEC), tem, entre outras responsabilidades, a de zelar pela qualidade dos programas de pós-graduação brasileiros, o que implica a produção, ainda que de forma implícita, de juízos de valor sobre a qualidade da produção acadêmica e científica do país. Os rankings de pós-graduação publicados periodicamente pela Capes são aguardados com ansiedade, celebrados (e até temidos) por instituições públicas e privadas.

Os processos de avaliação utilizados valem-se de indicadores quantitativos e qualitativos que buscam trazer objetividade – números verificáveis e critérios bem-definidos – que, em tese, deixam de fora os preconceitos e favoritismos peculiares das pessoas físicas envolvidas na execução do processo. Um desses critérios é a lista Qualis, um ranking de classificação das revistas indexadas onde pesquisadores de instituições com pós-graduação publicam seus artigos.

No fim de 2022, a Capes anunciou que começaria a adotar uma nova lista, baseada na avaliação quadrienal 2017-2020. A despeito de os critérios de classificação terem mudado ao longo do tempo, não é de hoje que esse ranking de revistas científicas é alvo de críticas. Desta vez, a nova lista gerou reações negativas de pesquisadores de diversas áreas e a criação de um abaixo-assinado.

De acordo com a Capes, a lista Qualis é utilizada exclusivamente para avaliação dos programas de pós-graduação, sendo que o ordenamento das revistas é feito através da aferição das suas qualidades. O ranking classifica os periódicos científicos nos seguintes grupos (do melhor para o pior): A1, A2, A3, A4, B1, B2, B3, B4 e C. Artigos publicados em veículos que não constam da lista, ou em revistas do grupo C, são desconsiderados.

Um sistema que vincula a qualidade de um artigo científico unicamente ao local onde está publicado é bem questionável. O Clay Mathematics Institute é uma fundação privada de fomento a atividades que promovam a matemática. Dentre as suas ações está o pagamento de um prêmio de um milhão de dólares por cada solução de qualquer um dos “Problemas do Millenium”. Esses problemas, um total de sete, envolvem questões complicadíssimas relacionadas à matemática pura, alguns deles sem solução há mais de 100 anos.

Um dos problemas do milênio, a conjectura de Poincaré, foi resolvido em 2002 pelo matemático russo Grigori Perelman. O artigo, com a assinatura de Grisha Perelman, foi publicado no arxiv.org, uma base de acesso aberto onde pesquisadores publicam artigos ainda “crus”, para torná-los públicos antes de submetê-los a algum periódico científico. A complexidade da solução do problema fez com que levasse alguns anos para que a demonstração fosse reconhecida como válida pela comunidade de matemáticos. Mas, afinal, em qual revista Perelman publicou o artigo?

A resposta é: nenhuma. Grisha não somente não quis publicar em periódicos – preferiu compartilhar o conhecimento em uma plataforma de acesso aberto – como recusou prêmios do calibre da Medalha Fields (análogo ao Nobel concedido para a área de matemática). Este exemplo de Perelman (e existem outros) mostra que não há conexão intrínseca entre a qualidade de um artigo e o local de publicação.

Indicadores usados na definição e implementação de políticas públicas precisam (e isto deveria ser óbvio) ter validade – isto é, realmente medir o que se pressupõe que está sendo medido. Uma régua não é um instrumento válido para medir pressão atmosférica, por exemplo. Para o ranqueamento de revistas, porém, algumas comissões que elaboraram o ranking Qualis utilizaram o chamado Fator de Impacto (FI) – um parâmetro que não está relacionado à qualidade da revista.

O FI é um indicador bibliométrico que atribui um número ao periódico com base na quantidade de citações dos artigos publicados. O cálculo é feito tomando-se o total de citações, em determinado ano, dos artigos publicados nos dois anos anteriores, dividido pelo número de artigos publicados nesse mesmo período. Por exemplo:

A = Total de citações em 2020

B = Citações, em 2020, dos artigos publicados em 2019 e 2018 (subgrupo de A)

C = Artigos publicados em 2019 e 2018

D = B/C = Fator de impacto de 2020

O FI de uma revista pode ser definido por apenas uns poucos artigos que recebam muitas citações. Quando se assume o fator de impacto como representativo da qualidade de uma revista (pressupondo, por um momento, que o número de citações seja um indicador válido de qualidade, algo em si discutível) incorre-se em erro, pois boa parte dos artigos publicados naquele periódico sequer recebeu uma única citação.

Adotar o FI, ou outro fator estritamente numérico, pode gerar anomalias como a apontada pelo físico Silvio Salinas no Boletim da Sociedade Brasileira de Física, em 2009, no texto “Quo Vadis, Qualis?”, do qual reproduzo alguns trechos a seguir:

“Francamente, acho que atingimos um limite perigoso, que coloca em risco o próprio conceito de avaliação. Por exemplo, o que significa classificar Physical Review D como A2 e Physical Review B como B1? Por acaso os particuleiros são melhores do que os solidistas? […] Acho que está na hora de refletir sobre essa numerologia, que pouco a pouco se acentua em todas as áreas, impulsionada pelas facilidades da informática e por uma vaga ideia de globalização”.

Apesar de as avaliações não utilizarem unicamente o FI para composição do Qualis, ele continua tendo um papel relevante na classificação dos periódicos. Ainda que haja a utilização de outros indicadores para o estabelecimento desse ranking, a avaliação qualitativa permanece comprometida. O problema de uma mesma revista ser classificada em estratos de Qualis diferentes, como apontado lá em 2009, ainda persiste (por exemplo, Physics Letters A é A3 e Physics Letters B é A2).

Poderíamos descrever longamente aqui os critérios Qualis das diferentes áreas de conhecimento – cada área tem os seus, e todos são passíveis de alguma crítica. Talvez isso mostre que existe um problema inerente ao modelo, que busca objetividade e pragmatismo em uma avaliação que deveria ser o oposto disso. Os indicadores deveriam ser utilizados como meio, e não fim. A avaliação da qualidade de um artigo vai muito além do local onde está publicado e demanda leitura atenta de alguém que tenha algum conhecimento da área de pesquisa.

Outro efeito colateral negativo da canonização de um ranking de revistas por um órgão como a Capes é a utilização dessa lista por outras instâncias e para finalidades para as quais ela não foi pensada. Utilizar o Qualis para avaliações individuais como, por exemplo, a classificação de artigos publicados por candidatos a concursos, atribuindo uma pontuação maior para uma publicação em Qualis A1 do que A3, pode acabar influenciando o direcionamento das pesquisas para periódicos mais bem avaliados, quando o que deveria ser levado em conta pelo pesquisador é a pertinência do artigo à revista.

Antes que a proposta de tornar as avaliações mais qualitativas seja vista como uma utopia, é importante lembrar que a Fapesp (Fundação de Amparo à Pesquisa do Estado de São Paulo) solicita que em todos os pedidos de auxílio seja anexada uma súmula curricular do pesquisador. Neste documento deve-se constar uma lista de até cinco resultados de pesquisa mais relevantes e de maior impacto.

Uma iniciativa semelhante à da Fapesp poderia ser adotada para todas as avaliações, inclusive a dos programas de pós-graduação. Isso tornaria o trabalho dos avaliadores menos árduo e seria possível realmente avaliar a qualidade do que é submetido, reduzindo inclusive a dependência de indicadores externos – muitos deles, gerados por empresas que cobram para fornecer os números.

Recentemente, tomando como exemplo o modelo atual de orientação de alunos de doutorado, a Nature publicou um editorial defendendo a necessidade dos pesquisadores e das universidades se adaptarem às expectativas da sociedade. Sobre o Qualis, remeto novamente ao texto do professor Salinas: “Entretanto, nos dez anos de uso ele tem sido mudado para não mudar… Ou seja, o ‘sarrafo’ muda de posição, mas a lógica da avaliação continua a mesma, exacerbando a importância de um dos aspectos da pós-graduação e subjugando a relevância sob indicadores erigidos em critérios finais e únicos”. Isso foi lá em 2009. Será que estamos muito diferentes em 2023?

Marcelo Takeshi Yamashitaé assessor-chefe da Assessoria de Comunicação e Imprensa da Unesp. Foi diretor do Instituto de Física Teórica (IFT) no período de 2017 a 2021.

---

Este texto foi originalmente publicado pelo “Jornal da UNESP” [Aqui! ].