Clarivate

O que vamos colocar no lugar do Qualis?

/ Marcos Pędłowski / Deixe um comentário

 Gabriela Trindade Perry, docente do Programa de Pós-graduação em Informática na Educação DA UFRGS, faz ponderações a respeito de ofício da Capes com propostas de mudanças na avaliação de periódicos

ILUSTRACAO-qualis-POR-Kezia-Mausolf1*Ilustração: Kezia Mausolf/ Programa de Extensão Histórias e Práticas Artísticas, DAV-IA/UFRGS

Por Gabriela Trindade Perry

O  Ofício Circular n.º 46/2024-DAV/CAPES, de 03 de outubro, mudou a forma como avaliamos a produção científica nacional. No 2.° parágrafo, lemos que a nova classificação não usará o Qualis, mas, sim, “indicadores bibliométricos” do artigo e do periódico, além de uma “análise qualitativa”.  

Eu não me surpreenderia se essa medida fosse bem recebida. Acredito que todos os envolvidos com produção científica tenham críticas ao Qualis na ponta da língua – por exemplo: periódicos cuja classificação em estratos elevados é injustificada e a inclusão no Qualis de revistas claramente predatórias. Meu ponto é que admitir que o Qualis tem problemas e limitações não implica que deveríamos abrir mão de um sistema nacional de avaliação quantitativa de qualidade da pesquisa, em favor dos tais “indicadores bibliométricos” que o ofício menciona. 

Esses “indicadores bibliométricos” parecem neutros, isonômicos e de fácil obtenção, pois o conceito por trás deles é muito simples: um artigo citado muitas vezes é melhor que um artigo citado poucas vezes. Certamente é preciso fazer ajustes, considerando a data de publicação, o histórico de publicações de cada pesquisador e a área na qual o artigo é classificado. Existem métricas que ajustam estes e outros parâmetros, tais como: atribuir uma janela de n anos para a contagem de citações, o índice-H e métricas da iniciativa Snowball, como Field-Weighted Citation Impact. Mas só é possível obter essas métricas se conseguirmos fazer a contagem das citações – e isso é absurdamente complexo e caro. 

Em primeiro lugar, a contagem só é feita considerando os documentos indexados pela plataforma fornecedora da métrica – vou falar das três que conheço: RELX (Scopus e Elsevier), Clarivate (JCR e Web of Science) e Google. Por esse motivo, a quantidade de citações de um mesmo artigo é diferente, já que essas plataformas não indexam os mesmos periódicos e têm procedimentos diferentes para fazer a contagem. O Google conta até mesmo citações feitas em pôsteres de feira de ciências, e por isso a quantidade de citações reportada é muito maior. Da mesma forma, o índice-H de um pesquisador é muito maior no Google do que na Scopus ou na Web of Science. Sendo assim, caso a Capes passe a usar “indicadores bibliométricos”, quem escolherá o fornecedor do indicador? Se a contagem for a do Google, talvez estivéssemos mais bem amparados pelo Qualis, que, bem ou mal, tem algum controle de qualidade. Contudo, como no currículo Lattes (integrado à plataforma Sucupira) constam as quantidades de citação da Scopus e da Web of Science, provavelmente serão estes os indicadores utilizados.  

Uma vez esclarecido o que são “indicadores bibliométricos”, vamos a um dos argumentos em favor da mudança na metodologia de avaliação: o fortalecimento dos periódicos nacionais e o acesso aberto à ciência.

Em relação a esse ponto, faço duas observações: (1) periódicos publicados por grandes editoras (tais como Springer, Taylor & Francis, Elsevier e Wiley) costumam cobrar dos leitores pelo acesso, ou dos autores pela publicação, e, em algumas áreas, o usual é que os periódicos de acesso aberto cobrem taxas de publicação; e (2) poucos periódicos nacionais estão indexados na Scopus e na Web of Science.  

Em relação à cobrança de taxas, podemos usar a tabela de APC (Article Processing Charges) da Elsevier para ver que a APC média é $2.500,00. É importante lembrar que, antes de pagar a taxa de publicação, a maioria dos autores precisará gastar com tradução, pois revistas com alto fator de impacto costumam exigir inglês impecável. Convém lembrar que a Portaria n.º 120, de 26 de abril de 2024, prevê a possibilidade de custear as taxas de publicação e que a Capes empenhou mais de $820.000,00 a Elsevier pelo acesso aos seus periódicos, de 2023 a 2025, além de diversos empenhos de objetivo semelhante com diversas outras empresas. 

Finalmente, em relação à indexação dos periódicos brasileiros nas plataformas da Scopus e Web of Science, não foi possível obter a lista de periódicos brasileiros – nem mesmo usando a Lei de Acesso à Informação. É possível, contudo, estimar a quantidade de periódicos brasileiros indexados cruzando os periódicos indexados pelo Qualis e a lista de periódicos indexados pela Scopus – dados disponíveis publicamente na internet.

A Scopus indexa pouco mais de 46.500 periódicos, e o Qualis 2017-2020 lista pouco mais de 31.300 títulos únicos. Supus que todos os periódicos brasileiros estavam listados no Qualis; logo, ao mesclar os ISSN do Qualis e da Scopus, obtive uma lista que contém pelo menos todos os periódicos brasileiros indexados pela Scopus (além de muitos outros periódicos estrangeiros nos quais pesquisadores brasileiros publicaram nesse quadriênio). Removi os periódicos que não estavam ativos em 2024 da Scopus e os que estavam classificados como “Trade jornal”. Por último, listei manualmente os nomes de editoras que indicavam ser estrangeiras (por exemplo “University of Coimbra” e “El Colegio Mexiquense”), e removi os periódicos por elas editados. Ao final do processo, restaram apenas 244 periódicos.

De forma semelhante, a classificação dos periódicos nas áreas do conhecimento também não é um processo objetivo, já que essa classificação não está presente na planilha do Qualis. Muitos dos títulos e sites dos periódicos não informam claramente a área, de modo que a classificação também pode ter equívocos. Mesmo admitindo algum erro, fica claro que muitas áreas estão sub-representadas. Treze áreas têm menos de 5 periódicos brasileiros indexados, sete têm entre 10 e 19 e apenas uma tem mais de 20. É preciso considerar que algumas áreas têm subdivisões, como Medicina, Ciências Agrárias, Ciências Biológicas e Engenharias. Os periódicos não indexados deixarão de ser vistos como veículos interessantes e, a menos que sejam resgatados pela “análise qualitativa” mencionada no ofício da Capes, podem desaparecer.

Finalmente, é necessário refletir se vale a pena delegar a empresas privadas estrangeiras a avaliação da nossa produção científica, pois isso nos deixa sujeitos aos interesses de empresas e à legislação de outro país em um assunto sensível e estratégico.

Se, por um lado, o rigor na obtenção das métricas baseadas em contagem é fundamental para o sucesso do modelo de negócio dessas empresas, o monopólio também é. RELX e Clarivate detêm um oligopólio da avaliação científica mundial, e não há motivo para supor que deixarão de usar isso para aumentar seus lucros. Algumas possibilidades são a venda de palavras-chave, de espaço de anúncio e criação de lista de tópicos mais buscados. Não é difícil, por exemplo, imaginar empresas de fertilizantes pagando por impulsionamento de artigos para que eles sejam listados nas primeiras páginas de buscas que incluírem tais-e-tais palavras-chave. Também não é difícil imaginar como o acesso de um país inteiro à produção científica poderia ser interrompido em caso de embargos – mesmo que esse país seja um colaborador ativo. Em resumo, a mesma estratégia usada pelo Google e pelas redes sociais para promover engajamento pode ser aplicável a essas plataformas. 

Encerro manifestando a certeza de que a Capes levou esses dados em consideração – além de muitos outros que pessoas (como eu) fora dos círculos de decisão não têm acesso –, bem como a esperança de estar enganada em relação aos meus prognósticos. 

Fonte: UFRGS

Cartéis de citações ajudam alguns matemáticos – e suas universidades – a subir nos rankings acadêmicos de forma fraudulenta

/ Marcos Pędłowski / Deixe um comentário

citationrankings

A.Mastin/Science 

Por Michele Catanzaro para a Science

Grupos de matemáticos em instituições na China, na Arábia Saudita e em outros países têm aumentado artificialmente a contagem de citações dos seus colegas, produzindo artigos de baixa qualidade que referenciam repetidamente o seu trabalho, de acordo com uma análise não publicada vista pela Science . Como resultado, as suas universidades – algumas das quais não parecem ter departamentos de matemática – produzem agora um maior número de trabalhos de matemática altamente citados todos os anos do que escolas com um forte historial na área, como as universidades de Stanford e Princeton.

Estes chamados “cartéis de citações” parecem estar a tentar melhorar a classificação das suas universidades, de acordo com especialistas em práticas de publicação. “Os riscos são elevados – as mudanças nas classificações podem custar ou gerar às universidades dezenas de milhões de dólares”, afirma Cameron Neylon, professor de comunicação de investigação na Curtin University. “É inevitável que as pessoas quebrem e quebrem as regras para melhorar a sua posição.” Em resposta a tais práticas, a editora analítica Clarivate excluiu todo o campo da matemática da edição mais recente da sua lista influente de autores de artigos altamente citados, publicada em novembro de 2023.

A nova análise surpreendente é o trabalho de Domingo Docampo, um matemático da Universidade de Vigo com um interesse de longa data em sistemas de classificação universitária. Nos últimos anos, Docampo percebeu que a lista de pesquisadores altamente citados (HCRs) da Clarivate estava sendo gradualmente substituída por matemáticos menos conhecidos. “Tinha gente que publicava em revistas que nenhum matemático sério lê, cujo trabalho era citado em artigos que nenhum matemático sério leria, vindos de instituições que ninguém conhece em matemática”, diz ele. Então ele decidiu investigar os dados da Clarivate dos últimos 15 anos para explorar exatamente quais universidades publicavam artigos altamente citados e quem os citava.

Os dados mostraram que entre 2008 e 2010, instituições como a Universidade da Califórnia, Los Angeles (UCLA) e Princeton produziram o maior número de artigos de matemática altamente citados (definidos como o 1% mais citado pelo número de citações), com 28 e 27, respectivamente. Mas entre 2021 e 2023, instituições com pouca tradição matemática, muitas delas baseadas na China, na Arábia Saudita e no Egipto, substituíram-nas. Neste período, a China Medical University, em Taiwan, liderou a lista com 95 artigos de matemática altamente citados – em comparação com nenhum na década anterior. A UCLA, por sua vez, teve apenas um único artigo altamente citado.

Docampo encontrou padrões que sugeriam que cartéis de citações estavam em ação. O mais revelador é que as citações aos principais artigos muitas vezes vieram de pesquisadores da mesma instituição que os autores dos artigos citados. Por exemplo, entre 2021 e 2023, duas editoras prolíficas de artigos altamente citados – a China Medical University e a King AbdulAziz University, que ostentava 66 artigos importantes nesse período – também publicaram, cada uma, centenas de estudos referenciando artigos altamente citados. Os estudos que faziam referência a artigos altamente citados também eram publicados regularmente em periódicos predatórios, descobriu Docampo, onde práticas de citação desonestas podem ser mais facilmente aceitas.

Outros cientistas concordam que as evidências apontam para uma manipulação generalizada de citações. “Temos vários investigadores a tentar aumentar artificialmente as suas citações de uma forma que não reflete de forma alguma a sua qualidade científica”, diz Helge Holden, presidente do comitê do Prêmio Abel, um dos mais prestigiados prémios em matemática. “Isso só pode ser condenado.”

Yueh-Sheng Chen, secretário-chefe da Universidade Médica da China, diz que sua universidade não se envolveu na prática. “Não sabemos nada sobre a citação direcionada e não estamos envolvidos em tal manipulação”, diz ele. O envolvimento de “especialistas e académicos de renome internacional em áreas como a matemática aplicada” faz parte da abordagem interdisciplinar da instituição à medicina, acrescenta. A Universidade King AbdulAziz não respondeu ao pedido de comentários da Science .

A Clarivate se recusou a comentar o assunto. No entanto, em declarações online sobre a sua decisão de excluir matemáticos da lista mais recente do HCR , a empresa diz estar preocupada com “estratégias para optimizar o estatuto e as recompensas através da publicação e da manipulação de citações, especialmente através da citação direccionada de artigos publicados muito recentemente”. A matemática é especialmente vulnerável à manipulação porque o campo é pequeno, escreve a empresa. “A taxa média de publicação e citação é relativamente baixa, portanto pequenos aumentos na publicação e citação tendem a distorcer a representação e análise do campo geral.”

Mas a manipulação de citações também está acontecendo em outras disciplinas maiores, diz Félix de Moya Anegón, bibliometrista da Universidade de Granada – mas não é tão visível. Ilka Agricola, presidente do Comité de Informação Eletrónica e Comunicação da União Matemática Internacional, teme que, ao destacar a matemática, Clarivate possa ter transmitido a impressão de que o campo está infiltrado por “cientistas fraudulentos”. “Lamentamos muito que nenhuma outra opção tenha sido vista senão não listar mais a matemática”, diz ela.

A Clarivate afirma que está a receber “conselhos de especialistas externos… para discutir a nossa abordagem futura à análise deste campo”. A Docampo está trabalhando em uma métrica mais refinada, que pondera as citações de acordo com a qualidade dos periódicos e instituições citantes.

Outros pesquisadores dizem que a manipulação de citações é simplesmente um sintoma de um sistema de avaliação falho. As citações e métricas semelhantes não são suficientemente refinadas para monitorizar o desempenho individual, diz Ismael Rafols, investigador do Centro de Estudos de Ciência e Tecnologia da Universidade de Leiden, e as pessoas vão sempre encontrar formas de burlar o sistema. Holden concorda: “O resultado final é que as citações não são uma boa medida da qualidade científica”.

doi: 10.1126/science.zcl2s6d
color compass
 

Este texto escrito inicialmente em inglês foi publicado pela revista Science [Aqui!].

Corrida por “impacto” torna academia refém de grupos editoriais

/ Marcos Pędłowski / Deixe um comentário

Centros de pesquisa e governos pagam bilhões de dólares a editoras de periódicos científicos por acesso a artigos cujos custos de produção, muitas vezes, eles mesmos financiaram. Decisão da Universidade de Sorbonne de afastar-se deste modelo mostra necessidade de rediscutir espiral de dependência voluntária em que a própria comunidade científica se colocou

periodicoscapa

Por Marcelo Takeshi Yamashita  

No último 8 de dezembro, a Universidade de Sorbonne anunciou que em 2024 vai deixar de assinar o serviço Web of Science, uma plataforma que agrega dados e artigos de várias revistas científicas, e também interromperá o contrato com os demais produtos da Clarivate, uma empresa de serviços relacionados à publicação científica e propriedade intelectual, com produtos voltados principalmente para o meio acadêmico, entre eles a Web of Science.

Com um faturamento anual na casa dos bilhões de dólares, editoras de periódicos científicos são pagas por agências públicas, instituições de ensino e pesquisa e governos para disponibilizar o acesso a artigos científicos, muitos deles financiados pelos próprios clientes: as agências de fomento financiam a pesquisa, pagam às editoras para publicar o artigo (caso a publicação se dê na modalidade de acesso aberto) ou pagam para acessá-lo (no caso de acesso restrito). Se isto parece estranho para alguém não acostumado com os trâmites da pesquisa universitária, é simplesmente porque é mesmo esquisito.

Apesar desses serviços serem importantíssimos para a maioria dos pesquisadores, o custo é elevado. Para se ter uma ideia, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) paga perto de R$ 48 milhões por ano para que pesquisadores de diversas universidades possam acessar revistas científicas. É, portanto, inevitável refletir sobre a conveniência de manter essa espiral de dependência voluntária em que a própria comunidade científica se colocou.

Em outro contexto mais abrangente, já que neste caso a interrupção dos serviços traria um problema generalizado, atingindo setores além da pesquisa científica, o Google começou a cobrar caro para manter dados na nuvem. Isto requer decisões complicadas por parte dos gestores, com restrições rigorosas de disponibilização de espaço, principalmente por não haver uma alternativa que dê conta dos arquivos que estão sob a guarda de empresas que estão no seu direito de estabelecer políticas de uso e preços para seus produtos.

Deve haver, é claro, um ponto intermediário entre a dependência plena e a desconexão total. No caso das publicações científicas, porém, é preciso que haja algum movimento, principalmente das agências de fomento, no sentido de mostrar para a comunidade científica que existe vontade de mudar o cenário de subserviência.

A necessidade que se impõe aos pesquisadores, em boa parte pelas exigências das políticas de concessão de auxílios à pesquisa, acaba criando um preocupante vínculo entre riqueza e pesquisa. Paga-se caro não somente para consultar os artigos, mas também para publicá-los nas revistas que são consideradas “boas” – valores que muitas vezes são abusivos e não se justificam: os pareceristas não são remunerados e o artigo não passa de umas poucas páginas em formato digital.

Movimentos drásticos vindos de universidades, similares ao da Sorbonne, podem dificultar a vida dos pesquisadores se as agências que estabelecem o destino do dinheiro continuarem a valorizar somente revistas onde se paga R$ 60 mil para publicar um artigo em acesso aberto. Nesses casos, por exemplo, o discurso retoricamente bonito de valorização da qualidade do trabalho torna-se vazio no momento em que os editais descartam deliberadamente, sem análise prévia, artigos com base no fator de impacto da revista.

A política de acesso aberto, uma importante iniciativa no sentido da democratização da ciência, teve início nos anos 1970, com o Projeto Gutenberg. Na prática, algumas áreas do conhecimento já teriam condições de adotar esta política desde 1991, quando foi criado o repositório de preprints (artigos preliminares, antes de serem avaliados por especialistas) arXiv pelo físico Paul Ginsparg. Nessa plataforma qualquer artigo pode ser acessado sem a necessidade de senhas em paywalls. Diferentemente dos artigos publicados em revistas, onde um escrutínio prévio já foi feito por outros pesquisadores, esses repositórios demandam que cada artigo seja analisado com um pouco mais de cuidado pelo autor que pretende considerá-lo.

Na área de física, a grande maioria dos artigos publicados tem uma versão gratuita em preprint. Ou seja, nesta situação, não existe a impossibilidade de acessar os resultados da pesquisa de outros grupos, mas o prestígio vem do processo de convencer os pares de que o seu estudo é bom o suficiente para estar em algum periódico revisado – já escrevi em outro artigo sobre o equívoco que se comete ao associar qualidade a um artigo ao fator de impacto do veículo onde é publicado.

Embora seja animador vislumbrar ações objetivas na direção de tornar o conhecimento mais acessível, é sempre bom lembrar que, como se diz por aí, não existe almoço grátis. Neste contexto, há estratégias de acesso aberto em que o lucro das grandes empresas editoriais é mantido (ou aumentado) mudando-se apenas a fonte pagadora: em vez de vender assinaturas para bibliotecas, vendem-se cotas de publicação para universidades, agências de fomento ou outras entidades, como ministérios de Ciência, por exemplo – o dinheiro, diga-se de passagem, é proveniente da população.

Esse deslocamento do ônus financeiro tem o efeito colateral de deslocar, também, a estrutura de incentivos da publicação: se no modelo de assinaturas o “cliente” é o leitor, no de cotas de publicação é o autor – com possível impacto sobre o rigor dos critérios de aceitação de artigos.

Existem movimentos organizados, como a cOAlition S, para tornar todas as publicações científicas imediatamente em acesso aberto. O grupo foi formado em 2018 e recentemente lançou uma proposta com valores diferenciados para alguns países com base em indicadores do Banco Mundial – dar-se-iam descontos das taxas de publicação de acordo com as rendas dos países. A despeito da pertinência desses indicadores para a classificação dos países, estabelecer um compromisso de descontos com empresas que não estão submetidas a um teto de preços segue a mesma lógica ingênua da lei de meia-entrada brasileira: paga-se a metade do dobro.

É desejável que se caminhe para um modelo de política universitária que seja conectada com o mundo, mas não excessivamente dependente – estabelecer um bom equilíbrio para os pratos dessa balança não é simples. Mas qualquer solução deve pressupor uma análise mais qualitativa dos critérios de avaliação das agências que fornecem os financiamentos para as pesquisas. Afinal, não é sempre que, a exemplo de Grisha Perelman – matemático que resolveu a conjectura de Poincaré, um problema formulado no ano 1900 –, encontramos pessoas dispostas a publicar um artigo importantíssimo em uma plataforma de preprint e, com isso, “perder pontos” na corrida do fator de impacto, correndo o risco de ficar sem recursos para desenvolver a sua pesquisa.

Marcelo Takeshi Yamashita é assessor-chefe da Assessoria de Comunicação e Imprensa da Unesp. Foi diretor do Instituto de Física Teórica (IFT) no período de 2017 a 2021.

color compass

Este foi publicado originalmente na revista Questão de Ciência.