métricas

A máquina de fabricar ciência falsa

/ Marcos Pędłowski / Deixe um comentário

Quando publicar virou moeda, a fraude deixou de ser desvio — e passou a ser método

Embora eu venha discutindo esse tema há algum tempo neste espaço, fui particularmente provocado a retomar o assunto hoje após ler o texto do professor Carlos Eduardo Rezende, publicado aqui no blog sob o título “A Fábrica de Artigos: produtividade, poder e crise na avaliação científica”.  Em sua análise , o professor Carlos Rezende expõe com clareza desconfortável as engrenagens que sustentam o atual modelo de produção acadêmica — e reforça a necessidade de ir além da crítica pontual para compreender a lógica sistêmica que está em jogo.

Durante anos, fomos ensinados a pensar a fraude científica como um problema marginal: alguns poucos pesquisadores antiéticos, ocasionalmente expostos e punidos. O problema é que essa narrativa já não se sustenta mais. O que está em curso hoje não é um conjunto de exceções — é a consolidação de um sistema que, silenciosamente, aprendeu a produzir ciência falsa em escala industrial. E o motor dessa transformação é conhecido: o imperativo do publish or perish.

Tudo começa de forma aparentemente banal, quase aceitável. Surge a chamada Salame Science: um mesmo estudo é fatiado em múltiplos artigos, inflando artificialmente a produtividade de um pesquisador. Não há, nesse estágio, necessariamente fraude explícita — há algo mais sutil e talvez mais perigoso: a substituição do critério de relevância pelo de volume. A pergunta deixa de ser “isso contribui para o conhecimento?” e passa a ser “isso gera mais um artigo?”.

O passo seguinte abandona qualquer ambiguidade. Com a proliferação das revistas predatórias, a publicação científica torna-se, literalmente, uma transação comercial. Paga-se, publica-se. Simples assim. A revisão por pares — pedra angular da credibilidade científica — é reduzida a uma formalidade ou simplesmente ignorada. O resultado é uma avalanche de artigos que simulam legitimidade, mas carecem de rigor, originalidade e, em muitos casos, de sentido. Mas o sistema não parou aí. Ele evoluiu.

Entramos então na fase mais inquietante: a captura de revistas legítimas. Periódicos com reputação consolidada passam a ser adquiridos ou manipulados, convertendo-se em engrenagens de paper mills. Nessas estruturas, artigos são produzidos em série, como em uma linha de montagem. Pouco importa a qualidade dos dados — o que importa é o selo da revista. O prestígio institucional é sequestrado e reutilizado como fachada para legitimar conteúdo duvidoso. Nesse ponto, a fraude já não está na periferia do sistema. Ela habita o seu centro.

E então chegamos ao estágio atual, talvez o mais sofisticado — e o mais difícil de detectar: a manipulação de métricas. A autocitação deixa de ser vaidade acadêmica e se transforma em estratégia coordenada. Redes de pesquisadores passam a citar-se mutuamente, inflando indicadores de impacto e fabricando relevância. Em alguns casos, o problema atinge um nível ainda mais grave: editores interferem diretamente nos artigos, inserindo citações que nunca foram feitas pelos autores, redirecionando artificialmente a visibilidade científica. 

O que está sendo produzido aqui não é conhecimento. É performance.

O efeito cumulativo dessas práticas é devastador. A literatura científica torna-se inflada, ruidosa e, em muitos casos, enganosa. Métricas deixam de medir qualidade e passam a refletir habilidade de manipulação. Instituições tomam decisões — sobre financiamento, contratação, prestígio — com base em indicadores comprometidos. E, no meio desse processo, a ciência legítima é sufocada por uma massa crescente de pseudo-produção acadêmica. Talvez o aspecto mais perturbador não seja a existência dessas práticas, mas o fato de que elas são, em alguma medida, recompensadas. O sistema não apenas tolera — ele incentiva.

Isso nos obriga a encarar uma questão incômoda: até que ponto a chamada “fraude científica” ainda pode ser tratada como desvio individual, se as próprias regras do jogo favorecem quem joga sujo? Se nada mudar, a tendência é clara. Não estaremos apenas convivendo com episódios de má conduta. Estaremos operando, cada vez mais, dentro de uma economia da fraude — onde publicar vale mais do que descobrir, citar vale mais do que compreender e parecer científico importa mais do que ser científico. E quando a aparência substitui a substância, o que se perde não é apenas a integridade acadêmica. É a própria ideia de ciência.

Soluções para um problema sistêmico exigem transformações institucionais, não apenas indignação. A Ciência Aberta e a revisão por pares transparente combatem a fraude ao expor dados e processos ao escrutínio público, mas a mudança decisiva é cultural: substituir a obsessão métrica por avaliações qualitativas, como propõem a DORA e o Manifesto de Leiden. Somadas à formação ética e ao rigor nas retratações, essas medidas poderão resultar em um ecossistema capaz de resgatar a integridade científica, desde que os incentivos do sistema sejam radicalmente reformados para priorizar a descoberta sobre a performance.

A Fábrica de Artigos: produtividade, poder e crise na avaliação científica

/ Marcos Pędłowski / Deixe um comentário

Por Carlos Eduardo de Rezende*

Há temas que, embora essenciais, raramente são tratados com a franqueza que exigem. Entre eles, está o modo como avaliamos nossos pares, pois este exercício que revela não apenas critérios técnicos, mas também nossos compromissos mais profundos com a integridade, a justiça e o futuro daquilo que construímos coletivamente. Recentemente, li um texto sobre as Fronteiras da Avaliação e achei que este é o momento oportuno, pois estamos renovando os Comitês de Área do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

Neste ano, em que o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) promove a renovação de diversos comitês assessores nas diferentes áreas do conhecimento, torna-se imprescindível repensar quem deve nos representar junto a essa importante agência de fomento à ciência e à tecnologia. A avaliação por pares precisa estar ancorada em princípios orientadores sólidos e, sobretudo, em diretrizes capazes de assegurar a integridade na atividade científica. Trata-se, aliás, de uma preocupação que não deve se restringir ao CNPq, mas se estender a todas as instituições que desenvolvem atividades de pesquisa. Não por acaso, intensificam-se os debates acerca dos limites éticos no uso de ferramentas de inteligência artificial, cujo avanço recente tensiona noções tradicionais de autoria, originalidade e responsabilidade intelectual.

Com a proposta de analisar e qualificar sistemas de avaliação da pesquisa, o Research on Research Institute, sediado no Reino Unido, desenvolveu o observatório on-line Atlas da Avaliação, uma plataforma lançada em maio de 2025 que reúne e compara modelos nacionais de 17 países, incluindo o Brasil. Os dados evidenciam a diversidade de abordagens e há sistemas centralizados, modelos híbridos e arranjos institucionais com diferentes níveis de autonomia e indução estatal. Em alguns países, como a China, existe mais de um modelo de avaliação que impactam diretamente o financiamento das instituições. Parte desses sistemas avalia o desempenho individual de pesquisadores, que resultam em incentivos como remuneração diferenciada e suporte institucional ampliado para aqueles com produção científica de destaque. Paralelamente, há mecanismos de adesão voluntária que avaliam o desempenho institucional e orientam a distribuição de recursos.

No Reino Unido, por sua vez, possui um modelo voluntário, mas com adesão praticamente universal, dada sua influência decisiva na reputação acadêmica e no financiamento anual das instituições que ultrapassa 2 bilhões de libras e estabelece a distribuição dos recursos com base nos resultados. A robustez e o impacto, acabou servindo de referência para iniciativas semelhantes em outros países. Esse panorama comparado revela que os sistemas de avaliação não apenas mensuram desempenho, mas também induzem comportamentos, prioridades e até culturas institucionais. Por isso, discutir quem avalia, como avalia e com quais critérios deixa de ser uma questão meramente técnica e passa a ocupar um lugar central no debate sobre os rumos da ciência.

O CNPq mantém as Bolsas de Produtividade em Pesquisa por muitos anos e em 2025 cerca de 17.080 pesquisadores estavam recebendo estas bolsas. Esta bolsa, de certa forma, serve para diferenciar os profissionais, mas ainda não atende a todos que poderiam estar recebendo e, portanto, ainda existe uma demanda reprimida. Uma situação que me chama atenão é que não são raras as críticas ao que se convencionou chamar de “produtivismo”, termo que, por vezes, reduz de forma simplista a complexidade da atividade científica.

Essa tensão revela uma dicotomia importante: de um lado, a necessidade de reconhecer e valorizar a produção científica como motor do desenvolvimento assim como a necessidade de enfrentar distorções e práticas questionáveis que podem emergir quando métricas quantitativas são sobrevalorizadas. Recentemente uma instituição enfrentou um sério problema onde docentes em início de carreira apresentam mais de uma publicação por semana entre artigos e capítulos de livros. O que chamou atenção na instituição foi a extensa rede de coautoria internacional e situações como essa não devem ser tomadas como regra, mas não podem ser ignoradas. Ao contrário, reforçam a necessidade de mecanismos institucionais robustos e a consolidação de Comitês de Integridade em Pesquisa.

Caminhando para o final, entendo que este tema possui muitas outras dimensões, preocupa a recorrência de discursos sobre excelência institucional dissociados da explicitação de critérios consistentes de avaliação e da adoção de parâmetros mínimos que orientem a alocação de recursos com base nas atividades fim das instituições. Em tais circunstâncias, a noção de excelência corre o risco de se tornar mais retórica para a plateia. Acredito ainda que parte dessas distorções pode ser atribuída à crescente influência de dinâmicas políticas nos processos decisórios das Instituições de Ensino Superior e a perda da perspectiva puramente acadêmica. Este é um aspecto sensível, que demanda ser enfrentado com maior franqueza e rigor analítico, evitando simplificações quanto a abordagens demagógicas que fragilizam os fundamentos da avaliação acadêmica e comprometem a integridade do sistema científico.

*Carlos Eduardo de Rezende é professor titular do Laboratório de Ciências Ambientais (LCA) do Centro de Biociências e Biotecnologia (CBB) da Universidade Estadual do Norte Fluminense Darcy Ribeiro (Uenf).  Ele também é bolsista de produtividade 1A do CNPq.

Chegamos aos limites da altmetria?

/ Marcos Pędłowski / 2 Comentários

A IA aumenta tanto o risco de manipulação deliberada de métricas quanto o ruído geral no sistema de publicação acadêmica

almetria

Por David Stuart para a Research Information

Tem sido fascinante observar o crescimento das altmetrias e outras métricas da web nos últimos 20 anos. Eles deixaram de ser uma curiosidade ociosa e passaram a ser incorporados nas páginas da web de algumas das maiores universidades e editoras acadêmicas do mundo.

Os desenvolvimentos tecnológicos, a normalização e um interesse crescente em métricas alternativas significam que as informações sobre o número de visualizações ou menções nas redes sociais que uma publicação recebeu são frequentemente anunciadas com ousadia juntamente com outras métricas mais estabelecidas.

Contudo, o sucesso passado não é um indicador de crescimento futuro e a web está em constante mudança. O maior disruptor da Web hoje é, sem dúvida, a inteligência artificial (IA) e, embora a extensão total do seu impacto futuro seja atualmente desconhecida, uma questão que levanta é se atingimos os limites da altmetria.

O fascínio das métricas

Num mundo em rápida mudança, as métricas apelam à objectividade. Quer sejam usados ​​para avaliação, motivação ou celebração, oferecem a promessa de algo mais sólido do que a mera opinião individual. Durante muito tempo, na publicação académica, as métricas dominantes basearam-se em citações e, embora as limitações da análise de citações sejam amplamente reconhecidas, muitas vezes sente-se que, ao agregar e normalizar as citações de diferentes maneiras, podem indicar algo de valor.

A mudança para a publicação online, no entanto, aumentou muito as métricas disponíveis. A rica variedade de dados em tempo real sobre o uso de uma publicação e a ascensão da altmetrics nas mídias sociais prometiam fornecer uma compreensão mais rápida e mais matizada do impacto que a pesquisa estava tendo, além do âmbito acadêmico e além das publicações formais.

As publicações informais são, no entanto, mais abertas à manipulação do que as publicações formais, e parece que, no momento em que a altmetria começa a ganhar uma aceitação mais ampla, a sua legitimidade pode ser prejudicada. Até agora, os problemas de manipulação têm sido mínimos, mas com a IA o risco é que tais métricas informais possam rapidamente perder o sentido.

O desafio da IA

A IA aumenta tanto o risco de manipulação deliberada de métricas como o ruído geral no sistema de publicação científica.

Todas as métricas estão abertas à manipulação e é inevitável que indivíduos e organizações sejam incitados a agir de forma a obter a impressão mais favorável. Como afirma a lei econômica de Goodhart: “Quando uma medida se torna uma meta, deixa de ser uma boa medida”. Embora as consequências negativas das métricas na publicação académica possam não ser tão imediatamente aparentes como quando um médico só quer atender pacientes com resultados favoráveis, ou a polícia apenas regista crimes que são facilmente resolvidos, uma ênfase excessiva nas métricas corre o risco de minar o sistema. O problema das fábricas de papel que produzem artigos de investigação que são posteriormente retirados também tem aumentado recentemente, e o problema só deverá aumentar à medida que as melhorias na IA generativa tornarem cada vez mais difícil a identificação de tais artigos. No entanto, na publicação académica ainda existem muitas verificações humanas, poucas das quais se aplicam à altmetria.

A história das métricas da web tem sido uma das duas: a crescente facilidade com que as métricas podem ser coletadas e com que podem ser manipuladas. Quando comecei a contar objetos na web, quase 20 anos atrás, a unidade de escolha para ser contada era o hiperlink. Embora qualquer um pudesse ter criado vários sites com domínios diferentes para aumentar o impacto de sua presença online, o custo em tempo e dinheiro, e o pouco interesse em métricas da web na comunidade acadêmica, significava que o tempo da maioria das pessoas seria melhor gasto criando melhores publicações acadêmicas. A padronização dos grandes sites de mídia social, no entanto, proporcionou maior interesse em métricas da web e também reduziu a barreira para criar um impacto online. Não era mais necessário criar vários sites, apenas perfis diferentes em várias plataformas de mídia social. O custo, em grande parte, foi reduzido a zero, tudo o que era necessário era tempo. Com a IA, no entanto, o tempo envolvido também pode ser reduzido a zero, pelo menos após a configuração inicial.

Não é difícil imaginar um momento no futuro próximo em que, se você quiser gerar cem ou até mil contas de microblog para divulgar a qualidade de sua pesquisa, você poderá simplesmente pedir a um programa de IA generativo para fazer isso em seu nome. Não será necessário selecionar cuidadosamente a imagem de cada conta para distingui-las dos spambots, mas o conteúdo será gerado automaticamente. Você pode ficar um pouco irritado ao descobrir que os insights artificiais ganham mais seguidores do que suas postagens cuidadosamente selecionadas, mas o rápido aumento da pontuação de atenção sem dúvida aliviará a dor.

Nem todo o barulho será deliberado. À medida que o conteúdo é cada vez mais criado automaticamente, a ideia de que partes de conteúdo podem ser contadas como se cada uma tivesse sido criada como um ato individual de um ser humano tornar-se-á cada vez mais falha. Proporções cada vez maiores da web vêm com um aviso de que “esta página foi criada automaticamente com a ajuda da IA”, e tais secções crescerão inevitavelmente mais rapidamente do que as porções criadas por humanos. Como a criação de conteúdo é cada vez mais baseada em outros conteúdos já criados, a vantagem de ser o primeiro artigo mencionado sobre um assunto será cada vez mais difícil de superar.

Com uma distribuição de atenção cada vez mais distorcida, torna-se também cada vez mais importante garantir que as menções sejam associadas ao documento académico correto. A atribuição errada de menções académicas e as flutuações resultantes nas métricas só deverão aumentar à medida que mais dados forem gerados automaticamente.

O fim da altmetria?

À primeira vista, parece que o uso cada vez maior de IA generativa inevitavelmente anunciará o fim da altmetria, mas isso só se todo o resto permanecer igual. Sem dúvida, não será.

Os sites e serviços de mídia social também provavelmente mudarão de várias maneiras. Pode ser que os sites de redes sociais gratuitos sejam evitados em favor de serviços de subscrição ou distribuídos, onde existem maiores restrições à geração de conteúdos, permitindo-lhes formar a base de métricas novas e mais robustas. O interesse no impacto acadêmico sobre um serviço genérico como o X pode ser substituído pelo interesse apenas em contas verificadas ou em servidores selecionados que fazem parte de uma rede distribuída.

Também parece provável que amplie o interesse em métricas da web além da altmetria. Há uma ampla gama de insights que podem ser obtidos na web, ou em cantos dela, desde a análise do que as atividades de pesquisa das pessoas no Google Trends nos dizem sobre o estado da sociedade até como os links entre sites fornecem insights sobre relacionamentos no mundo real e o robustez de uma economia local. No entanto, muitas vezes estas alternativas têm sido marginalizadas com enfoque em métricas avaliativas de grande escala.

Conclusão

As métricas da Web sempre tiveram que se adaptar à medida que novas tecnologias surgiram e, embora a IA sem dúvida ponha fim a uma era de altmetria, novas áreas de investigação surgirão sem dúvida. A inclusão de uma série de literatura cinzenta e citações de patentes que anteriormente teriam sido excluídas da bibliometria provavelmente continuará, mas a ideia de que pode capturar significativamente conteúdo informal em escala superior a essa pode ser cada vez mais duvidosa.

As métricas da Web sempre tiveram bases mais suaves do que a bibliometria, mais propensas a insights ilícitos que são interessantes em vez de confiáveis, e isso pode não ser uma coisa ruim se isso for o máximo que podem acontecer. As métricas avaliativas têm frequentemente um impacto negativo, especialmente quando lhes é dada demasiada credibilidade, pelo que controlar as altmetrias no momento em que estão a ganhar interesse não é necessariamente uma coisa má.

++++++++++++++++++++++

David Stuart é autor do recentemente publicado Web Metrics for Library and Information Professionals (2ª edição ),  que mostra que há muito mais em métricas da web do que altmetria.

Fonte:  Research Information

Ciência: um crescente mal-estar e a necessidade das mudanças, por Peter Schulz

/ Marcos Pędłowski / Deixe um comentário

h index

Por Peter Schulz para o “Jornal da Unicamp”

O mal-estar, para deixar claro de início, é em relação ao desmesurado universo da produção científica, bem como às práticas medir esta produção por meio do número de artigos publicados e de citações – que, ao serem adotadas, desmesuram ainda mais esse universo. Já escrevi vários textos neste espaço relacionados, direta ou indiretamente, a este tema. Mesmo instigado por novas fontes e acontecimentos, também sinto um mal-estar em retomar o assunto, afinal, já não falei sobre isso? Porém, pensando melhor e com essa advertência de possível autoplágio, a partir do que eu tenho observado, considero necessário retomar dois textos anteriores: o primeiro que também traz a palavra mal-estar no título[I] e o segundo sobre algumas reações a esse mal-estar e a percepção de que mudanças são necessárias[II]. O que mudou nos poucos anos entre esses textos e o que escrevo agora é que há tanto sinais de mudanças como de preservação da situação (ou seja, reações contra as mudanças). Então, no balanço, talvez valha mesmo a pena retomar a questão.

O adágio “publique ou pereça”, vulgo “publish or perish” é amplamente conhecido no mundo acadêmico e, aos poucos, fora dele. A expressão é antiga: já em 1951, Marshall MacLuhan teria escrito a Ezra Pound que “publicar ou perecer é o lema da espelunca”, sendo que o poeta chamara anteriormente as universidades de espeluncas. Ou seja, o lema é longevo, sobrevivendo e ganhando importância com o passar do tempo no mundo da pesquisa científica. Como exemplo, recolho das buscas um artigo de 1986, de uma médica, Marcia Angel: “Publish or perish: a proposal”[III]. O resumo do artigo, sintetiza a percepção da autora há 35 anos:

“Devido ao fato de que promoções e financiamento de médicos na medicina acadêmica estão estreitamente ligados ao número de publicações, pesquisadores sentem-se impelidos a publicar tão frequentemente quanto possível. Essa pressão leva a um número de práticas desafortunadas na publicação médica, incluindo realizar estudos triviais porque estes rendem resultados rápidos, o desnecessário relato do mesmo estudo em diferentes apresentações, relatar o estudo mais de uma vez e listar como autores pessoas com envolvimento marginal no trabalho. E pode ser também motivação para fraude. Uma maneira efetiva de reduzir essas ofensas e afirmar a supremacia do essencial sobre o volume […] é colocar um teto no número de publicações a serem consideras para fins de promoção ou financiamento. Cada publicação [considerada mais relevante] receberia assim mais atenção…”.

É exatamente a mesma discussão de hoje, passadas essas três décadas e meia! No meio tempo surgiram os rankings globais de universidades (começo do século XXI) que, como um vírus e suas variantes, infectaram o mundo acadêmico. Não é preciso dizer que os rankings são fortemente ligados aos indicadores. Assim, apesar dos diagnósticos bem anteriores à propagação desses novos vírus, até agora poucas medidas de distanciamento à ilusão e ao delírio foram tomadas. Essa frase remete a um artigo recente do jornalista Carlos Orsi: “Medo e delírio na comunicação da ciência”[IV]. O jornalista é atento e arguto observador do mundo da ciência e, 35 anos depois da médica norte-americana, dispara algo similar sobre uma plausível grande parcela dos trabalhos e o cenário em que se inserem:

“São trabalhos que existem porque é preciso cumprir alguma meta burocrática de publicações para conquistar este ou aquele índice neste ou naquele ranking, não porque havia uma questão legítima a ser respondida, um aspecto relevante da natureza a ser explorado, uma hipótese viável a ser testada; e que são conduzidos no limite inferior da qualidade metodológica, às vezes representando pouco mais do que pobres arremedos”.

E causticamente, sem o compromisso da médica com alguma solução, afinal, cabe à academia mesmo cuidar disso, finaliza: “esperamos que os cientistas se resolvam com suas ilusões (aparecer nas listas de mais influentes, por exemplo) e as universidades despertem de seus delírios de grandeza (querer subir nos rankings para emparelhar com Oxford, outro exemplo).

Mas isso tudo pode parecer apenas ressentimento de alguns muitos, afinal o tal “publique ou pereça” tem lá seus méritos e, de fato, em um estudo de caso (economia nas universidades holandesas), Henrik van Dalen aponta para uma comunidade acadêmica dividida[V]: “professores titulares enxergam, mais do que outros membros do corpo docente, lados positivos do princípio “publish or perish” e virtualmente nenhuma desvantagem”. Esse artigo acadêmico de 2021 mostra que nos últimos anos, publicar ou perecer, deixou os espaços de ensaio e opinião para virar objeto de pesquisa científica. É que se constata ao buscar a expressão em base bibliográfica internacional (Web of Science): poucas vezes mencionada em artigos no século passado, o número de artigos, cartas e editoriais em periódicos científicos em diferentes áreas sobre este tema vêm crescendo notavelmente nos últimos anos. Voltando à percepção dos professores titulares na Holanda, o recado dado aos pesquisadores mais jovens neste ano (2021) é claro no sítio de assessoria à publicação voltada e esse público (Proof-Reading-Service.com): “Como publicar 50 papers por ano”[VI]. Ao ler o texto, notei que as dicas já são seguidas como um mantra por alguns colegas, segundo confissões ou profissões de fé. A isso somam-se as fábricas de artigos, por meio das quais seu nome pode ser incluído como autor em um artigo pronto, frente a uma “módica” contribuição. Sobre isso, também há um texto na revista Questão de Ciência[VII].

Novamente, a minha história de pesquisador, que sempre valorizou a publicação de artigos em periódicos de seletiva política editorial, etc., etc., (sempre obedecendo ao princípio atribuído a César Lattes: “é muito bom publicar um artigo, desde que se tenha algo a dizer primeiro”), pede que vieses (no caso contra o produtivismo burro para atender às métricas, ainda que muitos dos seus praticantes acreditem que tudo isso é pelo bem da ciência) sejam considerados com cuidado. Assim, nada melhor do que um estudo quantitativo cuidadoso para guiar um pouco a discussão. Um extenso levantamento bibliográfico de artigos e citações de várias décadas e uma acurada análise, realizados por Johan Chu e James Evans[VIII], publicado em outubro de 2021, sugere uma crescente desigualdade nas citações de artigos: cada vez mais são sempre os mesmos citados ao passo que possíveis contribuições importantes passam despercebidas no “dilúvio de artigos” (o corolário é que cresce diluvianamente o número de artigos sem relevância, cumpridores de metas e que também não são citados). Apresento pequenos excertos do texto sobre o cenário delineado (os aspectos metodológicos, dados e resultados podem ser apreciados no link logo acima):

“O dilúvio de novos artigos pode privar revisores e leitores da abertura cognitiva necessária para reconhecer e entender novas ideias […] A atual natureza do empreendimento científico, calcada na métrica de ‘mais é melhor’ pode retardar, ironicamente, o progresso nos campos científicos maiores”.

E atenção para uma das conclusões!

“Sistemas de promoção e reconhecimento que evitem medidas quantitativas e valorizem um número menor de contribuições, mais robustas e inovadoras, poderiam reduzir o dilúvio de artigos competindo por atenção em seu campo”. Chegamos em 2021 a uma proposta já enunciada em 1986, caso alguém se lembre da citação no começo desse texto.

Se “publicar ou perecer” está virando um campo quantitativo de pesquisa, as reações às maneiras automatizadas de avaliação começam a ser qualitativamente revistas mundo afora. Três cientometristas conhecidos e influentes escreveram uma carta, também publicada agora em 2021: “Um apelo por uma mudança radical na avaliação de pesquisa na Espanha”[IX]. O cenário espanhol descrito é muito parecido com o brasileiro: o fetiche em relação ao uso das métricas e suas consequências negativas, enumerando movimentos iniciados na década passada, cujos princípios deveriam ser considerados nas mudanças radicais pedidas. E novos movimentos e mudanças, ainda que não tão radicais, são implementadas. Enumero apenas três delas. A iniciativa é mais antiga, mas segue: é o movimento pela “des-execelência”, iniciado por um grupo de pesquisadores da Universidade Livre de Bruxelas[X]. O site todo é em francês, mas o slogan é autoexplicativo, ainda que misturando francês e inglês: “esqueça seu fator de impacto (que é uma dessas métricas, a mais fajuta delas, na verdade, ainda que amplamente utilizada), aqui temos a des-excelência”.

#

De novo aquele muro entre um possível ressentimento(?) e um diagnóstico preciso? Pois a carta do movimento é um diagnóstico acurado. E, como anunciei, mudanças acontecem. Em meados de 2021, saiu o anúncio de que a Universidade de Utrecht na Holanda deixará de lado, pelo menos parcialmente, as métricas[XI]. O autor do projeto da mudança de avaliação declarou para a revista Nature: “fatores de impacto – bem como métricas relacionadas, como o índice H – contribuem para a ‘produtificação’ da ciência, que valoriza volume em vez de boa pesquisa […] Isso se tornou um modelo muito doentio, que vai além do que é realmente relevante na ciência”.

Nas últimas semanas, uma pequena nota no jornal francês, Le Monde[XII], trouxe comentários sobre estas mudanças em vários países, inclusive na França, com avaliações se distanciando das métricas: ‘se não é uma revolução, é uma mudança cultural, de paradigma’. Por que a mudança? Segundo comentário de Chérifa Boukacem, professora da Universidade Claude Bernard-I em Lyon, “passamos a pensar em ‘publicação’ e não mais em ‘pesquisa’. Não tentamos mais produzir conhecimento, mas nos perguntamos que tipo de artigo seria interessante fazer”. Fica no ar a pergunta: interessante para que ou para quem? Resposta possível: um fim em si mesmo.

É hora de discutirmos mais detidamente intramuros acadêmicos o que estamos fazendo por aqui, com os medos, ilusões e delírios. As ideias e ações surgem em vários lugares! Precisamos de novas cenouras e novos rumos.

#

Observação: Os artigos publicados não traduzem a opinião do Jornal da Unicamp. Sua publicação tem como objetivo estimular o debate de ideias no âmbito científico, cultural e social.

[I]https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/malaises-da-ciencia

[II]https://www.unicamp.br/unicamp/index.php/ju/artigos/peter-schulz/um-manifesto-pela-universidade-publica

[III]https://www.acpjournals.org/doi/pdf/10.7326/0003-4819-104-2-261

[IV]https://revistaquestaodeciencia.com.br/apocalipse-now/2021/11/21/medo-e-delirio-na-comunicacao-da-ciencia

[V]https://www.researchgate.net/publication/344025747_How_the_Publish-or-Perish_Principle_Divides_a_Science_The_Case_of_Academic_Economists

[VI]https://www.proof-reading-service.com/en/blog/publish-50-papers-year/

[VII]https://www.revistaquestaodeciencia.com.br/questao-de-fato/2021/11/23/fabricas-de-artigos-falsos-expoem-fragilidade-da-publicacao-academica

[VIII]https://www.pnas.org/content/118/41/e2021636118

[IX]https://revista.profesionaldelainformacion.com/index.php/EPI/article/view/86526/62971

[X]https://lac.ulb.ac.be/LAC/home.html

[XI]https://www.nature.com/articles/d41586-021-01759-5

[XII]https://www.lemonde.fr/sciences/article/2021/11/23/chambardements-dans-l-evaluation-des-scientifiques_6103279_1650684.html

Peter Schulz foi professor do Instituto de Física “Gleb Wataghin” (IFGW) da Unicamp durante 20 anos. Atualmente é professor titular da Faculdade de Ciências Aplicadas (FCA) da Unicamp, em Limeira. Além de artigos em periódicos especializados em Física e Cienciometria, dedica-se à divulgação científica e ao estudo de aspectos da interdisciplinaridade. Publicou o livro “A encruzilhada da nanotecnologia – inovação, tecnologia e riscos” (Vieira & Lent, 2009) e foi curador da exposição “Tão longe, tão perto – as telecomunicações e a sociedade”, no Museu de Arte Brasileira – FAAP, São Paulo (2010).

blue compass

Este texto foi originalmente publicado pelo “Jornal da Unicamp” [Aqui! ].

A ciência moderna tem nas métricas a sua Guantánamo

/ Marcos Pędłowski / Deixe um comentário

a-man-thinking-in-prison-vector

Recentemente publiquei neste blog um texto publicado pela revista Nature acerca da difusão de práticas de captura de material científico por editoras predatórias que estão cada vez mais sofisticada em atrair pesquisadores ansiosos por melhorar sua performance em um amplo mercado de índices de mensuração (as chamadas métricas). Um colega que reputo ser da mais alta capacidade científica apontou que a discussão em torno dos métricas não é novo, mas que falta apontar um caminho que não fique apenas na crítica pela crítica, pois, suponho, há que se medir para conferir algum nível de chancela de qualidade que nos permita olhar para além da quantidade de artigos publicados, pois a imensa maioria não será lida uma mísera vez sequer.

Após refletir sobre esse chamado à produção de respostas práticas para sairmos da armadilha criada pelos operadores do mercado editorial para nos meter em uma espiral interminável de publicações que estão mais para lixo científico do que para conhecimento que mereça ser classificado como ciência, penso que não haverá saída para o atual imbróglio da quantidade sobre a qualidade se ficarmos tentando colocar o gato de volta dentro do saco. Em minha modesta opinião há que se jogar o saco fora, para voltarmos a nos preocupar com o que deveria ser essencial na produção do conhecimento científico, qual seja, que o produto das pesquisas realizadas sejam de fato baseadas no uso apurado da análise crítica, de forma a privilegiar não as necessidades de obtenção de recursos financeiros, seja para executar projetos de pesquisa ou, simplesmente, atender as necessidades econômicas pessoais dos pesquisadores.

O problema é que como toda qualquer outra coisa, o Capitalismo transformou a ciência, e principalmente os artefatos que são usados para demonstrar a sua realização em um tipo específico de commodity (para os interessados no processo de comodificação da ciência sugiro a leitura do livro “The Commodification of Academic Research: Science and the Modern University” de Hans Radder) que, como qualquer outra, é objeto de opções mercadológicas que privilegiam o chamado “valor de troca” em detrimento do “valor de uso”. Em outras palavras, em situações corriqueiras, o interesse de quem financia  e de quem produz ciência não tem nada a ver com a melhoria da qualidade de vida das pessoas e da evolução das formas de relação com os sistemas naturais da Terra, mas simplesmente com a acumulação de riquezas.

Alguém que estiver lendo este texto poderá apontar que até aqui, a única coisa que propus de concreto foi rasgar o saco em vez de tentar colocar o gato de volta dentro dele.  E se alguém notou isso, não me resta dizer que rasgar o saco (entendido aqui como uma metáfora do processo de comodificação da ciência) será muito mais difícil do que parece em princípio. É que depois de décadas de ações para  premiar os bem comportados que estão plenamente satisfeitos em viver aprisionados no labirinto das métricas (a qual equivale a uma espécie de Guatánamo que aprisiona a produção de ciência com revestimento crítico), pois isto traz recompensas palpáveis, sejam eles materiais ou apenas de reafirmação de uma cultura acadêmica hedonística.