Web of Science coloca o eLife ‘em espera’ devido ao seu modelo radical de publicação

outubro 29, 2024 / Marcos Pędłowski / Deixe um comentário

suspenso

Tommy Vis Getty Images, adapto por N. Jessup/Science

Por Jeffrey Brainard para a “Science”

O Web of Science, um serviço líder de indexação bibliométrica, suspendeu ontem o periódico eLife de suas listagens porque seu novo modelo de publicação adotado no ano passado — que inclui revisão pública por pares, mas nenhuma decisão final sobre se um manuscrito é aceito ou rejeitado — entra em conflito com os padrões do Web of Science para garantir qualidade.

A medida pode colocar em risco o fator de impacto (FI) do periódico da eLife , a métrica controversa — determinada anualmente pela Clarivate, empresa controladora da Web of Science, com base na média de citações de artigos de um periódico — que é amplamente usada como um indicador de qualidade.

Veteranos da indústria editorial estavam esperando pela decisão da Web of Science. A suspensão era “provavelmente inevitável”, escreveu Richard Sever, diretor assistente da Cold Spring Harbor Laboratory Press e cofundador do servidor de pré-impressão bioRxiv, no X (antigo Twitter), porque os padrões de qualidade aplicados pela Clarivate e pela eLife > “claramente entram em conflito”.

Ainda assim, a gerência da eLife disse estar decepcionada com a decisão da Clarivate. “[Ela] sufoca tentativas de mostrar como a publicação e a revisão por pares podem ser melhoradas usando princípios de ciência aberta e, em vez disso, dá a aparência de suporte contínuo para modelos de publicação estabelecidos e ineficazes que precisaram mudar por tanto tempo”, eles escreveram em uma declaração online . A Clarivate não identificou nenhum artigo revisado pela eLife como carente de qualidade, diz Damian Pattinson, diretor executivo do periódico.

Em uma declaração por e-mail, a Clarivate diz que conduzirá uma revisão aplicando seus critérios de qualidade padrão, mas já tem preocupações sobre os artigos publicados sob o novo modelo porque as decisões de publicação da eLife são “desacopladas da validação por revisão por pares”. As descobertas da Clarivate podem levá-la a remover a eLife de sua Master Journal List, caso em que a revista não receberia mais um IF atualizado anualmente. Nesse caso, a Web of Science ainda pode indexar algum conteúdo que atenda aos critérios de qualidade. “Consideraremos o conteúdo que tem ‘força de evidência’ descrita pela revista como ‘sólida’, ‘convincente’, ‘convincente’ ou ‘excepcional’, mas excluiremos ‘incompleto’ ou ‘inadequado'”, diz sua declaração.

O curso de colisão foi traçado quando a eLife — uma revista sem fins lucrativos, seletiva e somente online focada em ciências biológicas — instituiu seu novo modelo de publicação em janeiro de 2023. Sob a nova abordagem, a revista mantém o que Pattinson chama de um processo rigoroso para determinar se uma submissão atende aos padrões para ser enviada para revisão por pares. Autores de artigos selecionados são cobrados uma taxa de US$ 2.500. Quando as revisões são recebidas, a revista as publica, sem assinatura, com um manuscrito, independentemente de serem positivas ou negativas, e elas e o artigo são livres para ler. Se o autor revisar o artigo para abordar os comentários, a eLife publica a nova versão. Além do Web of Science, a versão final do artigo também é indexada em outros bancos de dados acadêmicos, como PubMed e Google Scholar.

Anunciado como um experimento, os gerentes da eLife disseram na época que esperavam que o modelo aliviasse uma variedade de disfunções que afligem a publicação científica, incluindo longos atrasos e falta de transparência. Outro objetivo era desafiar o domínio do IF como um marcador de qualidade, que eles dizem ser inadequado e não confiável para esse propósito e fomenta uma dependência excessiva de alguns periódicos seletivos com pontuações altas; na época, a eLife tinha um IF relativamente alto de 6,4. Apesar das críticas à métrica, Pattinson disse que a eLife manteve discussões com a Clarivate desde o ano passado, argumentando pela manutenção do periódico na Lista de Periódicos Mestres da Clarivate. Ele chamou a suspensão da Clarivate de “um exagero”, acrescentando “isso parece uma tentativa de definir as regras da publicação acadêmica, e tenho uma preocupação real de que uma grande corporação como a Clarivate esteja fazendo isso. Parece-me algo que deveria ser muito liderado pela comunidade”.

A eLife tem enfrentado questões sobre se permanecerá financeiramente viável ou afastará cientistas. Em uma atualização publicada no ano passado , o periódico disse que mais de 90% dos autores escolheram sua nova opção de fevereiro a julho de 2023. (O modelo anterior, tradicional, ainda era oferecido naquela época.) O total de submissões caiu em um quarto em comparação com o mesmo período de meses em 2022, mas quase atingiu a meta da eLife . Pattinson diz que o crescimento tem sido forte este ano; o periódico planeja lançar uma atualização adicional sobre essas tendências em breve.

Fonte: Science

Corrida por “impacto” torna academia refém de grupos editoriais

janeiro 6, 2024 / Marcos Pędłowski / Deixe um comentário

Centros de pesquisa e governos pagam bilhões de dólares a editoras de periódicos científicos por acesso a artigos cujos custos de produção, muitas vezes, eles mesmos financiaram. Decisão da Universidade de Sorbonne de afastar-se deste modelo mostra necessidade de rediscutir espiral de dependência voluntária em que a própria comunidade científica se colocou

periodicoscapa

Por Marcelo Takeshi Yamashita

No último 8 de dezembro, a Universidade de Sorbonne anunciou que em 2024 vai deixar de assinar o serviço Web of Science, uma plataforma que agrega dados e artigos de várias revistas científicas, e também interromperá o contrato com os demais produtos da Clarivate, uma empresa de serviços relacionados à publicação científica e propriedade intelectual, com produtos voltados principalmente para o meio acadêmico, entre eles a Web of Science.

Com um faturamento anual na casa dos bilhões de dólares, editoras de periódicos científicos são pagas por agências públicas, instituições de ensino e pesquisa e governos para disponibilizar o acesso a artigos científicos, muitos deles financiados pelos próprios clientes: as agências de fomento financiam a pesquisa, pagam às editoras para publicar o artigo (caso a publicação se dê na modalidade de acesso aberto) ou pagam para acessá-lo (no caso de acesso restrito). Se isto parece estranho para alguém não acostumado com os trâmites da pesquisa universitária, é simplesmente porque é mesmo esquisito.

Apesar desses serviços serem importantíssimos para a maioria dos pesquisadores, o custo é elevado. Para se ter uma ideia, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) paga perto de R$ 48 milhões por ano para que pesquisadores de diversas universidades possam acessar revistas científicas. É, portanto, inevitável refletir sobre a conveniência de manter essa espiral de dependência voluntária em que a própria comunidade científica se colocou.

Em outro contexto mais abrangente, já que neste caso a interrupção dos serviços traria um problema generalizado, atingindo setores além da pesquisa científica, o Google começou a cobrar caro para manter dados na nuvem. Isto requer decisões complicadas por parte dos gestores, com restrições rigorosas de disponibilização de espaço, principalmente por não haver uma alternativa que dê conta dos arquivos que estão sob a guarda de empresas que estão no seu direito de estabelecer políticas de uso e preços para seus produtos.

Deve haver, é claro, um ponto intermediário entre a dependência plena e a desconexão total. No caso das publicações científicas, porém, é preciso que haja algum movimento, principalmente das agências de fomento, no sentido de mostrar para a comunidade científica que existe vontade de mudar o cenário de subserviência.

A necessidade que se impõe aos pesquisadores, em boa parte pelas exigências das políticas de concessão de auxílios à pesquisa, acaba criando um preocupante vínculo entre riqueza e pesquisa. Paga-se caro não somente para consultar os artigos, mas também para publicá-los nas revistas que são consideradas “boas” – valores que muitas vezes são abusivos e não se justificam: os pareceristas não são remunerados e o artigo não passa de umas poucas páginas em formato digital.

Movimentos drásticos vindos de universidades, similares ao da Sorbonne, podem dificultar a vida dos pesquisadores se as agências que estabelecem o destino do dinheiro continuarem a valorizar somente revistas onde se paga R$ 60 mil para publicar um artigo em acesso aberto. Nesses casos, por exemplo, o discurso retoricamente bonito de valorização da qualidade do trabalho torna-se vazio no momento em que os editais descartam deliberadamente, sem análise prévia, artigos com base no fator de impacto da revista.

A política de acesso aberto, uma importante iniciativa no sentido da democratização da ciência, teve início nos anos 1970, com o Projeto Gutenberg. Na prática, algumas áreas do conhecimento já teriam condições de adotar esta política desde 1991, quando foi criado o repositório de preprints (artigos preliminares, antes de serem avaliados por especialistas) arXiv pelo físico Paul Ginsparg. Nessa plataforma qualquer artigo pode ser acessado sem a necessidade de senhas em paywalls. Diferentemente dos artigos publicados em revistas, onde um escrutínio prévio já foi feito por outros pesquisadores, esses repositórios demandam que cada artigo seja analisado com um pouco mais de cuidado pelo autor que pretende considerá-lo.

Na área de física, a grande maioria dos artigos publicados tem uma versão gratuita em preprint. Ou seja, nesta situação, não existe a impossibilidade de acessar os resultados da pesquisa de outros grupos, mas o prestígio vem do processo de convencer os pares de que o seu estudo é bom o suficiente para estar em algum periódico revisado – já escrevi em outro artigo sobre o equívoco que se comete ao associar qualidade a um artigo ao fator de impacto do veículo onde é publicado.

Embora seja animador vislumbrar ações objetivas na direção de tornar o conhecimento mais acessível, é sempre bom lembrar que, como se diz por aí, não existe almoço grátis. Neste contexto, há estratégias de acesso aberto em que o lucro das grandes empresas editoriais é mantido (ou aumentado) mudando-se apenas a fonte pagadora: em vez de vender assinaturas para bibliotecas, vendem-se cotas de publicação para universidades, agências de fomento ou outras entidades, como ministérios de Ciência, por exemplo – o dinheiro, diga-se de passagem, é proveniente da população.

Esse deslocamento do ônus financeiro tem o efeito colateral de deslocar, também, a estrutura de incentivos da publicação: se no modelo de assinaturas o “cliente” é o leitor, no de cotas de publicação é o autor – com possível impacto sobre o rigor dos critérios de aceitação de artigos.

Existem movimentos organizados, como a cOAlition S, para tornar todas as publicações científicas imediatamente em acesso aberto. O grupo foi formado em 2018 e recentemente lançou uma proposta com valores diferenciados para alguns países com base em indicadores do Banco Mundial – dar-se-iam descontos das taxas de publicação de acordo com as rendas dos países. A despeito da pertinência desses indicadores para a classificação dos países, estabelecer um compromisso de descontos com empresas que não estão submetidas a um teto de preços segue a mesma lógica ingênua da lei de meia-entrada brasileira: paga-se a metade do dobro.

É desejável que se caminhe para um modelo de política universitária que seja conectada com o mundo, mas não excessivamente dependente – estabelecer um bom equilíbrio para os pratos dessa balança não é simples. Mas qualquer solução deve pressupor uma análise mais qualitativa dos critérios de avaliação das agências que fornecem os financiamentos para as pesquisas. Afinal, não é sempre que, a exemplo de Grisha Perelman – matemático que resolveu a conjectura de Poincaré, um problema formulado no ano 1900 –, encontramos pessoas dispostas a publicar um artigo importantíssimo em uma plataforma de preprint e, com isso, “perder pontos” na corrida do fator de impacto, correndo o risco de ficar sem recursos para desenvolver a sua pesquisa.

Marcelo Takeshi Yamashita é assessor-chefe da Assessoria de Comunicação e Imprensa da Unesp. Foi diretor do Instituto de Física Teórica (IFT) no período de 2017 a 2021.

color compass

Este foi publicado originalmente na revista Questão de Ciência.

Corrida por “impacto” torna academia refém de grupos editoriais

dezembro 22, 2023 / Marcos Pędłowski / Deixe um comentário

WEB_INTERNA_OK

Por Marcelo Yamashita

Na área de física, a grande maioria dos artigos publicados tem uma versão gratuita em preprint. Ou seja, nesta situação, não existe a impossibilidade de acessar os resultados da pesquisa de outros grupos, mas o prestígio vem do processo de convencer os pares de que o seu estudo é bom o suficiente para estar em algum periódico revisado – já escrevi em outro artigo sobre o equívoco que se comete ao associar qualidade a um artigo ao fator de impacto do veículo onde é publicado.

É desejável que se caminhe para um modelo de política universitária que seja conectada com o mundo, mas não excessivamente dependente – estabelecer um bom equilíbrio para os pratos dessa balança não é simples. Mas qualquer solução deve pressupor uma análise mais qualitativa dos critérios de avaliação das agências que fornecem os financiamentos para as pesquisas. Afinal, não é sempre que, a exemplo de Grisha Perelman – matemático que resolveu a conjectura de Poincaré, um problema formulado no ano 1900 –, encontramos pessoas dispostas a publicar um artigo importantíssimo em uma plataforma de preprint e, com isso, “perder pontos” na corrida do fator de impacto, correndo o risco de ficar sem recursos para desenvolver a sua pesquisa.

Marcelo Yamashita é professor do Instituto de Física Teórica (IFT) da Unesp e membro do Conselho Editorial da Revista Questão de Ciência

color compass

Este texto foi originalmente publicado pela Revista Questão de Ciência [Aqui!].

Lista Qualis e a duvidosa qualidade dos critérios de qualidade

fevereiro 3, 2023 / Marcos Pędłowski / Deixe um comentário

Critérios adotados para o sistema de avaliação de publicações científicas promovem distorções cujos impactos alcançam inclusive outras instâncias, como classificação de artigos de candidatos a concursos. Indicador deve ser visto como um meio, não um fim em si mesmo

cover page

Por Marcelo Takeshi Yamashita para o “Jornal da Unesp”

A Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), órgão vinculado ao Ministério da Educação (MEC), tem, entre outras responsabilidades, a de zelar pela qualidade dos programas de pós-graduação brasileiros, o que implica a produção, ainda que de forma implícita, de juízos de valor sobre a qualidade da produção acadêmica e científica do país. Os rankings de pós-graduação publicados periodicamente pela Capes são aguardados com ansiedade, celebrados (e até temidos) por instituições públicas e privadas.

Os processos de avaliação utilizados valem-se de indicadores quantitativos e qualitativos que buscam trazer objetividade – números verificáveis e critérios bem-definidos – que, em tese, deixam de fora os preconceitos e favoritismos peculiares das pessoas físicas envolvidas na execução do processo. Um desses critérios é a lista Qualis, um ranking de classificação das revistas indexadas onde pesquisadores de instituições com pós-graduação publicam seus artigos.

No fim de 2022, a Capes anunciou que começaria a adotar uma nova lista, baseada na avaliação quadrienal 2017-2020. A despeito de os critérios de classificação terem mudado ao longo do tempo, não é de hoje que esse ranking de revistas científicas é alvo de críticas. Desta vez, a nova lista gerou reações negativas de pesquisadores de diversas áreas e a criação de um abaixo-assinado.

De acordo com a Capes, a lista Qualis é utilizada exclusivamente para avaliação dos programas de pós-graduação, sendo que o ordenamento das revistas é feito através da aferição das suas qualidades. O ranking classifica os periódicos científicos nos seguintes grupos (do melhor para o pior): A1, A2, A3, A4, B1, B2, B3, B4 e C. Artigos publicados em veículos que não constam da lista, ou em revistas do grupo C, são desconsiderados.

Um sistema que vincula a qualidade de um artigo científico unicamente ao local onde está publicado é bem questionável. O Clay Mathematics Institute é uma fundação privada de fomento a atividades que promovam a matemática. Dentre as suas ações está o pagamento de um prêmio de um milhão de dólares por cada solução de qualquer um dos “Problemas do Millenium”. Esses problemas, um total de sete, envolvem questões complicadíssimas relacionadas à matemática pura, alguns deles sem solução há mais de 100 anos.

Um dos problemas do milênio, a conjectura de Poincaré, foi resolvido em 2002 pelo matemático russo Grigori Perelman. O artigo, com a assinatura de Grisha Perelman, foi publicado no arxiv.org, uma base de acesso aberto onde pesquisadores publicam artigos ainda “crus”, para torná-los públicos antes de submetê-los a algum periódico científico. A complexidade da solução do problema fez com que levasse alguns anos para que a demonstração fosse reconhecida como válida pela comunidade de matemáticos. Mas, afinal, em qual revista Perelman publicou o artigo?

A resposta é: nenhuma. Grisha não somente não quis publicar em periódicos – preferiu compartilhar o conhecimento em uma plataforma de acesso aberto – como recusou prêmios do calibre da Medalha Fields (análogo ao Nobel concedido para a área de matemática). Este exemplo de Perelman (e existem outros) mostra que não há conexão intrínseca entre a qualidade de um artigo e o local de publicação.

Indicadores usados na definição e implementação de políticas públicas precisam (e isto deveria ser óbvio) ter validade – isto é, realmente medir o que se pressupõe que está sendo medido. Uma régua não é um instrumento válido para medir pressão atmosférica, por exemplo. Para o ranqueamento de revistas, porém, algumas comissões que elaboraram o ranking Qualis utilizaram o chamado Fator de Impacto (FI) – um parâmetro que não está relacionado à qualidade da revista.

O FI é um indicador bibliométrico que atribui um número ao periódico com base na quantidade de citações dos artigos publicados. O cálculo é feito tomando-se o total de citações, em determinado ano, dos artigos publicados nos dois anos anteriores, dividido pelo número de artigos publicados nesse mesmo período. Por exemplo:

A = Total de citações em 2020

B = Citações, em 2020, dos artigos publicados em 2019 e 2018 (subgrupo de A)

C = Artigos publicados em 2019 e 2018

D = B/C = Fator de impacto de 2020

O FI de uma revista pode ser definido por apenas uns poucos artigos que recebam muitas citações. Quando se assume o fator de impacto como representativo da qualidade de uma revista (pressupondo, por um momento, que o número de citações seja um indicador válido de qualidade, algo em si discutível) incorre-se em erro, pois boa parte dos artigos publicados naquele periódico sequer recebeu uma única citação.

Adotar o FI, ou outro fator estritamente numérico, pode gerar anomalias como a apontada pelo físico Silvio Salinas no Boletim da Sociedade Brasileira de Física, em 2009, no texto “Quo Vadis, Qualis?”, do qual reproduzo alguns trechos a seguir:

“Francamente, acho que atingimos um limite perigoso, que coloca em risco o próprio conceito de avaliação. Por exemplo, o que significa classificar Physical Review D como A2 e Physical Review B como B1? Por acaso os particuleiros são melhores do que os solidistas? […] Acho que está na hora de refletir sobre essa numerologia, que pouco a pouco se acentua em todas as áreas, impulsionada pelas facilidades da informática e por uma vaga ideia de globalização”.

Apesar de as avaliações não utilizarem unicamente o FI para composição do Qualis, ele continua tendo um papel relevante na classificação dos periódicos. Ainda que haja a utilização de outros indicadores para o estabelecimento desse ranking, a avaliação qualitativa permanece comprometida. O problema de uma mesma revista ser classificada em estratos de Qualis diferentes, como apontado lá em 2009, ainda persiste (por exemplo, Physics Letters A é A3 e Physics Letters B é A2).

Poderíamos descrever longamente aqui os critérios Qualis das diferentes áreas de conhecimento – cada área tem os seus, e todos são passíveis de alguma crítica. Talvez isso mostre que existe um problema inerente ao modelo, que busca objetividade e pragmatismo em uma avaliação que deveria ser o oposto disso. Os indicadores deveriam ser utilizados como meio, e não fim. A avaliação da qualidade de um artigo vai muito além do local onde está publicado e demanda leitura atenta de alguém que tenha algum conhecimento da área de pesquisa.

Outro efeito colateral negativo da canonização de um ranking de revistas por um órgão como a Capes é a utilização dessa lista por outras instâncias e para finalidades para as quais ela não foi pensada. Utilizar o Qualis para avaliações individuais como, por exemplo, a classificação de artigos publicados por candidatos a concursos, atribuindo uma pontuação maior para uma publicação em Qualis A1 do que A3, pode acabar influenciando o direcionamento das pesquisas para periódicos mais bem avaliados, quando o que deveria ser levado em conta pelo pesquisador é a pertinência do artigo à revista.

Antes que a proposta de tornar as avaliações mais qualitativas seja vista como uma utopia, é importante lembrar que a Fapesp (Fundação de Amparo à Pesquisa do Estado de São Paulo) solicita que em todos os pedidos de auxílio seja anexada uma súmula curricular do pesquisador. Neste documento deve-se constar uma lista de até cinco resultados de pesquisa mais relevantes e de maior impacto.

Uma iniciativa semelhante à da Fapesp poderia ser adotada para todas as avaliações, inclusive a dos programas de pós-graduação. Isso tornaria o trabalho dos avaliadores menos árduo e seria possível realmente avaliar a qualidade do que é submetido, reduzindo inclusive a dependência de indicadores externos – muitos deles, gerados por empresas que cobram para fornecer os números.

Recentemente, tomando como exemplo o modelo atual de orientação de alunos de doutorado, a Nature publicou um editorial defendendo a necessidade dos pesquisadores e das universidades se adaptarem às expectativas da sociedade. Sobre o Qualis, remeto novamente ao texto do professor Salinas: “Entretanto, nos dez anos de uso ele tem sido mudado para não mudar… Ou seja, o ‘sarrafo’ muda de posição, mas a lógica da avaliação continua a mesma, exacerbando a importância de um dos aspectos da pós-graduação e subjugando a relevância sob indicadores erigidos em critérios finais e únicos”. Isso foi lá em 2009. Será que estamos muito diferentes em 2023?

Marcelo Takeshi Yamashitaé assessor-chefe da Assessoria de Comunicação e Imprensa da Unesp. Foi diretor do Instituto de Física Teórica (IFT) no período de 2017 a 2021.

compass black

Este texto foi originalmente publicado pelo “Jornal da UNESP” [Aqui! ].

Ciência: um crescente mal-estar e a necessidade das mudanças, por Peter Schulz

dezembro 10, 2021 / Marcos Pędłowski / Deixe um comentário

h index

Por Peter Schulz para o “Jornal da Unicamp”

O mal-estar, para deixar claro de início, é em relação ao desmesurado universo da produção científica, bem como às práticas medir esta produção por meio do número de artigos publicados e de citações – que, ao serem adotadas, desmesuram ainda mais esse universo. Já escrevi vários textos neste espaço relacionados, direta ou indiretamente, a este tema. Mesmo instigado por novas fontes e acontecimentos, também sinto um mal-estar em retomar o assunto, afinal, já não falei sobre isso? Porém, pensando melhor e com essa advertência de possível autoplágio, a partir do que eu tenho observado, considero necessário retomar dois textos anteriores: o primeiro que também traz a palavra mal-estar no título[I] e o segundo sobre algumas reações a esse mal-estar e a percepção de que mudanças são necessárias[II]. O que mudou nos poucos anos entre esses textos e o que escrevo agora é que há tanto sinais de mudanças como de preservação da situação (ou seja, reações contra as mudanças). Então, no balanço, talvez valha mesmo a pena retomar a questão.

O adágio “publique ou pereça”, vulgo “publish or perish” é amplamente conhecido no mundo acadêmico e, aos poucos, fora dele. A expressão é antiga: já em 1951, Marshall MacLuhan teria escrito a Ezra Pound que “publicar ou perecer é o lema da espelunca”, sendo que o poeta chamara anteriormente as universidades de espeluncas. Ou seja, o lema é longevo, sobrevivendo e ganhando importância com o passar do tempo no mundo da pesquisa científica. Como exemplo, recolho das buscas um artigo de 1986, de uma médica, Marcia Angel: “Publish or perish: a proposal”[III]. O resumo do artigo, sintetiza a percepção da autora há 35 anos:

“Devido ao fato de que promoções e financiamento de médicos na medicina acadêmica estão estreitamente ligados ao número de publicações, pesquisadores sentem-se impelidos a publicar tão frequentemente quanto possível. Essa pressão leva a um número de práticas desafortunadas na publicação médica, incluindo realizar estudos triviais porque estes rendem resultados rápidos, o desnecessário relato do mesmo estudo em diferentes apresentações, relatar o estudo mais de uma vez e listar como autores pessoas com envolvimento marginal no trabalho. E pode ser também motivação para fraude. Uma maneira efetiva de reduzir essas ofensas e afirmar a supremacia do essencial sobre o volume […] é colocar um teto no número de publicações a serem consideras para fins de promoção ou financiamento. Cada publicação [considerada mais relevante] receberia assim mais atenção…”.

É exatamente a mesma discussão de hoje, passadas essas três décadas e meia! No meio tempo surgiram os rankings globais de universidades (começo do século XXI) que, como um vírus e suas variantes, infectaram o mundo acadêmico. Não é preciso dizer que os rankings são fortemente ligados aos indicadores. Assim, apesar dos diagnósticos bem anteriores à propagação desses novos vírus, até agora poucas medidas de distanciamento à ilusão e ao delírio foram tomadas. Essa frase remete a um artigo recente do jornalista Carlos Orsi: “Medo e delírio na comunicação da ciência”[IV]. O jornalista é atento e arguto observador do mundo da ciência e, 35 anos depois da médica norte-americana, dispara algo similar sobre uma plausível grande parcela dos trabalhos e o cenário em que se inserem:

“São trabalhos que existem porque é preciso cumprir alguma meta burocrática de publicações para conquistar este ou aquele índice neste ou naquele ranking, não porque havia uma questão legítima a ser respondida, um aspecto relevante da natureza a ser explorado, uma hipótese viável a ser testada; e que são conduzidos no limite inferior da qualidade metodológica, às vezes representando pouco mais do que pobres arremedos”.

E causticamente, sem o compromisso da médica com alguma solução, afinal, cabe à academia mesmo cuidar disso, finaliza: “esperamos que os cientistas se resolvam com suas ilusões (aparecer nas listas de mais influentes, por exemplo) e as universidades despertem de seus delírios de grandeza (querer subir nos rankings para emparelhar com Oxford, outro exemplo).

Mas isso tudo pode parecer apenas ressentimento de alguns muitos, afinal o tal “publique ou pereça” tem lá seus méritos e, de fato, em um estudo de caso (economia nas universidades holandesas), Henrik van Dalen aponta para uma comunidade acadêmica dividida[V]: “professores titulares enxergam, mais do que outros membros do corpo docente, lados positivos do princípio “publish or perish” e virtualmente nenhuma desvantagem”. Esse artigo acadêmico de 2021 mostra que nos últimos anos, publicar ou perecer, deixou os espaços de ensaio e opinião para virar objeto de pesquisa científica. É que se constata ao buscar a expressão em base bibliográfica internacional (Web of Science): poucas vezes mencionada em artigos no século passado, o número de artigos, cartas e editoriais em periódicos científicos em diferentes áreas sobre este tema vêm crescendo notavelmente nos últimos anos. Voltando à percepção dos professores titulares na Holanda, o recado dado aos pesquisadores mais jovens neste ano (2021) é claro no sítio de assessoria à publicação voltada e esse público (Proof-Reading-Service.com): “Como publicar 50 papers por ano”[VI]. Ao ler o texto, notei que as dicas já são seguidas como um mantra por alguns colegas, segundo confissões ou profissões de fé. A isso somam-se as fábricas de artigos, por meio das quais seu nome pode ser incluído como autor em um artigo pronto, frente a uma “módica” contribuição. Sobre isso, também há um texto na revista Questão de Ciência[VII].

Novamente, a minha história de pesquisador, que sempre valorizou a publicação de artigos em periódicos de seletiva política editorial, etc., etc., (sempre obedecendo ao princípio atribuído a César Lattes: “é muito bom publicar um artigo, desde que se tenha algo a dizer primeiro”), pede que vieses (no caso contra o produtivismo burro para atender às métricas, ainda que muitos dos seus praticantes acreditem que tudo isso é pelo bem da ciência) sejam considerados com cuidado. Assim, nada melhor do que um estudo quantitativo cuidadoso para guiar um pouco a discussão. Um extenso levantamento bibliográfico de artigos e citações de várias décadas e uma acurada análise, realizados por Johan Chu e James Evans[VIII], publicado em outubro de 2021, sugere uma crescente desigualdade nas citações de artigos: cada vez mais são sempre os mesmos citados ao passo que possíveis contribuições importantes passam despercebidas no “dilúvio de artigos” (o corolário é que cresce diluvianamente o número de artigos sem relevância, cumpridores de metas e que também não são citados). Apresento pequenos excertos do texto sobre o cenário delineado (os aspectos metodológicos, dados e resultados podem ser apreciados no link logo acima):

“O dilúvio de novos artigos pode privar revisores e leitores da abertura cognitiva necessária para reconhecer e entender novas ideias […] A atual natureza do empreendimento científico, calcada na métrica de ‘mais é melhor’ pode retardar, ironicamente, o progresso nos campos científicos maiores”.

E atenção para uma das conclusões!

“Sistemas de promoção e reconhecimento que evitem medidas quantitativas e valorizem um número menor de contribuições, mais robustas e inovadoras, poderiam reduzir o dilúvio de artigos competindo por atenção em seu campo”. Chegamos em 2021 a uma proposta já enunciada em 1986, caso alguém se lembre da citação no começo desse texto.

Se “publicar ou perecer” está virando um campo quantitativo de pesquisa, as reações às maneiras automatizadas de avaliação começam a ser qualitativamente revistas mundo afora. Três cientometristas conhecidos e influentes escreveram uma carta, também publicada agora em 2021: “Um apelo por uma mudança radical na avaliação de pesquisa na Espanha”[IX]. O cenário espanhol descrito é muito parecido com o brasileiro: o fetiche em relação ao uso das métricas e suas consequências negativas, enumerando movimentos iniciados na década passada, cujos princípios deveriam ser considerados nas mudanças radicais pedidas. E novos movimentos e mudanças, ainda que não tão radicais, são implementadas. Enumero apenas três delas. A iniciativa é mais antiga, mas segue: é o movimento pela “des-execelência”, iniciado por um grupo de pesquisadores da Universidade Livre de Bruxelas[X]. O site todo é em francês, mas o slogan é autoexplicativo, ainda que misturando francês e inglês: “esqueça seu fator de impacto (que é uma dessas métricas, a mais fajuta delas, na verdade, ainda que amplamente utilizada), aqui temos a des-excelência”.

De novo aquele muro entre um possível ressentimento(?) e um diagnóstico preciso? Pois a carta do movimento é um diagnóstico acurado. E, como anunciei, mudanças acontecem. Em meados de 2021, saiu o anúncio de que a Universidade de Utrecht na Holanda deixará de lado, pelo menos parcialmente, as métricas[XI]. O autor do projeto da mudança de avaliação declarou para a revista Nature: “fatores de impacto – bem como métricas relacionadas, como o índice H – contribuem para a ‘produtificação’ da ciência, que valoriza volume em vez de boa pesquisa […] Isso se tornou um modelo muito doentio, que vai além do que é realmente relevante na ciência”.

Nas últimas semanas, uma pequena nota no jornal francês, Le Monde[XII], trouxe comentários sobre estas mudanças em vários países, inclusive na França, com avaliações se distanciando das métricas: ‘se não é uma revolução, é uma mudança cultural, de paradigma’. Por que a mudança? Segundo comentário de Chérifa Boukacem, professora da Universidade Claude Bernard-I em Lyon, “passamos a pensar em ‘publicação’ e não mais em ‘pesquisa’. Não tentamos mais produzir conhecimento, mas nos perguntamos que tipo de artigo seria interessante fazer”. Fica no ar a pergunta: interessante para que ou para quem? Resposta possível: um fim em si mesmo.

É hora de discutirmos mais detidamente intramuros acadêmicos o que estamos fazendo por aqui, com os medos, ilusões e delírios. As ideias e ações surgem em vários lugares! Precisamos de novas cenouras e novos rumos.

Observação: Os artigos publicados não traduzem a opinião do Jornal da Unicamp. Sua publicação tem como objetivo estimular o debate de ideias no âmbito científico, cultural e social.

[I]https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/malaises-da-ciencia

[II]https://www.unicamp.br/unicamp/index.php/ju/artigos/peter-schulz/um-manifesto-pela-universidade-publica

[III]https://www.acpjournals.org/doi/pdf/10.7326/0003-4819-104-2-261

[IV]https://revistaquestaodeciencia.com.br/apocalipse-now/2021/11/21/medo-e-delirio-na-comunicacao-da-ciencia

[V]https://www.researchgate.net/publication/344025747_How_the_Publish-or-Perish_Principle_Divides_a_Science_The_Case_of_Academic_Economists

[VI]https://www.proof-reading-service.com/en/blog/publish-50-papers-year/

[VII]https://www.revistaquestaodeciencia.com.br/questao-de-fato/2021/11/23/fabricas-de-artigos-falsos-expoem-fragilidade-da-publicacao-academica

[VIII]https://www.pnas.org/content/118/41/e2021636118

[IX]https://revista.profesionaldelainformacion.com/index.php/EPI/article/view/86526/62971

[X]https://lac.ulb.ac.be/LAC/home.html

[XI]https://www.nature.com/articles/d41586-021-01759-5

[XII]https://www.lemonde.fr/sciences/article/2021/11/23/chambardements-dans-l-evaluation-des-scientifiques_6103279_1650684.html

Peter Schulz foi professor do Instituto de Física “Gleb Wataghin” (IFGW) da Unicamp durante 20 anos. Atualmente é professor titular da Faculdade de Ciências Aplicadas (FCA) da Unicamp, em Limeira. Além de artigos em periódicos especializados em Física e Cienciometria, dedica-se à divulgação científica e ao estudo de aspectos da interdisciplinaridade. Publicou o livro “A encruzilhada da nanotecnologia – inovação, tecnologia e riscos” (Vieira & Lent, 2009) e foi curador da exposição “Tão longe, tão perto – as telecomunicações e a sociedade”, no Museu de Arte Brasileira – FAAP, São Paulo (2010).

blue compass

Este texto foi originalmente publicado pelo “Jornal da Unicamp” [Aqui! ].

Por um retorno ao debate científico e à inteligência coletiva

outubro 1, 2020 / Marcos Pędłowski / Deixe um comentário

Sob pressão da publicação e, portanto, da competição, a ciência está passando por uma grande crise de credibilidade. A troca entre pesquisadores e os consensos que daí emergem são a garantia das verdades científicas, lembra um coletivo em fórum no “Mundo”

collective

Por Michaël Bon, Henri Orland, Konrad Hinsen, Bernard Rentier, Jacques Lafait, Tembine Hamidou, Jamal Atif, Alexandre Coutte, Nicolas Morgado, Patrice Koehl, Stéphane Vautier, Jean-Paul Allouche, Gilles Niel, Christine Fleury, e Clément Stahl para o Le Monde

A epidemia de COVID-19 lançou luz sobre disfunções profundas na ciência. Esperávamos um conhecimento confiável para fundamentar medidas eficazes e razoáveis para encerrar a crise. Eventualmente, todos terão encontrado algo que confirme seus preconceitos em meio a um caos de mais de 50.000 artigos humanamente impossíveis de analisar, nos quais o circuito de publicação e os providenciais homens falharam em indicar uma direção certa. Como a ciência fala hoje?

A voz da ciência é coletiva em essência: é a do consenso que emerge do debate dentro da comunidade científica. Por quanto tempo e apaixonadamente for necessário, os pesquisadores trocam argumentos e experiências até convergirem em afirmações livres dos preconceitos uns dos outros, de acordo com os fatos observados e que constituem a verdade científica do momento. No entanto, essa prática fundamental de debate em grande parte desapareceu do mundo acadêmico, em favor de um substituto profundamente diferente, a “revista com revisão por pares ”. Esta “revisão por pares” é um processo local, interno a uma publicação, governado por um editor, onde um pesquisador deve cumprir as liminares de alguns pareceristas anônimos durante trocas confidenciais por e-mail cujo objetivo é obter uma decisão favorável da Imprimatur em curto espaço de tempo. Assim, as verdades científicas não são mais fatos coletivos emergentes, mas são decretadas por um processo análogo a um julgamento fechado. Sob o efeito deletério desse processo de validação aleatória, limitado, conservador, inverificável e permeável a conflitos de interesses, a ciência como um todo entrou em uma grande crise existencial, chamada reprodutibilidade : na maioria dos campos e em uma proporção alarmante, muitos resultados experimentais publicados não podem ser replicados, mesmo por seus autores.

Como chegamos lá ? Nossa tese é que o debate foi desaparecendo gradativamente porque a lógica da avaliação administrativa dos pesquisadores os dissuade. A partir da década de 1960, com o crescimento da pesquisa pública, as instituições científicas queriam se munir de indicadores quantitativos de desempenho para orientar sua atividade. Isso resultou em um sistema, que se tornou global, onde o objetivo do pesquisador, para obter financiamento ou promoção, é justificar as publicações em revistas de “prestígio”. Os méritos e métodos de cálculo do indicador de prestígio (o “ fator de impacto ”) são problemas bem conhecidos. Porém, em nossa opinião, seu defeito mais prejudicial ainda é mal definido: quando o valor de uma produção é condicionado pela reputação do jornal que a publica, não é mais o pesquisador que cria valor, mas sim aquele que decide. da publicação: o editor.

Essa reversão gera duas disfunções principais. Por um lado, uma minoria de editores pode forçar a maioria a se alinhar com sua visão e padrões (e por exemplo impor um imperativo permanente de novidade, contornando a verificação de resultados já publicados ou no compartilhamento resultados experimentais negativos). Por outro lado, o valor científico está se tornando uma mercadoria rara, que os pesquisadores desejam se atribuir publicando nas revistas que a fornecem. Um cientista que se destaca nesse sistema inevitavelmente o faz em detrimento de seus pares. A troca entre pares, essencial para a ciência, torna-se contrária aos interesses pessoais de seus agentes, doravante artificialmente em competição. A inteligência coletiva é, portanto, inibida pela governança vertical,

Para encontrar um desenvolvimento vertical da ciência, é essencial promover uma governança horizontal, comunitária, onde o objetivo principal do pesquisador é debater com seus pares e convencê-los. Ao contrário da competição sem sentido induzida pelas regras atuais, a governança horizontal induz a “coopetição”, onde a troca é do interesse de todos e naturalmente produz abertura, transparência e inteligência coletiva. Em outros escritos , detalhamos suas modalidades concretas, agora tecnicamente possíveis graças à Internet. Em resumo, argumentamos que os valores certos pelos quais se aprecia uma produção científica são sua validade e importância .A validade de uma produção é estabelecida qualitativamente pelo debate científico e pode ser razoavelmente quantificada pelo grau de consenso que atinge em um determinado momento. Sugerimos também que cada cientista faça gratuitamente uma revisão da literatura na imprensa, expressando sua visão e hierarquias pessoais. A importância de uma determinada produção pode ser vista e medida por seu grau de difusão em tal ecossistema.

Esses dois mecanismos devolvem à comunidade científica a gestão integral da ciência e podem oferecer indicadores que atendam às necessidades administrativas das instituições. Assim, a transição para um tal método de avaliação, que também é muito econômico porque sem intermediários, é principalmente uma questão de vontade política. Esperamos que a França adote essas idéias em breve e seja uma força motriz na regeneração geral dos processos científicos coletivos.

Michaël Bon, pesquisador e consultor; Henri Orland, pesquisador (CEA); Konrad Hinsen, pesquisador (CNRS, CBM); Bernard Rentier, reitor emérito da Universidade de Liège; Jacques Lafait, diretor emérito de pesquisa (CNRS, Sorbonne University); Tembine Hamidou, professor assistente (New York University); Jamal Atif, professor (Universidade Paris-Dauphine-PSL); Alexandre Coutte, professor (Universidade Paris-Nanterre); Nicolas Morgado, professor sênior (Universidade Paris-Nanterre); Patrice Koehl, professor (University of California, Davis);Stéphane Vautier, professor (Universidade de Toulouse-Jean-Jaurès); Jean-Paul Allouche, diretor emérito de pesquisa (CNRS); Gilles Niel, pesquisador (CNRS, ICGM); Christine Fleury, curadora da biblioteca (ABES); Clément Stahl, pesquisador (Universidade de Paris)

fecho

Este texto foi escrito originalmente em francês e publicado pelo jornal Le Monde [Aqui!].

Especialistas propõem novos critérios para avaliar revistas científicas

junho 6, 2019junho 6, 2019 / Marcos Pędłowski / Deixe um comentário

impact factor

Em comentário publicado na revista Nature, pesquisadores apontam a necessidade de se repensar o fator de impacto como critério predominante na avaliação de periódicos

Elton Alisson | Agência FAPESP – A necessidade de repensar o fator de impacto como critério predominante na avaliação de publicações científicas foi tema de um comentário publicado na revista Nature, no dia 28 de maio, por especialistas de diversas áreas.
Os autores e cossignatários do texto – entre eles Renato Hyuda Luna Pedrosa, professor da Universidade Estadual de Campinas (Unicamp) e coordenador do Programa de Indicadores de Ciência, Tecnologia e Inovação da FAPESP – ressaltaram a importância de buscar um conjunto de métricas mais amplo e transparente para avaliação dos periódicos científicos.

“Essa avaliação é resultado de um encontro realizado na Universidade de Leiden, na Holanda, em 2017. No evento, especialistas internacionais em bibliometria, editores de revistas científicas e representantes de agências de fomento à pesquisa discutiram a necessidade de construir novos critérios de avaliação de publicações científicas”, disse Pedrosa à Agência FAPESP.

Na opinião dos pesquisadores, o fator de impacto – concebido na década de 1970 como um método para avaliar a importância dos periódicos em suas respectivas áreas – passou a ser usado para fins diferentes do propósito original.

O indicador, que reflete a média de citações de artigos científicos publicados em um determinado periódico, tem sido usado, em diversos países, como critério para concessão de financiamento a projetos de pesquisa ou de avaliação de programas de pós-graduação.

“A finalidade original do fator de impacto, que era de apoiar a avaliação de periódicos e os pesquisadores na escolha de revistas para publicarem seus trabalhos, foi distorcida”, disse Pedrosa.

“O indicador passou a ser usado para tomada de decisão e isso começou a causar efeitos, como manipulações para inflar o índice de revistas científicas por meio de autocitação ou de citação cruzada [uma ação coordenada entre dois periódicos, pela qual um cita os artigos do outro]”, disse.

A fim de coibir essas práticas, os autores sugerem a criação de novos indicadores que possam contemplar as novas funções dos periódicos científicos, assim como as tradicionais.

Entre as funções praticamente inalteradas desde que as revistas científicas surgiram, há mais de 350 anos, estão as de permitir a garantia da autoria dos trabalhos, a revisão por pares, a curadoria das pesquisas, a disseminação dos resultados e o registro permanente dos dados.

O fator de impacto, assim como a maioria dos indicadores de uso comum, baseados em citações, captura apenas aspectos limitados dessas funções dos periódicos científicos. A criação de novos indicadores é particularmente importante, uma vez que as revistas científicas estão evoluindo rapidamente e se tornando plataformas para divulgar dados, métodos e objetos digitais, apontaram os pesquisadores.

“O surgimento de plataformas de publicação de artigos científicos do tipo open source [acesso aberto], por exemplo, tem representado um grande desafio para o método tradicional de trabalho das revistas científicas”, afirmou Pedrosa.

“Algumas das funções tradicionais dos periódicos científicos, como o arquivamento dos dados, ficam um pouco perdidas nesses novos sistemas de publicação científica. Por isso, também serão necessários novos indicadores para assegurar a qualidade desses sistemas”, avaliou.

Critérios claros

Como ressaltaram os autores do texto, simplesmente aumentar a quantidade de indicadores para avaliar as publicações científicas não equivale a melhorar a avaliação. Por isso, é preciso garantir que as novas métricas sejam construídas e usadas de forma responsável e que atendam a um conjunto de critérios claros. Entre esses critérios estão os de serem válidos – refletindo o conceito medido –, compreensíveis, transparentes, justos, adaptativos e reprodutíveis.

Outra sugestão feita por eles é a criação de um órgão, composto por representantes de todo o sistema de publicação científica, com foco em indicadores de avaliação de periódicos científicos.

O órgão poderia propor novos indicadores para abordar as diversas funções das revistas científicas, fazer recomendações de seu uso responsável e desenvolver novos padrões. Dessa forma, poderia ajudar a proteger contra “revistas predatórias” – publicações de baixa qualidade criadas para fins essencialmente financeiros – e dar orientações sobre publicações de acesso aberto e compartilhamento de dados, por exemplo.

“A ideia é que esse trabalho de discussão de novos indicadores de avaliação de periódicos científicos continue nos próximos anos para que se avance na construção de métricas novas e melhoradas”, disse Pedrosa.

O artigo Rethinking impact factors: find new ways to judge a journal (DOI: 10.1038/d41586-019-01643-3), de Paul Wouters, Cassidy R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke e Ludo Waltman, pode ser lido na revista Nature em www.nature.com/articles/d41586-019-01643-3.

_________________________________________________________

Este artigo foi inicialmente publicado pela Revista da FAPESP [Aqui!].

Métricas e lixo científico: porque o fator de impacto não é necessariamente uma boa medida de qualidade

agosto 25, 2015agosto 25, 2015 / Marcos Pędłowski / Deixe um comentário

Estou cada vez mais convencido de que precisamos mudar a forma de avaliar o que são produções científicas efetivamente qualificadas, sem precisarmos cair nas muletas intelectuais rotuladas de “Fator de Impacto”. Antes que me acusem de ser um crítico invejoso dos que conseguem publicar em revistas com alto fator de impacto, as quais supostamente representam o cume da realização acadêmica, deixem-me compartilhar uma pequena experiência pessoal.

Essa experiência começou com um esforço que eu e dois colegas da Universidade Nacional de Brasília (UNB) estamos realizando para produzir um bom artigo científico sobre a expansão da monocultura da soja na Amazônia ocidental, especificamente em Rondônia. Estamos envolvidos nessa labuta há mais de um ano, e a primeira vez que submetemos o trabalho a uma revista de boa reputação, levamos um bonito toco. É que nos dito que o artigo carecia de algo que as revistas mais concorridas prezam muito atualmente, qual seja, um certo charme mercadológico. Em termos práticos, a nossa primeira versão do artigo estaria muito centrada numa análise regional, e os editores das melhores revistas atualmente preferem análises mais generalizáveis.

Pois bem, após refazermos as análises dos dados, eis que nos defrontamos com o aspecto do interesse pelo nosso “produto”, já que no tocante ao avanço da soja na Amazônia brasileira está em voga dizer que não há impacto sobre as áreas ainda coberta por florestas, visto que essa monocultura só seria implantada em áreas já anteriormente desmatadas para o estabelecimento de outras culturas agrícolas ou para o estabelecimento da pecuária. De quebra, há ainda um aparente consenso de que a política chamada “Moratória da soja” produziu efeitos positivos no avanço do desmatamento de áreas cobertas por florestas nativas.

Como de praxe, buscamos realizar uma procura na literatura para melhor contextualizar os nossos resultados, e eis que nesse esforço encontramos um artigo publicado numa revista científica de acesso aberto que fazia considerações positivas sobre a eficácia da moratória da soja. E importante notar, a mesma revista possui um bom fator de impacto no ranking conhecido como “Journal Citation Report” que é produzido pela megaeditora Thomson Reuters. Como utilizo sempre a “Lista de Beall” para verificar se determinadas revistas são publicadas por editores predatórios (Aqui!), fui lá e não deu outra, o editor da tal revista é apontada como predatório pelo professor Jeffrey Beall.

Este aparente paradoxo me levou a realizar uma pesquisa direta ao prof. Beall que, gentilmente, me respondeu que o editor em questão, o MDPI ( Aqui!), é efetivamente um predatório cujas decisões de publicação residem na capacidade dos autores pagarem para que isto ocorra. Quanto ao alto fator de impacto da revista, o professor Beall atribui isso à diferentes estratégias utilizadas da MDPI para elevar o nível de citação de seus artigos, a começar pelo uso de edições especiais e outros truques editoriais. Em função disso é que o professor Beall apontou que o “fator de impacto” não é uma medida de qualidade científica.

Resolvido em parte o enigma, verifiquei como anda o ritmo de citação do artigo em que os autores tecem loas à moratória da soja, notei que o mesmo foi igualmente bem citado no Web of Science da Thomson Reuters e no Scopus que é impulsionado por outra megaeditora cientifica, a Elsevier. Diante disso, é que fiquei me perguntando quantos dos autores que utilizaram o trabalho publicado pela MDPI de forma crítica (ou seja, quantos questionaram os resultados ali apresentados) e quantos simplesmente o assumiram como fonte válida de evidência científica.

De forma provisória, já que não chequei os artigos que citaram o trabalho em questão, prognostico que a maioria assumiu os resultados como verdade, já que aceitar a tese da “moratória da soja” é um desses modismos que invadiu de sopetão os estudos sobre o avanço do desmatamento na Amazônia Brasileira. E se isso, se confirmar, já que efetivamente vou verificar cada um desses estudos, estaremos diante de uma brecha inaceitável para valorização indevida de revistas e editores predatórios em uma área que julgo estratégica não apenas para o Brasil, mas para todos os que perseguem usos social e ambientalmente sustentáveis dos ecossistemas existentes nas regiões tropicais.

De todo modo, se antes desse episódio eu já desconfiava da eficácia do Fator de Impacto para medir qualidade científica, agora não tenho mais dúvidas de sua pouca ou nenhuma utilidade para conduzir uma aferição válida de “qualidade”, mas quando muito da quantidade de citações. E olhe lá.

Maurício Barreto: Se mudarmos a forma de avaliar a ciência, mudamos a forma de entender e valorar a publicação científica

julho 23, 2015 / Marcos Pędłowski / Deixe um comentário

Um dos cientistas brasileiros mais renomados no cenário internacional fala da importância de mudar os pesos da avaliação científica

Membro da The World Academy of Sciences (TWAS), da Academia Brasileira de Ciências (ABC), e um dos mais profícuos pesquisadores da Saúde Coletiva, Maurício Barreto tem acompanhado de perto o debate sobre o papel da produção científica no mundo e alerta: se universidades e centros de fomento não abandonarem o atual modelo de avaliação, baseado unicamente na quantidade de publicações e citações, a própria ciência tende a ampliar o fosso que a aparta do resto da sociedade. “Cada vez mais, a consciência de que esse modelo baseado em índices e fatores de impacto não demonstram a importância do desenvolvimento científico e dos efeitos da ciência, o que exige esforços de propor e apresentar alternativas”.

Para ele, é fundamental que a academia tome para si o compromisso social da produção do conhecimento. Barreto não fica apenas nas palavras. A partir de seu estudo pioneiro sobre os impactos do Bolsa Família sobre a mortalidade infantil e demais aspectos do ciclo vital e de desenvolvimento, o governo federal, na figura do Ministério de Desenvolvimento Social (MDS), Fundação Oswaldo Cruz (Fiocruz), Universidade de Brasília (UnB) e Universidade Federal da Bahia (UFBA) assinaram ano passado um acordo de cooperação técnica que possibilitará a realização de um estudo de corte baseado nos dados de cerca de 100 milhões de brasileiros que se beneficiam dos programas sociais e compõem a base de dados do Cadastro Único (CadÚnico).

Para o Portal Abrasco, ele fala do desafio da avaliação, da crise que já se abate sobre o custeio dos programas de pós-graduação, do debate sobre o produtivismo e do papel da ciência, temas que abordará em palestras e mesas redondas durante o Abrascão 2015, que acontece entre 27 de julho e 1 de agosto, na Universidade Federal de Goiás, em Goiânia.

“O Abrascão é uma caixa de ressonância, por isso é vital falarmos de avaliação. Temos a oportunidade de pensar sobre a avaliação numa visão múltipla”, afirma Barreto. Leia a entrevista e confira ao final a programação.

Abrasco: Em sua conferência no 9º Congresso Brasileiro de Epidemiologia, o Epivix, o senhor abordou como a epidemiologia vive um processo de atração e distanciamento dos demais campos científicos, sendo fundamental ter como centro os grandes projetos que afetam a saúde das populações. Isso é possível dentro do atual cenário da produção científica?

Maurício Barreto: O campo da Saúde Coletiva tem uma serie de desafios internos entre os quais inclui a articulação de conhecimento produzido em várias áreas científicas. Estamos dentro do campo geral das ciências da saúde, e vivemos os dilemas complexos inerentes a esse setor, gerador de expectativas e cujos resultados, de diversas formas, têm grande de interferir no cotidiano das pessoas e das populações. Mesmo com todas as nossas características específicas e tendo de seguir as regras universais da produção científica, temos que refletir sobre nossas especificidades e em especial os efeitos que nosso conhecimento gera sobre as sociedades humanas.

Abrasco: Quais são as deficiências da avaliação das ciências?

Maurício Barreto: A tradição da avaliação da ciência vem de uma disciplina chamada cienciometria. Ela parte da ideia central de aferir todos os campos do conhecimento científico por uma única métrica de uso universal baseada em índices do que se publica e do que se cita na produção científica mundial. Para isso, utiliza medidas, como o Fator de Impacto, o Índice H, medidas que têm pretensão de métricas universais, que sirvam para qualquer campo científico. Só que esta opção gera muitos dilemas e desafios. O mais importante é que as ciências são muito diferentes entre si. Veja a Cosmologia, que agora está na mídia discutindo sobre as condições de Plutão, por conta da aproximação da sonda da NASA a este planeta. Como comparar a Cosmologia com a Saúde Coletiva, que tem o potencial de gerar efeitos mais concretos no cotidiano da vida das pessoas? Os seja, como comparar estas duas ciências que geram efeitos tão diferentes?

Deve-se enfatizar que estas duas ciências não são tão diferentes na forma de publicar e de citar (os novos resultados obtidos sobre Plutão com certeza serão publicados em revistas científicas e certamente serão citados) – a maior diferença é nos efeitos que estas duas ciências geram sobre a sociedade. Porém, até o momento as avaliações científicas não levam (ou leva muito pouco) isso em consideração. Nesta perspectiva, eu partilho o ponto de vista de que a avaliação do conhecimento não pode ser somente baseada em parâmetros blibliométricos (publicar e citar). Nosso objetivo como pesquisadores deve ser o de modificar a realidade que vivemos e a avaliação científica de ajudar a entender como os efeitos do conhecimento cientifico por nós produzidos afetam a sociedade. A produção de uma nova vacina, contribuir para a organização de novos programas na saúde devem ser objetivos finais de nossos programas científicos, e não apenas as publicações que tratam desse tema. As publicações são estágios desses empreendimentos, não o seu fim.

Abrasco: No mundo atual, grandes grupos econômicos, como o Elsevier, dominam a publicação científica, o que vem gerado vários protestos da comunidade acadêmica internacional. O que é possível fazer para reverter esse quadro?

Maurício Barreto: De fato, quem domina o campo e formula as regras são, em boa parte, as grandes editoras internacionais. Quando falamos que o Fator de Impacto de uma publicação é alto, podemos também dizer que alto também é o valor econômico das empresas que detêm os direitos editoriais desta revista. Mas temos alternativas, como revistas online e de acesso aberto. Aqui no Brasil ainda temos a cultura das revistas e periódicos ligados às associações, sem objetivos empresariais por trás. O SciELO tem sido um bom exemplo de iniciativa que se contrapõe a lógica de como o capitalismo vem moldando o empresariamento editorial das ciências.

Nos países desenvolvidos é mais claro o campo de disputa econômica que se tornou a publicação científica. Como modificar este quadro tem sido tema de debates internacionais. Entretanto, não é uma tarefa simples, não há fórmulas prontas. O consenso é que o modelo atual é insuficiente e não transparece as aspirações do conhecimento científico como algo que pertence ao bem comum. O aparecimento de outro modelo exige grande consenso em torno desse reconhecimento. Introduzir outros elementos avaliativos, como qualidade, efeitos e impactos da produção científica geraria outros focos de debate, hoje tão centrado na publicação científica. Isso é fundamental para o campo da saúde, que precisa criar condições ou mesmo liderar e desenvolver alternativas em torno de como perceber e mesmo mensurar os efeitos da sua produção científica.

Abrasco: Os cientistas que lideram essas críticas centram fogo também na crítica ao produtivismo que impera nas academias. A crítica que o senhor faz à avaliação das ciências parte dos mesmos pressupostos?

Maurício Barreto: Historicamente, o conhecimento científico é apresentado em forma de publicações, isso faz parte do fazer científico. O modo de se publicar e a influência das publicações sobre a avaliação é que têm mudado. Acredito que o debate do produtivismo tem suas razões e não razões. O discurso contra o produtivismo acerta quando critica a obrigação do volume de produção, quando aponta a excessiva valorização de quantidades e métricas derivados do número de publicações e de citações. O erro advém de colocar todo o peso da avaliação – seja individual, seja coletiva – nas publicações. Se colocarmos no centro da avaliação os efeitos que tal conhecimento possa ter ou vir a ter na vida das pessoas e das sociedades, teríamos condições de produzir um novo debate e mudar o foco da avaliação centrado quase exclusivamente na publicação. Publicar com qualidade é importante e todos concordamos, faz parte do processo da ciência e de uma ciência feita de forma rigorosa – dessa lógica não escapamos, nem podemos escapar. O central é mudar a lógica do que queremos, o que é feito e o que podemos fazemos com a ciência que produzimos. Acredito que seja a forma de mudar o sentido do debate sobre o produtivismo e transformá-lo em um debate útil sobre os sentidos do labor científico.

Abrasco: Como o senhor vê o processo de avaliação das ciências na academia brasileira e o anúncio de cortes da Capes em importantes programas de custeio das Pós-Graduações?

Maurício Barreto: A produção científica brasileira e nós, pesquisadores, continuamos presos a esse modelo sobre o qual existe certo consenso de que está superado, mas por razões nem sempre compreensíveis, continuamos utilizando-o. Continuamos destacando apenas como melhor aquele que mais publica, que é mais citado, esquecendo de que precisamos também destacar aqueles conhecimentos que afetam as nossas vidas. Mudanças na forma de avaliar o conhecimento produzido poderiam vir a ser uma valiosa contribuição na busca de sentido e mesmo utilidades para o conhecimento que produzimos. Porém, deve-se enfatizar que esta não é uma tarefa simples e que já está pronta, faz-se necessário o desenvolvimento de novos modos e mesmo de novas métricas de avaliação.

A atual crise só agrava e mostra as insuficiências do modelo de avaliação que usamos. Todo o nosso sistema nacional de pós-graduação é mal financiado, mesmo nos momentos de calmaria econômica. Espero que os cortes atuais sejam apenas momentâneos, pois sua manutenção, com certeza, será uma pá de cal em cima desse sistema, que exigiu imensos esforços da sociedade brasileira para a sua construção.

O debate sobre a avaliação é central nesse momento, pois pode propiciar um redirecionamento e alternativas, e mostrar que nossa missão é maior do que produzir artigos científicos. Não fomos criados para ser uma comunidade de produtores de artigos, mas sim de conhecimentos que contribuam para a compreensão abrangente dos problemas de saúde, para o fortalecimento do SUS e para as transformações necessárias nas condições de saúde da população brasileira. Esse deveria ser o norte do nosso sistema de avaliação. Porém, para que isso possa acontecer, os programas precisam continuar existindo e produzindo. À medida que se reduz cada vez mais o financiamento, a luta passa a ser apenas pela misera sobrevivência, perdendo o sentido de debates em torno da avaliação.

Abrasco: A defesa do SUS universal é o tema do Abrascão 2015. Qual é a importância desse debate no cenário brasileiro?

Maurício Barreto: Ao colocar a universalidade dos sistemas de saúde como tema central deste Congresso, a Abrasco reafirma-se como uma organização criada para defender o sistema de saúde brasileiro e contribuir para o desenvolvimento do SUS. Como parte da turbulência que vive a sociedade brasileira, o nosso sistema de saúde também atravessa momentos críticos. Muita coisa boa está acontecendo, por exemplo, a expansão da Rede de Atenção Primária e o nível de equidade que está se alcançando neste nível de atenção, porém e ao mesmo tempo, vários outros de problemas existem e precisam de soluções. Em todos os problemas a questão da universalidade é relevante. Na perspectiva da nossa comunidade científica, tudo isto implica em desafios de continuar contribuindo para o SUS integral, resolutivo, universal que almejamos. Esse debate é de grande relevância para nós, como parte da comunidade de produção científica e, certamente, de onde poderão sair os conhecimentos necessários para a emergência de soluções compatíveis com a grandeza dos problemas e desafios que é a construção de um SUS almejado pela sociedade brasileira.

(Abrasco)

FONTE: http://www.jornaldaciencia.org.br/edicoes/?url=http://jcnoticias.jornaldaciencia.org.br/2-mauricio-barreto-se-mudarmos-a-forma-de-avaliar-a-ciencia-mudamos-a-forma-de-entender-e-valorar-a-publicacao-cientifica/

CNPq descontinua componente que informava impacto das publicações dos pesquisadores na base Lattes por erros e incompletudes de informações

maio 6, 2015 / Marcos Pędłowski / 1 comentário

Até muito recentemente, a Plataforma Lattes do Conselho Nacional Nacional de Desenvolvimento Científico e Tecnológico (CNPq) possuía um componente que informava o número de citações dos artigos inseridos pelos pesquisadores em seus currículos acadêmicos. Mas quem quiser acessar essa informação agora encontra a seguinte e prosaica advertência

“Citações: Acesso temporariamente indisponível em razão de erros e incompletudes das informações do DOI, ISSN, página inicial, edição e volume de parte dos currículos registrados na Base.“

Em outras palavras, os pesquisadores brasileiros estão preenchendo seus currículos de forma incompleta, omitindo informações básicas, mas essenciais, de seus artigos científicos, e impedindo assim que se determine o impacto do que está sendo publicado.

Uma pessoa mais desinformada poderia se questionar sobre a importância desse fato. Eu começaria pelo fato de que o chamado “Fator H” (Aqui!) que é usado para estimar o grau de impacto das publicações incluídas pelos pesquisadores em seus currículos, sendo assim um dos indicadores básicos para o próprio CNPq decidir quem recebe ou não recursos oferecidos por aquela agência de fomento, a começar pelas cobiçadas “Bolsas de Produtividade” .

Há que se lembrar que as bolsas de produtividade representam não apenas um ganho extra e isento de recolhimento de imposto de renda, mas que acabam orientando toda a concessão de financiamentos nas diferentes modalidades que o CNPq premia aqueles pesquisadores que são considerados mais produtivos em seus respectivos campos disciplinares.

Como a Base Lattes já existe desde 1999, a omissão desse dados não deve estar relacionada ao desconhecimento por parte da comunidade científica da forma correta de se realizar o preenchimento dos currículos. Mas se não é desconhecimento, então o que é?

Até que esse componente seja restabelecido, a pergunta que se faz é a seguinte: como irá o CNPq determinar o tão decantado mérito científico que, em última instância, baliza todo o sistema de premiação e distribuição de recursos públicos para a comunidade científica brasileira? A ver!