Por um retorno ao debate científico e à inteligência coletiva

Sob pressão da publicação e, portanto, da competição, a ciência está passando por uma grande crise de credibilidade. A troca entre pesquisadores e os consensos que daí emergem são a garantia das verdades científicas, lembra um coletivo em fórum no “Mundo”

collective

Por Michaël Bon,  Henri Orland,  Konrad Hinsen,  Bernard Rentier, Jacques Lafait, Tembine Hamidou,   Jamal Atif, Alexandre Coutte,  Nicolas Morgado, Patrice Koehl, Stéphane Vautier, Jean-Paul Allouche, Gilles Niel,  Christine Fleury, e Clément Stahl para o Le Monde

A epidemia de COVID-19 lançou luz sobre disfunções profundas na ciência. Esperávamos um conhecimento confiável para fundamentar medidas eficazes e razoáveis ​​para encerrar a crise. Eventualmente, todos terão encontrado algo que confirme seus preconceitos em meio a um caos de mais de 50.000 artigos humanamente impossíveis de analisar, nos quais o circuito de publicação e os providenciais homens falharam em indicar uma direção certa. Como a ciência fala hoje?

A voz da ciência é coletiva em essência: é a do consenso que emerge do debate dentro da comunidade científica. Por quanto tempo e apaixonadamente for necessário, os pesquisadores trocam argumentos e experiências até convergirem em afirmações livres dos preconceitos uns dos outros, de acordo com os fatos observados e que constituem a verdade científica do momento. No entanto, essa prática fundamental de debate em grande parte desapareceu do mundo acadêmico, em favor de um substituto profundamente diferente, a “revista com revisão por pares  ”. Esta “revisão por pares” é um processo local, interno a uma publicação, governado por um editor, onde um pesquisador deve cumprir as liminares de alguns pareceristas anônimos durante trocas confidenciais por e-mail cujo objetivo é obter uma decisão favorável da Imprimatur em curto espaço de tempo. Assim, as verdades científicas não são mais fatos coletivos emergentes, mas são decretadas por um processo análogo a um julgamento fechado. Sob o efeito deletério desse processo de validação aleatória, limitado, conservador, inverificável e permeável a conflitos de interesses, a ciência como um todo entrou em uma grande crise existencial, chamada reprodutibilidade  : na maioria dos campos e em uma proporção alarmante, muitos resultados experimentais publicados não podem ser replicados, mesmo por seus autores.

Como chegamos lá ? Nossa tese é que o debate foi desaparecendo gradativamente porque a lógica da avaliação administrativa dos pesquisadores os dissuade. A partir da década de 1960, com o crescimento da pesquisa pública, as instituições científicas queriam se munir de indicadores quantitativos de desempenho para orientar sua atividade. Isso resultou em um sistema, que se tornou global, onde o objetivo do pesquisador, para obter financiamento ou promoção, é justificar as publicações em revistas de “prestígio”. Os méritos e métodos de cálculo do indicador de prestígio (o  fator de impacto ”) são problemas bem conhecidos. Porém, em nossa opinião, seu defeito mais prejudicial ainda é mal definido: quando o valor de uma produção é condicionado pela reputação do jornal que a publica, não é mais o pesquisador que cria valor, mas sim aquele que decide. da publicação: o editor.

Essa reversão gera duas disfunções principais. Por um lado, uma minoria de editores pode forçar a maioria a se alinhar com sua visão e padrões (e por exemplo impor um imperativo permanente de novidade, contornando a verificação de resultados já publicados ou no compartilhamento resultados experimentais negativos). Por outro lado, o valor científico está se tornando uma mercadoria rara, que os pesquisadores desejam se atribuir publicando nas revistas que a fornecem. Um cientista que se destaca nesse sistema inevitavelmente o faz em detrimento de seus pares. A troca entre pares, essencial para a ciência, torna-se contrária aos interesses pessoais de seus agentes, doravante artificialmente em competição. A inteligência coletiva é, portanto, inibida pela governança vertical,

Para encontrar um desenvolvimento vertical da ciência, é essencial promover uma governança horizontal, comunitária, onde o objetivo principal do pesquisador é debater com seus pares e convencê-los. Ao contrário da competição sem sentido induzida pelas regras atuais, a governança horizontal induz a “coopetição”, onde a troca é do interesse de todos e naturalmente produz abertura, transparência e inteligência coletiva. Em outros escritos , detalhamos suas modalidades concretas, agora tecnicamente possíveis graças à Internet. Em resumo, argumentamos que os valores certos pelos quais se aprecia uma produção científica são sua validade e importância .A validade de uma produção é estabelecida qualitativamente pelo debate científico e pode ser razoavelmente quantificada pelo grau de consenso que atinge em um determinado momento. Sugerimos também que cada cientista faça gratuitamente uma revisão da literatura na imprensa, expressando sua visão e hierarquias pessoais. A importância de uma determinada produção pode ser vista e medida por seu grau de difusão em tal ecossistema.

Esses dois mecanismos devolvem à comunidade científica a gestão integral da ciência e podem oferecer indicadores que atendam às necessidades administrativas das instituições. Assim, a transição para um tal método de avaliação, que também é muito econômico porque sem intermediários, é principalmente uma questão de vontade política. Esperamos que a França adote essas idéias em breve e seja uma força motriz na regeneração geral dos processos científicos coletivos.

Michaël Bon, pesquisador e consultor; Henri Orland, pesquisador (CEA); Konrad Hinsen, pesquisador (CNRS, CBM); Bernard Rentier, reitor emérito da Universidade de Liège; Jacques Lafait, diretor emérito de pesquisa (CNRS, Sorbonne University); Tembine Hamidou, professor assistente (New York University); Jamal Atif, professor (Universidade Paris-Dauphine-PSL); Alexandre Coutte, professor (Universidade Paris-Nanterre); Nicolas Morgado, professor sênior (Universidade Paris-Nanterre); Patrice Koehl, professor (University of California, Davis);Stéphane Vautier, professor (Universidade de Toulouse-Jean-Jaurès); Jean-Paul Allouche, diretor emérito de pesquisa (CNRS); Gilles Niel, pesquisador (CNRS, ICGM); Christine Fleury, curadora da biblioteca (ABES); Clément Stahl, pesquisador (Universidade de Paris)

fecho

Este texto foi escrito originalmente em francês e publicado pelo jornal Le Monde [Aqui!].

Especialistas propõem novos critérios para avaliar revistas científicas

impact factor

Em comentário publicado na revista Nature, pesquisadores apontam a necessidade de se repensar o fator de impacto como critério predominante na avaliação de periódicos

Elton Alisson | Agência FAPESP – A necessidade de repensar o fator de impacto como critério predominante na avaliação de publicações científicas foi tema de um comentário publicado na revista Nature, no dia 28 de maio, por especialistas de diversas áreas.
Os autores e cossignatários do texto – entre eles Renato Hyuda Luna Pedrosa, professor da Universidade Estadual de Campinas (Unicamp) e coordenador do Programa de Indicadores de Ciência, Tecnologia e Inovação da FAPESP – ressaltaram a importância de buscar um conjunto de métricas mais amplo e transparente para avaliação dos periódicos científicos.

“Essa avaliação é resultado de um encontro realizado na Universidade de Leiden, na Holanda, em 2017. No evento, especialistas internacionais em bibliometria, editores de revistas científicas e representantes de agências de fomento à pesquisa discutiram a necessidade de construir novos critérios de avaliação de publicações científicas”, disse Pedrosa à Agência FAPESP.

Na opinião dos pesquisadores, o fator de impacto – concebido na década de 1970 como um método para avaliar a importância dos periódicos em suas respectivas áreas – passou a ser usado para fins diferentes do propósito original.

O indicador, que reflete a média de citações de artigos científicos publicados em um determinado periódico, tem sido usado, em diversos países, como critério para concessão de financiamento a projetos de pesquisa ou de avaliação de programas de pós-graduação.

“A finalidade original do fator de impacto, que era de apoiar a avaliação de periódicos e os pesquisadores na escolha de revistas para publicarem seus trabalhos, foi distorcida”, disse Pedrosa.

“O indicador passou a ser usado para tomada de decisão e isso começou a causar efeitos, como manipulações para inflar o índice de revistas científicas por meio de autocitação ou de citação cruzada [uma ação coordenada entre dois periódicos, pela qual um cita os artigos do outro]”, disse.

A fim de coibir essas práticas, os autores sugerem a criação de novos indicadores que possam contemplar as novas funções dos periódicos científicos, assim como as tradicionais.

Entre as funções praticamente inalteradas desde que as revistas científicas surgiram, há mais de 350 anos, estão as de permitir a garantia da autoria dos trabalhos, a revisão por pares, a curadoria das pesquisas, a disseminação dos resultados e o registro permanente dos dados.

O fator de impacto, assim como a maioria dos indicadores de uso comum, baseados em citações, captura apenas aspectos limitados dessas funções dos periódicos científicos. A criação de novos indicadores é particularmente importante, uma vez que as revistas científicas estão evoluindo rapidamente e se tornando plataformas para divulgar dados, métodos e objetos digitais, apontaram os pesquisadores.

“O surgimento de plataformas de publicação de artigos científicos do tipo open source [acesso aberto], por exemplo, tem representado um grande desafio para o método tradicional de trabalho das revistas científicas”, afirmou Pedrosa.

“Algumas das funções tradicionais dos periódicos científicos, como o arquivamento dos dados, ficam um pouco perdidas nesses novos sistemas de publicação científica. Por isso, também serão necessários novos indicadores para assegurar a qualidade desses sistemas”, avaliou.

Critérios claros

Como ressaltaram os autores do texto, simplesmente aumentar a quantidade de indicadores para avaliar as publicações científicas não equivale a melhorar a avaliação. Por isso, é preciso garantir que as novas métricas sejam construídas e usadas de forma responsável e que atendam a um conjunto de critérios claros. Entre esses critérios estão os de serem válidos – refletindo o conceito medido –, compreensíveis, transparentes, justos, adaptativos e reprodutíveis.

Outra sugestão feita por eles é a criação de um órgão, composto por representantes de todo o sistema de publicação científica, com foco em indicadores de avaliação de periódicos científicos.

O órgão poderia propor novos indicadores para abordar as diversas funções das revistas científicas, fazer recomendações de seu uso responsável e desenvolver novos padrões. Dessa forma, poderia ajudar a proteger contra “revistas predatórias” – publicações de baixa qualidade criadas para fins essencialmente financeiros – e dar orientações sobre publicações de acesso aberto e compartilhamento de dados, por exemplo.

“A ideia é que esse trabalho de discussão de novos indicadores de avaliação de periódicos científicos continue nos próximos anos para que se avance na construção de métricas novas e melhoradas”, disse Pedrosa.

O artigo Rethinking impact factors: find new ways to judge a journal (DOI: 10.1038/d41586-019-01643-3), de Paul Wouters, Cassidy R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke e Ludo Waltman, pode ser lido na revista Nature em www.nature.com/articles/d41586-019-01643-3.

_________________________________________________________

Este artigo foi inicialmente publicado pela Revista da FAPESP [Aqui!].

Métricas e lixo científico: porque o fator de impacto não é necessariamente uma boa medida de qualidade

fator

Estou cada vez mais convencido de que precisamos mudar a forma de avaliar o que são produções científicas efetivamente qualificadas, sem precisarmos cair nas muletas intelectuais rotuladas de “Fator de Impacto”. Antes que me acusem de ser um crítico invejoso dos que conseguem publicar em revistas com alto fator de impacto, as quais supostamente representam o cume da realização acadêmica, deixem-me compartilhar uma pequena experiência pessoal.

Essa experiência começou com um esforço que eu e dois colegas da Universidade Nacional de Brasília (UNB) estamos realizando para produzir um bom artigo científico sobre a expansão da monocultura  da soja na Amazônia ocidental, especificamente em Rondônia.   Estamos envolvidos nessa labuta há mais de um ano, e a primeira vez que submetemos o trabalho a uma revista de boa reputação, levamos um bonito toco. É que nos dito que o artigo carecia de algo que as revistas mais concorridas prezam muito atualmente, qual seja, um certo charme mercadológico.  Em termos práticos, a nossa primeira versão do artigo estaria muito centrada numa análise regional, e os editores das melhores revistas atualmente preferem análises mais generalizáveis.

Pois bem, após refazermos as análises dos dados, eis que nos defrontamos com o aspecto do interesse pelo nosso “produto”, já que no tocante ao avanço da soja na Amazônia brasileira está em voga dizer que não há impacto sobre as áreas ainda coberta por florestas, visto que essa monocultura só seria implantada em áreas já anteriormente desmatadas para o estabelecimento de outras culturas agrícolas ou para o estabelecimento da pecuária. De quebra, há ainda um aparente consenso de que a política chamada “Moratória da soja” produziu efeitos positivos no avanço do desmatamento de áreas cobertas por florestas nativas.

Como de praxe, buscamos realizar uma procura na literatura para melhor contextualizar os nossos resultados, e eis que nesse esforço encontramos um artigo publicado numa revista científica de acesso aberto que fazia considerações positivas sobre a eficácia da moratória da soja.  E importante notar, a mesma revista possui um bom fator de impacto no ranking conhecido como “Journal Citation Report” que é produzido pela megaeditora Thomson Reuters. Como utilizo sempre a “Lista de Beall” para verificar se determinadas revistas são publicadas por editores predatórios (Aqui!), fui lá e não deu outra, o editor da tal revista é apontada como predatório pelo professor Jeffrey Beall.

Este aparente paradoxo me levou a realizar uma pesquisa direta ao prof. Beall que, gentilmente, me respondeu que o editor em questão, o MDPI ( Aqui!), é efetivamente um predatório cujas decisões de publicação residem na capacidade dos autores pagarem para que isto ocorra. Quanto ao alto fator de impacto da revista, o professor Beall atribui isso à diferentes estratégias utilizadas da MDPI para elevar o nível de citação de seus artigos, a começar pelo uso de edições especiais e outros truques editoriais. Em função disso é que o professor Beall apontou que o “fator de impacto” não é uma medida de qualidade científica.

Resolvido em parte o enigma, verifiquei como anda o ritmo de citação do artigo em que os autores tecem loas à moratória da soja, notei que o mesmo foi igualmente bem citado no Web of Science da Thomson Reuters e no Scopus que é impulsionado por outra megaeditora cientifica, a Elsevier.  Diante disso, é que fiquei me perguntando quantos dos autores que utilizaram o trabalho publicado pela MDPI de forma crítica (ou seja, quantos questionaram os resultados ali apresentados) e quantos simplesmente  o assumiram como fonte válida de evidência científica.  

De forma provisória, já que não chequei os artigos que citaram o trabalho em questão, prognostico que a maioria assumiu os resultados como verdade, já que aceitar a tese da “moratória da soja” é um desses modismos que invadiu de sopetão os estudos sobre o avanço do desmatamento na Amazônia Brasileira.  E se isso, se confirmar, já que efetivamente vou verificar cada um desses estudos, estaremos diante de uma brecha inaceitável  para valorização indevida de revistas e editores predatórios em uma área que julgo estratégica não apenas para o Brasil, mas para todos os que perseguem usos social e ambientalmente sustentáveis dos ecossistemas existentes nas regiões tropicais.

De todo modo, se antes desse episódio eu já desconfiava da eficácia do Fator de Impacto para medir qualidade científica, agora não tenho mais dúvidas de sua pouca ou nenhuma utilidade para conduzir uma aferição válida de “qualidade”, mas quando muito da quantidade de citações. E olhe lá.

Maurício Barreto: Se mudarmos a forma de avaliar a ciência, mudamos a forma de entender e valorar a publicação científica

Um dos cientistas brasileiros mais renomados no cenário internacional fala da importância de mudar os pesos da avaliação científica

pecking-order

Membro da The World Academy of Sciences (TWAS), da Academia Brasileira de Ciências (ABC), e um dos mais profícuos pesquisadores da Saúde Coletiva, Maurício Barreto tem acompanhado de perto o debate sobre o papel da produção científica no mundo e alerta: se universidades e centros de fomento não abandonarem o atual modelo de avaliação, baseado unicamente na quantidade de publicações e citações, a própria ciência tende a ampliar o fosso que a aparta do resto da sociedade. “Cada vez mais, a consciência de que esse modelo baseado em índices e fatores de impacto não demonstram a importância do desenvolvimento científico e dos efeitos da ciência, o que exige esforços de propor e apresentar alternativas”.

Para ele, é fundamental que a academia tome para si o compromisso social da produção do conhecimento. Barreto não fica apenas nas palavras. A partir de seu estudo pioneiro sobre os impactos do Bolsa Família sobre a mortalidade infantil e demais aspectos do ciclo vital e de desenvolvimento, o governo federal, na figura do Ministério de Desenvolvimento Social (MDS), Fundação Oswaldo Cruz (Fiocruz), Universidade de Brasília (UnB) e Universidade Federal da Bahia (UFBA) assinaram ano passado um acordo de cooperação técnica que possibilitará a realização de um estudo de corte baseado nos dados de cerca de 100 milhões de brasileiros que se beneficiam dos programas sociais e compõem a base de dados do Cadastro Único (CadÚnico).

Para o Portal Abrasco, ele fala do desafio da avaliação, da crise que já se abate sobre o custeio dos programas de pós-graduação, do debate sobre o produtivismo e do papel da ciência, temas que abordará em palestras e mesas redondas durante o Abrascão 2015,  que acontece entre 27 de julho e 1 de agosto, na Universidade Federal de Goiás, em Goiânia.

“O Abrascão é uma caixa de ressonância, por isso é vital falarmos de avaliação. Temos a oportunidade de pensar sobre a avaliação numa visão múltipla”, afirma Barreto. Leia a entrevista e confira ao final a programação.

Abrasco: Em sua conferência no 9º Congresso Brasileiro de Epidemiologia, o Epivixo senhor abordou como a epidemiologia vive um processo de atração e distanciamento dos demais campos científicos, sendo fundamental ter como centro os grandes projetos que afetam a saúde das populações. Isso é possível dentro do atual cenário da produção científica?

Maurício Barreto: O campo da Saúde Coletiva tem uma serie de desafios internos entre os quais inclui a articulação de conhecimento produzido em várias áreas científicas. Estamos dentro do campo geral das ciências da saúde, e vivemos os dilemas complexos inerentes a esse setor, gerador de expectativas e cujos resultados, de diversas formas, têm grande de interferir no cotidiano das pessoas e das populações. Mesmo com todas as nossas características específicas e tendo de seguir as regras universais da produção científica, temos que refletir sobre nossas especificidades e em especial os efeitos que nosso conhecimento gera sobre as sociedades humanas.

Abrasco: Quais são as deficiências da avaliação das ciências?

Maurício Barreto: A tradição da avaliação da ciência vem de uma disciplina chamada cienciometria. Ela parte da ideia central de aferir todos os campos do conhecimento científico por uma única métrica de uso universal baseada em índices do que se publica e do que se cita na produção científica mundial. Para isso, utiliza medidas, como o Fator de Impacto, o Índice H, medidas que têm pretensão de métricas universais, que sirvam para qualquer campo científico. Só que esta opção gera muitos dilemas e desafios. O mais importante é que as ciências são muito diferentes entre si. Veja a Cosmologia, que agora está na mídia discutindo sobre as condições de Plutão, por conta da aproximação da sonda da NASA a este planeta. Como comparar a Cosmologia com a Saúde Coletiva, que tem o potencial de gerar efeitos mais concretos no cotidiano da vida das pessoas? Os seja, como comparar estas duas ciências que geram efeitos tão diferentes?

Deve-se enfatizar que estas duas ciências não são tão diferentes na forma de publicar e de citar (os novos resultados obtidos sobre Plutão com certeza serão publicados em revistas científicas e certamente serão citados) – a maior diferença é nos efeitos que estas duas ciências geram sobre a sociedade. Porém, até o momento as avaliações científicas não levam (ou leva muito pouco) isso em consideração. Nesta perspectiva, eu partilho o ponto de vista de que a avaliação do conhecimento não pode ser somente baseada em parâmetros blibliométricos (publicar e citar). Nosso objetivo como pesquisadores deve ser o de modificar a realidade que vivemos e a avaliação científica de ajudar a entender como os efeitos do conhecimento cientifico por nós produzidos afetam a sociedade. A produção de uma nova vacina, contribuir para a organização de novos programas na saúde devem ser objetivos finais de nossos programas científicos, e não apenas as publicações que tratam desse tema. As publicações são estágios desses empreendimentos, não o seu fim.


Abrasco: No mundo atual, grandes grupos econômicos, como o Elsevier, dominam a publicação científica, o que vem gerado vários protestos da comunidade acadêmica internacional. O que é possível fazer para reverter esse quadro?

Maurício Barreto: De fato, quem domina o campo e formula as regras são, em boa parte, as grandes editoras internacionais. Quando falamos que o Fator de Impacto de uma publicação é alto, podemos também dizer que alto também é o valor econômico das empresas que detêm os direitos editoriais desta revista. Mas temos alternativas, como revistas online e de acesso aberto. Aqui no Brasil ainda temos a cultura das revistas e periódicos ligados às associações, sem objetivos empresariais por trás. O SciELO tem sido um bom exemplo de iniciativa que se contrapõe a lógica de como o capitalismo vem moldando o empresariamento editorial das ciências.

Nos países desenvolvidos é mais claro o campo de disputa econômica que se tornou a publicação científica. Como modificar este quadro tem sido tema de debates internacionais. Entretanto, não é uma tarefa simples, não há fórmulas prontas. O consenso é que o modelo atual é insuficiente e não transparece as aspirações do conhecimento científico como algo que pertence ao bem comum. O aparecimento de outro modelo exige grande consenso em torno desse reconhecimento. Introduzir outros elementos avaliativos, como qualidade, efeitos e impactos da produção científica geraria outros focos de debate, hoje tão centrado na publicação científica. Isso é fundamental para o campo da saúde, que precisa criar condições ou mesmo liderar e desenvolver alternativas em torno de como perceber e mesmo mensurar os efeitos da sua produção científica.

Abrasco: Os cientistas que lideram essas críticas centram fogo também na crítica ao produtivismo que impera nas academias. A crítica que o senhor faz à avaliação das ciências parte dos mesmos pressupostos?

Maurício Barreto: Historicamente, o conhecimento científico é apresentado em forma de publicações, isso faz parte do fazer científico. O modo de se publicar e a influência das publicações sobre a avaliação é que têm mudado. Acredito que o debate do produtivismo tem suas razões e não razões. O discurso contra o produtivismo acerta quando critica a obrigação do volume de produção, quando aponta a excessiva valorização de quantidades e métricas derivados do número de publicações e de citações. O erro advém de colocar todo o peso da avaliação – seja individual, seja coletiva – nas publicações. Se colocarmos no centro da avaliação os efeitos que tal conhecimento possa ter ou vir a ter na vida das pessoas e das sociedades, teríamos condições de produzir um novo debate e mudar o foco da avaliação centrado quase exclusivamente na publicação. Publicar com qualidade é importante e todos concordamos, faz parte do processo da ciência e de uma ciência feita de forma rigorosa – dessa lógica não escapamos, nem podemos escapar. O central é mudar a lógica do que queremos, o que é feito e o que podemos fazemos com a ciência que produzimos. Acredito que seja a forma de mudar o sentido do debate sobre o produtivismo e transformá-lo em um debate útil sobre os sentidos do labor científico.

Abrasco: Como o senhor vê o processo de avaliação das ciências na academia brasileira e o anúncio de cortes da Capes em importantes programas de custeio das Pós-Graduações? 

Maurício Barreto: A produção científica brasileira e nós, pesquisadores, continuamos presos a esse modelo sobre o qual existe certo consenso de que está superado, mas por razões nem sempre compreensíveis, continuamos utilizando-o. Continuamos destacando apenas como melhor aquele que mais publica, que é mais citado, esquecendo de que precisamos também destacar aqueles conhecimentos que afetam as nossas vidas. Mudanças na forma de avaliar o conhecimento produzido poderiam vir a ser uma valiosa contribuição na busca de sentido e mesmo utilidades para o conhecimento que produzimos. Porém, deve-se enfatizar que esta não é uma tarefa simples e que já está pronta, faz-se necessário o desenvolvimento de novos modos e mesmo de novas métricas de avaliação.

A atual crise só agrava e mostra as insuficiências do modelo de avaliação que usamos. Todo o nosso sistema nacional de pós-graduação é mal financiado, mesmo nos momentos de calmaria econômica. Espero que os cortes atuais sejam apenas momentâneos, pois sua manutenção, com certeza, será uma pá de cal em cima desse sistema, que exigiu imensos esforços da sociedade brasileira para a sua construção.

O debate sobre a avaliação é central nesse momento, pois pode propiciar um redirecionamento e alternativas, e mostrar que nossa missão é maior do que produzir artigos científicos. Não fomos criados para ser uma comunidade de produtores de artigos, mas sim de conhecimentos que contribuam para a compreensão abrangente dos problemas de saúde, para o fortalecimento do SUS e para as transformações necessárias nas condições de saúde da população brasileira. Esse deveria ser o norte do nosso sistema de avaliação. Porém, para que isso possa acontecer, os programas precisam continuar existindo e produzindo. À medida que se reduz cada vez mais o financiamento, a luta passa a ser apenas pela misera sobrevivência, perdendo o sentido de debates em torno da avaliação.

Abrasco: A defesa do SUS universal é o tema do Abrascão 2015. Qual é a importância desse debate no cenário brasileiro?

Maurício Barreto: Ao colocar a universalidade dos sistemas de saúde como tema central deste Congresso, a Abrasco reafirma-se como uma organização criada para defender o sistema de saúde brasileiro e contribuir para o desenvolvimento do SUS. Como parte da turbulência que vive a sociedade brasileira, o nosso sistema de saúde também atravessa momentos críticos. Muita coisa boa está acontecendo, por exemplo, a expansão da Rede de Atenção Primária e o nível de equidade que está se alcançando neste nível de atenção, porém e ao mesmo tempo, vários outros de problemas existem e precisam de soluções. Em todos os problemas a questão da universalidade é relevante. Na perspectiva da nossa comunidade científica, tudo isto implica em desafios de continuar contribuindo para o SUS integral, resolutivo, universal que almejamos. Esse debate é de grande relevância para nós, como parte da comunidade de produção científica e, certamente, de onde poderão sair os conhecimentos necessários para a emergência de soluções compatíveis com a grandeza dos problemas e desafios que é a construção de um SUS almejado pela sociedade brasileira.

(Abrasco)

FONTE: http://www.jornaldaciencia.org.br/edicoes/?url=http://jcnoticias.jornaldaciencia.org.br/2-mauricio-barreto-se-mudarmos-a-forma-de-avaliar-a-ciencia-mudamos-a-forma-de-entender-e-valorar-a-publicacao-cientifica/

CNPq descontinua componente que informava impacto das publicações dos pesquisadores na base Lattes por erros e incompletudes de informações

light-in-the-dark

Até muito recentemente, a Plataforma Lattes do Conselho Nacional Nacional de Desenvolvimento Científico e Tecnológico (CNPq) possuía um componente que informava o número de citações dos artigos inseridos pelos pesquisadores em seus currículos acadêmicos. Mas quem quiser acessar essa informação agora encontra a seguinte e prosaica advertência

Citações: Acesso temporariamente indisponível em razão de erros e incompletudes das informações do DOI, ISSN, página inicial, edição e volume de parte dos currículos registrados na Base.

Em outras palavras, os pesquisadores brasileiros estão preenchendo seus currículos de forma incompleta, omitindo informações básicas, mas essenciais, de seus artigos científicos, e impedindo assim que se determine o impacto do que está sendo publicado. 

Uma pessoa mais desinformada poderia se questionar sobre a importância desse fato. Eu começaria pelo fato de que o chamado “Fator H” (Aqui!) que é usado para estimar o grau de impacto das publicações incluídas pelos pesquisadores em seus currículos, sendo assim um dos indicadores básicos para o próprio CNPq decidir quem recebe ou não recursos oferecidos por aquela agência de fomento, a começar pelas cobiçadas “Bolsas de Produtividade” .

Há que se lembrar que as bolsas de produtividade representam não apenas um ganho extra e isento de recolhimento de imposto de renda, mas que acabam orientando toda a concessão de financiamentos nas diferentes modalidades que o CNPq premia aqueles pesquisadores que são considerados mais produtivos em seus respectivos campos disciplinares.

Como a Base Lattes já existe desde 1999, a omissão desse dados não deve estar relacionada ao desconhecimento por parte da comunidade científica da forma correta de se realizar o preenchimento dos currículos. Mas se não é desconhecimento, então o que é? 

Até que esse componente seja restabelecido, a pergunta que se faz é a seguinte: como irá o CNPq determinar o tão decantado mérito científico que, em última instância, baliza todo o sistema de premiação e distribuição de recursos públicos para a comunidade científica brasileira? A ver!

Prêmio Nobel de Medicina de 2013 faz ataque contundente à cultura do “Salami science”

???????????????????

Nas últimas duas décadas as universidades brasileiras foram tomadas de assalto pela cultura do “Fator de Impacto” que alimenta a chamada “Salami science”.

Abaixo vai um contundente artigo assinado, e que foi publicado no jornal inglês “The Guardian, pelo Prêmio Nobel de Medicina de 2013, o biólogo Randy Schekman, sobre o controle exercido sobre a qualidade da ciência pelo monopólio exercido por grandes revistas científicas sobre o que é publicado enquanto ciência de qualidade.

Essa cultura do “Salami Science” que é tão duramente criticado pelo Dr. Randy Schekman é atualmente idolotrada no Brasil por agências de fomento lideradas pelo CNPq, e se tornou dogma na avaliação que é feita pela CAPES dos cursos de pós-graduação existentes no Brasil. Como ainda engatinhamos no quesito da formação científica, ler essas críticas é essencial. Do contrário, continuaremos atrelados a um sistema que não produz boa ciência e, pior, oferece incentivo aos que aprenderam a obter os “bônus” sem necessariamente produzir nada que mereça ser chamado de ciência.

Como revistas como Nature, Cell e Ciência são prejudiciais à ciência.

Os incentivos oferecidos pelas principais revistas distorcem a Ciência, assim como grandes bônus distorcem o sistema financeiro.

 Randy Schekman

Litter in the street

A revista Science recentemente removeu um artigo relacionando o ato de jogar lixo na rua e violência. Foto: Alamy / Janine Wiedel

Eu sou um cientista. O meu é um mundo profissional que  alcança grandes coisas para a humanidade. Mas está sendo desfigurado por incentivos inadequados. As estruturas predominantes da reputação pessoal e progressão na carreira significam as maiores recompensas muitas vezes acompanham o trabalho que seja o mais brilhoso, não necessariamente o melhor. Aqueles de nós que seguem estes incentivos estão sendo inteiramente racionais – Eu pessoalmente os seguia  – mas nem sempre melhor servirmos os interesses da nossa profissão, e muito menos aqueles da humanidade e da sociedade.

Todos sabemos o que os incentivos que distorcem fizeram para o sistema financeiro e os bancos. Os incentivos meus colegas enfrentam não são bônus enormes, mas as recompensas profissionais que acompanham a publicação em revistas de prestígio – principalmente Nature, Cell e Science.

Essas revistas de luxo são supostamente o cume da qualidade, publicando apenas as melhores pesquisas. Porque financiamento e nomeação de painéis usam frequentemente o local da publicação como um proxy para a qualidade da ciência, aparecendo nestes títulos muitas vezes leva a financiamentos e cátedras. Mas a reputação das grandes revistas científicas é apenas parcialmente justificada. Enquanto elas publicam a maioria dos melhores dos artigos em circulação, elas não publicam apenas trabalhos de qualidade excelente. Nem são eles os únicos que publicam pesquisa de alta qualidade.

Essas revistas vendem de forma agressiva as suas marcas, da forma mais propícia para a venda de assinaturas do que para estimular as pesquisas mais importantes. Como os estilistas que criam bolsas ou roupas de edição limitada, os editores dessas revistas sabem que a escassez alimenta a demanda, de modo que artificialmente restringem o número de artigos que aceitam publicar. As marcas exclusivas em seguida, são comercializadas com um truque chamado “fator de impacto” – uma pontuação para cada revista, que mede o número de vezes que seus trabalhos são citados por pesquisas posteriores. Artigos de melhor qualidade, diz a teoria, são citados com mais frequência, por isso melhores revistas se vangloriaram de sua maior pontuação. Ainda assim, é uma medida profundamente falha, perseguindo o que se tornou um fim em si mesmo – e é tão prejudicial para a ciência como a cultura do bônus é para o sistema financeiro.

É comum, e incentivado por muitas revistas científicas, que a pesquisa seja julgada pelo fator de impacto do periódico que a publica. Mas, a pontuação de uma revista científica é uma média, que diz pouco sobre a qualidade de qualquer peça individual de pesquisa. Além disso, a citação é, por vezes, mas nem sempre, ligada à qualidade. Um artigo pode se tornar altamente citado porque  a ciência é boa – ou porque é atraente, provocante ou errada. Editores de revistas de luxo sabem disso e, por isso aceitam artigos que vão fazer ondas porque exploram temas sensuais ou fazem postulações desafiadoras. Isso influencia a ciência que os cientistas fazem. Baseiam-se bolhas nos campos da moda, onde os pesquisadores podem fazer as afirmações ousadas que essas revistas querem, mas ao mesmo tempo desencorajam outros trabalhos importantes, como estudos de replicação.

Em casos extremos, a atração da revista de luxo pode incentivar “jeitinhos”, e também contribuir para o número crescente de artigos que  depois são retirados de circulação porque são falhos ou fraudulentos.  Só a revista Science só retirou de circulação recentemente artigos de alto impacto que relatam a clonagem de embriões humanos, as ligações entre lixo e violência, e os perfis genéticos de pessoas centenárias. Talvez ainda pior,  a Science não retirou de circulação um artigo  alegações de que um micróbio é capaz de usar arsênio em seu DNA em vez de fósforo, apesar das esmagadoras críticas científicas.

Há uma maneira melhor, através da nova geração de revistas de acesso aberto que são livres para qualquer um ler, e não têm assinaturas caras para promover. Nascidas na web, elas podem aceitar todos os artigos que cumprem as normas de qualidade, sem limites artificiais. Muitas são editadas por cientistas que estão atividade, e que podem avaliar o valor dos artigos sem levar em conta as citações. Como eu sei a partir da minha editoria de eLife, uma revista de acesso aberto financiada pelo Wellcome Trust, do Instituto Médico Howard Hughes e da Sociedade Max Planck, eles estão publicando ciência de classe mundial a cada semana.

Os financiadores e universidades também têm um papel a desempenhar. Eles devem dizer às comissões que decidem sobre financiamentos e enquadramentos para não julgar artigos científicos por onde eles são publicados. É a qualidade da ciência, e não a marca da revista, o que importa. O mais importante de tudo, é que, nós, os cientistas precisamos agir. Como muitos pesquisadores de sucesso, eu publiquei nas grandes marcas, incluindo os artigos que me levaram a ganhar o prêmio Nobel de medicina, que eu terei a honra de receber amanhã.  Mas não mais. Eu já decidi que o meu laboratório irá evitar as revistas de luxo, e eu incentivo aos outros a fazerem o mesmo.

Assim como Wall Street precisa quebrar a influência da cultura de bônus, o que leva a tomada de riscos que é racional para os indivíduos, mas prejudicial para o sistema financeiro, do mesmo modo  a ciência deve quebrar a tirania das revistas de luxo. O resultado será uma pesquisa de melhor qualidade que melhor servirá à Ciência e à Sociedade.

FONTE: http://www.theguardian.com/commentisfree/2013/dec/09/how-journals-nature-science-cell-damage-science