Fiocruz: evento discute qualidade na avaliação do ensino e da produção científica

Amanda de Sá e Renata Moehlecke

Na tarde de quarta-feira (26/8), o debate no Seminário Educação, Saúde e Sociedade do Futuro, promovido pela Fiocruz, girou em torno da questão da avaliação da qualidade no ensino e na produção científica. Mediada pela pesquisadora Tatiane Wargas, da Escola Nacional de Saúde Pública (Ensp/Fiocruz), a mesa-redonda Como formar profissionais para a ciência comprometidos com a qualidade, o pensamento crítico e a inovação contou com a participação de dois especialistas: Roberto Lent, professor da Universidade Federal do Rio de Janeiro (UFRJ), e Kenneth Rochel de Camargo Jr., professor da Universidade do Estado do Rio de Janeiro (Uerj). Confira vídeo das conferências do segundo dia.

“Muitos professores se baseiam somente em teorias, mas essas teorias podem ser iluminadas por dados científicos.”, observou Lent (foto: Peter Ilicciev)

Na primeira palestra, Lent falou sobre sua experiência no campo da educação em ciências. Com o objetivo de aplicar descobertas científicas em prol da educação, o professor formulou a Rede Nacional de Ciência para Educação (Rede CpE), formada por um grupo de cientistas interessados em promover esforços de forma interdisciplinar a favor da educação. A rede, criada em novembro de 2014, possui parceria com o Instituto D’or, a Unesco, o Instituto Ayrton Senna e a National Science Foundation.

Entre os exemplos citados por Lent, a implantação de inovações científicas e tecnológicas aplicada à educação, pode ser feita a partir do uso de videogames, estimulando a capacidade cognitiva; a observação da relação entre sono, aprendizagem e memória; e a importância da música como estímulo à atenção e criatividade. Neste caso, Roberto destaca um exemplo inusitado com o uso de música em aulas de matemática fortalecendo o sistema atencional do cérebro.

A partir destes estímulos, conforme explicou o professor, deu-se início a linha de investigação neural conhecida como neuroplasticidade. A experiência é feita com estímulos de elementos do foco atencional para o aprendizado. “Muitos professores se baseiam somente em teorias, mas essas teorias podem ser iluminadas por dados científicos.”, observou Lent.

Para o professor, atualmente, a pauta de discussão sobre educação se baseia na ampliação de escolas, aumento da jornada escolar com turno integral e melhores salários. Porém, de acordo com Lent, somente isso não basta. “Precisamos incluir a ciência aplicada à educação. Nossa educação no século 21 se equipara a do século 19 nos Estados Unidos. A politica educacional do Brasil é conservadora, então essa diferença vai aumentando. Os EUA atualmente têm outro grau de tecnologia implantada nas salas de aula. Se aplicarmos a ciência e a tecnologia nesse panorama, nós podemos reduzir essa distância”, apontou.

Qualidade na avaliação científica

O professor Kenneth Camargo deu seguimento ao debate abordando o tema Produção científica: avaliação de qualidade?. Ele alertou que, atualmente, no âmbito científico, devido a um processo de avaliação que enfatiza quantidade, tem sido mais importante para os pesquisadores contabilizar o número de artigos publicados em revistas consideradas de alto impacto, e não o destaque às descobertas científicas em si, o que traz diversos problemas para o processo de produção científico, a curto e a longo prazo.

Para Camargo, é necessário reestruturar o processo de análise da qualidade da produção científica o mais rápido possível (foto: Peter Ilicciev)

“É importante pensarmos nos pressupostos ocultos que estão por trás desta discussão que estamos levando. Hoje, é comum associarmos a chamada metafísica da avaliação, que é a ideia de que o enunciado expresso numericamente seria mais confiável, objetivo e preciso, a uma hermenêutica da suspeição, que é a noção de que se discutirmos dados sem números algo de muito ruim e persecutório pode ocorrer. Essa associação torna o processo avaliativo muito complicado”, explicou Camargo. “Soma-se a isso a ideia errônea de que é possível medir a produção científica por citações. Um estudo de análise de conteúdo das citações muito interessante revelou, por exemplo, que um quarto dessas são irrisórias, 40% são relativas a capítulos de livros e não artigos, e 10% são auto referências, ou seja, o indivíduo citando a si próprio”.

O professor ainda aponta que existem uma série de fatores que não tem relação com qualidade que predeterminam a possibilidade de aumento do número de citações de um artigo, como múltipla autoria, a língua em que o artigo foi escrito e o escopo disciplinar. “Esses fatores influenciam diretamente os índices: normalmente, 20% ou menos dos artigos publicados em uma revista respondem por 80% ou mais de seu fator de impacto”, esclareceu. “Nesse sentido, é um equívoco achar que um artigo publicado em uma revista de alto impacto automaticamente é um artigo muito citado”.

Para Camargo, é necessário reestruturar o processo de análise da qualidade da produção científica o mais rápido possível. “Avaliar ciência e impacto não é simples e muitas vezes não é imediato. Em alguns casos, seriam necessários mais de 100 anos para se percebermos a relevância de uma pesquisa, que só terá utilidade prática no futuro; mas não podemos esperar esse tempo para decidir financiar ou não um projeto”, destacou. “Minha intervenção é um chamado às armas. Espero que cada vez mais pessoas se sintam irritadas tanto quanto eu me sinto e queiram mudar esse sistema avaliativo que simplesmente enfatiza números”.

O palestrante ainda chamou a atenção para a ingenuidade atual do debate, que não tem passado pela filosofia da ciência. “Se não pararmos de fato para discutir e pensar, esse processo avaliativo se tornará extremamente danoso para o fazer científico. Atualmente, da forma como as coisas são feitas, ninguém tem tempo para a reflexão, que é indispensável para a produção da verdadeira ciência”, concluiu Camargo.   

Confira aqui como foi a mesa-redonda da manhã de quarta-feira (26/8).

http://www.agencia.fiocruz.br/evento-discute-qualidade-na-avalia%C3%A7%C3%A3o-do-ensino-e-da-produ%C3%A7%C3%A3o-cient%C3%ADfica

Maurício Barreto: Se mudarmos a forma de avaliar a ciência, mudamos a forma de entender e valorar a publicação científica

Um dos cientistas brasileiros mais renomados no cenário internacional fala da importância de mudar os pesos da avaliação científica

pecking-order

Membro da The World Academy of Sciences (TWAS), da Academia Brasileira de Ciências (ABC), e um dos mais profícuos pesquisadores da Saúde Coletiva, Maurício Barreto tem acompanhado de perto o debate sobre o papel da produção científica no mundo e alerta: se universidades e centros de fomento não abandonarem o atual modelo de avaliação, baseado unicamente na quantidade de publicações e citações, a própria ciência tende a ampliar o fosso que a aparta do resto da sociedade. “Cada vez mais, a consciência de que esse modelo baseado em índices e fatores de impacto não demonstram a importância do desenvolvimento científico e dos efeitos da ciência, o que exige esforços de propor e apresentar alternativas”.

Para ele, é fundamental que a academia tome para si o compromisso social da produção do conhecimento. Barreto não fica apenas nas palavras. A partir de seu estudo pioneiro sobre os impactos do Bolsa Família sobre a mortalidade infantil e demais aspectos do ciclo vital e de desenvolvimento, o governo federal, na figura do Ministério de Desenvolvimento Social (MDS), Fundação Oswaldo Cruz (Fiocruz), Universidade de Brasília (UnB) e Universidade Federal da Bahia (UFBA) assinaram ano passado um acordo de cooperação técnica que possibilitará a realização de um estudo de corte baseado nos dados de cerca de 100 milhões de brasileiros que se beneficiam dos programas sociais e compõem a base de dados do Cadastro Único (CadÚnico).

Para o Portal Abrasco, ele fala do desafio da avaliação, da crise que já se abate sobre o custeio dos programas de pós-graduação, do debate sobre o produtivismo e do papel da ciência, temas que abordará em palestras e mesas redondas durante o Abrascão 2015,  que acontece entre 27 de julho e 1 de agosto, na Universidade Federal de Goiás, em Goiânia.

“O Abrascão é uma caixa de ressonância, por isso é vital falarmos de avaliação. Temos a oportunidade de pensar sobre a avaliação numa visão múltipla”, afirma Barreto. Leia a entrevista e confira ao final a programação.

Abrasco: Em sua conferência no 9º Congresso Brasileiro de Epidemiologia, o Epivixo senhor abordou como a epidemiologia vive um processo de atração e distanciamento dos demais campos científicos, sendo fundamental ter como centro os grandes projetos que afetam a saúde das populações. Isso é possível dentro do atual cenário da produção científica?

Maurício Barreto: O campo da Saúde Coletiva tem uma serie de desafios internos entre os quais inclui a articulação de conhecimento produzido em várias áreas científicas. Estamos dentro do campo geral das ciências da saúde, e vivemos os dilemas complexos inerentes a esse setor, gerador de expectativas e cujos resultados, de diversas formas, têm grande de interferir no cotidiano das pessoas e das populações. Mesmo com todas as nossas características específicas e tendo de seguir as regras universais da produção científica, temos que refletir sobre nossas especificidades e em especial os efeitos que nosso conhecimento gera sobre as sociedades humanas.

Abrasco: Quais são as deficiências da avaliação das ciências?

Maurício Barreto: A tradição da avaliação da ciência vem de uma disciplina chamada cienciometria. Ela parte da ideia central de aferir todos os campos do conhecimento científico por uma única métrica de uso universal baseada em índices do que se publica e do que se cita na produção científica mundial. Para isso, utiliza medidas, como o Fator de Impacto, o Índice H, medidas que têm pretensão de métricas universais, que sirvam para qualquer campo científico. Só que esta opção gera muitos dilemas e desafios. O mais importante é que as ciências são muito diferentes entre si. Veja a Cosmologia, que agora está na mídia discutindo sobre as condições de Plutão, por conta da aproximação da sonda da NASA a este planeta. Como comparar a Cosmologia com a Saúde Coletiva, que tem o potencial de gerar efeitos mais concretos no cotidiano da vida das pessoas? Os seja, como comparar estas duas ciências que geram efeitos tão diferentes?

Deve-se enfatizar que estas duas ciências não são tão diferentes na forma de publicar e de citar (os novos resultados obtidos sobre Plutão com certeza serão publicados em revistas científicas e certamente serão citados) – a maior diferença é nos efeitos que estas duas ciências geram sobre a sociedade. Porém, até o momento as avaliações científicas não levam (ou leva muito pouco) isso em consideração. Nesta perspectiva, eu partilho o ponto de vista de que a avaliação do conhecimento não pode ser somente baseada em parâmetros blibliométricos (publicar e citar). Nosso objetivo como pesquisadores deve ser o de modificar a realidade que vivemos e a avaliação científica de ajudar a entender como os efeitos do conhecimento cientifico por nós produzidos afetam a sociedade. A produção de uma nova vacina, contribuir para a organização de novos programas na saúde devem ser objetivos finais de nossos programas científicos, e não apenas as publicações que tratam desse tema. As publicações são estágios desses empreendimentos, não o seu fim.


Abrasco: No mundo atual, grandes grupos econômicos, como o Elsevier, dominam a publicação científica, o que vem gerado vários protestos da comunidade acadêmica internacional. O que é possível fazer para reverter esse quadro?

Maurício Barreto: De fato, quem domina o campo e formula as regras são, em boa parte, as grandes editoras internacionais. Quando falamos que o Fator de Impacto de uma publicação é alto, podemos também dizer que alto também é o valor econômico das empresas que detêm os direitos editoriais desta revista. Mas temos alternativas, como revistas online e de acesso aberto. Aqui no Brasil ainda temos a cultura das revistas e periódicos ligados às associações, sem objetivos empresariais por trás. O SciELO tem sido um bom exemplo de iniciativa que se contrapõe a lógica de como o capitalismo vem moldando o empresariamento editorial das ciências.

Nos países desenvolvidos é mais claro o campo de disputa econômica que se tornou a publicação científica. Como modificar este quadro tem sido tema de debates internacionais. Entretanto, não é uma tarefa simples, não há fórmulas prontas. O consenso é que o modelo atual é insuficiente e não transparece as aspirações do conhecimento científico como algo que pertence ao bem comum. O aparecimento de outro modelo exige grande consenso em torno desse reconhecimento. Introduzir outros elementos avaliativos, como qualidade, efeitos e impactos da produção científica geraria outros focos de debate, hoje tão centrado na publicação científica. Isso é fundamental para o campo da saúde, que precisa criar condições ou mesmo liderar e desenvolver alternativas em torno de como perceber e mesmo mensurar os efeitos da sua produção científica.

Abrasco: Os cientistas que lideram essas críticas centram fogo também na crítica ao produtivismo que impera nas academias. A crítica que o senhor faz à avaliação das ciências parte dos mesmos pressupostos?

Maurício Barreto: Historicamente, o conhecimento científico é apresentado em forma de publicações, isso faz parte do fazer científico. O modo de se publicar e a influência das publicações sobre a avaliação é que têm mudado. Acredito que o debate do produtivismo tem suas razões e não razões. O discurso contra o produtivismo acerta quando critica a obrigação do volume de produção, quando aponta a excessiva valorização de quantidades e métricas derivados do número de publicações e de citações. O erro advém de colocar todo o peso da avaliação – seja individual, seja coletiva – nas publicações. Se colocarmos no centro da avaliação os efeitos que tal conhecimento possa ter ou vir a ter na vida das pessoas e das sociedades, teríamos condições de produzir um novo debate e mudar o foco da avaliação centrado quase exclusivamente na publicação. Publicar com qualidade é importante e todos concordamos, faz parte do processo da ciência e de uma ciência feita de forma rigorosa – dessa lógica não escapamos, nem podemos escapar. O central é mudar a lógica do que queremos, o que é feito e o que podemos fazemos com a ciência que produzimos. Acredito que seja a forma de mudar o sentido do debate sobre o produtivismo e transformá-lo em um debate útil sobre os sentidos do labor científico.

Abrasco: Como o senhor vê o processo de avaliação das ciências na academia brasileira e o anúncio de cortes da Capes em importantes programas de custeio das Pós-Graduações? 

Maurício Barreto: A produção científica brasileira e nós, pesquisadores, continuamos presos a esse modelo sobre o qual existe certo consenso de que está superado, mas por razões nem sempre compreensíveis, continuamos utilizando-o. Continuamos destacando apenas como melhor aquele que mais publica, que é mais citado, esquecendo de que precisamos também destacar aqueles conhecimentos que afetam as nossas vidas. Mudanças na forma de avaliar o conhecimento produzido poderiam vir a ser uma valiosa contribuição na busca de sentido e mesmo utilidades para o conhecimento que produzimos. Porém, deve-se enfatizar que esta não é uma tarefa simples e que já está pronta, faz-se necessário o desenvolvimento de novos modos e mesmo de novas métricas de avaliação.

A atual crise só agrava e mostra as insuficiências do modelo de avaliação que usamos. Todo o nosso sistema nacional de pós-graduação é mal financiado, mesmo nos momentos de calmaria econômica. Espero que os cortes atuais sejam apenas momentâneos, pois sua manutenção, com certeza, será uma pá de cal em cima desse sistema, que exigiu imensos esforços da sociedade brasileira para a sua construção.

O debate sobre a avaliação é central nesse momento, pois pode propiciar um redirecionamento e alternativas, e mostrar que nossa missão é maior do que produzir artigos científicos. Não fomos criados para ser uma comunidade de produtores de artigos, mas sim de conhecimentos que contribuam para a compreensão abrangente dos problemas de saúde, para o fortalecimento do SUS e para as transformações necessárias nas condições de saúde da população brasileira. Esse deveria ser o norte do nosso sistema de avaliação. Porém, para que isso possa acontecer, os programas precisam continuar existindo e produzindo. À medida que se reduz cada vez mais o financiamento, a luta passa a ser apenas pela misera sobrevivência, perdendo o sentido de debates em torno da avaliação.

Abrasco: A defesa do SUS universal é o tema do Abrascão 2015. Qual é a importância desse debate no cenário brasileiro?

Maurício Barreto: Ao colocar a universalidade dos sistemas de saúde como tema central deste Congresso, a Abrasco reafirma-se como uma organização criada para defender o sistema de saúde brasileiro e contribuir para o desenvolvimento do SUS. Como parte da turbulência que vive a sociedade brasileira, o nosso sistema de saúde também atravessa momentos críticos. Muita coisa boa está acontecendo, por exemplo, a expansão da Rede de Atenção Primária e o nível de equidade que está se alcançando neste nível de atenção, porém e ao mesmo tempo, vários outros de problemas existem e precisam de soluções. Em todos os problemas a questão da universalidade é relevante. Na perspectiva da nossa comunidade científica, tudo isto implica em desafios de continuar contribuindo para o SUS integral, resolutivo, universal que almejamos. Esse debate é de grande relevância para nós, como parte da comunidade de produção científica e, certamente, de onde poderão sair os conhecimentos necessários para a emergência de soluções compatíveis com a grandeza dos problemas e desafios que é a construção de um SUS almejado pela sociedade brasileira.

(Abrasco)

FONTE: http://www.jornaldaciencia.org.br/edicoes/?url=http://jcnoticias.jornaldaciencia.org.br/2-mauricio-barreto-se-mudarmos-a-forma-de-avaliar-a-ciencia-mudamos-a-forma-de-entender-e-valorar-a-publicacao-cientifica/