Quando as citações científicas se tornam desonestas: descobrindo ‘referências furtivas’

agosto 6, 2024 / Marcos Pędłowski / Deixe um comentário

sneaked citation

Por Lonni Besançon, Guilherme Cabanac e Thierry Viéville para o “The Conversation”

Um pesquisador trabalhando sozinho – separado do mundo e do resto da comunidade científica mais ampla – é uma imagem clássica, porém equivocada. A pesquisa é, na realidade, construída em troca contínua dentro da comunidade científica: primeiro você entende o trabalho dos outros e, então, compartilha suas descobertas.

Ler e escrever artigos publicados em periódicos acadêmicos e apresentados em conferências é uma parte central de ser um pesquisador. Quando pesquisadores escrevem um artigo acadêmico, eles devem citar o trabalho de colegas para fornecer contexto, detalhar fontes de inspiração e explicar diferenças em abordagens e resultados. Uma citação positiva por outros pesquisadores é uma medida essencial de visibilidade para o próprio trabalho de um pesquisador.

Mas o que acontece quando esse sistema de citação é manipulado? Um artigo recente do Journal of the Association for Information Science and Technology por nossa equipe de detetives acadêmicos – que inclui cientistas da informação, um cientista da computação e um matemático – revelou um método insidioso para inflar artificialmente as contagens de citações por meio de manipulações de metadados: referências furtivas.

Manipulação oculta

As pessoas estão se tornando mais conscientes das publicações científicas e de como elas funcionam, incluindo suas falhas potenciais. Só no ano passado, mais de 10.000 artigos científicos foram retratados . Os problemas em torno do jogo de citações e os danos que ele causa à comunidade científica, incluindo danos à sua credibilidade, estão bem documentados.

Citações de trabalhos científicos obedecem a um sistema de referência padronizado: Cada referência menciona explicitamente pelo menos o título, nomes dos autores, ano de publicação, nome do periódico ou conferência e números de página da publicação citada. Esses detalhes são armazenados como metadados, não visíveis diretamente no texto do artigo, mas atribuídos a um identificador de objeto digital, ou DOI – um identificador exclusivo para cada publicação científica.

As referências em uma publicação científica permitem que os autores justifiquem escolhas metodológicas ou apresentem os resultados de estudos anteriores, destacando a natureza iterativa e colaborativa da ciência.

No entanto, descobrimos por meio de um encontro casual que alguns atores inescrupulosos adicionaram referências extras, invisíveis no texto, mas presentes nos metadados dos artigos, quando os submeteram a bancos de dados científicos. O resultado? As contagens de citações para certos pesquisadores ou periódicos dispararam, embora essas referências não tenham sido citadas pelos autores em seus artigos.

Descoberta casual

A investigação começou quando Guillaume Cabanac, professor da Universidade de Toulouse, escreveu um post no PubPeer , um site dedicado à revisão por pares pós-publicação, no qual cientistas discutem e analisam publicações. No post, ele detalhou como havia notado uma inconsistência: um artigo de periódico Hindawi que ele suspeitava ser fraudulento porque continha frases estranhas tinha muito mais citações do que downloads, o que é muito incomum.

A postagem chamou a atenção de vários detetives que agora são os autores do artigo JASIST . Usamos um mecanismo de busca científica para procurar artigos citando o artigo inicial. O Google Scholar não encontrou nenhum, mas o Crossref e o Dimensions encontraram referências. A diferença? O Google Scholar provavelmente dependerá principalmente do texto principal do artigo para extrair as referências que aparecem na seção de bibliografia, enquanto o Crossref e o Dimensions usam metadados fornecidos pelos editores.

Um novo tipo de fraude

Para entender a extensão da manipulação, examinamos três periódicos científicos publicados pela Technoscience Academy, a editora responsável pelos artigos que continham citações questionáveis.

Nossa investigação consistiu em três etapas:

Listamos as referências explicitamente presentes nas versões HTML ou PDF de um artigo.
Comparamos essas listas com os metadados registrados pelo Crossref, descobrindo referências extras adicionadas nos metadados, mas que não apareciam nos artigos.
Verificamos o Dimensions, uma plataforma bibliométrica que usa o Crossref como fonte de metadados, e encontramos mais inconsistências.

Nos periódicos publicados pela Technoscience Academy, pelo menos 9% das referências registradas eram “referências furtivas”. Essas referências adicionais estavam apenas nos metadados, distorcendo as contagens de citações e dando a certos autores uma vantagem injusta. Algumas referências legítimas também foram perdidas, o que significa que não estavam presentes nos metadados.

Além disso, ao analisar as referências furtivas, descobrimos que elas beneficiaram muito alguns pesquisadores. Por exemplo, um único pesquisador que estava associado à Technoscience Academy se beneficiou de mais de 3.000 citações ilegítimas adicionais. Alguns periódicos da mesma editora se beneficiaram de algumas centenas de citações furtivas adicionais.

Queríamos que nossos resultados fossem validados externamente, então publicamos nosso estudo como uma pré-impressão , informamos a Crossref e a Dimensions sobre nossas descobertas e demos a elas um link para a investigação pré-impressa. A Dimensions reconheceu as citações ilegítimas e confirmou que seu banco de dados reflete os dados da Crossref. A Crossref também confirmou as referências extras no Retraction Watch e destacou que esta foi a primeira vez que foi notificada de tal problema em seu banco de dados. A editora, com base na investigação da Crossref, tomou medidas para corrigir o problema.

Implicações e soluções potenciais

Por que essa descoberta é importante? A contagem de citações influencia fortemente o financiamento de pesquisas, promoções acadêmicas e classificações institucionais. Manipular citações pode levar a decisões injustas com base em dados falsos. Mais preocupante, essa descoberta levanta questões sobre a integridade dos sistemas de medição de impacto científico, uma preocupação que tem sido destacada por pesquisadores há anos. Esses sistemas podem ser manipulados para promover uma competição doentia entre pesquisadores, tentando-os a tomar atalhos para publicar mais rápido ou obter mais citações.

Para combater esta prática sugerimos várias medidas:

Verificação rigorosa de metadados por editores e agências como a Crossref.
Auditorias independentes para garantir a confiabilidade dos dados.
Maior transparência no gerenciamento de referências e citações.

Este estudo é o primeiro, até onde sabemos, a relatar uma manipulação de metadados. Ele também discute o impacto que isso pode ter na avaliação de pesquisadores. O estudo destaca, mais uma vez, que a dependência excessiva de métricas para avaliar pesquisadores, seu trabalho e seu impacto pode ser inerentemente falha e errada.

Tal excesso de confiança provavelmente promoverá práticas de pesquisa questionáveis, incluindo hipóteses após os resultados serem conhecidos, ou HARKing ; divisão de um único conjunto de dados em vários artigos, conhecido como fatiamento de salame; manipulação de dados; e plágio. Também dificulta a transparência que é a chave para uma pesquisa mais robusta e eficiente . Embora os metadados de citação problemáticos e as referências furtivas tenham sido aparentemente corrigidos, as correções podem ter acontecido tarde demais , como geralmente é o caso com correções científicas .

Este artigo foi publicado em colaboração com o Binaire , um blog para entender questões digitais.

Este artigo foi publicado originalmente em francês .

Fonte: The Conversation

Marketing acadêmico: IV Encontro Brasileiro sobre Integridade na Pesquisa, Ciência e Ética nas Publicações

julho 13, 2016julho 13, 2016 / Marcos Pędłowski / Deixe um comentário

Atualmente, o Brasil vem enfrentando obstáculos políticos e econômicos que têm colocado desafios adicionais para os seus sistemas de educação, ciência e tecnologia. O financiamento da pesquisa e desenvolvimento está entre esses desafios. No entanto, apesar desse contexto, algumas prioridades que continuam a orientar os esforços científicos do Brasil e de sua política científica incluem a promoção de uma cultura de ética e integridade na pesquisa em universidades e centros de pesquisa do país. O Encontro Brasileiro sobre Integridade na Pesquisa, Ética na Ciência e em Publicações (BRISPE) tem estimulado as instituições brasileiras nesse sentido, desde 2010 (http://www.iibrispe.coppe.ufrj.br/index.php/i-brispe).

Com o aumento do engajamento de orientadores, editores e gestores no Brasil, o BRISPE (www.iibrispe.coppe.ufrj.br) vem fomentando essa cultura de ética e integridade na pesquisa no país e (http://revistapesquisa.fapesp.br/2014/ 16/09 / Compromisso-Ação /) está agora em sua quarta edição. O IV BRISPE será realizado nos dias 17-18 de novembro de 2016, na Universidade Federal de Goiás (UFG) e tem como objetivo fortalecer o papel que o Brasil tem desempenhado nos cenários local e também mundial em discussões sobre a conduta responsável na pesquisa. Essas discussões têm sido cada vez mais associadas com questões sobre ciência & sociedade, confiança pública nos resultados de pesquisa, debates sobre a confiabilidade do registro da pesquisa e sobre mudanças graduais nos sistemas de comunicação e de recompensa da ciência.

A organização do IV BRISPE, portanto, convida pesquisadores, estudantes universitários, especialmente alunos da pós-graduação, editores, financiadores, gestores, educadores e, de forma mais ampla, todos os interessados na atividade científica, a participar do evento. O tema desta quarta edição, a ser realizado na Universidade Federal de Goiás (UFG), é “Integridade Científica: O Papel dos Orientadores, Editores e Financiadores”.

Saiba mais e inscreva-se: brispe2016.org

FONTE: http://brispe2016.org/

A pressão para publicar está asfixiando a comunidade acadêmica

julho 9, 2016julho 9, 2016 / Marcos Pędłowski / Deixe um comentário

Peter Higgs, um dos dois vencedores do Prêmio Nobel de Física em 2013.

Por Peter Vale e Steven Karataglidis*

O clima frio do hemisfério sul é um de um sinal certo de que a temporada de conferências científicas de inverno chegou. Nas próximas semanas acadêmicos de muitas disciplinas vão passar noites geladas em dormitórios de estudantes e dias trocando fofocas disciplinares sobre a situação das universidades, e sobre o que é novo em seu campo de estudo.

Mas, depois de problemas de síntese, a única conversa mais importante entre eles será a forma de negociar o regime de publicação que permeia a vida acadêmica contemporânea não só na África do Sul, mas em todo o mundo.

A obrigação de que as pessoas do mundo acadêmico devem publicar é invariavelmente apresentada como uma coisa virtuosa. É certo e apropriado para os acadêmicos expandir e estender as fronteiras de suas disciplina, respectivamente, através da publicação em revistas científicas após os trabalhos serem aprovados pelos seus pares.

Mais ainda, um público que muitas vezes é cético quanto à utilidade das universidades é muitas vezes informado que cientistas publicam em nome do “bem comum”.

Mas se a publicação acadêmica é tão significativa na profissão, por que é que os mais jovens e talentosos no mundo acadêmico cada vez mais resistem a ela, chamando-estereotipada, na melhor das hipóteses, e, na pior das hipóteses, um sweatshop (i.e., fábrica de suor)? E por que pesquisadores experientes simplesmente não estão mais interessados em contribuir para o sistema de peer-review que está no coração do sistema de validação científica, e sem o qual a indústria de publicações científicas pode entrar em colapso?

As agências de financiamento

Por um lado, há um lado escuro e manipulativo na pressão incessante para publicar. As agências de financiamento usam registros de publicações para distribuir dinheiro ou para ranquear os cientistas. Enquanto isso, gestores acadêmicos usam o registro de publicação como um meio de colocar as pessoas na linha.

Por outro lado, o atual sistema privilegia a publicação em artigos sobre o de livros. Isto é muito prejudicial para as Humanidades.

Se essa realidade reflete preocupações acadêmicas, há também muitas questões econômicas. Os custos de acesso revistas – mesmo em formato electrónico – punem os orçamentos universitários, na medida em que reforçam a linha de base das editoras. A desvalorização do Rand sul africano, por exemplo, face às principais moedas só fez aumentar o custo.

Mas o escândalo mais profundo – infelizmente, não há outra palavra para isso – é que, em média, um trabalho publicado não deve ser lido ou citado no curto prazo. Muitas vezes pode levar anos antes que um trabalho seja reconhecida na comunidade acadêmica global.

Mas a política sul africana não é muito útil também.

Considere o subsídio estatal para publicações: o Departamento do Ensino Superior e Formação devem ser convencido que uma dada publicação é “credenciada” (a palavra código para aceitável) por critérios, por vezes, arbitrários.

Isto leva a uma grande confusão. Será que a publicação está qualificada para se beneficiar do subsídio? Quem pode dizer ao certo? Alguns resultados são confusos. Por isso, é bizarro quando uma universidade hesite em apresentar um livro escrito pelo acadêmico líder do país porque ele pode não ser “acreditado”. Ou, pior, se a provável contratação por uma universidade pode ser recusada pelos motivos fizeram eventuais publicações deste pesquisador não atrairiam a tal acreditação.

Em circunstâncias de síntese, não é de estranhar que existem chamados para uma reflexão, não só para se repensar a indústria como um todo, mas a própria síndrome do “publicar ou perecer” que atualmente parece inescapável.

A importância da “pesquisa lenta”

Um começo útil será reconhecer que “a pesquisa lenta” é tão importante como é necessária. Este entendimento vai exigir um reconhecimento de que a pesquisa lenta, especialmente, mas não exclusivamente nas Humanidades – requer o que teórico estratégico Albert Wohlstetter uma vez chamou de alto pensamento em relação às publicações.

Então, entendimentos globais e locais destas questões exigem alinhamento.

Nesta questão em particular, vamos considerar o exemplo admitidamente extremo vindo das ciências puras: os artigos em que a descoberta do Bosón de Higgs foi anunciado tiveram mais de 3.000 autores, tal foi o tamanho da participação no maior experimento científico realizado no mundo, e foram publicados nos principais jornais científicos existentes.

De fato, o Prêmio Nobel de 2013 foi concedido de forma conjunta a Peter Higgs e François Englert, que tomaram parte no esforço teórico no meio da década de 1960 para postular a existência da partícula que leva o nome de Higgs. Com pouquíssimas exceções, Higgs não foi o autor nem foi citado nestes artigos, ainda que seu nome seja usado em todo o lugar na pesquisa.

Mas por causa do peso inverso dado ao número de publicações por autores, estes artigos inovadores na ciência, que efetivamente tiveram participação de pesquisadores sul africanos, tiveram uma nota zero, e não são considerados como produção científica no contexto local.

Vamos ser claros: pesquisa e publicação são o oxigênio da vida acadêmica. Mas os regimes que controlam os mecanismos contemporâneos de publicação estão asfixiando a criatividade e, com isto, a ciência.

* Peter Vale é professor de Humanidades e diretor do Johannesburg Institute for Advanced Study (JIAS), e Steven Karataglidis é professor de Física, ambos na Universidade de Johannesburgo, África do Sul.

Este artigo apareceu originalmente em inglês no site “The Conversation” no dia 06/07/2016 (Aqui!) e a versão em português é de minha responsabildiade.