Ler e escrever artigos publicados em periódicos acadêmicos e apresentados em conferências é uma parte central de ser um pesquisador. Quando pesquisadores escrevem um artigo acadêmico, eles devem citar o trabalho de colegas para fornecer contexto, detalhar fontes de inspiração e explicar diferenças em abordagens e resultados. Uma citação positiva por outros pesquisadores é uma medida essencial de visibilidade para o próprio trabalho de um pesquisador.

Mas o que acontece quando esse sistema de citação é manipulado? Um artigo recente do Journal of the Association for Information Science and Technology por nossa equipe de detetives acadêmicos – que inclui cientistas da informação, um cientista da computação e um matemático – revelou um método insidioso para inflar artificialmente as contagens de citações por meio de manipulações de metadados: referências furtivas.

Manipulação oculta

As pessoas estão se tornando mais conscientes das publicações científicas e de como elas funcionam, incluindo suas falhas potenciais. Só no ano passado, mais de 10.000 artigos científicos foram retratados . Os problemas em torno do jogo de citações e os danos que ele causa à comunidade científica, incluindo danos à sua credibilidade, estão bem documentados.

Citações de trabalhos científicos obedecem a um sistema de referência padronizado: Cada referência menciona explicitamente pelo menos o título, nomes dos autores, ano de publicação, nome do periódico ou conferência e números de página da publicação citada. Esses detalhes são armazenados como metadados, não visíveis diretamente no texto do artigo, mas atribuídos a um identificador de objeto digital, ou DOI – um identificador exclusivo para cada publicação científica.

As referências em uma publicação científica permitem que os autores justifiquem escolhas metodológicas ou apresentem os resultados de estudos anteriores, destacando a natureza iterativa e colaborativa da ciência.

No entanto, descobrimos por meio de um encontro casual que alguns atores inescrupulosos adicionaram referências extras, invisíveis no texto, mas presentes nos metadados dos artigos, quando os submeteram a bancos de dados científicos. O resultado? As contagens de citações para certos pesquisadores ou periódicos dispararam, embora essas referências não tenham sido citadas pelos autores em seus artigos.

Descoberta casual

A investigação começou quando Guillaume Cabanac, professor da Universidade de Toulouse, escreveu um post no PubPeer , um site dedicado à revisão por pares pós-publicação, no qual cientistas discutem e analisam publicações. No post, ele detalhou como havia notado uma inconsistência: um artigo de periódico Hindawi que ele suspeitava ser fraudulento porque continha frases estranhas tinha muito mais citações do que downloads, o que é muito incomum.

A postagem chamou a atenção de vários detetives que agora são os autores do artigo JASIST . Usamos um mecanismo de busca científica para procurar artigos citando o artigo inicial. O Google Scholar não encontrou nenhum, mas o Crossref e o Dimensions encontraram referências. A diferença? O Google Scholar provavelmente dependerá principalmente do texto principal do artigo para extrair as referências que aparecem na seção de bibliografia, enquanto o Crossref e o Dimensions usam metadados fornecidos pelos editores.

Um novo tipo de fraude

Para entender a extensão da manipulação, examinamos três periódicos científicos publicados pela Technoscience Academy, a editora responsável pelos artigos que continham citações questionáveis.

Nossa investigação consistiu em três etapas:

1. Listamos as referências explicitamente presentes nas versões HTML ou PDF de um artigo.
2. Comparamos essas listas com os metadados registrados pelo Crossref, descobrindo referências extras adicionadas nos metadados, mas que não apareciam nos artigos.
3. Verificamos o Dimensions, uma plataforma bibliométrica que usa o Crossref como fonte de metadados, e encontramos mais inconsistências.

Nos periódicos publicados pela Technoscience Academy, pelo menos 9% das referências registradas eram “referências furtivas”. Essas referências adicionais estavam apenas nos metadados, distorcendo as contagens de citações e dando a certos autores uma vantagem injusta. Algumas referências legítimas também foram perdidas, o que significa que não estavam presentes nos metadados.

Além disso, ao analisar as referências furtivas, descobrimos que elas beneficiaram muito alguns pesquisadores. Por exemplo, um único pesquisador que estava associado à Technoscience Academy se beneficiou de mais de 3.000 citações ilegítimas adicionais. Alguns periódicos da mesma editora se beneficiaram de algumas centenas de citações furtivas adicionais.

Queríamos que nossos resultados fossem validados externamente, então publicamos nosso estudo como uma pré-impressão , informamos a Crossref e a Dimensions sobre nossas descobertas e demos a elas um link para a investigação pré-impressa. A Dimensions reconheceu as citações ilegítimas e confirmou que seu banco de dados reflete os dados da Crossref. A Crossref também confirmou as referências extras no Retraction Watch e destacou que esta foi a primeira vez que foi notificada de tal problema em seu banco de dados. A editora, com base na investigação da Crossref, tomou medidas para corrigir o problema.

Implicações e soluções potenciais

Por que essa descoberta é importante? A contagem de citações influencia fortemente o financiamento de pesquisas, promoções acadêmicas e classificações institucionais. Manipular citações pode levar a decisões injustas com base em dados falsos. Mais preocupante, essa descoberta levanta questões sobre a integridade dos sistemas de medição de impacto científico, uma preocupação que tem sido destacada por pesquisadores há anos. Esses sistemas podem ser manipulados para promover uma competição doentia entre pesquisadores, tentando-os a tomar atalhos para publicar mais rápido ou obter mais citações.

Para combater esta prática sugerimos várias medidas:

• Verificação rigorosa de metadados por editores e agências como a Crossref.
• Auditorias independentes para garantir a confiabilidade dos dados.
• Maior transparência no gerenciamento de referências e citações.

Este estudo é o primeiro, até onde sabemos, a relatar uma manipulação de metadados. Ele também discute o impacto que isso pode ter na avaliação de pesquisadores. O estudo destaca, mais uma vez, que a dependência excessiva de métricas para avaliar pesquisadores, seu trabalho e seu impacto pode ser inerentemente falha e errada.

Tal excesso de confiança provavelmente promoverá práticas de pesquisa questionáveis, incluindo hipóteses após os resultados serem conhecidos, ou HARKing ; divisão de um único conjunto de dados em vários artigos, conhecido como fatiamento de salame; manipulação de dados; e plágio. Também dificulta a transparência que é a chave para uma pesquisa mais robusta e eficiente . Embora os metadados de citação problemáticos e as referências furtivas tenham sido aparentemente corrigidos, as correções podem ter acontecido tarde demais , como geralmente é o caso com correções científicas .

Este artigo foi publicado em colaboração com o Binaire , um blog para entender questões digitais.

Este artigo foi publicado originalmente em francês .

---

Fonte: The Conversation