Os observadores da integridade da pesquisa estão preocupados com as crescentes maneiras pelas quais os cientistas podem falsificar ou manipular as contagens de citações de seus estudos. Nos últimos meses, práticas cada vez mais ousadas surgiram. Uma abordagem foi revelada por meio de uma operação secreta na qual um grupo de pesquisadores comprou 50 citações para preencher o perfil do Google Acadêmico de um cientista falso que eles criaram.

Os cientistas compraram as citações por US$ 300 de uma empresa que parece vender citações falsas em grandes quantidades. Isso confirma a existência de um mercado negro para referências falsas sobre o qual os detetives de integridade de pesquisa há muito especulam, diz a equipe.

“Começamos a notar vários perfis do Google Acadêmico com tendências de citação questionáveis”, diz Yasir Zaki, um cientista da computação da Universidade de Nova York (NYU) Abu Dhabi, cuja equipe descreveu sua operação de picada em uma pré-impressão de fevereiro ¹ . “Quando um manuscrito adquire centenas de citações em poucos dias de publicação, ou quando um cientista tem um aumento abrupto e grande nas citações, você sabe que algo está errado.”

Essas práticas são problemáticas porque muitos aspectos da carreira de um pesquisador dependem de quantas referências seus artigos reúnem. Muitas instituições usam contagens de citações para avaliar cientistas, e os números de citações informam métricas como o h -index, que visa medir a produtividade dos acadêmicos e o impacto de seus estudos.

A manipulação de citações pode ter consequências reais. Em junho, o jornal espanhol El País relatou que o Comitê de Ética em Pesquisa da Espanha instou a Universidade de Salamanca a investigar o trabalho de seu reitor recém-nomeado, Juan Manuel Corchado, um cientista da computação acusado de aumentar artificialmente suas métricas do Google Scholar. (Corchado não respondeu ao pedido de comentário da Nature .)

Referências à venda

Observadores da integridade da pesquisa já suspeitavam que as citações estão à venda em fábricas artigos científicos , serviços que produzem estudos de baixa qualidade e vendem slots de autoria em artigos já aceitos, diz Cyril Labbé, um cientista da computação na Universidade Grenoble Alpes, na França. “As fábricas de papel têm a capacidade de inserir citações em artigos que estão vendendo”, ele diz.

Em novembro de 2023, a empresa de análise Clarivate, na Filadélfia, Pensilvânia, excluiu mais de 1.000 pesquisadores de sua lista anual de pesquisadores altamente citados por medo de jogos de citação e “hiperpublicação”.

Em sua operação secreta, Zaki e seus colegas criaram um perfil no Google Acadêmico para um cientista fictício e enviaram 20 estudos fictícios que foram criados usando inteligência artificial.

A equipe então abordou uma empresa, que eles encontraram ao analisar citações suspeitas vinculadas a um dos autores em seu conjunto de dados, que parecia estar vendendo citações para perfis do Google Acadêmico. Os autores do estudo contataram a empresa por e-mail e depois se comunicaram pelo WhatsApp. A empresa ofereceu 50 citações por US$ 300 ou 100 citações por US$ 500. Os autores optaram pela primeira opção e 40 dias depois, 50 citações de estudos em 22 periódicos — 14 dos quais são indexados pelo banco de dados acadêmico Scopus — foram adicionadas ao perfil do pesquisador fictício no Google Acadêmico.

A equipe não compartilhou o nome da empresa com a Nature , citando preocupações de que revelá-lo poderia chamar a atenção para seu site, ou para o perfil falso do Google Acadêmico que eles criaram, porque isso poderia revelar as identidades dos autores dos estudos que plantaram as citações falsas. Questionado pela Nature se o Google Acadêmico está ciente de que perfis falsos podem ser criados em seu site, Anurag Acharya, engenheiro distinto da empresa, disse: “Embora o mau comportamento acadêmico seja possível, é raro porque todos os aspectos são visíveis — artigos indexados, artigos incluídos por um autor em seu perfil, artigos citando um autor, onde os artigos que citam estão hospedados e assim por diante. Qualquer pessoa no mundo pode chamá-lo para isso.”

Em outra demonstração de manipulação de citações, no mês passado pesquisadores criaram um perfil falso do Google Acadêmico para um gato chamado Larry listando uma dúzia de artigos falsos com Larry como único autor. Os pesquisadores postaram mais uma dúzia de estudos sem sentido no site de rede social acadêmica ResearchGate que citavam os artigos de Larry. Mais ou menos uma semana depois que a identidade de Larry foi revelada, o Google Acadêmico removeu os estudos do gato, aqueles que citavam Larry e as citações acumuladas. O ResearchGate também removeu os estudos falsos que citavam Larry.

Pré-impressões falsas

A operação de Zaki e colegas nasceu de um esforço mais amplo para avaliar a escala do problema de citações falsas. Eles usaram software para examinar cerca de 1,6 milhão de perfis do Google Acadêmico que tinham pelo menos 10 publicações. Eles procuraram perfis com mais de 200 citações e instâncias nas quais as citações dos pesquisadores aumentaram 10 vezes ou mais a cada ano ou quando o aumento representou um salto de pelo menos 25% de sua contagem total de citações. A equipe encontrou 1.016 desses perfis.

Zaki diz que muitas citações dos artigos nesses perfis são de artigos pré-impressos que não foram revisados ​​por pares e que normalmente são listados nas bibliografias dos artigos, mas não são citados no corpo principal dos manuscritos.

“As citações podem ser facilmente manipuladas pela criação de pré-impressões falsas e por meio de serviços pagos”, diz o coautor Talal Rahwan, cientista da computação da NYU Abu Dhabi.

Os autores também entrevistaram 574 pesquisadores trabalhando nas 10 universidades mais bem classificadas do mundo. Eles descobriram que, das universidades que consideram contagens de citações ao avaliar cientistas, mais de 60% obtêm esses dados do Google Scholar.

Padrões de peixes

Labbé não está convencido pela alegação da pesquisa de que o Google Acadêmico é amplamente usado para obter métricas de citação de pesquisadores. Alegações de manipulação de citações no Google Acadêmico surgiram no passado, ele diz, e acadêmicos há muito suspeitam que há fornecedores oferecendo esse tipo de serviço. Mas a operação secreta para revelar um vendedor de citações é a primeira do tipo, ele diz.

Guillaume Cabanac, um cientista da computação da Universidade de Toulouse, na França, que criou uma ferramenta que sinaliza artigos fabricados que contêm frases estranhas adicionadas para driblar softwares de detecção de plágio, diz que muitos estudos estão surgindo com citações de trabalhos que não têm nada a ver com o tópico do estudo.

A equipe de Labbé está criando uma ferramenta que sinaliza automaticamente padrões de citação suspeitos que podem indicar manipulação.

Para ajudar com isso, a equipe de Zaki propõe uma métrica chamada índice de concentração de citações, projetada para detectar casos em que um cientista recebe muitas citações de poucas fontes. Tal atividade é frequentemente um sinal de um “círculo de citações”, no qual cientistas concordam em citar uns aos outros para inflar as métricas uns dos outros. “Os suspeitos tendem a ter citações massivas originadas de apenas algumas fontes”, diz Rahwan.

Um medo entre os detetives de integridade é que os fraudadores concebam práticas mais sutis para evitar serem descobertos. Por exemplo, uma maneira de evitar ser detectado pelo índice de concentração de citações, observa Labbé, é comprar algumas citações por vez e não em massa.

Para Labbé, a maneira de lidar com o jogo de citações é mudar os incentivos na academia para que os cientistas não fiquem sob pressão para acumular o máximo de citações possível para progredir em suas carreiras. “A pressão por publicação e citação é prejudicial ao comportamento dos cientistas”, ele diz.