“Exercício de absurdo” revela falhas nas métricas de produtividade do Google Acadêmico.

Larry, aqui retratado com Michael Richardson (pai de Reese Richardson), ostentou o título de gato mais citado do mundo por uma semana. Kelly Richardson 

Por Christie Wilcox para a “Science”

Larry Richardson parecia ser um matemático promissor em início de carreira. Segundo o Google Acadêmico, ele havia escrito uma dúzia de artigos sobre temas que variavam de álgebras complexas à estrutura de objetos matemáticos, acumulando mais de 130 citações em 4 anos. Tudo seria bastante notável — se os estudos não fossem um completo disparate. E Larry não era um gato.

“Foi um exercício de absurdo”, diz Reese Richardson, estudante de pós-graduação em metaciência e biologia computacional na Universidade Northwestern. No início deste mês, ele e seu colega Nick Wise, da Universidade de Cambridge, que também investiga má conduta em pesquisas, criaram o perfil de Larry e arquitetaram a ascensão científica do felino. O objetivo: torná-lo o gato mais citado do mundo , imitando uma tática aparentemente usada por um serviço de aumento de citações anunciado no Facebook. Em apenas duas semanas, a dupla cumpriu sua missão.

A ação visa, espera-se, chamar a atenção para o crescente problema da manipulação de métricas de pesquisa, afirma Peter Lange, consultor de ensino superior e professor emérito de ciência política da Universidade Duke. “Acredito que a maioria dos professores das instituições que conheço sequer tem conhecimento dessas fábricas de citações.”

De maneira geral, quanto mais um artigo científico é citado por outros estudos, mais importante ele e seus autores são em uma área de pesquisa. Uma forma abreviada de medir isso é o popular “ índice h “: um índice h de 10 significa que uma pessoa tem 10 artigos com pelo menos 10 citações cada, por exemplo.

Inflar o número de citações e o índice h de um pesquisador lhe confere “uma enorme vantagem” em contratações e decisões de titularidade, afirma Jennifer Byrne, pesquisadora de câncer da Universidade de Sydney. Isso também alimenta o modelo de negócios de organizações obscuras que prometem aumentar suas citações em troca de dinheiro . “Se você pode simplesmente comprar citações”, diz Byrne, “você está comprando influência”.

Eis que surge Larry, o gato. Sua história começou algumas semanas atrás, quando Wise viu um anúncio no Facebook oferecendo “aumento de citações e índice h”. Não era a primeira vez que ele e Richardson viam uma promoção desse tipo. (O preço médio parece ser de cerca de US$ 10 por citação.) Mas este anúncio incluía capturas de tela de perfis do Google Acadêmico de cientistas reais. Isso significava que a dupla podia ver exatamente quais citações estavam elevando os números.

Descobriu-se que as citações frequentemente pertenciam a artigos repletos de textos sem sentido, escritos por matemáticos há muito falecidos, como Pitágoras. Os estudos haviam sido carregados como PDFs na plataforma acadêmica ResearchGate e, posteriormente, excluídos, obscurecendo sua natureza. (Wise e Richardson tiveram que vasculhar o cache do Google para ler os documentos.) “Pensamos: ‘Nossa, esse procedimento é incrivelmente fácil'”, lembra Richardson. “Basta publicar alguns artigos falsos no ResearchGate.”

Wise observou na época que era tão fácil que um roteiro escrito às pressas para produzir artigos com aparência plausível poderia tornar qualquer pessoa altamente citada — até mesmo um gato. “Não sei se ele estava falando sério”, diz Richardson. “Mas certamente encarei isso como um desafio.” E ele sabia exatamente qual gato superar: FDC Willard . Em 1975, o físico teórico Jack Hetherington adicionou seu gato siamês a um de seus artigos de autoria única para que as referências a “nós” fizessem mais sentido. Até este ano , “Felis Domesticus Chester Willard” tem 107 citações.

Para quebrar esse recorde, Richardson recorreu a Larry, o gato de sua avó. Em cerca de uma hora, ele criou 12 artigos falsos, um atribuído a Larry e o outro a outros 12 autores, cada um citando um dos trabalhos de Larry. Isso resultaria em 12 artigos com 12 citações cada, totalizando 144 citações e um índice h de 12. Richardson carregou os manuscritos em um perfil do ResearchGate que criou para o felino. Então, ele e Wise esperaram que o Google Acadêmico extraísse automaticamente os dados falsos.

Em 17 de julho, os artigos de Larry e 132 citações apareceram no site. (O Google Acadêmico não conseguiu detectar um estudo espúrio, observa Wise.) E, assim, Larry se tornou o gato mais citado do mundo. “Perguntei a Larry qual foi sua reação por telefone”, disse Richardson à Science . “Só posso presumir que ele ficou tão atônito que não conseguiu falar.”

Se você pode simplesmente comprar citações, está comprando influência.

Jennifer Byrne, Universidade de Sydney

Embora o perfil de Larry possa parecer obviamente falso, encontrar perfis manipulados geralmente não é fácil, afirma Talal Rahwan, cientista da computação da Universidade de Nova York em Abu Dhabi. No início deste ano, ele, Yasir Zaki, também cientista da computação da mesma instituição, e seus colegas analisaram mais de 1 milhão de perfis do Google Acadêmico em busca de contagens de citações anômalas. Eles encontraram pelo menos 114 perfis com “padrões de citação altamente irregulares”, de acordo com um artigo publicado em fevereiro no servidor de pré-impressões arXiv. “A grande maioria tinha pelo menos algumas de suas citações duvidosas provenientes do ResearchGate”, diz Zaki.

A ResearchGate está “claro que ciente dos crescentes problemas de integridade na pesquisa na comunidade científica global”, afirma o CEO da empresa, Ijad Madisch. “[Nós] estamos continuamente revisando nossas políticas e processos para garantir a melhor experiência para nossos milhões de usuários pesquisadores.” Nesse caso, ele diz, a empresa desconhecia que sites de citação ilegal excluem conteúdo após a indexação, aparentemente para encobrir seus rastros — informação que pode ajudar a ResearchGate a desenvolver sistemas de monitoramento mais eficazes. “Agradecemos à revista Science por nos relatar essa situação específica e usaremos este relatório para revisar e adaptar nossos processos conforme necessário.”

O Google Acadêmico removeu as citações de Larry cerca de uma semana depois de terem sido publicadas, fazendo com que ele perdesse seu título não oficial. No entanto, seu perfil ainda existe , e as citações duvidosas presentes no anúncio permanecem. Portanto, “Eles não resolveram o problema”, afirma Wise. O Google Acadêmico não respondeu aos pedidos de comentários.

Não é a primeira vez que alguém manipula o Google Acadêmico publicando artigos falsos. Em 2010, Cyril Labbé, um cientista da computação da Universidade Grenoble Alpes, inventou um pesquisador chamado Ike Antkare (“Não me importo”) e o tornou o sexto cientista da computação mais citado no serviço, publicando artigos falsos no site institucional de Labbé. “Imitando um cientista falso em um gato é muito fofo”, diz Labbé. “Se isso pode ser feito com um gato, pode ser facilmente feito com uma pessoa de verdade.”

Por essa razão, muitos pesquisadores gostariam de ver menos ênfase no índice h e em outras métricas que têm “o brilho indevido da quantificação”, como Lange coloca. Enquanto os benefícios de manipular esses sistemas superarem os riscos e custos, diz Wise, as pessoas continuarão tentando burlá-los. “Como criar uma métrica que não possa ser manipulada? Tenho certeza de que a resposta é: Não dá.”

Fonte: Science