A IA aumenta tanto o risco de manipulação deliberada de métricas quanto o ruído geral no sistema de publicação acadêmica

Por David Stuart para a Research Information

Tem sido fascinante observar o crescimento das altmetrias e outras métricas da web nos últimos 20 anos. Eles deixaram de ser uma curiosidade ociosa e passaram a ser incorporados nas páginas da web de algumas das maiores universidades e editoras acadêmicas do mundo.

Os desenvolvimentos tecnológicos, a normalização e um interesse crescente em métricas alternativas significam que as informações sobre o número de visualizações ou menções nas redes sociais que uma publicação recebeu são frequentemente anunciadas com ousadia juntamente com outras métricas mais estabelecidas.

Contudo, o sucesso passado não é um indicador de crescimento futuro e a web está em constante mudança. O maior disruptor da Web hoje é, sem dúvida, a inteligência artificial (IA) e, embora a extensão total do seu impacto futuro seja atualmente desconhecida, uma questão que levanta é se atingimos os limites da altmetria.

O fascínio das métricas

Num mundo em rápida mudança, as métricas apelam à objectividade. Quer sejam usados ​​para avaliação, motivação ou celebração, oferecem a promessa de algo mais sólido do que a mera opinião individual. Durante muito tempo, na publicação académica, as métricas dominantes basearam-se em citações e, embora as limitações da análise de citações sejam amplamente reconhecidas, muitas vezes sente-se que, ao agregar e normalizar as citações de diferentes maneiras, podem indicar algo de valor.

A mudança para a publicação online, no entanto, aumentou muito as métricas disponíveis. A rica variedade de dados em tempo real sobre o uso de uma publicação e a ascensão da altmetrics nas mídias sociais prometiam fornecer uma compreensão mais rápida e mais matizada do impacto que a pesquisa estava tendo, além do âmbito acadêmico e além das publicações formais.

As publicações informais são, no entanto, mais abertas à manipulação do que as publicações formais, e parece que, no momento em que a altmetria começa a ganhar uma aceitação mais ampla, a sua legitimidade pode ser prejudicada. Até agora, os problemas de manipulação têm sido mínimos, mas com a IA o risco é que tais métricas informais possam rapidamente perder o sentido.

O desafio da IA

A IA aumenta tanto o risco de manipulação deliberada de métricas como o ruído geral no sistema de publicação científica.

Todas as métricas estão abertas à manipulação e é inevitável que indivíduos e organizações sejam incitados a agir de forma a obter a impressão mais favorável. Como afirma a lei econômica de Goodhart: “Quando uma medida se torna uma meta, deixa de ser uma boa medida”. Embora as consequências negativas das métricas na publicação académica possam não ser tão imediatamente aparentes como quando um médico só quer atender pacientes com resultados favoráveis, ou a polícia apenas regista crimes que são facilmente resolvidos, uma ênfase excessiva nas métricas corre o risco de minar o sistema. O problema das fábricas de papel que produzem artigos de investigação que são posteriormente retirados também tem aumentado recentemente, e o problema só deverá aumentar à medida que as melhorias na IA generativa tornarem cada vez mais difícil a identificação de tais artigos. No entanto, na publicação académica ainda existem muitas verificações humanas, poucas das quais se aplicam à altmetria.

A história das métricas da web tem sido uma das duas: a crescente facilidade com que as métricas podem ser coletadas e com que podem ser manipuladas. Quando comecei a contar objetos na web, quase 20 anos atrás, a unidade de escolha para ser contada era o hiperlink. Embora qualquer um pudesse ter criado vários sites com domínios diferentes para aumentar o impacto de sua presença online, o custo em tempo e dinheiro, e o pouco interesse em métricas da web na comunidade acadêmica, significava que o tempo da maioria das pessoas seria melhor gasto criando melhores publicações acadêmicas. A padronização dos grandes sites de mídia social, no entanto, proporcionou maior interesse em métricas da web e também reduziu a barreira para criar um impacto online. Não era mais necessário criar vários sites, apenas perfis diferentes em várias plataformas de mídia social. O custo, em grande parte, foi reduzido a zero, tudo o que era necessário era tempo. Com a IA, no entanto, o tempo envolvido também pode ser reduzido a zero, pelo menos após a configuração inicial.

Não é difícil imaginar um momento no futuro próximo em que, se você quiser gerar cem ou até mil contas de microblog para divulgar a qualidade de sua pesquisa, você poderá simplesmente pedir a um programa de IA generativo para fazer isso em seu nome. Não será necessário selecionar cuidadosamente a imagem de cada conta para distingui-las dos spambots, mas o conteúdo será gerado automaticamente. Você pode ficar um pouco irritado ao descobrir que os insights artificiais ganham mais seguidores do que suas postagens cuidadosamente selecionadas, mas o rápido aumento da pontuação de atenção sem dúvida aliviará a dor.

Nem todo o barulho será deliberado. À medida que o conteúdo é cada vez mais criado automaticamente, a ideia de que partes de conteúdo podem ser contadas como se cada uma tivesse sido criada como um ato individual de um ser humano tornar-se-á cada vez mais falha. Proporções cada vez maiores da web vêm com um aviso de que “esta página foi criada automaticamente com a ajuda da IA”, e tais secções crescerão inevitavelmente mais rapidamente do que as porções criadas por humanos. Como a criação de conteúdo é cada vez mais baseada em outros conteúdos já criados, a vantagem de ser o primeiro artigo mencionado sobre um assunto será cada vez mais difícil de superar.

Com uma distribuição de atenção cada vez mais distorcida, torna-se também cada vez mais importante garantir que as menções sejam associadas ao documento académico correto. A atribuição errada de menções académicas e as flutuações resultantes nas métricas só deverão aumentar à medida que mais dados forem gerados automaticamente.

O fim da altmetria?

À primeira vista, parece que o uso cada vez maior de IA generativa inevitavelmente anunciará o fim da altmetria, mas isso só se todo o resto permanecer igual. Sem dúvida, não será.

Os sites e serviços de mídia social também provavelmente mudarão de várias maneiras. Pode ser que os sites de redes sociais gratuitos sejam evitados em favor de serviços de subscrição ou distribuídos, onde existem maiores restrições à geração de conteúdos, permitindo-lhes formar a base de métricas novas e mais robustas. O interesse no impacto acadêmico sobre um serviço genérico como o X pode ser substituído pelo interesse apenas em contas verificadas ou em servidores selecionados que fazem parte de uma rede distribuída.

Também parece provável que amplie o interesse em métricas da web além da altmetria. Há uma ampla gama de insights que podem ser obtidos na web, ou em cantos dela, desde a análise do que as atividades de pesquisa das pessoas no Google Trends nos dizem sobre o estado da sociedade até como os links entre sites fornecem insights sobre relacionamentos no mundo real e o robustez de uma economia local. No entanto, muitas vezes estas alternativas têm sido marginalizadas com enfoque em métricas avaliativas de grande escala.

Conclusão

As métricas da Web sempre tiveram que se adaptar à medida que novas tecnologias surgiram e, embora a IA sem dúvida ponha fim a uma era de altmetria, novas áreas de investigação surgirão sem dúvida. A inclusão de uma série de literatura cinzenta e citações de patentes que anteriormente teriam sido excluídas da bibliometria provavelmente continuará, mas a ideia de que pode capturar significativamente conteúdo informal em escala superior a essa pode ser cada vez mais duvidosa.

As métricas da Web sempre tiveram bases mais suaves do que a bibliometria, mais propensas a insights ilícitos que são interessantes em vez de confiáveis, e isso pode não ser uma coisa ruim se isso for o máximo que podem acontecer. As métricas avaliativas têm frequentemente um impacto negativo, especialmente quando lhes é dada demasiada credibilidade, pelo que controlar as altmetrias no momento em que estão a ganhar interesse não é necessariamente uma coisa má.

++++++++++++++++++++++

David Stuart é autor do recentemente publicado Web Metrics for Library and Information Professionals (2ª ^edição ),  que mostra que há muito mais em métricas da web do que altmetria.

---

Fonte:  Research Information