Preocupações incluem confidencialidade, precisão e “originalidade de pensamento”
Por Jocelyn Kaiser para a Science
O neurocientista Greg Siegle estava em uma conferência no início de abril quando ouviu algo que achou “muito assustador”. Outro cientista estava entusiasmado com o fato de que o ChatGPT, a ferramenta de inteligência artificial (IA) lançada em novembro de 2022, rapidamente se tornou indispensável para redigir críticas às densas propostas de pesquisa que ele teve que percorrer como revisor de pares para os Institutos Nacionais de Saúde (NIH). Outros ouvintes assentiram, dizendo que viam o ChatGPT como uma grande economia de tempo: redigir uma revisão pode envolver apenas colar partes de uma proposta, como resumo, objetivos e estratégia de pesquisa, na IA e solicitar que ela avalie as informações.
O NIH e outras agências de financiamento, no entanto, estão colocando um fim nessa abordagem. Em 23 de junho, o NIH proibiu o uso de ferramentas de IA generativas online como o ChatGPT “para analisar e formular críticas de revisão por pares” – provavelmente estimulado em parte por uma carta de Siegle, que está na Universidade de Pittsburgh, e colegas. Após a conferência, eles alertaram a agência de que permitir que o ChatGPT escreva análises de bolsas é “um precedente perigoso”. Em um movimento semelhante, o Conselho de Pesquisa Australiano (ARC) em 7 de julho proibiu a IA generativa para revisão por pares após saber de revisões aparentemente escritas pelo ChatGPT.
Outras agências também estão desenvolvendo uma resposta. A National Science Foundation dos EUA formou um grupo de trabalho interno para verificar se pode haver usos apropriados de IA como parte do processo de revisão de mérito e, em caso afirmativo, quais “guardas de proteção” podem ser necessárias, diz um porta-voz. E o Conselho Europeu de Pesquisa espera discutir a IA tanto para redação quanto para avaliação de propostas.
O ChatGPT e outros grandes modelos de linguagem são treinados em vastos bancos de dados de informações para gerar texto que parece ter sido escrito por humanos. Os bots já levaram editores científicos preocupados com ética e precisão factual a restringir seu uso para escrever artigos. Algumas editoras e periódicos, incluindo a Science , também estão proibindo seu uso por revisores.
Para as agências financiadoras, a confidencialidade está no topo da lista de preocupações. Quando partes de uma proposta são inseridas em uma ferramenta de IA online, as informações se tornam parte de seus dados de treinamento. O NIH se preocupa com “para onde os dados estão sendo enviados, salvos, visualizados ou usados no futuro”, afirma seu aviso.
Os críticos também temem que as revisões escritas por IA sejam propensas a erros (os bots são conhecidos por fabricar), tendenciosas contra visões não convencionais porque se baseiam em informações existentes e carecem da criatividade que impulsiona a inovação científica. “A originalidade do pensamento que o NIH valoriza é perdida e homogeneizada com esse processo e pode até constituir plágio”, escreveram os funcionários do NIH em um blog. Para periódicos, a responsabilidade do revisor também é uma preocupação. “Não há garantia de que o [revisor] entenda ou concorde com o conteúdo” que está fornecendo, diz Kim Eggleton, que dirige a revisão por pares na IOP Publishing.
Na Austrália, a ARC proibiu os revisores de bolsas de usar ferramentas de IA generativas 1 semana depois que uma conta anônima do Twitter, ARC_Tracker, administrada por um pesquisador local, relatou que alguns cientistas receberam avaliações que pareciam ter sido escritas pelo ChatGPT. Alguns obtiveram avaliações semelhantes quando colaram partes de suas propostas no ChatGPT, diz ARC_Tracker. Uma revisão incluiu até uma oferta, as palavras “regenerar resposta” que aparecem como um prompt no final de uma resposta do ChatGPT. ( O Science Insider confirmou a identidade do ARC_Tracker, mas concordou com o anonimato para que este pesquisador e outros possam usar a conta para criticar livremente o ARC e as políticas governamentais sem medo de repercussões.)
Os cientistas podem pensar que o ChatGPT produz feedback significativo, mas essencialmente regurgita a proposta, diz o proprietário do ARC_Tracker. É certo que alguns revisores humanos também fazem isso. Mas, “Há uma diferença muito grande entre uma revisão adequada – que deve fornecer insight, crítica, opinião informada e avaliação de especialistas – e um mero resumo do que já está em uma proposta”, escreveu o pesquisador em um e-mail ao Science Insider .
Alguns pesquisadores, no entanto, dizem que a IA oferece uma chance de melhorar o processo de revisão por pares. A proibição do NIH é um “recuo tecnofóbico da oportunidade de mudança positiva”, diz o geneticista psiquiátrico Jake Michaelson, da Universidade de Iowa. Os revisores podem usar as ferramentas para verificar suas críticas para ver se eles esqueceram alguma coisa na proposta, ajudá-los a avaliar o trabalho de fora de seu próprio campo e suavizar a linguagem que eles não perceberam soar “mesquinho ou mesmo maldoso”, diz Michaelson. “Eventualmente, vejo a IA se tornando a primeira linha do processo de revisão por pares, com especialistas humanos complementando as revisões de IA de primeira linha. … Prefiro ter minhas próprias propostas revisadas pelo ChatGPT-4 do que por um revisor humano preguiçoso”, acrescenta.
A paisagem provavelmente mudará com o tempo. Vários cientistas observaram no blog do NIH que alguns modelos generativos de IA funcionam offline e não violam a confidencialidade – eliminando pelo menos essa preocupação. O NIH respondeu que espera “fornecer orientação adicional” para uma “área em rápida evolução”.
Mohammad Hosseini, pesquisador de pós-doutorado em ética da Northwestern University que escreveu sobre IA na revisão de manuscritos, concorda que a proibição do NIH é razoável, por enquanto: “Dada a sensibilidade dos problemas e projetos com os quais o NIH lida e a novidade das ferramentas de IA, adotar uma abordagem cautelosa e medida é absolutamente necessária.”
Este texto escrito originalmente em inglês foi publicado pela revista Science [Aqui!].
blogdopedlowski.com 