O artigo de pesquisa recomendava a integração do ChatGPT no ensino e teve ampla circulação. Graças a dois pesquisadores noruegueses, ele foi despublicado
Segundo os críticos, o estudo não mediu realmente se o uso do ChatGPT ajudou os alunos a aprenderem mais, mas sim a qualidade do que eles produziram usando o ChatGPT. São duas coisas bem diferentes. Foto: Matt Rourke /AP / NTB
Por JorgenSvarstad para “Krono”
Em um artigo de pesquisa publicado na revista Humanities and Social Sciences Communications em maio passado , dois pesquisadores chineses afirmaram que o uso do ChatGPT tem um grande efeito positivo na aprendizagem dos alunos.
Tratava-se de uma meta-análise que revisou 51 quase-experimentos sobre inteligência artificial (IA) e ChatGPT.
“Para obter os melhores resultados, o ChatGPT deve ser integrado ativamente ao ensino, de preferência ao longo de várias semanas e com suporte dentro de uma estrutura pedagógica clara”, recomendaram os autores.
O artigo recebeu muita atenção e foi destaque em diversos veículos de comunicação noruegueses, como Khrono , NRK e Aftenposten .
Segundo a Altmetric, o artigo foi lido mais de 470.000 vezes e citado mais de 250 vezes em outras pesquisas .
Dois pesquisadores da UIT criticaram
Mas também foi alvo de críticas. Dois funcionários de universidades norueguesas, o pesquisador Magnus Ingebrigtsen e o professor sênior Marko Lukic, da UiT – Universidade Ártica da Noruega, foram os primeiros a criticá-la.
Eles acompanharam o caso de perto, e suas críticas foram decisivas para a decisão da revista esta semana de retratar o artigo.
O aviso de retirada de obra da editora é relativamente enigmático. Ele afirma:
“O editor decidiu retratar este artigo devido a preocupações relacionadas a discrepâncias na meta-análise. Essas questões, em última análise, comprometem a confiança que o editor pode ter na validade da análise e nas conclusões dela derivadas.”
O texto afirma ainda que os autores não responderam aos questionamentos sobre a retratação.
A Khrono também tentou entrar em contato com os autores para obter comentários, mas não recebeu resposta.
Você acha que isso não mede os resultados da aprendizagem?
Algumas semanas após a publicação do artigo no ano passado, Ingebrigtsen e Lukic escreveram em uma coluna na Khrono que “Não, esta meta-análise não mostra melhor aprendizado com o ChatGPT.”
Eles escreveram ainda que a meta-análise não mediu principalmente a aprendizagem, mas sim os “resultados da aprendizagem”, ou seja, a qualidade do código ou dos textos acadêmicos produzidos com a ajuda do ChatGPT.
Além disso, apontaram diversos erros graves: números incorretos de participantes, tamanhos de efeito calculados incorretamente, uso acrítico de estudos originais fracos e casos em que variáveis que não foram medidas nos estudos originais foram, no entanto, utilizadas na análise.
“Os erros são tão significativos que o artigo jamais deveria ter passado pela revisão por pares e justificam uma revisão completa, ou mesmo uma retratação”, escreveram eles.
Os dois entraram em contato diretamente com os autores, que é o que as diretrizes da editora Springer Nature indicam ser a primeira coisa que os críticos devem fazer.
A resposta dos pesquisadores
Magnus Ingebrigtsen diz:
– Eles nos responderam imediatamente. Enviaram-nos bastante material. Entre outras coisas, um arquivo chamado data.xlsx, mas que na verdade não continha nenhum dado, apenas a bibliografia. Depois, enviaram-nos um gráfico com uma resolução tão ruim que mal dava para ler os valores. Em seguida, responderam a todos os nossos pontos e admitiram muitos dos erros, mas atribuíram-nos a erros de formatação ocorridos durante o processo de composição tipográfica.
Em seguida, os dois pesquisadores noruegueses enviaram à revista um artigo intitulado “Questões Emergentes”, que consiste em um comentário científico sobre o artigo.
Lá, eles solicitaram formalmente a retratação do artigo devido a erros. Apontaram, entre outras coisas, que o estudo individual com maior peso na meta-análise já havia sido retratado antes da publicação do controverso estudo ChatGPT.
O segundo estudo com maior peso não mediu o desempenho de aprendizagem, mas sim a autoconfiança e a aceitação da tecnologia.
Finalmente foi despublicado
O editor respondeu que iriam investigar o assunto. Passaram-se meses sem que nada acontecesse.
Em abril, os pesquisadores noruegueses encaminharam o caso ao grupo de integridade científica da editora Springer Nature. Apenas cinco dias depois, receberam a notícia de que o artigo havia sido retratado.
O editor também escreveu que foi o artigo “Assuntos Emergentes” que desencadeou a investigação.
– É fantástico que tenha sido despublicado , mas demorou muito tempo, diz Ingebrigtsen.
Grande impacto
Ele acredita que muitos danos foram causados nos dez meses desde a publicação do artigo.
O vídeo recebeu quase meio milhão de visualizações e várias centenas de citações científicas.
Segundo Ingebrigtsen, um projeto educacional financiado pela União Europeia utilizou o estudo como argumento de que a IA tem um grande impacto positivo na aprendizagem.
Ingebrigtsen afirma que as empresas de tecnologia educacional (edtech) usam isso em seu marketing.
Pesquisadores da área da educação na Noruega já discutiram o assunto.
— E se você perguntar a qualquer modelo de linguagem, ChatGPT, Gemini ou Claude, se existem bons estudos que mostram que o ChatGPT proporciona um aprendizado melhor, eles citarão este. Portanto, uma consequência disso é que potencialmente muitas pessoas se referem a este estudo — afirma ele.
– Por que você insistiu tanto nisso?
— Esta é a minha área de especialização. Estou escrevendo uma tese de doutorado sobre como aprendemos melhor e com mais eficácia. Me irrita que descobertas imprecisas e pouco confiáveis como essa influenciem decisões importantes sobre escolas e educação — afirma ele.
Acredito que a IA pode ter efeitos positivos na aprendizagem, mas também efeitos negativos significativos. Tudo depende de como a utilizamos. A literatura atual é caracterizada por “exageros”, e muitos artigos são publicados sobre IA e educação. No entanto, muitos deles apresentam fragilidades metodológicas e, ainda assim, chegam a conclusões extremamente positivas.
Fonte: Krono
blogdopedlowski.com 