Peter Schulz foi professor do Instituto de Física "Gleb Wataghin"
(IFGW) da Unicamp durante 20 anos. Atualmente é professor titular da
Faculdade de Ciências Aplicadas (FCA) da Unicamp, em Limeira. Além de
artigos em periódicos especializados em Física e Cienciometria,
dedica-se à divulgação científica e ao estudo de aspectos da
interdisciplinaridade. Publicou o livro “A encruzilhada da
nanotecnologia – inovação, tecnologia e riscos” (Vieira & Lent,
2009) e foi curador da exposição “Tão longe, tão perto – as
telecomunicações e a sociedade”, no Museu de Arte Brasileira – FAAP, São
Paulo (2010).Referências não lidas, copiadas ou inexistentes: pelo rigor na ciência
Texto
Fotos
Edição de imagem
O
comportamento em relação às citações e referências em artigos
científicos já foi abordado em coluna anterior, em que é chamada a
atenção à necessidade do rigor para esse componente do texto, pois sua
falta pode levar à difusão de ideias equivocadas e até – precisamos
estar atentos a isso – arranhar a credibilidade da ciência. A percepção é
que a construção do corpo de referências, que é essencial, pode estar
passando a ser praticada como um aspecto periférico na atual dinâmica
acelerada da produção científica. Volto ao tema para compartilhar a
dimensão do problema, não mais uma possível ameaça hipotética, mas já
resultado de uma atitude licenciosa de parte (imagino ainda pequena) da
comunidade científica. Licenciosidade que não tem nada a ver com seguir
ou não as normas ABNT ou similares na formatação do texto científico,
mas com o próprio propósito da atividade científica; como diz Bruno
Latour, “o objetivo da ciência não é produzir verdades indiscutíveis,
mas discutíveis”. Para verdades discutíveis o rigor é imprescindível,
enquanto que para as indiscutíveis bastam os mitos. Vamos então a três
casos para ilustrar melhor o problema.
O
comportamento em relação às citações e referências em artigos
científicos já foi abordado em coluna anterior, em que é chamada a
atenção à necessidade do rigor para esse componente do texto, pois sua
falta pode levar à difusão de ideias equivocadas e até – precisamos
estar atentos a isso – arranhar a credibilidade da ciência. A percepção é
que a construção do corpo de referências, que é essencial, pode estar
passando a ser praticada como um aspecto periférico na atual dinâmica
acelerada da produção científica. Volto ao tema para compartilhar a
dimensão do problema, não mais uma possível ameaça hipotética, mas já
resultado de uma atitude licenciosa de parte (imagino ainda pequena) da
comunidade científica. Licenciosidade que não tem nada a ver com seguir
ou não as normas ABNT ou similares na formatação do texto científico,
mas com o próprio propósito da atividade científica; como diz Bruno
Latour, “o objetivo da ciência não é produzir verdades indiscutíveis,
mas discutíveis”. Para verdades discutíveis o rigor é imprescindível,
enquanto que para as indiscutíveis bastam os mitos. Vamos então a três
casos para ilustrar melhor o problema.
O primeiro caso começou para mim em um relatório da Associação Europeia de Universidades de 2011, Global University Rankings and their impact [I],
que na introdução traz um resumo da história desses rankings, no qual é
mencionado que James Cattell entre 1910 e 1930 publica o American Men of Science,
que ranqueia universidades estadunidenses pelo número de cientistas
eminentes ligados às instituições, bem como pela proporção desses
eminentes em relação ao corpo docente total. Essa informação vaga e
resumida de uma história faz parte de uma linha do tempo que é
reproduzida de uma referência devidamente citada no relatório: League tables as policy instruments: uses and misuses [II]
de Jamil Salmi e Alenoush Saroyan, do Banco Mundial e da Universidade
McGill do Canadá. O artigo deles é de 2007 e lá aparece de fato a mesma
tabela cronológica de rankings. E qual sua origem? Os autores
referenciam um capítulo de livro de Debra Stuart, de 1995, intitulado Reputational Rankings: Background and Developments [III]. Nesse artigo podemos ler que “James McKeen Cattell publicou o primeiro ranking verdadeiro, American Men of Science
[…] (Cattell, 1910)”. Novamente apenas uma menção e já era a referência
da referência. Onde estaria a possibilidade de checar a informação em
detalhe? O imbróglio é resolvido em um artigo de Eugene Godin, também de
2007 [IV],
que apresenta um estudo detalhado e referenciando fartamente as fontes
primárias, que evidenciam que o ranking de 1910 teve um precursor em
1906, de autoria do próprio Cattell. No seu trabalho, Godin ainda
comenta que o American Men of Science é geralmente mencionado nas biografias de Cattell, que também foi editor da revista Science
na época dos seus primeiros rankings, mas muito pouco estudado. Uma das
poucas exceções seria um trabalho de Webster de 1985 (não citado por
Stuart em 1995) [V].
O trabalho de Stuart revelou-se um beco sem saída para encontrar uma
validação de uma informação mencionada em uma cadeia de referências, que
no fim revela-se questionável. No entanto, os trabalhos de Stuart e de
Salmi e Saroyan são precisos no que se refere ao escopo central dos
respectivos trabalhos. O tal “primeiro ranking” é uma informação
periférica nesses artigos, um “tempero a mais”, mas que disseminou um
mito, que passou a ser usado em outros contextos e sobrevive, apesar de
dados e informações contrárias em outros artigos.
Respostas diferentes em referências diferentes são
comuns e um “pai dos rankings de universidades” talvez não seja uma
coisa tão importante em si, mas disseminação de informações imprecisas e
de lendas, é. Por isso pulo para um caso recente que teve repercussão
nas redes sociais: a citação expressiva de um artigo que não existe.
Quem relata esse caso é Anne-Will Harzing em seu post “O mistério da
referência fantasma”. [VI]
Esse mistério foi detectado por um amigo do
primeiro autor da referência fantasma sobre escrita científica: Van der
Geer, J., Hanraads, J.A.J., Lupton, R.A., 2000. The art of writing a scientific article. J Sci. Commun.
163 (2) 51-59. Resulta que van de Geer (essa é a grafia correta) nunca
escreveu esse artigo, pois a referência é fictícia e consta como
ilustração em um guia de como formatar as referências em artigos de
revistas editadas pela Elsevier. Mesmo assim foi citada cerca de 400
vezes segundo busca na base Web of Science. Pelo sítio do ResearchGate aparecem
344 citações. É de fato um fenômeno para um artigo que não existe. O
mistério é desvendado em etapas por Anne-Will Harzing. A maioria das
citações ocorre em artigos em revistas de anais de conferências, em
particular na série Procedia, da Elsevier, sendo que algumas
dessas revistas já foram interrompidas dada a baixa qualidade editorial.
É um exemplo de aproximação perigosa entre um grande grupo editorial e o
fenômeno das revistas predatórias, mas essa é outra história, também já
abordada em outra coluna. Voltando à referência fantasma, Harzing
analisou vários dos artigos que a citam e uma explicação para grande
parte deles é o “copiar e colar” mal feito a partir de textos templates que
contêm a referência fictícia como ilustração. Aparentemente essa
referência era esquecida ali nos artigos submetidos às revistas: autores
e editores em uma disputa de desleixo. Aliás, parece mesmo que esses
artigos nunca tiveram revisão por pares antes de publicados, pois vejam,
abaixo, na sequência, uma das pérolas detectadas por Harzing e que
ilustra essa coluna. Um artigo que fala sobre a importância de polímeros
condutores e cita um suposto artigo de escrita científica para
fundamentar a ideia:
Harzing resume o mistério: um sistema acadêmico que
incentiva a quantidade de publicações acaba evocando a lei dos grandes
números, tornando esses “mistérios” numerosos o suficiente para serem
visíveis. Harzing ainda comenta que menos mal que esse artigo tão citado
não existe; pior seria se fosse um artigo real citado tantas vezes
erroneamente. Esse na verdade é o nosso terceiro caso: artigos retraídos
(retracted), seja por erro, fraude ou plágio e que continuam
sendo citados após as suas retratações. É o que discute um artigo
recente na revista Scientometrics [VII].
Aí sim temos ideias, hipóteses, dados e conclusões no mínimo
questionáveis sendo propagadas. Seguir essa trilha eu deixo para o
leitor através das referências aqui citadas, incluindo uma lista de
artigos retirados e que continuaram sendo citados [VIII].
Resumindo esta história, que já se alonga
demais, as referências merecem a devida reverência, pois senão fica a
pergunta de outro artigo de Anne-Will Harzing: “estariam os erros de
referências minando nossa academia e credibilidade?” Um guia de boas
práticas para as referências ela sugere como resposta à pergunta nesta
minha última referência de hoje [IX]. Espero que essas referências estejam todas corretas.
[III] Publicado em “New Directions for Institutional Research”, nº 88, p. 13-20 (Editora Wiley)
[IV] Godin, E. (2007) From eugenics to scientometrics: Galton, Cattell, and men of science. Social Studies of Science 37(5) 691-728.
[V] D.S. Webster
(1985), James McKeen Cattell and the invention of Academic Quality
rankings, 1903-1910, Review of Higher Education, 8, pp. 107-121.
[VII] Jaime A. Teixeira
da Silva e Helmar Bornemann-Cimenti (2017) Why do some retracted papers
contniue to be cited?, Scientometrics 110, 365-370.
[IX]https://harzing.com/blog/2016/04/are-referencing-errors-undermining-our-scholarship-and-credibility
Nenhum comentário:
Postar um comentário
Observação: somente um membro deste blog pode postar um comentário.