Ninguém mais qualificado tecnicamente do que um cientista para julgar o mérito do trabalho de um outro cientista. Correto? Correto. Mas isso não significa que os cientistas sejam bons avaliadores de seus pares. Segundo um artigo publicado hoje na revista PLoS Biology, nenhum dos métodos tradicionalmente usados pelos cientistas para julgar o mérito (ou a qualidade) de trabalhos científicos em geral são verdadeiramente eficientes.
Adam Eyre-Walker, professor da Universidade de Sussex, na Grã-Bretanha, e Nina Stoletzki, uma colaboradora sua na Alemanha (ambos biólogos), analisaram a coerência de três métodos de avaliação de mérito de uma publicação científica: 1) a revisão por pares pós-publicação; 2) o número de citações que um trabalho recebe após ser publicado; e 3) o fator de impacto da revista na qual o trabalho foi publicado. A conclusão deles é que nenhum desses métodos fornece uma métrica de qualidade verdadeiramente representativa, e que "os cientistas têm pouca habilidade para julgar o mérito intrínseco ou o impacto em potencial de um trabalho científico". O fator de impacto das revistas, segundo eles, é o melhor dos três indicadores; mas, ainda assim, sujeito a graves distorções.
A discussão apresentada ao final do trabalho traz uma série de colocações interessantes, dentre as quais eu destaco algumas abaixo (na versão original em inglês ... algo que tenho a liberdade de fazer pelo fato de a PLoS Biology ser uma revista de acesso aberto, o que nos remete ao debate do post anterior sobre o assunto neste blog).
Adam Eyre-Walker e Nina Stoletski concluem:
"We have shown that scientists are poor at estimating the merit of a scientific publication; their assessments are error prone and biased by the journal in which the paper is published. In addition, subjective assessments are expensive and time-consuming. Scientists are also poor at predicting the future impact of a paper, as measured by the number of citations a paper accumulates. This appears to be due to two factors; scientists are not good at assessing merit and the accumulation of citations is a highly stochastic process, such that two papers of similar merit can accumulate very different numbers of citations just by chance.
The IF and the number of citations are also likely to be poor measures of merit, though they may be better measures of impact. The number of citations is a poor measure of merit for two reasons. First, the accumulation of citations is a highly stochastic process, so the number of citations is only poorly correlated to merit. (...)Second, as others have shown, the number of citations is strongly affected by the journal in which the paper is published. There are also additional problems associated with using the number of citations as a measure of merit since it is influenced by factors such as the geographic origin of the authors, whether they are English speaking, and the gender of the authors. (grifo meu, por considerar essa parte particularmente relevante no contexto da ciência brasileira)
The IF is likely to be poor because it is based on subjective assessment, although it does have the benefit of being a prepublication assessment, and hence not influenced by the journal in which the paper has been published. In fact, given that the scientific community has already made an assessment of a paper's merit in deciding where it should be published, it seems odd to suggest that we could do better with post-publication assessment. Post-publication assessment cannot hope to be better than prepublication assessment unless more individuals are involved in making the assessment, and even then it seems difficult to avoid the bias in favour of papers published in high-ranking journals that seems to pervade our assessments. (...)
In summary, we have shown that none of the measures of scientific merit that we have investigated are reliable. In particular subjective peer review is error prone, biased, and expensive (...). Ultimately the only way to obtain (a largely) unbiased estimate of merit is to have pre-publication assessment, by several independent assessors, of manuscripts devoid of author's names and addresses. Nevertheless this will be a noisy estimate of merit unless we are prepared to engage many reviewers for each paper."
A íntegra do artigo está disponível neste link: http://www.plosbiology.org/article/info:doi/10.1371/journal.pbio.1001675. Para aqueles que se interessam pelo tema, é uma leitura extremamente interessante -- concordando-se ou não com os resultados.
Em maio deste ano, cientistas ao redor do mundo (incluindo vários editores de revistas importantes) lançaram um manifesto online, chamado Declaração de São Francisco sobre Avaliação de Pesquisa, pedindo o fim do uso do fator de impacto como métrica central na avaliação do mérito de pesquisas e pesquisadores. Para mais informações, veja o post que escrevi na ocasião: http://blogs.estadao.com.br/herton-escobar/cientistas-extravasam-seu-descontentamento-com-fator-de-impacto-das-revistas/. Cerca de 10 mil pessoas e organizações já assinaram o manifesto.
