Editorial

 

Fortalecendo as citações para avaliação da qualidade científica

 

Gilson Luiz Volpato^I

 

Todo cientista quer responder questões e encontrar respostas, resolvendo enigmas de várias complexidades. Essa não é uma jornada solitária. Embora haja intensa competição para as soluções, o sistema científico requer ao menos cooperação entre os cientistas. Isso torna necessária a publicação, um sistema que troca informação e certifica autoria. A publicação é parte do empreendimento científico: questionando sobre o mundo natural (incluindo o mundo social humano por meio das ciências sociais), encontrando respostas e comunicando os resultados aos pares.

Nesse ambiente científico, surge o sistema de avaliação. Quem tem o melhor desempenho acadêmico? Quem julga isso? Como podemos avaliar de forma confiável? Neste editorial, foco nesse tema pontual e relevante, propondo um sistema que eu desenvolvi fundamentado em bases científicas. Um pressuposto é que a avaliação não pode contradizer a base da ciência, i. e., a base genuína do "fazer ciência", como mostrei acima.

O que significa uma citação científica? O texto científico é um argumento que defende conclusões. Em tal argumento, as citações conduzem os leitores ao texto referenciado. Em áreas como a filosofia, as citações geralmente indicam a autoridade da informação. Na ciência, elas funcionam de forma diferente; levam os leitores ao suporte empírico da informação referenciada. Dessa maneira, a informação num texto científico obtém suporte da evidência empírica e representa um acordo fundamental entre os cientistas. Uma referência mostrando somente quem disse alguma coisa carece de caráter científico (suporte empírico); é uma falácia lógica conhecida como "argumento da autoridade". Portanto, num discurso científico, as citações fortalecem empiricamente a informação e o argumento resultante. Esse fortalecimento é frequentemente positivo. O autor aceita a informação e a usa para solidificar e expandir algum conhecimento. As críticas da informação citada são, também, valiosas na ciência, embora sejam menos frequentes. Mesmo quando é citada para ser criticada, essa literatura foi importante o suficiente para merecer crítica. A informação melhorou um argumento e assim também contribuiu para construir conhecimento. No entanto, a ausência de citações de um texto científico certamente indica algo fraco: o texto pode estar incorreto ou ser irrelevante, ou pode ter sido ignorado ou mesmo não encontrado (em qualquer dos casos, ele não impactou a ciência¹).

As considerações acima justificam por que o número de citações tem recebido grande atenção em dezenas de índices atuais de avaliação da atividade científica. Entretanto, como dependem de ações humanas (cientistas), as citações estão envolvidas em problemas éticos e epistemológicos. Nem toda citação de um estudo corresponde à base teórica que discuti acima. Mesmo assim, um artigo foi citado por alguma razão, e isso dá mérito ao estudo citado. Apesar de algumas fraudes relatadas [e.g., citação "stacking" (veja Noorden, 2013) e excessivas autocitações] e equívocos de citações (Todd et al., 2010, incluindo dados para algumas áreas), essas falhas, muito provavelmente, não aumentam de forma relevante os índices científicos durante uma carreira. Além disso, temos índices que consideram outros aspectos das citações, como o índice de internacionalização (Kosmulski, 2010), o qual reflete quantos países têm citado um cientista ou uma revista. Apesar de todas essas falhas, a comunidade científica ainda usa as citações como boas métricas, como defendi acima, porque as citações indicam a participação ativa de cientistas na seleção das informações. Portanto, minha premissa principal é que o perfil de citação é um indicador genuíno de qualidade científica. Uma citação é como um voto numa eleição democrática. Temos problemas com os votos, assim como com as citações, mas realmente preferimos votação a outros sistemas.

Os problemas que recaem sobre as citações são temas sociais difíceis porque suas soluções requerem transformações éticas que são inimagináveis em nosso ambiente científico atual. Aqui eu proponho uma mudança factível que minimiza tais problemas e fortalece a participação das citações em índices usados para avaliar a qualidade científica: uma mudança no sistema de base de dados.

Atualmente, várias bases de dados estão disponíveis, nas quais cada cientista busca, durante o desenvolvimento da pesquisa, literatura científica revisada pelos pares. Cada uma delas agrega somente uma pequena parte do universo total de literatura científica (e.g., Web of Science, MEDLINE, Scopus). Cada base de dados tem suas próprias regras para aceitar a literatura (revistas, livros etc.), incluindo alguns critérios que não são científicos, por ex., perfil editorial, qualidade de produção, número de revistas já cobertas na base de dados, número de artigos publicados por ano etc. Algumas bases de dados são mais reconhecidas do que outras, uma situação que impõe tendenciosidade quando se busca por literatura científica (bases de dados famosas são preferidas, e sua literatura é, então, privilegiada; assim, alguma literatura importante pode ser negligenciada porque os artigos foram publicados em revistas não prestigiadas).

Considerando minha argumentação neste editorial, defendo fortemente que revistas de todo o mundo dentro de um tópico de interesse devam estar disponíveis para cada revisão da literatura feita pela comunidade científica (o avaliador genuíno). Embora seja cientificamente necessário, de fato, isso não ocorre. Somente poucas bases de dados são consistentemente consultadas, uma tendenciosidade que significa que muitos artigos internacionais não fazem parte do discurso científico. Assim, proponho a criação de um sistema universal único para busca de literatura científica, o qual deve ser confiável e livremente disponível para qualquer cientista. Esse sistema seria um esforço conjunto de países que visualizam um mundo com mais acesso igualitário ao conhecimento científico. Nessa proposta, cada revista revisada pelos pares deve ser incluída (exceto aquelas excluídas por fraudes). Assim, as revistas em base de dados prestigiadas (e.g., Web of Science, Scopus, MEDLINE) e aquelas em base de dados menos prestigiadas teriam as mesmas oportunidades de serem encontradas pelos leitores nessa base de dados universal, dando-lhes acesso a toda a literatura disponível em sua área de interesse (o leitor é, assim, a única barreira de seleção, como deveria ser!). A exclusão de literatura devido ao idioma do texto permaneceria, mas se espera que esse problema seja gradualmente corrigido pelos autores, uma vez que a base de dados é única. Esse sistema pode, também, eliminar problemas causados pelo custo para baixar os artigos de revistas que não são de acesso livre, porque uma base de dados universal aumenta a competição entre os artigos, e as revistas devem rapidamente deslocar os custos de produção dos leitores para os autores. Esse sistema universal certamente daria maior visibilidade para cada revista (sobretudo àquelas frequentemente negligenciadas), fornecendo um sistema mais honesto e confiável para pesquisa de literatura. Esse sistema é crucial para fortalecer as citações para qualquer índice baseado em citações. Sem tal correção da base de dados, a busca por novos índices baseados em citação continuará a incorporar a substancial discriminação contra certas revistas (e artigos) imposta pelas bases de dados. O único critério aceitável de exclusão é aquele imposto pelos cientistas enquanto desenvolvem seus estudos.

 

Referências

1. Kosmulski, M. Hirsch-type index of international recognition. Journal of Informetrics 2010; 4(3):351-357.         [ Links ]