Folha de S.Paulo - Indicadores e rankings em ciência

São Paulo, quinta-feira, 8 de junho de 1995

Indicadores e rankings em ciência

ROGÉRIO MENEGHINI

Para se definir quem ou o que é bom em produção industrial, esportes, comércio e numa grande gama de atividades profissionais conta-se com indicadores objetivos e consolidados, que são do conhecimento até do cidadão comum. Na área de ciências definir qualidade não é trivial.
Desde a institucionalização da ciência no século 17, houve necessidade de se validar e hierarquizar princípios, conceitos e informações geradas pelos cientistas. O corpo do conhecimento organizou-se de forma piramidal, os mais relevantes e paradigmáticos ocupando o topo e irradiando-se abaixo para os de maior especificidade.
Essa pirâmide se refletia em uma outra pirâmide de prestígio e poder dos pesquisadores, aqueles responsáveis pelas descobertas e idéias mais relevantes e gerais posicionando-se no topo. Esse poder era exercido por meio da ocupação de cátedras nas universidades mais prestigiosas, da participação em academias, na posição de editor de periódicos e livros científicos e, mais recentemente, na ocupação de posições chaves de agências de fomento, com responsabilidades de tomar decisões sobre alocação de recursos.
Os valores para a estruturação de ambas as pirâmides são difusos e subjetivos. É preciso um consentimento tácito dos pares. A avaliação por pares define o que é bom e quem é bom em ciência. E desde que esta passou a depender cada vez mais dos recursos públicos houve uma delegação inusitada por parte do governo ao atribuir o poder decisório à própria comunidade científica.
Esse sistema tem feito a ciência avançar, porém suas limitações como procedimento único de avaliação científica têm aumentado. Várias áreas de pesquisa básica se tornaram estratégicas para a nação, exigindo-se que indicadores de desempenho científico, de compreensão fácil aos leigos, fossem disponíveis.
Mesmo dentro da comunidade científica há muitas razões para uma busca de processos alternativos de medida de desempenho: a) o aumento exponencial da criação de conhecimento; b) o poder de decisão nas mãos de quem não está isento de interesses pelas limitadas verbas distribuídas; c) a tendência de pesquisadores seniors em posições de mando manterem congeladas as prioridades anteriormente definidas.
Sob esse prisma, um indicador muito utilizado é o índice de citações. A citação indica reconhecimento pelos pares da relevância da descoberta. Indica de fato que uma conversação foi estabelecida, com todas as consequências favoráveis que ela pode trazer.
Foi esse o indicador que a Folha utilizou para publicar a reportagem ``A lista dos produtivos", referindo-se a cientistas com filiação acadêmica brasileira que alcançaram mais de 200 citações no período 1981-1993. A lista tem gerado forte polêmica. É esse o seu maior mérito, como catalisador de uma discussão já tardia sobre a utilização de indicadores de produção científica.
De um lado há um contingente de pesquisadores que abomina, por princípio, a numerologia dos indicadores; no outro extremo há aqueles que admitem que o índice de citação pode ser tomado como valor nominal da qualidade. A virtude mais uma vez está no meio.
Há indignações certamente procedentes da comunidade científica sobre a reportagem: esta delimita uma elite de pesquisadores, insinuando uma exclusão dos restantes até como produtivos, a julgar pelo título. Há, porém, limitações importantes nessa análise que deveriam ter sido explicitadas. Estudos outros indicam que há uma correlação de 60% a 70% entre quem os cientistas julgam elite (ranking dos pares) por meio de suas percepções subjetivas e quem os índices de citação indicam como elite. A correlação, embora alta sociologicamente, não é total. Há portanto pesquisadores de elite fora da lista.
Ademais, foram incluídos na lista cientistas de todas as áreas. Assim, os índices de citação estão apenas medindo o impacto total e jamais a qualidade relativa. Pesquisadores de matemática publicam bem menos que os de física, química ou biomédicas, pois seus trabalhos tendem a seguir uma maturação mais lenta. Esse simples fato faz com que os melhores matemáticos tenham índices de citação inferiores a um imunologista de qualidade média. Fatos semelhantes ocorrem em outras áreas.
O banco de dados do Institute of Scientific Information (ISI) cobre publicações de circulação internacional. Cerca de 80% das publicações brasileiras, porém, são em veículos locais. Alguns diriam que aqueles que publicam apenas no país estão por definição fora da elite, uma vez que é a capacidade de estabelecer a conversação universal que define o bom pesquisador. Embora minha tendência seja concordar com essa assertiva, é preciso reconhecer que há muitas áreas onde a publicação é exclusivamente doméstica. Nessas, os pesquisadores tendem a apresentar vários argumentos para não publicar no exterior. É então necessário se discutir essa cultura e examinar os argumentos.
A pergunta importante é: estabelece-se dessa forma uma conversação profícua? Estudos preliminares indicam que aparentemente não: os trabalhos aqui publicados são muito pouco citados pelos pares brasileiros, a exceção está em algumas áreas de humanas. Porém não tenho dúvidas de que há pesquisadores de elite, pela qualidade de seus trabalhos, e que estão fora do alcance do ISI, por delimitarem as fronteiras brasileiras para suas publicações.
A ciência brasileira não poderá deixar de proceder ao uso de indicadores de produção científica nos processos de avaliação, porém aliados à clássica análise pelos pares. Percepção clara do alcance e das limitações desses indicadores terá que ser alcançada por uma discussão aberta e objetiva sobre a avaliação de ciências de uma forma geral.

Texto Anterior: ABAIXO A RETRANCA; CEGONHA À VISTA; MAIS E MAIS
Próximo Texto: Só 170 cientistas de impacto?
Índice

Clique aqui para deixar comentários e sugestões para o ombudsman.

Copyright Empresa Folha da Manhã S/A. Todos os direitos reservados. É proibida a reprodução do conteúdo desta página em qualquer meio de comunicação, eletrônico ou impresso, sem autorização escrita da Folhapress.