CRITÉRIOS
Especialistas discutem vantagens e problemas
do método de avaliação utilizado pela Folha

Uso de indicadores exige cautela

LEOPOLDO DE MEIS
CRISTINA MAIA
DENISE LANNES
RITA PINHEIRO MACHADO
especial para a Folha

No início da década de 60, surgiram os primeiros bancos de dados sobre a parte da literatura mundial publicada nos periódicos científicos mais consultados. A partir desses bancos, tornou-se possível a obtenção rápida de informações sobre a obra científica de um determinado pesquisador.
As agências financiadoras, preocupadas com a distribuição de recursos, passaram a utilizar com mais frequência os índices bibliométricos para avaliar a produtividade e a qualidade da pesquisa de cientistas. A avaliação com base nos números de publicações e de citações desperta controvérsias. Muitos se perguntam até que ponto o número de publicações e de citações reflete a produtividade do cientista e a qualidade de um projeto de pesquisa.
Em 1989, Stephen Cole, do Departamento de Sociologia da Universidade Estadual de Nova York, estudou uma amostra de 300 doutores de cinco áreas diferentes e encontrou correlações positivas entre a auto-avaliação, a avaliação pelos pares e o número de citações. Ele concluiu que as citações são de fato um indicador da qualidade do trabalho científico.
Nesse mesmo ano, também preocupados com essa questão, realizamos um estudo com 40 colegas da Sociedade Brasileira de Bioquímica, responsáveis por 54% das publicações científicas brasileiras em bioquímica e biologia molecular no período de 1979 a 1989. Pedimos que cada qual avaliasse seu próprio trabalho (auto-avaliação) e o trabalho dos demais colegas (avaliação pelos pares) sem ter acesso aos currículos. Portanto, só avaliariam o colega se julgassem ter boa noção da sua obra científica por meio de parâmetros tais como palestras. Assim como no trabalho de Cole, obtivemos uma forte correlação positiva entre a avaliação pelos pares e a frequência e o número de trabalhos publicados.
Quando comparamos a auto-avaliação com a avaliação feita pelos pares, encontramos um alto nível de concordância, onde cerca de 80% se atribuiu o mesmo grau que o atribuído pelos colegas. Havia, porém, diversos casos em que o grau da auto-avaliação não concordou com o grau dado pela comunidade, podendo significar um erro de auto-avaliação ou mesmo a realidade. Esses casos mostram a necessidade de se complementar o estudo com entrevistas para se construir uma avaliação mais correta.
A partir desse estudo, decidimos utilizar indicadores bibliométricos somente para avaliar instituições ou buscar o perfil e a evolução da ciência brasileira como um todo e nunca com indivíduos de forma isolada. A vantagem principal dessa opção é trabalhar com grandes números, onde pequenas distorções não modificam necessariamente o cenário. Acompanhamos de 1981 a 1993 o total de artigos publicados e o crescimento da pós-graduação. Verificamos que houve aumento de 250% dos números totais de trabalhos científicos publicados no país e de 204% da parcela brasileira em relação à produção científica mundial, com uma boa correlação entre o crescimento rápido da produção científica a partir de 1987 e o aumento de investimentos na pós-graduação.
Em outro trabalho, mostramos que a frequência de publicações nas diversas áreas do saber no Brasil é semelhante à encontrada no mundo. Nas ciências da terra e do meio ambiente, a frequência brasileira, semelhante ao restante do mundo, é na realidade insuficiente para o nosso país, pois o número absoluto de trabalhos é muito reduzido, principalmente se levarmos em consideração que 41% do território nacional é ocupado pela floresta amazônica, infelizmente tão pouco conhecida.
Esses exemplos demonstram as várias aplicações dos índices bibliométricos com resultados que podem ser úteis para a formulação de políticas científicas e para avaliação de grandes programas, como por exemplo o caso da pós-graduação. Devemos, contudo, utilizar cuidadosamente essa ferramenta, assim como qualquer outra utilizada para avaliação.
O número de revistas indexadas no ISI (Instituto para a Informação Científica) corresponde a 10% do total de revistas científicas distribuídas por todo o mundo. Milhares de artigos científicos deixam de ser computados, o que compromete, principalmente, a produção científica dos países menos desenvolvidos, onde grande parte dos trabalhos científicos são publicados em periódicos locais não indexados.
Outro aspecto importante é que os índices bibliométricos não permitem uma avaliação correta para todas as áreas do saber, pois publicações em periódicos indexados não são seu produto principal, como a produção de patentes, a criação de novos produtos tecnológicos e outros. Nas ciências humanas, a maior parte da produção brasileira parece estar em livros publicados na língua portuguesa, que não são indexados pelos principais bancos internacionais, pouco são lidos fora do Brasil e, portanto, não citados na bibliografia internacional.
Devemos também considerar as autocitações, as citações negativas e a popularidade de uma determinada área que se modifica com o tempo. Na década de 80, os trabalhos de biologia molecular eram mais citados do que os de fisiologia celular e, atualmente, podemos notar uma inversão dessa tendência, o que não significa que uma área esteja melhor do que a outra. O tempo de carreira do cientista também deve ser considerado. Esses fatos demonstram a necessidade de cautela no uso de indicadores. Por isso, nos trabalhos em que utilizamos os índices bibliométricos nunca informamos dados individuais. Para a correta avaliação do trabalho de um pesquisador, faz-se necessário entrevistas e vários tipos de abordagem, evitando, sempre que possível, um enfoque único.

Leopoldo De Meis é professor do Departamento de Bioquímica Médica da UFRJ (Universidade Federal do Rio de Janeiro). Cristina Maia, Denise Lannes e Rita Pinheiro Machado são pós-graduandas do Departamento de Bioquímica Médica da UFRJ.