"Ranking é só base para escolha de faculdade", diz editor-assistente de lista mundial

"Qualquer pessoa que usasse rankings como única base para tomar decisões sobre onde estudar seria um idiota." Quem diz isso é Phil Baty, editor-assistente do mais prestigioso e influente ranking mundial de universidades, publicado anualmente, desde 2004, pelo londrino "Times Higher Education".

No final do ano passado, o THE anunciou o rompimento com a empresa QS --que coletava e fornecia dados para o guia-- e pôs em xeque a metodologia usada até então.

Isso causou um trauma num mercado valioso, que gira milhões de dólares ao ano. Por exemplo, a renomada London School of Economics --que, pela classificação do THE, caiu de 11º, em 2004-5, para 67º, em 2009-- conta com pelo menos 70% de alunos estrangeiros.

A questão é: esses alunos, que investiram suas economias para fazer um curso de graduação (o primeiro ano lá sai por 13.700 libras, R$ 39 mil), se nortearam num ranking errado? E governos, fundações e órgãos financiadores, que usam esses rankings para orientar políticas de ensino superior, gastaram mal suas polpudas verbas?

Isso é o que Baty tenta responder na entrevista abaixo e também o que esperar do novo ranking, previsto para agosto --já com a nova parceira, a Thomson Reuters.

Baty prevê que as instituições brasileiras irão se beneficiar da nova metodologia. Mas a grande surpresa será a relativa queda de EUA e Reino Unido e o avanço da Ásia.

FOLHA Por que o THE rompeu o contrato com a QS? Os dados não eram confiáveis?
PHIL BATY - Tivemos que admitir quer o ranking da QS não se ajustava a seus fins. Tinha erros e inconsistências demais para ser uma ferramenta sólida e confiável para o século 21. A metodologia e a análise de dados não eram fortes o bastante.

A responsabilidade pesa toda sobre nossos ombros, e estamos muito conscientes de que políticas nacionais e decisões multimilionárias foram influenciadas por nosso ranking.

FOLHA - Então os muitos estudantes de todo o mundo que se utilizaram deles para investir em sua formação podem ter feito a escolha errada e gasto mal seu dinheiro?
BATY - Rankings são um ponto de partida útil, mas não podem lhe dizer se você irá gostar de seu professor, o que será ensinado em cada curso, quantos livros há na biblioteca, se é preciso pegar fila para usar um computador ou se seu orientador é preguiçoso.

Mas admito que os rankings de 2004 a 2009 provavelmente não forneceram um retrato correto, como deveria ter sido feito. Não tenho dúvida de que algumas instituições receberam avaliação mais alta do que mereciam, enquanto outras foram injustamente penalizadas.

FOLHA -E quais medidas estão sendo tomadas para resolver isso?
BATY - Haverá uma sensível melhora do tão falada 'avaliação pelos pares', que respondia por cerca 40 % nos rankings anteriores. Ela era, na verdade, uma simples pesquisa de opinião junto aos acadêmicos e, além disso, com um número muito pequeno de pessoas.

A amostragem era pequena demais e o peso, alto demais.

FOLHA - E o que irá mudar?
BATY - Em vez de perguntar simplesmente 'qual é a melhor?', pediremos às pessoas para avaliarem a qualidade do ensino e da pesquisa em sua área, em sua região e em escala global. Além disso, a pesquisa está sendo feita em sete línguas, incluindo o português.

Outra mudança importante é a forma como medir a excelência acadêmica, que representava 20% do total da pontuação.

Era um ponto fraco muito sério, pois não levava em conta as práticas de citação de trabalhos acadêmicos, que são muito diferentes entre as disciplinas. Isso premiava desproporcionalmente as ciências, em que as citações contam mais.

Também não sei se era justo dar muito crédito à proporção de estudantes estrangeiros em um dado campus, pois não há nenhum meio de avaliar a qualidade desses estudantes.

E devemos reduzir o peso dado à relação aluno-professor, pois essa não é uma garantia muito boa para o ensino de qualidade.

FOLHA - Mas nas avaliações das universidades brasileiras esse é um dado que tem sempre muito peso...
BATY - Não acho que esse critério possa dizer muita coisa sobre a qualidade do ensino. Claro que os estudantes querem aprender em um ambiente onde têm contato próximo e frequente, mas isso não diz se os professores são bons ou ruins ou sobre o padrão de ensino dos cursos.

Também é muito difícil coletar esses dados de forma justa e assegurar que estejam corretos. Pode haver muita manipulação nesses dados.

FOLHA - Por que a série histórica apresenta oscilações gritantes, casos da Universidade da Califórnia, em Berkeley (de 2º lugar, em 2004, para 39º em 2009) e da Universidade de São Paulo (284º em 2006, 175º em 2007, 196º em 2008)?
BATY - Um dos problemas com o ranking da QS era sua volatilidade, pois uma universidade não melhora ou piora sensivelmente em apenas dez meses.

FOLHA - O prestígio mundial de universidades como Harvard, Yale ou Oxford tem influência sobre os avaliadores do ranking?
BATY - Um dos problemas em utilizar um critério de reputação é que ele é inteiramente subjetivo e pode ser baseado em estereótipos e mesmo em clichês. Pesquisas norte-americanas apontaram que a posição no ranking do ano anterior é um dos principais determinantes do índice de reputação do ano seguinte.

FOLHA - Então existe um componente inercial nas avaliações? As grandes universidades ajudam para isso ao construírem suas marcas?
BATY - Não tenho dúvida de que universidades que construíram suas marcas, por meio de marketing e relações públicas, levam vantagem no critério de reputação usado no ranking.

Para lidar com isso e evitar o subjetivismo, estamos perguntando sobre a reputação apenas a acadêmicos sêniores, que têm mais experiência para se ater à realidade e fazer um julgamento mais correto.

Mas, no longo prazo, não acredito que universidade possa manter uma marca e uma reputação fortes se entrarem em conflito com a realidade.

FOLHA - Essa é a razão por que há tantas diferenças entre rankings como o do 'Times Higher', Xangai Jiao Tong e Webometrics?
BATY - O Xangai Jiao Tong é relativamente bem respeitado por ser transparente, mas é criticado por ser muito focado em aspectos facilmente medidas, o que pode favorecer instituições fortes em ciências e pesquisa.

Não acho que seja referência segura para um público mais amplo. Quanto ao Webometrics, se trata muito mais de uma mera curiosidade do que um parâmetro sério.

FOLHA - O THE recebe algum tipo de suporte financeiro de governos ou instituições privadas?
BATY - Ele é totalmente independente. A revista do THE tem experts em todas as áreas da educação superior, com uma história de quase 40 anos de fornecimento de informações ao setor de educação superior.

FOLHA - Mas sofre algum tipo de pressão política ou mesmo financeira de instituições ou governos?
BATY - Obviamente, muitas instituições têm visões muito fortes sobre o que deveríamos mudar na metodologia, e sofremos pressão nesse sentido.

Mas o fato de sermos independentes nos preserva de sermos influenciados por grupos de interesse, instituições e países. Aliás, suspeito que neste ano o Reino Unido não irá tão bem no ranking --e, como somos uma instituição britânica, isso nos preocupa em especial.

FOLHA - E as instituições americanas? Também serão afetadas no ranking deste ano como efeito da crise financeira?
BATY - As duas tradicionais superpotências da área foram duramente atingidas pela crise, em termos de financiamento público, o que é motivo de grande preocupação.

É difícil prever se isso irá se refletir no próximo ranking, porque as mudanças metodológicas tornam difíceis a comparações com os rankings anteriores. Mas os EUA certamente verão sua supremacia na educação superior ser seriamente desafiada.

Suponho que o novo ranking também deverá espelhar o crescimento das universidades asiáticas. Emergentes como o Brasil podem aparecer mais no palco global --claramente, há muita pesquisa de qualidade sendo feita aí.

FOLHA - Uma crítica recorrente ao ranking da THE é a de anglocentrismo _em 2009, as 20 primeiras instituições vinham de EUA (13), Reino Unido (5), Canadá (1) e Austrália (1).
BATY - Não há dúvida de que instituições dos países anglófonos têm sistemas de educação superior excelentes e de classe mundial, mas concordo que os rankings podem ter sido anglocêntricos demais.

FOLHA - O que o sr. conhece das universidades brasileiras?
BATY - Como é uma corporação global, a Thomson Reuters tem cerca de 50 mil pessoas ao redor do mundo, inclusive na América do Sul e nos países do Bric. Recentemente, destacou em artigo a excelência da pesquisa em seu país.

FOLHA - Mas no artigo é apenas citada a quantidade de papers, sem avaliar sua qualidade. Aliás, essa é uma crítica comum aos rankings...
BATY - Mas ele não irá avaliar a qualidade da pesquisa só pela quantidade de papers publicados, mas também seu impacto e sua influência. Isso será feito verificando quantas vezes os papers de pesquisadores brasileiros são citados por seus congêneres em todo o mundo.

FOLHA - Rankings não podem ser vistos como agência de avaliação de risco, como Fitch ou Moody's, que erraram feio ao não detectarem os indícios da crise financeira mundial?
BATY - Não aceito essa hipótese. Rankings são muito diferentes de 'ratings'. A questão crucial, para mim, é que estamos muito abertos a suas limitações. Deixamos claro que os dados usados são indicadores.

Seria idiota tomá-los como uma espécie medida inatacável gravada na pedra. Não há ranking definitivo --as pessoas que os fazem terão sempre de fazer julgamentos, e rankings nunca irão capturar o intangível.