Idéias - ranking de universidades, serve para alguma coisa?

Um dos setores mais problemáticos das avaliações acadêmicas são os rankings mundiais de universidades. Mesmo com critérios que muitas vezes beiram o absurdo, eles influenciam decisões importantes ligadas à educação superior. Por isso, uma discussão sobre como tais rankings são feitos é mais que urgente.
Primeiro, o que impressiona quando os comparamos entre si são os disparates. Por exemplo, no ranking elaborado pela Universidade de Xangai, a Universidade de Paris 6 aparece em 39º lugar. Já naquele feito pela Times Higher Education, a mesma universidade está na 140ª posição.
A canadense McGill University ocupa a 61ª posição no ranking da Universidade de Xangai e a 35ª naquele da Times Higher Education. A USP aparece entre as 150 primeiras em um caso e sequer entre as 200 primeiras no outro. Esses são dois dos rankings mundialmente mais influentes.
Podemos dizer que o problema está na diversidade de critérios usados de um ranking a outro. Mas o problema é exatamente este: a ausência de um conjunto de critérios de fato representativo dos tipos de pesquisa e do real impacto da produção acadêmica.
Muitas vezes, os critérios são arbitrários e sem racionalidade alguma. Um claro exemplo diz respeito à avaliação da produção acadêmica. Em geral, tais rankings se propõem a avaliar a produção acadêmica a partir do total de artigos publicados em revistas indexadas ou a partir dos índices de citações a artigos e autores.
Note-se duas coisas impressionantes. Primeiro, tudo se passa como se não existissem livros. Se você é um pesquisador que produz um livro por ano, isso não será relevante para a avaliação da produtividade de sua universidade.
A razão é simplesmente o fato da área de ciências exatas ter sua produção baseada em artigos e papers. Mas isso não reflete a multiplicidade dos modos de produção acadêmica. Até segunda ordem, a cultura ocidental é uma cultura do livro, construída e influenciada a partir de livros, e não uma cultura do paper.
Por outro lado, os índices de citações expõem apenas a capacidade de circulação de um artigo, não sua qualidade. Não é difícil perceber que um artigo escrito em inglês sempre será mais citado que outro publicado em português, mesmo que o segundo seja melhor que o primeiro.
Mas, apesar disso, o fato de haver pesquisadores exóticos que ainda escrevem em português não indica que eles são inaptos a escrever em outra língua. Indica apenas que querem ter impacto em seu país, influenciar um público que fala sua própria língua.
É difícil entender por que critérios tão distorcidos sejam levados a sério. Está na hora de estabelecermos um verdadeiro diálogo entre áreas a fim de chegarmos a algo menos tendencioso e irreal.