EJE 3. CIENCIA Y UNIVERSIDAD

A favor de los rankings de universidades: antecedentes, objetivos, virtudes y carencias *

* El artículo fue publicado originalmente el 26 de julio de 2010. Una versión actualizada se encuentra publicada actualmente en nuestro sitio web. Esperamos su comentario en: http://www.revistacts.net/elforo/345-el-debate-rankings-de-universidades-a-favor-y-en-contra.

Isidro F. Aguillo **

** Laboratorio de Cibermetría, IPP-CCHS-CSIC, España. Correo electrónico: isidro.aguillo@cchs.csic.es.

Es habitual que las nuevas herramientas de evaluación de la actividad académica o investigadora sean recibidas con recelo, cuando no con abierta hostilidad por parte de la comunidad científica. La propia bibliometría, que ha sido particularmente útil en los últimos años no sólo para la descripción de la producción científica, sino para generar buenas prácticas de publicación e incluso identificar líneas de investigación emergentes, ha sido y sigue siendo objeto de agrias críticas. Y no se trata sólo de meras discusiones respecto a métodos o interpretación de resultados, sino que se cuestiona su pertinencia y objetividad en la evaluación de individuos e instituciones.

En bastantes casos, las críticas parecen provenir de personas y organizaciones con agendas concretas a las que una evaluación externa objetiva, de carácter cuantitativo, no parece convenir. Se citan sesgos metodológicos (geográficos, disciplinares, lingüísticos), dudas epistemológicas sobre las bondades del análisis de citas o desconocimiento de la estructura social e idiosincrasia académica de grupos y redes, pero en general lo que se ataca es el propio proceso evaluativo. Existe pues un rechazo a la cultura de la evaluación, que en todo caso resulta inaceptable en cuanto a que la financiación de estos docentes e investigadores es fundamentalmente pública y debe estar sujeta necesariamente al control democrático de los contribuyentes y a la guía y seguimiento de los responsables de las políticas científicas.

Por supuesto también existen responsabilidades de los evaluadores en el desarrollo de esta situación. La bibliometría ha sido parca en construir escenarios globales, frecuentemente maniatada por un monopolio de facto en la fuente principal de sus datos, las citation databases ISI-Thomson, muy populares pero con notorios sesgos y limitaciones. En las últimas décadas, a pesar de las relevantes contribuciones académicas, dicha empresa ha sido poco dada a innovar y ha mantenido indicadores obsoletos que han tenido un impacto negativo en la percepción de los procesos de evaluación. Sólo la aparición de competencia (Scopus/Elsevier) parece haber iniciado un amplio programa de mejoras en el desarrollo de sus indicadores.

Antes de la aparición del Web of Science, el portal web de ISI/Thomson, el único indicador sintético disponible de forma universal era el Journal Impact Factor, que combinaba la medida de actividad e impacto en una unidad, la revista científica, que resultaba inadecuada como punto de partida para estudios bibliométricos tanto micro como macro. Los nombres de las revistas se normalizaban, pero no las afiliaciones de los autores, se clasificaban por disciplinas las revistas en vez de los artículos individuales y se contabilizaban citas esperadas en vez de citas reales en ventanas temporales absurdamente estrechas. Las limitaciones señaladas daban lugar a trabajos muy puntuales, sofisticados análisis pero con complejos resultados difíciles de interpretar y aplicar. El gestor finalmente tenía que acudir a estadísticas básicas: números totales de artículos y citas, distribución por institución o región, revistas más usadas, entre otras.

En 2003, la Universidad Jiao Tong de Shanghái publica la primera edición de su ranking (ARWU), que ofrece importantes novedades:

• Una tabla mundial (500 primeras universidades) razonablemente representativa, con acceso público abierto (a través de un portal web).

• El ranking está realizado por un grupo de investigación perteneciente a una importante universidad y utilizando criterios científicos trasparentes. Hasta ese momento la mayoría de los rankings eran elaborados por periódicos, sin explicación metodológica y con poca información sobre los valores utilizados.

• Las posiciones se obtienen de un indicador compuesto que combina variables bibliométricas tradicionales con otras más ligadas a la medida de la excelencia (Premios Nobel, autores muy citados). El resultado es una lista ordenada de universidades fácil de consultar e interpretar.

El impacto inmediato de ARWU es considerable y se extiende en el tiempo hasta hoy en día. Los primeros sorprendidos son los propios autores, pues el objetivo original del trabajo era ofrecer una guía a los estudiantes chinos para elegir universidades de destino en el extranjero. Sin embargo, para la comunidad académica mundial supone una autentica revolución pues ofrece (¿por primera vez?) un informe sencillo y elegante sobre la situación de las universidades y especialmente identifica a las llamadas world-class, la élite a nivel mundial.

Las reacciones son variadas y van desde una llamada a la reorganización de sistemas académicos completos debido a los malos resultados obtenidos (tal es el caso de Francia), pasando por incidentes diplomáticos donde algunas instituciones protestan ante sus respectivas embajadas chinas, hasta la respuesta de la comunidad bibliométrica. En un artículo muy citado posteriormente, el Prof. Van Raan (CWTS, Leiden) critica fundamentalmente la metodología de recogida y normalización de datos desde la ortodoxia de un equipo que ha dedicado notables esfuerzos a reducir los errores de las bases de datos. Básicamente los recién llegados a la disciplina cometen fallos de novato.

En los siguientes años, el Ranking de Shanghái alcanza una indudable popularidad y aparecen algunas propuestos alternativas basadas en estrategias similares y en la sencillez de lectura e interpretación de una lista ordenada. Algunas, como la muy sesgada clasificación proporcionada por QS al suplemento educativo del Times, provocan algunas críticas académicas, pero aun así este ranking es extremadamente popular (20 millones de usuarios por año).

Las críticas se centran en los siguientes aspectos:

• El ranking es unidimensional. Reduce la descripción de una institución tan compleja como una universidad a una única cifra. Ello asume que una aproximación holística no es válida cuando en realidad puede ser muy práctica, y que se trata de un instrumento único, cuando es obvio que ha de complementarse con otras técnicas tanto cuantitativas como cualitativas.

• El ranking agrupa y compara instituciones muy diferentes y presta poca atención al impacto del tamaño, tanto en lo que respecta a recursos humanos como a la financiación. En realidad un ranking no pretende realizar un estudio de eficiencia, sino identificar las capacidades y prestaciones globales, siendo otros los que revelen los factores y sus contribuciones relativas.

• El ranking es demasiado rígido, con unas variables y unos pesos predefinidos que parecen arbitrarios. Los editores de los rankings seleccionan variables de acuerdo a su disponibilidad, viabilidad y pertinencia, y acomodan los pesos a la hipótesis de que los resultados reflejen una realidad percibida. Lo poco cuestionados que son dichos resultados confirma el éxito de esta aplicación estricta del método científico.

• La mayoría de los rankings se centra sólo en la actividad investigadora, ignorando las otras misiones académicas. Aunque es cierto que existen algunos rankings basados únicamente en datos bibliométricos, hay otros que incluyen variables ligadas con otros aspectos académicos. Pero no debemos olvidar que es la excelencia investigadora la que marca diferencias y que los rankings más populares se centran únicamente en la élite (top 500), lo que obviamente justifica que den prioridad a dicha variable.

Como ya señalamos, hay agendas personales o institucionales ligadas a algunas de estas críticas. Así, la Comisión Europea está financiando un ejercicio de ranking de universidades europeas como respuesta al de Shanghái, con la explícita intención de suplir los defectos de aquel y que va a generar un caro producto, que no es un ranking, que no analiza ni un 5% de las instituciones europeas, que no es fácil de interpretar y que se puede configurar a la carta, es decir: da resultados según convenga al usuario.

Los rankings están para quedarse. Utilizados correctamente con otras herramientas, pueden satisfacer las necesidades de amplios y variados colectivos (gestores, investigadores, profesores, estudiantes) y están llamados a cumplir una importante misión en los próximos años.