Rankings universitarios: riesgos, limitaciones y posibles mejoras; construcción de indicadores sintéticos del sistema universitario español. Proyecto U-Ranking: problemas metodológicos, rankings personalizados, resultados
Indicadores de las universidades españolas: el proyecto U-Ranking
1. [ 1 ]
RANKINGS ISSUE 2013
(INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES
ESPAÑOLAS):
EL PROYECTO U-RANKING
XXIII JORNADAS DE LA ASOCIACIÓN DE ECONOMÍA DE LA
EDUCACIÓN
José Manuel Pastor
Universitat de València e Ivie
Valencia, España, 2-4 de julio de 2014
2. [ 2 ]
• Investigación desarrollada por el Ivie para construir Indicadores Sintéticos del
Sistema Universitario Español (ISSUE), a partir del análisis de las actividades
docentes, investigación e innovación y desarrollo tecnológico.
• Dos rankings generales (ISSUE-V y ISSUE-P) y más específicos: de docencia, de
investigación, de innovación y desarrollo tecnológico, y de titulaciones concretas.
• En España ya existen distintas iniciativas de rankings universitarios. Nuestros
rankings tienen varias diferencias importantes:
• Construidos siguiendo criterios que responden a las recomendaciones
internacionales más recientes
• Ofrecen también rankings por titulaciones (orientar decisiones de los estudiantes).
• Colección de rankings sobre las universidades españolas que permiten comparar a
las universidades desde distintos puntos de vista
• Una herramienta web que ofrece rankings personalizados de los distintos grados,
agrupados por familias de titulaciones, y que permite comparar a las universidades
teniendo en cuenta los intereses y criterios de los usuarios sobre los estudios a
cursar, las comunidades consideradas y la importancia otorgada a la docencia y la
investigación.
Introducción
3. [ 3 ]
• Existen riesgos asociados al uso de los rankings:
• Riesgo de abuso de los rankings, el riesgo de utilizar los
rankings para orientar acciones y valoraciones distintas de
aquellas para las que fueron diseñados,
• Riesgo de confundir lo que se puede medir con la que es
importante medir,
• Riesgo de fijarse solo en la élite y olvidar el resto,
• Riesgo de comparar inadecuadamente instituciones con
especializaciones distintas, etc.
Riesgos del uso de los rankings
4. [ 4 ]
• Los rankings internacionales presentan muchas de las limitaciones señaladas,
pero tienden a ser utilizados como referencia de manera abusiva (para
publicitar la presencia en ellos o para criticar que ninguna universidad se sitúe
entre las primeras doscientas).
• Se basan en indicadores centrados en la actividad investigadora y en
factores de reputación que, una vez se supera el círculo de las verdaderas
universidades globales (World Class Universities) —no más de veinte—, reflejan
valoraciones poco fiables, por ser mucho más limitadas, etc.
• Solo identifican con precisión a las grandes universidades de proyección
verdaderamente mundial (no permiten realizar comparaciones homogéneas
entre países o universidades).
• Adolecen de un grave problema de representatividad, pues los esfuerzos en
la recolección de la información van dirigidos a identificar las universidades
globales, dejando fuera de la clasificación a la mayor parte de universidades (de
los 17.000 HEI existentes en el mundo, los rankings internacionales dan
información de solo 1.000 universidades, de las cuales acaban siendo
comparadas 500).
• En España solo el 15% de las 79 están presentes.
Limitaciones de los rankings y posibles
mejoras
5. [ 5 ]
Limitaciones de los rankings y posibles
mejoras
• El Ranking de Shanghai, el más conocido de todos, solo incluye a 11 universidades
españolas entre las 500 primeras en su edición de 2012.
• Esa escasa presencia es debida tanto a la ausencia en España de universidades de
referencia internacional como a que los indicadores en los que se basa el Ranking de
Shanghai son muy discutibles para evaluar universidades como las nuestras, pues en
algunas de las variables prácticamente no puntúan.
• Sin embargo, es frecuente ignorar la cuestión de la idoneidad del índice y, de hecho, se
trata del ranking más citado en las valoraciones del sistema universitario español.
6. [ 6 ]
• Los 8 «Principios de Berlín sobre los Rankings de las Instituciones
Superiores» (Centrum für Hochschulentwicklung, CHE 2006) ofrece referencias
valiosas para la construcción de los rankings :
1. Indicar claramente cuál es el público objetivo del ranking.
2. Ser claro acerca de qué mide cada indicador utilizado.
3. Intentar utilizar medidas de resultados (outcomes) en lugar de medidas de
esfuerzo (inputs).
4. Ser metodológicamente escrupulosos en la elaboración del ranking.
5. Especificar los problemas surgidos y los posibles errores.
6. Prestar atención a las diferencias culturales a la hora de puntuar
instituciones de distintos países.
7. Tener en cuenta los posibles sesgos en la comparación de las distintas
áreas.
8. Mantener un estándar ético alto, debido a la responsabilidad derivada del
impacto que tienen los rankings.
Limitaciones de los rankings y posibles
mejoras
7. [ 7 ]
• Por otra parte, los principios fundamentales que deberían regir el sistema de rankings,
según la European University Association y del Grupo Internacional de Expertos en
Rankings (CHE 2006), son:
1. Atender al carácter multidimensional de las universidades
2. Respetar la perspectiva del usuario, potenciando las aplicaciones web que
permitan al ciudadano expresar sus preferencias.
3. Ofrecer una visión global, siendo exhaustivos y cubriendo todas las instituciones
4. Atender a la diversidad, teniendo en cuenta que las actividades y el presupuesto
de las instituciones son muy variables.
5. Reconocer la variedad de disciplinas, para medir el desempeño tanto a nivel de
institución como a niveles más desagregados, por campos del conocimiento.
6. Independencia, asegurando que el ranking es desarrollado e implementado por
una institución independiente.
7. Sostenibilidad, en el tiempo y financieramente, que no requiera cobrar a los
estudiantes por el uso de los rankings.
• A raíz de todas estas consideraciones, la Unión Europea ha propuesto en 2011 unos
principios que los rankings de universidades deberían respetar, con el objetivo de
acanzar a un ranking europeo homogéneo y comparable U-Multirank
Limitaciones de los rankings y posibles
mejoras
8. [ 8 ]
El proyecto Ũ-Ranking
• El Proyecto Ũ-Ranking ofrece un sistema de indicadores de los
resultados y la calidad de las universidades españolas,
elaborado por la Fundación BBVA y el Ivie.
• Intenta dar solución a los problemas más relevantes se
plantean en los siguientes ámbitos:
• Se reconocen varias actividades universitarias (se consideran 3),
• la desagregación por disciplinas o tipos de estudios (se trata con
información desagregada por campos científicos o titulaciones),
• el rigor metodológico en el tratamiento de la información y la
construcción de indicadores (valores faltantes, imputaciones...),
• el reconocimiento de la perspectiva del usuario a la hora de
construir y proporcionar la información y
• el uso de herramientas de fácil manejo para que el usuario de los
rankings pueda introducir en ellos sus preferencias.
9. [ 9 ]
Ũ-Ranking: Problemas metodológicos
① Ũ-Ranking tiene en cuenta las distintas misiones de la actividad
universitaria (dimensiones):
• Docencia
• Investigación
• Innovación y desarrollo tecnológico
• Siguiendo un criterio de simplicidad —relativa—, se han
considerado cuatro ámbitos en cada una de las tres grandes
dimensiones mencionadas:
Recursos disponibles,
Producción obtenida,
Calidad
Internacionalización de las actividades
11. [ 11 ]
Ũ-Ranking: Problemas metodológicos
① Ũ-Ranking tiene en cuenta las distintas misiones de la actividad
universitaria:
• Docencia
• Investigación
• Innovación y desarrollo tecnológico
① Desagregación por áreas de conocimiento
• Se reconoce la diversidad de las áreas y su heterogénea
calidad
• Se utilizan los indicadores al máximo nivel de desagregación
12. [ 12 ]
Ũ-Ranking: Problemas metodológicos
① Ũ-Ranking tiene en cuenta las distintas misiones de la actividad
universitaria:
• Docencia
• Investigación
• Innovación y desarrollo tecnológico
① Desagregación por áreas de conocimiento
13. [ 13 ]
Ũ-Ranking: Problemas metodológicos
① Ũ-Ranking tiene en cuenta las distintas misiones de la actividad
universitaria:
• Docencia
• Investigación
• Innovación y desarrollo tecnológico
② Desagregación por áreas de conocimiento
③ Tener en cuenta la perspectiva del usuario:
Alumnos de grado
Alumnos de postgrado
Gestores universitarios
Responsables políticos
Ciudadanos
Empresas
16. [ 16 ]
Ũ-Ranking: Problemas metodológicos
① Ũ-Ranking tiene en cuenta las tres misiones de la actividad
universitaria:
• Docencia
• Investigación
• Innovación y desarrollo tecnológico
② Desagregación por áreas de conocimiento
③ Tener en cuenta la perspectiva del usuario
④ Rigor metodológico
• Desagregación de datos (investigación), imputación valores,
errores por inclusión/exclusión
• Cobertura temporal (media móvil 6 años)
• Total transparencia (información pública y siguiendo los
fundamentos que establecen las publicaciones estadísticas
sobre publicación de indicadores OCDE)
17. [ 17 ]
Ũ-Ranking: Problemas metodológicos
Métodos de normalización:
- la gaussiana (restar a cada variable su media aritmética y dividir por su desviación
típica),
- la ordenación relativa (ordenar los valores según su valor relativo),
- las distancias a la media o la mediana,
- la ratio entre la variable y su media o su mediana.
- Se ha elegido de normalización elegido es el cálculo de la ratio entre la variable y su
mediana. Los resultados normalizados estarán centrados en el valor 1: los valores
inferiores a la mediana se encuentran acotados entre 0 y 1, mientras los superiores
estarán por encima del 1.
18. [ 18 ]
Ũ-Ranking: Problemas metodológicos
Ponderacion y agregación de indicadores dentro de un ámbito:
Existen tres posibles enfoques para la ponderación:
- asignación de pesos idénticos (lo que también implica un juicio,
pues el peso de un indicador acaba condicionado por el número de
indicadores que se incluyen);
- consulta entre expertos para identificar las opiniones más
compartidas (mediante encuestas o métodos como el Delphi);
- ponderación según las preferencias del usuario.
Estas tres alternativas han sido utilizadas en cada caso según el nivel
de la agregación a realizar.
En este nivel de agregacion se ha optado por la equiponderacion,
pues no existen argumentos claros para otorgar a uno de ellos mayor o
menor importancia y ademas suelen estar correlacionados (ej. Impacto
medio y % de revistas en Q1).
19. [ 19 ]
Ũ-Ranking: Problemas metodológicos
Ponderación y agregación de
indicadores dentro de cada dimensión:
Se ha utilizado la media geométrica pues
limita la sustitubilidad entre los
componentes que agrega
Los pesos asignados dentro de cada ámbtio
se obtienen por el método Delphi
20. [ 20 ]
Ũ-Ranking: Problemas metodológicos
Ponderación y agregación de dimensiones:
1) Ranking personalizado (Budget Allocation
Process). Muy utilizado en marketing.
Obliga al usuario a tener una posición
activa y reflexiva
2) Opción por defecto método Delphi:
56%, 34% y 10%
21. [ 21 ]
Ũ-Ranking: Problemas metodológicos
① Ũ-Ranking tiene en cuenta las tres misiones de la actividad
universitaria:
• Docencia
• Investigación
• Innovación y desarrollo tecnológico
① Desagregación por áreas de conocimiento
② Tener en cuenta la perspectiva del usuario
③ Rigor metodológico
④ Se tiene en cuenta el tamaño de las universidades:
• ¿qué importa más la productividad o el volumen?ambos
• El tamaño es importante (una universidad productiva y grande
contribuye más que una productiva pero pequeña)
• Rankings de Resultados (ISSUE-V) (ej. Shanghai)
• Rankings de Productividad (ISSUE-P) (ej. QS World Univ.)
• Como medimos el tamaño?
22. [ 22 ]
Ũ-Ranking: Problemas metodológicos
① Ũ-Ranking tiene en cuenta las tres misiones de la actividad
universitaria:
• Docencia
• Investigación
• Innovación y desarrollo tecnológico
① Desagregación por áreas de conocimiento
② Tener en cuenta la perspectiva del usuario
③ Rigor metodológico
④ Se tiene en cuenta el tamaño de las universidades:
⑤ Acceso a información complementaria y relevante (precio por
crédito, notas de corte, entorno)
23. [ 23 ]
RANKINGS PERSONALIZADOS
- Ajustados a los perfiles de los usuarios (estudiantes,
investigadores, equipo de gobierno, responsables de politica
universitaria, periodistas, ciudadanos, etc.
Ũ-Ranking: La herramienta web
24. [ 24 ]
PASO 1: ¿QUÉ ESTUDIAR?
- Para evitar plantear la elección
entre los cientos de grados
distintos que ofertan las
universidades españolas, la
primera ventana de selección
mues-tra una agrupación de
los mismos en 24 familias.
25. [ 25 ]
PASO 2: ¿DÓNDE ESTUDIAR?
- El segundo paso es elegir la
comunidad autónoma o
comunidades que se
contemplan como lugares en
los que cursar los estudios.
26. [ 26 ]
PASO 3: ESTUDIAR E
INVESTIGAR
El usuario debe manifestar
sus preferencias ante
estudiar e investigar,
asignando los 100 puntos a
la docencia, la investigación
y la innovación y el
desarrollo tecnológico,
Una vez el usuario ha
introducido la información
de los tres campos, aparece
en pantalla el botón
«Construye tu Ranking».
27. [ 27 ]
PASO 3: ESTUDIAR E
INVESTIGAR
El usuario debe manifestar
sus preferencias ante
estudiar e investigar,
asignando los 100 puntos a
la docencia, la investigación
y la innovación y el
desarrollo tecnológico,
Una vez el usuario ha
introducido la información
de los tres campos, aparece
en pantalla el botón
«Construye tu Ranking».
28. [ 28 ]
• La herramienta ofrece al estudiante el ranking resultante de sus preferencias y le facilita además
otras informaciones relevantes para su decisión: las notas de corte, el acceso a la web de las
titulaciones y datos sobre coste, accesibilidad o clima referidos al entorno de la universidad
correspondiente.
Coste de la vida Clima Entorno sociocultural Accesibilidad
29. [ 29 ]
Algunos resultados
• El cuadro recoge 1/3 universidades.
• Mucha heterogeneidad en términos de productividad
30. [ 30 ]
Algunos resultados
• Cada columna del cuadro recoge 1/3 universidades.
• Mucha más heterogeneidad en términos de volumen que en términos de productividad
32. [ 32 ]
Algunos resultados
Los resultados del Ranking ISSUE-V y el Ranking de
Shanghai (Docampo 2013) son mucho más similares que
los de los rankings ISSUE entre sí.
34. [ 34 ]
Algunos resultados
Cuando gana peso la
investigación…
(mayor frecuencia
movimientos de
derecha a izquierda —
retrocesos—) :
- Las Dos mejores
universidades situadas
a mantienen
invariables sus
posiciones (UPF y
UPC).
- Entre las “mejores”
las variaciones son
escasas.
- Entre las “peores” los
retrocesos son
mayores
38. [ 38 ]
Continuidad y desarrollos futuros
El Proyecto Ũ-Ranking contempla diversos desarrollos
futuros:
• Actualización de la información y los rankings
• Incorporación de las universidades privadas conforme esté
disponible información homologable con la que ofrecen las
universidades públicas
• Incorporación de los másteres y los doctorados a la
herramienta de selección de titulaciones
• Elaboración de análisis técnicos de los resultados obtenidos
• Incorporación de información sobre la empleabilidad de los
titulados universitarios como un indicador adicional de la
calidad de la formación
39. [ 39 ]
RANKINGS ISSUE 2013
(INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES
ESPAÑOLAS):
EL PROYECTO U-RANKING
XXIII JORNADAS DE LA ASOCIACIÓN DE ECONOMÍA DE LA
EDUCACIÓN
,
José Manuel Pastor
Universitat de València e Ivie
Valencia, España, 2-4 de julio de 2014