Rankings de universidades: ¿qué miden y qué tan confiables son? - Razón Pública
Victor Gomez RazonPublica

Rankings de universidades: ¿qué miden y qué tan confiables son?

Compartir:

Victor Gomez RazonPublica

Un nuevo ranking ubica a la Universidad de los Andes en el 4º lugar en América Latina y a la Universidad Nacional en el 9º. ¿Qué modelo de universidad subyace a su metodología? ¿Qué pasaría si cambian los indicadores o las ponderaciones?

Víctor Manuel Gómez*

Dos colombianas entre las diez mejores

Todo ejercicio de ranking — de calificación y de jerarquización — ya sea de productos, de instituciones, de ciudades o de países se basa en una opción metodológica sobre los  indicadores y sus ponderaciones o pesos relativos. Puede afirmarse entonces que todo ranking es relativamente ‘arbitrario’ porque conlleva sesgos analíticos particulares.

Estos sesgos o ‘arbitrariedades relativas’ también operan en el caso del QS World University Rankings[1], en cuya versión 2013 (QS Latin American University Rankings) dos universidades colombianas figuran entre las diez primeras de América Latina: la Universidad de los Andes (4º puesto) y la Universidad Nacional (9 º puesto), tal como se observa en el cuadro siguiente:

Victor Gomez Rankings universidades tabla

Fuente: www.topuniversities.com/university-rankings/
latin-american-university-rankings/2013

En este ranking, el puntaje se distribuye de la siguiente manera:

· el 30 por ciento lo otorga la ‘opinión académica’ de pares de la región;

· otro 20 por ciento corresponde a la opinión de empleadores;

· el 50 por ciento restante se reparte a su vez en cinco subcategorías por igual:

– publicaciones por número de profesores;

– citas de publicaciones (Scopus);

– porcentaje de docentes con doctorado;

– ratio estudiantes/docentes;

– visibilidad en la red (Webometrics).

 Opinión de pares académicos

El mayor peso en el puntaje final (30 por ciento) corresponde a la opción más controvertida y criticada entre los analistas: la opinión de pares académicos (Academic Peer Review).  A esta ‘opinión de pares’ debería asignar un peso mucho más bajo debido a razones como las siguientes: 

a) Las ‘opiniones de pares’ no son indicadores objetivos, sino constructos o imaginarios subjetivos donde influye poderosamente el estatus social de la institución, el manejo y la divulgación nacional e internacional de su imagen (estrategia de mercadeo institucional, en la que algunas universidades invierten grandes sumas de dinero).

Estas estrategias pueden favorecer a las universidades privadas sobre las públicas — algunas afectadas negativamente por problemas internos de vandalismo — aunque esto no necesariamente afecte el desempeño y la calidad académica de la institución.

b) Los ‘pares’ no necesariamente conocen en profundidad el desempeño académico de determinada universidad, sobre todo en áreas como humanidades, ciencias sociales, artes y otras menos visibles en citaciones internacionales, pero de gran impacto social en su medio.

c) Los ‘pares’ no necesariamente perciben el ‘valor agregado’ para la sociedad que resulta  de formar estudiantes cuyo capital cultural inicial es bajo, pero que logran elevar su nivel intelectual y cultural a lo largo del proceso educativo. Existe una gran diferencia entre formar a una población estudiantil homogénea social y culturalmente, y formar un estudiantado policlasista, con alta diversidad étnica y cultural y con deficiencias en su formación básica. Este ‘valor agregado’ es un aporte fundamental de la universidad a la igualdad de oportunidades, necesaria para construir la democracia real.

d) En lugar de ‘opiniones’ e imaginarios subjetivos —  y algunos mal informados —  sería mejor usar criterios o indicadores objetivos y medibles de calidad de la educación, como los cinco mencionados arriba. Pero en el caso del QS ranking, el 50 por ciento del puntaje corresponde a opiniones subjetivas y de valor discutible — como sigo explicando en lo que sigue

Opinión de empleadores

Otro 20 por ciento del puntaje corresponde a otra dimensión subjetiva: la opinión de algunos empleadores.

Aquí sería conveniente distinguir entre grandes empleadores y empleadores como el Estado y la pequeña y mediana empresa. Seguramente existe un amplio rango en sus opiniones con respecto al desempeño de egresados de diferentes universidades. Pero esta diferenciación no es explícita en esta metodología de rankings, pese a que  contribuye con el 20 por ciento del puntaje.

Se presenta, además, un fenómeno de ‘asociación espuria’ entre calidad de la educación y empleabilidad: muchos empleadores prefieren contratar a egresados de determinadas universidades, suponiendo que eso garantiza determinados valores y pautas de conducta deseables del trabajador (la función moral) – y además en ausencia de evidencia robusta sobre su competencia intelectual o técnica obtenida mediante pruebas o evaluaciones rigurosas.

El mercado de trabajo es segmentado, no es meritocrático ni competitivo. Hay mercados restringidos a egresados de determinadas universidades. La empleabilidad depende en gran medida del capital social de la universidad y de sus egresados, es decir, de la densidad y la calidad de su red de contactos, lo cual favorece a egresados de las universidades privadas de élite.

En las grandes empresas privadas y en algunas entidades del Estado se concentran egresados de estas universidades.  Por ejemplo, entre los economistas de Colombia, este fenómeno es evidente en el Departamento Nacional de Planeación (DNP), el Banco de la República y el Ministerio de Hacienda y Crédito Público.

En un ranking más objetivo y confiable habría que reducir el puntaje asignado a esta dimensión o eliminarla del todo, tal como ha sido propuesto en la discusión internacional al respecto.

Publicaciones por número de profesores

Este es un indicador universalmente reconocido de productividad del cuerpo académico de las universidades. Si su participación en el puntaje pasara de 10 a 20 por ciento, por ejemplo, los resultados del ranking de universidades de la región cambiarían de modo notable.

Sin embargo es necesario distinguir entre áreas del conocimiento: es mucho mayor la productividad de académicos provenientes de las ciencias biomédicas y naturales — medida en términos de publicaciones indexadas — que la de sus colegas en áreas como humanidades, ciencias sociales, artes, derecho, odontología, arquitectura e ingenierías.

Además, en las primeras áreas mencionadas es más frecuente la publicación en inglés, lo que aumenta su visibilidad internacional.  Este no es el caso para las ciencias sociales, ciencias humanas y el derecho, entre otras.

Por tanto el indicador de productividad por docente no puede tener como denominador al total de docentes en una institución, pues muchos están en áreas de profesiones aplicadas — cuya productividad no puede medirse por este tipo de publicaciones — o en  humanidades y sociales, de menor productividad por docente.

La medición de la productividad debe hacerse en cada área del conocimiento y en relación con estándares propios, no de manera agregada, pues este método añade un sesgo a favor de universidades con pocas áreas del saber y concentradas en las más productivas por docente, y penaliza a universidades con gran diversidad de áreas y programas.

Por otra parte, en el ámbito de las artes,  las humanidades y las ciencias sociales puede darse una alta productividad alternativa, que no es directamente medible a través del parámetro de publicaciones indexadas y en inglés: se expresa mediante artículos, ensayos, impresos universitarios, talleres, manuales y otras formas de comunicación y de divulgación hacia comunidades, sindicatos, organizaciones sociales, alcaldías, entidades públicas, colegios y docentes

Estas publicaciones cumplen una función social de extensión (outreach), de promoción cultural, de organización social, de formación de cuadros, de educación de adultos, de información a la comunidad. La función social y cultural de las universidades podría resultar tan importante como la propia función de investigación.

Sin embargo, la extensión está completamente ausente de la metodología del QS University Ranking, lo que prueba que a esta metodología efectivamente subyace un determinado ‘modelo’ de universidad.

¿Cómo sería un nuevo ranking que incluyera esta función social y cultural de extensión? Seguramente algunas universidades públicas colombianas avanzarían significativamente en su ubicación dentro  el ranking.

Citas de publicaciones

Esta subcategoría está estrechamente relacionada con la anterior. Por supuesto que las citas de publicaciones son un indicador importante del valor científico y cultural de una publicación. Obviamente las publicaciones en inglés registran una mayor frecuencia de citas debido a su más amplia divulgación internacional.

Este indicador también debería recibir una ponderación mayor en el ranking, pues las universidades con un mayor puntaje en esta dimensión demuestran mayor capacidad de crear conocimiento nuevo, mayor calidad y pertinencia en su desempeño académico.  Este indicador es objetivo y refleja el grado de competitividad académica de la institución.

Docentes con doctorado

Académicos con altos niveles de formación y entrenamiento específico para la investigación inducen una mayor productividad y creatividad, lo que debería reflejarse en un indicador inexplicablemente faltante en este ranking: el monto de recursos económicos generados por programas y proyectos de investigación, tanto básica como aplicada.

Sin embargo, no necesariamente los ‘doctores’ (Ph.D) son buenos docentes ni mejoran la calidad de la educación que reciben los estudiantes: las ‘mitologías’ comunes en la relación entre investigación y docencia han sido ampliamente exploradas.

Algunos de los estudios han demostrado que las funciones de investigación docencia en las universidades son muy diferentes entre sí, tienen objetivos disímiles, se rigen por distintas normas y sistemas de estímulos, recompensas y distinción. En fin, fomentar la actividad investigativa no necesariamente mejora la calidad de la docencia.

En diversas universidades ‘de investigación’ se constatan grandes carencias en la calidad de la educación de pregrado: la actividad docente puede estar a cargo de los profesores más jóvenes y sin experiencia, o incluso de estudiantes de postgrado que trabajan como ‘teaching assistants’, o ‘docentes en formación’, financiando así sus estudios de postgrado.

En muchas universidades norteamericanas — algunas con varios premios Nobel en su planta — y con miles de millones de dólares en proyectos de investigación, se presentan serios problemas en la calidad del pregrado, pues la docencia en este nivel se percibe como una carga académica, una obligación, en fin una tarea indeseable. En estas universidades sólo son importantes los doctorados.

Con criterio propio

Tras analizar las ponderaciones, los sesgos y las limitaciones de la metodología del QS Latin American University Ranking – propongo a continuación una valoración alternativa de los puntajes de las diversas dimensiones del QS Ranking, así:

· 10 por ciento para opiniones subjetivas de pares académicos y empleadores;

· 20 por ciento para publicaciones de profesores, según área del conocimiento;

· 20 por ciento para citas de publicaciones;

· 20 por ciento para indicadores de montos de recursos generados para investigación;

· 10 por ciento para indicadores de actividades de extensión (outreach);

· 10 por ciento para porcentaje de ‘doctores’ (Ph.D) en la planta académica;

· 10 por ciento para ratios estudiantes/docentes.

¿Qué modificación tendrían las posiciones actuales de ese ranking si se adoptara esta propuesta de valoración de siete dimensiones? ¿Qué lugar ocuparían las universidades públicas colombianas en este nuevo esquema? ¿Qué lugar ocuparían la Universidad  de los Andes y la Universidad Nacional?

Es necesario que el sistema de educación superior colombiano diseñe sus propios criterios y metodologías de ranking, de clasificación y jerarquización de sus instituciones y programas. No solamente por razones de objetividad, de validez y de pertinencia internas, sino para poder dialogar e interactuar proactivamente con los diversos rankings internacionales existentes y superar así la dependencia pasiva de ese esquema de dominación simbólica.

* Profesor del Departamento de Sociología de la Universidad Nacional de Colombia. 

[1] Quacquarelli Symonds (QS).  

0 comentarios

Víctor Manuel Gómez

Escrito por:

Víctor Manuel Gómez

*Profesor del Departamento de Sociología del área de Sociología de la Educación de la Universidad Nacional (pensionado).

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Artículos relacionados

Bernardo Congote
Economía y Sociedad

La contra-historia de Colombia

Economía y Sociedad

¿Qué está pasando con la inflación en Colombia?

Director General de Colciencias, César Ocampo.
Economía y Sociedad

“Falsos positivos” en la ciencia colombiana

Daniel Gomez politica industrial Razon Publica
Economía y Sociedad

Política industrial: ¿se justifica la intervención activa del Estado?

ISSN 2145-0439

Razonpublica.com se encuentra bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 3.0 Unported. Basada en una obra en razonpublica.com.