e-ISSN: 2992-8184  
RESEÑA  
Ochsner, M., Hug, S. E. y Daniel, H.-D. (Editors) (2016).  
Research Assessment in the Humaniꢀes: Towards Criteria  
and Procedures. Springer Open  
René-Manuel Delgado  
Universidad Autónoma de Chihuahua (México)  
Recibido: 30/08/2024 ■ Revisado: 16/08/2024 ■ Aceptado: 11/09/2024  
Cómo citar: Delgado, R.-M. (2024). Reseña: Research Assessment in the  
Humaniꢁes: Towards Criteria and Procedures. Revista Estudios de la  
Aunque el texto en cuesꢁón se comenzó a escribir dentro del marco  
de la conferencia ‘Research Quality in the Humaniꢀes: Towards Criteria and  
Procedures for Evaluaꢀng Research’ en 2010, resultó ser el crisol donde  
convergieron los resultados de múlꢁples colaboradores de disꢁntos países  
pero con inquietudes comunes, hablamos de un cúmulo de 18 estudios  
bien fundamentados y ordenados secuencialmente, elaborados por 28  
académicos reconocidos internacionalmente originarios de 13 naciones  
preponderantemente europeas.  
El documento ubica a las ciencias sociales y humanidades en ꢁempo y espacio presentes,  
sin importar que el texto casi llega a los 15 años que se comenzó a escribir, se ꢁene noꢁcia de que  
los autores siguen trabajando en el mismo proyecto, sobre la misma línea temáꢁca por lo que  
aunque hay avances, la situación prevalece; en las áreas citadas persiste la resistencia a las  
esꢁmaciones derivadas de los indicadores basados en el número de citaciones conseguidas, y es en  
este esquema que se advierte sobre una presión incremental sobre dichos campos disciplinares para  
adecuarse a un marco evaluaꢁvo de naturaleza cuanꢁtaꢁva uꢁlizado en las ciencias naturales,  
ingenieriles y de la salud, no obstante, sus diferencias inherentes.  
No obstante que los autores son mayoritariamente alemanes y suizos, los aportes permiten  
asumir que se presenta una panorámica del tópico central presumiblemente colegiada dado que  
como se verá más adelante, las conclusiones son similares. Es notable el esfuerzo realizado por los  
editores para reunir académicos presꢁgiados de disꢁntos contextos de las ciencias sociales y  
humanidades (internacionalmente) que convergen en la iniciaꢁva de búsqueda de formas de  
evaluación de la invesꢁgación, prácꢁca que conlleva la dificultad intrínseca de la gran diversidad de  
formas de realizar invesꢁgación y comunicar la misma en las áreas señaladas  
2024 | Revista Estudios de la Información, 2(2), 134-140.  
134  
Delgado, R.-M. (2024)  
En aras de discriminar la calidad en material producido en invesꢁgación dentro de las  
ciencias sociales y las humanidades, el texto aborda enfoques novedosos para una evaluación más  
objeꢁva y eficiente de sus procesos invesꢁgaꢁvos, y para el efecto presenta un compendio de  
estudios que documentalmente abarcan las úlꢁmas dos décadas, y los cuales se complementan con  
un análisis longitudinal de cinco años de duración, que no obstante que como limitante se puede  
argumentar su eurocentrismo, es notable la intención de fidelidad de los datos, el rigor con que son  
planteados los mismos y de los limitaciones contextuales en los que estos se manifiestan y que son  
reconocidas en el texto.  
La presente reseña no es en sí una evaluación del libro propiamente, puesto que aduciendo  
al contenido del mismo, no sería objeꢁva una esꢁmación del material al no ser expertos en  
evaluación de invesꢁgaciones humanísꢁcas los que realizamos este análisis, pero lo que sí se puede  
hacer es aportar una opinión académicamente informada desde una perspecꢁva epistemológica  
resaltando si se encuentra relevancia en el tema, si los datos son ilustraꢁvos, si el conocimiento  
presentado se percibe valioso y el material ha sido didácꢁcamente estructurado de manera que sea  
comprensible y coadyuve a un aprendizaje sobre el tema, y es desde esta perspecꢁva que se  
recomienda su lectura.  
La parte introductoria enfaꢁza la sintomatología, las causalidades y los factores transversales  
que impactan al problema presentando un contexto informado; el diferencial en costes de la  
producción cienꢂfica en las denominadas disciplinas duras, el desdén inicial recíproco entre las  
ciencias blandas y la supervisión bibliométrica y los desalentadores resultados obtenidos en las  
etapas tempranas de mediciones ocasionadas por las divergencias en metodologías para invesꢁgar  
y formas y medios de comunicar los hallazgos. A lo anterior cabe añadir el surgimiento de opositores  
de ciertos sectores académicos. De igual forma se mencionan las prácꢁcas exitosas, como la  
iniciaꢁva de las ‘swissuniversiꢁes’, proyecto de estandarización para visibilizar la producꢁvidad en  
ciencias sociales y humanidades, pero quizá la prácꢁca más relevante es la de prestar oídos a los  
académicos afectados por así decirlo, sobre la eficacia y pracꢁcidad del diseño de las herramientas  
de evaluación recién creadas.  
La parte inicial deja en claro el problema central y su complejidad, la dificultad para evaluar  
las humanidades, dejando de lado las obvias diferencias con otros campos de la invesꢁgación  
académica, dentro de las mismas de una disciplina a otra hay diferencias que impiden soluciones  
unívocas. Es en esta sección que se sugiere que al crearse bases de datos en estas áreas disciplinares,  
al ꢁempo se diseñen conjuntos de procedimientos estándar para el uso correcto de las mismas bases  
de datos, sin que haya duda de cómo debe medirse o aplicarse lo ahí contenido.  
El apartado también revela cierta incapacidad del académico del sector humanista para  
buscar y conseguir financiamiento para sus proyectos, y esto a decir del texto es debido  
parꢁcularmente a una falta de organización, y organizarse requiere de primero tener un sistema de  
procedimientos de evaluación de la invesꢁgación, que permita a los tomadores de decisiones  
financieras saber lo que están pagando. Si tales temas preocupan a los europeos y a los apoderados  
de la lingua franca, el contexto laꢁnoamericano no es ajeno a dichas complejidades metodológicas,  
donde, desde hace ꢁempo se preveía que sólo habría dos caminos posibles, hacer lo que las  
denominadas ciencias duras, esto es, entregarse a los formatos cuanꢁtaꢁvos por entero, o bien,  
2024 | Revista Estudios de la Información, 2(2), 134-140.  
135  
Delgado, R.-M. (2024)  
pugnar por fundar un sistema evaluaꢁvo con filiación idenꢁtaria, lo que no imaginó es la tercera vía  
europea, una mezcla de ambas ideas.  
El libro se integra de cinco partes: (1) el contexto presente (del momento de escritura del  
libro) mismo que ya se adelantó; (2) la segunda parte describe el estado de cosas en el sistema de  
rankings y bases de datos de publicaciones fundamentados en el concepto de calidad; (3) la siguiente  
sección profundiza yendo al núcleo, la problemáꢁca de la aplicación de la bibliometría en las  
humanidades; y siguiendo una secuencia, (4) aquí se exhiben procedimientos evaluaꢁvos  
especializados en humanidades a priori, explorando su potencial; y finalmente la parte (5), que pone  
el foco en el escenario ex post facto de un proceso de evaluación de la invesꢁgación en ciencias  
sociales y humanidades cuyos estándares se han reconfigurado totalmente para adecuarse a las  
necesidades parꢁculares del cuerpo disciplinar e incluso con diferencias entre disciplinas del mismo  
conjunto.  
En estos párrafos se refleja una concienciación hacia la final aceptación de que la medición  
cuanꢁtaꢁva es necesaria en las ciencias sociales y humanidades, y que estas áreas deben madurar  
al grado de involucrarse en mejorar dichos procedimientos evaluaꢁvos, más que resisꢁrse a los  
mismos. En la parte I se inicia estableciendo la poca idoneidad de la bibliometría convencional para  
realizar esꢁmaciones adecuadas a los trabajos emanados de las ciencias sociales y humanidades,  
pero se manifiesta la necesidad de mediciones cuanꢁtaꢁvas diseñadas especialmente para cubrir las  
áreas señaladas; los autores se cuesꢁonan sobre lo que deben evaluar y cómo, establecer el  
propósito y determinar si lo que se busca es la calidad como prioridad.  
De hecho, el texto dedica uno de los trabajos en la primera parte a definir la calidad como  
concepto y aprovechar este para visibilizar la invesꢁgación humanísꢁca y se sugieren estrategias para  
sacar provecho de la misma en los procesos de revisión por pares, considerados no sólo  
complementarios de las esꢁmaciones bibliométricas sino fundamentales para una valoración  
exitosa. Pese a lo referenciado, la urgencia primera fue definir lo que es la invesꢁgación de calidad  
en las CSH, y siendo fundamentada la idea como piedra angular y de ahí se derivaron indicadores y  
criterios y muy importante, se ha escuchado a los opositores para lograr un convencimiento  
informado.  
Es remarcable el consenso logrado en la totalidad de las universidades suizas para llevar a  
cabo las iniciaꢁvas propuestas en el proyecto ‘Mesurer les Performances de la Recherche’, en francés  
“medir el rendimiento de la invesꢁgación”, narrado en esta sección, —algo de lo que podrían  
aprender mucho nuestras universidades autónomas—, consistente en el establecimiento de un  
cuerpo especializado encargado de realizar evaluaciones de la invesꢁgación en ciencias sociales y  
humanidades especialmente diseñadas, esto es, un comité aceptado y respetado por todos, donde  
habiendo unificado criterios se puso en marcha un innovador proceso evaluaꢁvo de carácter  
bibliométrico, con la mente abierta para ver su desempeño y limitaciones.  
Otras iniciaꢁvas interesantes reseñadas en el documento son, por ejemplo, la detección de  
áreas de oportunidad descubiertas por la bibliometría convencional y diseñar acciones de ágil  
respuesta a dichos desaꢃos. El someter a prueba y error el desarrollo de criterios de evaluación para  
las humanidades; realización de benchmarking internacional en disciplinas específicas como  
comunicación y educación, poniendo énfasis en las diferencias socio-interculturales y esꢁmar su  
2024 | Revista Estudios de la Información, 2(2), 134-140.  
136  
Delgado, R.-M. (2024)  
relevancia, así como resaltar la importancia de la organización, especialmente en áreas señaladas,  
como la apertura lingüísꢁca, en implementar talleres de transferencia de conocimiento experiencial,  
entre otros. Se consꢁtuyó una red que sosꢁene reuniones regulares, realizan eventos donde llegan  
a exponer conferencistas internacionales expertos en las áreas y representantes de grupos de  
interés, dado que se han idenꢁficado en los trabajos las disꢁntas audiencias de los trabajos  
humanísꢁcos.  
Se menciona el caso español como paradigmáꢁco para ejemplificar el punto, mismo que  
traemos a colación debido a que según el mismo texto aquí reseñado, se indica que España es el  
noveno lugar en producꢁvidad académico- cienꢂfica, y ꢁene el puesto 11 en citaciones, y a pesar de  
publicar una canꢁdad impresionante de revistas indexadas, estas son vícꢁmas de infravaloración por  
parte del proceso de evaluación de los ‘consorcios de la ciencia’, los cuales relegan determinadas  
lenguas a un nivel periférico volviendo el ciclo un círculo vicioso, al no lograrse un impacto en índices  
relevante, el conocimiento generado no sale de una órbita regional.  
La parte II nos habla del denominado modelo noruego, otra herramienta que está  
significando un parteaguas en las bases de datos académicas en ciencias sociales y humanidades y  
que de crecer puede significar si no una fuerte amenaza compeꢁꢁva para WoS o Scopus, sí el  
siguiente paso en la evolución informacional de ese ꢁpo de almacenamientos masivos de  
información; la ventaja que ofrece dicho modelo es contener toda la literatura revisada por pares en  
todas las áreas del conocimiento —esto como indicador único—, y esto incluye a las humanidades  
en todos sus formatos y lenguajes más uꢁlizados, lo que significa una proeza de las tecnologías de  
la información y posiblemente la esperanza de por fin hacer que parꢁcularmente las humanidades  
y la bibliometría lleguen a entenderse.  
Uno de los capítulos en esta parte está dedicado al caso español del cual ya se habló, sólo  
que se mira el desarrollo de herramientas locales como una ventaja y esto es porque estas no se  
basan exclusivamente en los registros de citaciones; los libros y sus capítulos son vehículos más  
socorridos que las revistas y sus arꢂculos en el caso de las humanidades y esta diferencia se marca  
más en España, lo que la vuelve el terreno idóneo para probar nuevos sistemas de evaluación. Los  
indicadores que están siendo experimentados pueden mejorarse y adaptarse a los requerimientos  
específicos de ciertas disciplinas, pero sólo se dará un salto de calidad si se logra que la comunidad  
cienꢂfica completa acepte un nuevo sistema (como en Suiza), que se interesen y vinculen los  
emporios informacionales dominantes, y que los políꢁcos apoyen financieramente tale iniciaꢁvas.  
En lo tocante a la parte III se profundiza en el uso de la bibliometría, pero algunos autores  
hacen hincapié en que sentar las bases: de un programa exitoso es esencial y esto parte de una  
definición básica de los fundamentos, esto es por ejemplo establecer de manera precisa lo que son  
las humanidades, por ejemplo. En disꢁntas partes del mundo suelen integrarse de diferentes  
disciplinas, sin embargo, hay algunas que son factor común y están presentes en todas las ꢁpologías:  
arte, filosoꢃa, música, lenguaje, estudios literarios y religiosos, y podríamos añadir que sus  
derivados, ya que posteriormente se hace referencia a la lingüísꢁca para ejemplificar que es una  
disciplina más desarrollada en las revistas cienꢂficas y en cambio los estudios literarios es un campo  
que se desarrolla más en el libro como tal.  
2024 | Revista Estudios de la Información, 2(2), 134-140.  
137  
Delgado, R.-M. (2024)  
La audiencia o mejor dicho las audiencias de las humanidades son heterogéneas, y esto  
permea los textos, que pueden ser escritos para uno o para otros, incluso hay autores que hacen  
diferencia entre audiencias académicas nacionales e internacionales y escriben consecuentemente,  
con consideraciones desde el público objeꢁvo hasta el ꢁpo de literatura, esto como directrices aún  
más iluminadoras que los canales uꢁlizados para difundir, y naturalmente todo ello complejiza las  
posibilidades de una evaluación prácꢁca y generalizada.  
Una medida, por ejemplo, para facilitar dicha evaluación es la que se sugiere en este  
desarrollo del texto, la indexación de los libros, ya que representa el principal canal de difusión de  
las humanidades, y complementar con mediciones altmétricas, uꢁlizando registros contabilizados  
en X (antes Twiꢀer) y por contenidos en Mendeley o Zotero.  
El hilo literario no está exento de situaciones poco comunes y la paradoja de las citaciones  
en las humanidades es una de ellas, esta se hace presente en esta parte del libro, donde el número  
de citas es claramente desdeñado como indicador de desempeño académico, pero la cita en sí es  
entrañablemente apreciada (siempre que no sean muchas) como un elemento inherente a la cultura  
académica, una manera de reconocer el valor de las ideas del otro; se debe pugnar por conciliar esta  
ambivalencia. Es en esta sección donde se realiza una disección a las citas en la dimensión  
humanísꢁca y se explica por qué debe adoptarse y adecuarse a la acꢁvidad literaria por principio.  
Por otra parte, se deja de relieve la presunta incapacidad de la bibliometría para medir la  
calidad, a decir de los académicos pertenecientes a dicho gremio, idea de la que parte su rechazo a  
dichas métricas, no obstante, los autores aducen un malentendido, ya que la parte cualitaꢁva la cual  
les preocupa más se cubre y complementa con la revisión por pares. Cierra la sección con hechos  
fundamentales como que la citación es escasa per se en la literatura, ya sea en revistas indexadas o  
en los libros, es por eso que las bases de datos bibliométricas en su estado actual no reflejan la  
realidad de la literatura, en su impacto o calidad, y por lo tanto la revisión por pares debe ser más  
invesꢁgada para compensar y complementar la evaluación perꢁnente.  
Algo llamado indicadores de calidad en la invesꢀgación educaꢀva europea (EERQI por sus  
siglas en inglés), es un proyecto que parꢁó de la premisa de que la invesꢁgación en la educación es  
el antecedente perfecto para construir modelos de caso para la invesꢁgación en ciencias sociales y  
humanidades, por lo cual se consꢁtuyó como protoꢁpo de nuevas metodologías e indicadores  
inéditos cuya ventaja principal es su funcionalidad en diversos idiomas, y el concepto ha sido  
transferido con éxito a otros campos disciplinares aparte del educaꢁvo, por lo cual el proyecto  
promete dado que en las pruebas ha demostrado eficientar la evaluación de la invesꢁgación,  
haciendo el proceso más rápido, y su naturaleza cuanꢁ-cualitaꢁva así como su funcionalidad  
mulꢁlingüe arrojan un informe más sustentado de la calidad de los proyectos.  
Ya se ha reiterado la intención de adaptar la bibliometría a las ciencias sociales y  
humanidades, lo cual conlleva dificultades de inicio como que la audiencia o mejor dicho las  
audiencias de las humanidades son heterogéneas, y esto permea los textos, que pueden ser escritos  
para uno o para otros, incluso hay autores que hacen diferencia entre audiencias académicas  
nacionales e internacionales y escriben consecuentemente, con consideraciones desde el público  
objeꢁvo hasta el ꢁpo de literatura, esto como directrices aún más iluminadoras que los canales  
uꢁlizados para difundir. El hecho de que los textos de las humanidades caduquen más lentamente  
2024 | Revista Estudios de la Información, 2(2), 134-140.  
138  
Delgado, R.-M. (2024)  
que lo producido por otros bloques académicos también juega en contra, dado que el impacto de  
sus publicaciones puede retrasarse incluso décadas, lo que dificulta grandemente los ejercicios de  
evaluación. Luego los enfoques con base en los niveles de citación deben ser tasados disꢁnto, ya que  
estas se dan en una dinámica disꢁnta a las de las ciencias duras. Incluso la revisión por pares debe  
ser ajustada a las humanidades, complementada con estándares bibliométricos parꢁculares, por lo  
que, definiꢁvamente empatar las humanidades con la cultura de la métrica es en sí un área de  
estudio y un reto, dado que posiblemente haya resistencia de parte de los académicos poco  
acostumbrados a su uso y temerosos de evaluaciones desventajosas para sus trabajos.  
La IV parte se avoca a la evaluación de la invesꢁgación en las humanidades, relatando la  
iniciaꢁva del Consejo Europeo de Invesꢁgación, mismo que ha sido fundamental para dar capacidad  
de maniobra a jóvenes invesꢁgadores en las áreas de ciencias sociales y humanidades, inyectando  
innovación al proceso y reconfigurando las jerarquías académicas. Si bien el Consejo Europeo de  
Invesꢁgación no es una insꢁtución grande, su acꢁvidad ha logrado impactar posiꢁvamente los  
procesos evaluaꢁvos en Europa, elevando sus estándares gracias a sus valores de excelencia y su  
aplicación del rigor académico. Aunque el Consejo Europeo de Invesꢁgación ha conseguido crear  
una cultura de la evaluación inclusiva y diversa, que trasciende las fronteras europeas, y haciéndose  
de una reputación en la academia, quedan pendientes como la paridad de género, esꢁmular la  
parꢁcipación de algunos países que se están rezagando y se requiere de aumentar la representación  
de académicos de habla no inglesa, parꢁcularmente en las humanidades.  
La evaluación de las humanidades ha evolucionado a pesar de que las universidades han  
reaccionado lentamente a un mundo cambiante, sus estructuras rígidas han impedido una  
adaptación más ágil a los nuevos escenarios que la época exige, generando una brecha entre las  
necesidades actuales y la invesꢁgación. Se ha reiterado en esta obra que las humanidades no pueden  
incluirse en la tabula rasa que evalúa otros cuerpos disciplinares como las ciencias naturales,  
requieren de su propia versión y sus indicadores parꢁculares, así como revisiones por pares  
adecuadas a sus caracterísꢁcas disciplinares para obtener mediciones más objeꢁvas.  
El espíritu de esta disponibilidad al cambio se resume en las cuatro íes que fungen como  
indicadores de la calidad en humanidades, en las cuales se concentran los conceptos de  
infraestructura, innovación, interdisciplinariedad e internacionalidad, detrás de estos símbolos  
sintácꢁcos están las bibliotecas, archivos y museos, está la vocación de renovar los acervos, de crear  
conocimiento, se representa también la capacidad de dotar a los estudiantes de perspecꢁvas  
diversas, no univocistas casadas solamente con la fragmentación disciplinar, y la apertura que da  
una visión internacional es lo que todo programa académico de excelencia debe contener para  
complementar procesos invesꢁgaꢁvos que de otra manera se verían sumamente limitados por no  
decir que imposibilitados de lograr estándares mínimos de calidad.  
La parte V se enfoca en a los progresos logrados en Alemania, el capítulo presenta los  
resultados de la primera evaluación de invesꢁgación en humanidades, realizada en el campo de los  
estudios ingleses y americanos. A través de un análisis estadísꢁco de más de 4,000 evaluaciones  
realizadas por poco menos de 20 pares revisores, el texto evalúa la fiabilidad de los criterios  
uꢁlizados, destacando además que la canꢁdad de financiación externa no es un buen indicador de  
la calidad de la invesꢁgación.  
2024 | Revista Estudios de la Información, 2(2), 134-140.  
139  
Delgado, R.-M. (2024)  
Se reconoce que las culturas de publicación en humanidades están en transformación, con  
jerarquías informales emergentes. También se menciona la importancia del mulꢁlingüismo en las  
humanidades, pero se criꢁca que las políꢁcas actuales no promueven una prácꢁca mulꢁlingüe  
inteligente. Visto con opꢁmismo, se espera una recepción moderadamente posiꢁva de las  
evaluaciones en las humanidades por parte de los académicos, que verán las evaluaciones como una  
oportunidad para destacar sus logros, aunque se quejarán de la tediosa tarea de preparar los  
informes, una frustración que también comparꢁrán los evaluadores al leer algunos de los escritos.  
Del caso alemán es rescatable también el alto nivel de acuerdo entre los evaluadores, lo que  
indica que las categorías para evaluar la calidad de la invesꢁgación fueron bien definidas y  
permiꢁeron una calificación consistente. Sin embargo, el esfuerzo inverꢁdo en el proceso de  
evaluación es cuesꢁonado, dado que varias categorías reflejan las mismas propiedades subyacentes.  
Además, se observó que el financiamiento externo no correlaciona bien con la calidad de la  
invesꢁgación, y que la transferencia de conocimientos hacia insꢁtuciones no académicas ha tenido  
un papel menor en determinadas disciplinas, como es el caso de los estudios de inglés.  
Este úlꢁmo caso es el que más dudas deja, dado que no se demostró que el financiamiento  
externo elevase la calidad de la evaluación en la invesꢁgación, por lo menos en el caso de los estudios  
de inglés, esto a pesar de los aspectos posiꢁvos logrados, como el gran acuerdo general entre  
evaluadores y la suficiencia presupuestal, sin embargo, viendo con opꢁmismo el antecedente, se  
puede decir que se está en el camino correcto, el de intentar independientemente de que haya que  
corregir el rumbo por momentos.  
Una reflexión ulterior del texto radica en que los cienꢂficos sociales y académicos dedicados  
a las humanidades no son islas, que no están solos en estas —hasta ahora— cerꢁdumbres de que  
sus campos de estudio no pueden ser medidos de manera prácꢁca y pragmáꢁca, y que por lo mismo  
son diꢃciles de subvencionar o merecedoras de menos financiamientos. Que la preocupación por  
encajar en sistemas cuanꢁtaꢁvos de producꢁvidad académica puede ser resuelta si se trabaja en el  
diseño de instrumentos evaluaꢁvos adecuados y hay una organización y voluntad políꢁca para  
acordar y seguir dichos acuerdos. Definiꢁvamente se recomienda la lectura detallada de este libro,  
que rompe con muchas de las ideas preconcebidas que se ꢁenen no sólo de la evaluación de la  
invesꢁgación en ciencias sociales y humanidades en sí, sino de la naturaleza misma de dichas  
disciplinas y de cómo pueden ser abordadas desde perspecꢁvas más innovadoras.  
2024 | Revista Estudios de la Información, 2(2), 134-140.  
140