RESEÑA
34
e-ISSN: 2992-8184
2024 | Revista Estudios de la Información, 2(2), 34-40
https://doi.org/ 10.54167/rei.v2i2.1659
Ochsner, M., Hug, S. E. y Daniel, H.-D. (Editors) (2016).
Research Assessment in the Humanies: Towards Criteria
and Procedures. Springer Open
Recibido: 30/08/2024 ■ Revisado: 16/08/2024 ■ Aceptado: 11/09/2024
Cómo citar: Delgado, R.-M. (2024). Reseña: Research Assessment in the
Humanities: Towards Criteria and Procedures. Revista Estudios
de la Información, 2(2), 1-7. https://doi.org/10.54167/rei.v2i2.1552
Aunque el texto en cuesón se comenzó a escribir dentro del marco
de la conferencia ‘Research Quality in theHumanies:Towards Criteria and
Procedures for Evaluang Research’ en 2010, resultó ser el crisol donde
convergieron los resultados de múlples colaboradores de disntos países
pero con inquietudes comunes, hablamos de un cúmulo de 18 estudios
bien fundamentados y ordenados secuencialmente, elaborados por 28
académicos reconocidos internacionalmente originarios de 13 naciones
preponderantemente europeas.
El documento ubica a las ciencias sociales y humanidades en empo y espacio presentes,
sin importar que el texto casi llega a los 15 años que se comenzó a escribir, se ene nocia de que
los autores siguen trabajando en el mismo proyecto, sobre la misma línea temáca por lo que
aunque hay avances, la situación prevalece; en las áreas citadas persiste la resistencia a las
esmaciones derivadas de los indicadores basados en el número de citaciones conseguidas, y es en
este esquema que se advierte sobre una presión incremental sobre dichos campos disciplinares para
adecuarse a un marco evaluavo de naturaleza cuantava ulizado en las ciencias naturales,
ingenieriles y de la salud, no obstante, sus diferencias inherentes.
No obstante que los autores son mayoritariamente alemanes y suizos, los aportes permiten
asumir que se presenta una panorámica del tópico central presumiblemente colegiada dado que
como se verá más adelante, las conclusiones son similares. Es notable el esfuerzo realizado por los
editores para reunir académicos presgiados de disntos contextos de las ciencias sociales y
humanidades (internacionalmente) que convergen en la iniciava de búsqueda de formas de
evaluación de la invesgación, prácca que conlleva la dicultad intrínseca de la gran diversidad de
formas de realizar invesgación y comunicar la misma en las áreas señaladas
René-Manuel Delgado
Universidad Autónoma de Chihuahua (México)
Delgado, R.-M. (2024)
35
2024 | Revista Estudios de la Información, 2(2), 34-40
https://doi.org/ 10.54167/rei.v2i2.1659
En aras de discriminar la calidad en material producido en invesgación dentro de las
ciencias sociales y las humanidades, el texto aborda enfoques novedosos para una evaluación más
objeva y eciente de sus procesos invesgavos, y para el efecto presenta un compendio de
estudios que documentalmente abarcan las úlmas dos décadas, y los cuales se complementan con
un análisis longitudinal de cinco años de duración, que no obstante que como limitante se puede
argumentar su eurocentrismo, es notable la intención de delidad de los datos, el rigor con que son
planteados los mismos y de los limitaciones contextuales en los que estos se maniestan y que son
reconocidas en el texto.
La presente reseña no es en sí una evaluación del libro propiamente, puesto que aduciendo
al contenido del mismo, no sería objeva una esmación del material al no ser expertos en
evaluación de invesgaciones humaníscas los que realizamos este análisis, pero lo que sí se puede
hacer es aportar una opinión académicamente informada desde una perspecva epistemológica
resaltando si se encuentra relevancia en el tema, si los datos son ilustravos, si el conocimiento
presentado se percibe valioso y el material ha sido didáccamente estructurado de manera que sea
comprensible y coadyuve a un aprendizaje sobre el tema, y es desde esta perspecva que se
recomienda su lectura.
La parte introductoria enfaza la sintomatología, las causalidades y los factores transversales
que impactan al problema presentando un contexto informado; el diferencial en costes de la
producción cienca en las denominadas disciplinas duras, el desdén inicial recíproco entre las
ciencias blandas y la supervisión bibliométrica y los desalentadores resultados obtenidos en las
etapas tempranas de mediciones ocasionadas por las divergencias en metodologías para invesgar
y formas y medios de comunicar los hallazgos. A lo anterior cabe añadir el surgimiento de opositores
de ciertos sectores académicos. De igual forma se mencionan las práccas exitosas, como la
iniciava de las ‘swissuniversies’, proyecto de estandarización para visibilizar la producvidad en
ciencias sociales y humanidades, pero quizá la prácca más relevante es la de prestar oídos a los
académicos afectados por así decirlo, sobre la ecacia y praccidad del diseño de las herramientas
de evaluación recién creadas.
La parte inicial deja en claro el problema central y su complejidad, la dicultad para evaluar
las humanidades, dejando de lado las obvias diferencias con otros campos de la invesgación
académica, dentro de las mismas de una disciplina a otra hay diferencias que impiden soluciones
unívocas. Es en esta sección que se sugiere que al crearse bases de datos en estas áreas disciplinares,
al empo se diseñen conjuntos de procedimientos estándar para el uso correcto de las mismas bases
de datos, sin que haya duda de cómo debe medirse o aplicarse lo ahí contenido.
El apartado también revela cierta incapacidad del académico del sector humanista para
buscar y conseguir nanciamiento para sus proyectos, y esto a decir del texto es debido
parcularmente a una falta de organización, y organizarse requiere de primero tener un sistema de
procedimientos de evaluación de la invesgación, que permita a los tomadores de decisiones
nancieras saber lo que están pagando. Si tales temas preocupan a los europeos y a los apoderados
de la lingua franca, el contexto lanoamericano no es ajeno a dichas complejidades metodológicas,
donde, desde hace empo se preveía que sólo habría dos caminos posibles, hacer lo que las
denominadas ciencias duras, esto es, entregarse a los formatos cuantavos por entero, o bien,
Delgado, R.-M. (2024)
36
2024 | Revista Estudios de la Información, 2(2), 34-40
https://doi.org/ 10.54167/rei.v2i2.1659
pugnar por fundar un sistema evaluavo con liación identaria, lo que no imaginó es la tercera vía
europea, una mezcla de ambas ideas.
El libro se integra de cinco partes: (1) el contexto presente (del momento de escritura del
libro) mismo que ya se adelantó; (2) la segunda parte describe el estado de cosas en el sistema de
rankings y bases de datos de publicaciones fundamentados en el concepto de calidad; (3) la siguiente
sección profundiza yendo al núcleo, la problemáca de la aplicación de la bibliometría en las
humanidades; y siguiendo una secuencia, (4) aquí se exhiben procedimientos evaluavos
especializados en humanidades a priori, explorando su potencial; y nalmente la parte (5), que pone
el foco en el escenario ex post facto de un proceso de evaluación de la invesgación en ciencias
sociales y humanidades cuyos estándares se han recongurado totalmente para adecuarse a las
necesidades parculares del cuerpo disciplinar e incluso con diferencias entre disciplinas del mismo
conjunto.
En estos párrafos se reeja una concienciación hacia la nal aceptación de que la medición
cuantava es necesaria en las ciencias sociales y humanidades, y que estas áreas deben madurar
al grado de involucrarse en mejorar dichos procedimientos evaluavos, más que resisrse a los
mismos. En la parte I se inicia estableciendo la poca idoneidad de la bibliometría convencional para
realizar esmaciones adecuadas a los trabajos emanados de las ciencias sociales y humanidades,
pero se maniesta la necesidad de mediciones cuantavas diseñadas especialmente para cubrir las
áreas señaladas; los autores se cuesonan sobre lo que deben evaluar y cómo, establecer el
propósito y determinar si lo que se busca es la calidad como prioridad.
De hecho, el texto dedica uno de los trabajos en la primera parte a denir la calidad como
concepto y aprovechar este para visibilizar la invesgación humanísca y se sugieren estrategias para
sacar provecho de la misma en los procesos de revisión por pares, considerados no sólo
complementarios de las esmaciones bibliométricas sino fundamentales para una valoración
exitosa. Pese a lo referenciado, la urgencia primera fue denir lo que es la invesgación de calidad
en las CSH, y siendo fundamentada la idea como piedra angular y de ahí se derivaron indicadores y
criterios y muy importante, se ha escuchado a los opositores para lograr un convencimiento
informado.
Es remarcable el consenso logrado en la totalidad de las universidades suizas para llevar a
cabo las iniciavas propuestas en el proyecto ‘Mesurer les performances de la recherche’, en francés
“medir el rendimiento de la invesgación”, narrado en esta sección, —algo de lo que podrían
aprender mucho nuestras universidades autónomas—, consistente en el establecimiento de un
cuerpo especializado encargado de realizar evaluaciones de la invesgación en ciencias sociales y
humanidades especialmente diseñadas, esto es, un comité aceptado y respetado por todos, donde
habiendo unicado criterios se puso en marcha un innovador proceso evaluavo de carácter
bibliométrico, con la mente abierta para ver su desempeño y limitaciones.
Otras iniciavas interesantes reseñadas en el documento son, por ejemplo, la detección de
áreas de oportunidad descubiertas por la bibliometría convencional y diseñar acciones de ágil
respuesta a dichos desaos. El someter a prueba y error el desarrollo de criterios de evaluación para
las humanidades; realización de benchmarking internacional en disciplinas especícas como
comunicación y educación, poniendo énfasis en las diferencias socio-interculturales y esmar su
Delgado, R.-M. (2024)
37
2024 | Revista Estudios de la Información, 2(2), 34-40
https://doi.org/ 10.54167/rei.v2i2.1659
relevancia, así como resaltar la importancia de la organización, especialmente en áreas señaladas,
como la apertura lingüísca, en implementar talleres de transferencia de conocimiento experiencial,
entre otros. Se constuyó una red que sosene reuniones regulares, realizan eventos donde llegan
a exponer conferencistas internacionales expertos en las áreas y representantes de grupos de
interés, dado que se han idencado en los trabajos las disntas audiencias de los trabajos
humaníscos.
Se menciona el caso español como paradigmáco para ejemplicar el punto, mismo que
traemos a colación debido a que según el mismo texto aquí reseñado, se indica que España es el
noveno lugar en producvidad académico- cienca, y ene el puesto 11 en citaciones, y a pesar de
publicar una candad impresionante de revistas indexadas, estas son vícmas de infravaloración por
parte del proceso de evaluación de los ‘consorcios de la ciencia’, los cuales relegan determinadas
lenguas a un nivel periférico volviendo el ciclo un círculo vicioso, al no lograrse un impacto en índices
relevante, el conocimiento generado no sale de una órbita regional.
La parte II nos habla del denominado modelo noruego, otra herramienta que está
signicando un parteaguas en las bases de datos académicas en ciencias sociales y humanidades y
que de crecer puede signicar si no una fuerte amenaza compeva para WoS o Scopus, sí el
siguiente paso en la evolución informacional de ese po de almacenamientos masivos de
información; la ventaja que ofrece dicho modelo es contener toda la literatura revisada por pares en
todas las áreas del conocimiento —esto como indicador único—, y esto incluye a las humanidades
en todos sus formatos y lenguajes más ulizados, lo que signica una proeza de las tecnologías de
la información y posiblemente la esperanza de por n hacer que parcularmente las humanidades
y la bibliometría lleguen a entenderse.
Uno de los capítulos en esta parte está dedicado al caso español del cual ya se habló, sólo
que se mira el desarrollo de herramientas locales como una ventaja y esto es porque estas no se
basan exclusivamente en los registros de citaciones; los libros y sus capítulos son vehículos más
socorridos que las revistas y sus arculos en el caso de las humanidades y esta diferencia se marca
más en España, lo que la vuelve el terreno idóneo para probar nuevos sistemas de evaluación. Los
indicadores que están siendo experimentados pueden mejorarse y adaptarse a los requerimientos
especícos de ciertas disciplinas, pero sólo se dará un salto de calidad si se logra que la comunidad
cienca completa acepte un nuevo sistema (como en Suiza), que se interesen y vinculen los
emporios informacionales dominantes, y que los polícos apoyen nancieramente tale iniciavas.
En lo tocante a la parte III se profundiza en el uso de la bibliometría, pero algunos autores
hacen hincapié en que sentar las bases: de un programa exitoso es esencial y esto parte de una
denición básica de los fundamentos, esto es por ejemplo establecer de manera precisa lo que son
las humanidades, por ejemplo. En disntas partes del mundo suelen integrarse de diferentes
disciplinas, sin embargo, hay algunas que son factor común y están presentes en todas las pologías:
arte, losoa, música, lenguaje, estudios literarios y religiosos, y podríamos añadir que sus
derivados, ya que posteriormente se hace referencia a la lingüísca para ejemplicar que es una
disciplina más desarrollada en las revistas ciencas y en cambio los estudios literarios es un campo
que se desarrolla más en el libro como tal.
Delgado, R.-M. (2024)
38
2024 | Revista Estudios de la Información, 2(2), 34-40
https://doi.org/ 10.54167/rei.v2i2.1659
La audiencia o mejor dicho las audiencias de las humanidades son heterogéneas, y esto
permea los textos, que pueden ser escritos para uno o para otros, incluso hay autores que hacen
diferencia entre audiencias académicas nacionales e internacionales y escriben consecuentemente,
con consideraciones desde el público objevo hasta el po de literatura, esto como directrices aún
más iluminadoras que los canales ulizados para difundir, y naturalmente todo ello complejiza las
posibilidades de una evaluación prácca y generalizada.
Una medida, por ejemplo, para facilitar dicha evaluación es la que se sugiere en este
desarrollo del texto, la indexación de los libros, ya que representa el principal canal de difusión de
las humanidades, y complementar con mediciones altmétricas, ulizando registros contabilizados
en X (antes Twier) y por contenidos en Mendeley o Zotero.
El hilo literario no está exento de situaciones poco comunes y la paradoja de las citaciones
en las humanidades es una de ellas, esta se hace presente en esta parte del libro, donde el número
de citas es claramente desdeñado como indicador de desempeño académico, pero la cita en sí es
entrañablemente apreciada (siempre que no sean muchas) como un elemento inherente a la cultura
académica, una manera de reconocer el valor de las ideas del otro; se debe pugnar por conciliar esta
ambivalencia. Es en esta sección donde se realiza una disección a las citas en la dimensión
humanísca y se explica por qué debe adoptarse y adecuarse a la acvidad literaria por principio.
Por otra parte, se deja de relieve la presunta incapacidad de la bibliometría para medir la
calidad, a decir de los académicos pertenecientes a dicho gremio, idea de la que parte su rechazo a
dichas métricas, no obstante, los autores aducen un malentendido, ya que la parte cualitava la cual
les preocupa más se cubre y complementa con la revisión por pares. Cierra la sección con hechos
fundamentales como que la citación es escasa per se en la literatura, ya sea en revistas indexadas o
en los libros, es por eso que las bases de datos bibliométricas en su estado actual no reejan la
realidad de la literatura, en su impacto o calidad, y por lo tanto la revisión por pares debe ser más
invesgada para compensar y complementar la evaluación pernente.
Algo llamado indicadores de calidad en la invesgación educava europea (EERQI por sus
siglas en inglés), es un proyecto que paró de la premisa de que la invesgación en la educación es
el antecedente perfecto para construir modelos de caso para la invesgación en ciencias sociales y
humanidades, por lo cual se constuyó como protopo de nuevas metodologías e indicadores
inéditos cuya ventaja principal es su funcionalidad en diversos idiomas, y el concepto ha sido
transferido con éxito a otros campos disciplinares aparte del educavo, por lo cual el proyecto
promete dado que en las pruebas ha demostrado ecientar la evaluación de la invesgación,
haciendo el proceso más rápido, y su naturaleza cuan-cualitava así como su funcionalidad
mullingüe arrojan un informe más sustentado de la calidad de los proyectos.
Ya se ha reiterado la intención de adaptar la bibliometría a las ciencias sociales y
humanidades, lo cual conlleva dicultades de inicio como que la audiencia o mejor dicho las
audiencias de las humanidades son heterogéneas, y esto permea los textos, que pueden ser escritos
para uno o para otros, incluso hay autores que hacen diferencia entre audiencias académicas
nacionales e internacionales y escriben consecuentemente, con consideraciones desde el público
objevo hasta el po de literatura, esto como directrices aún más iluminadoras que los canales
ulizados para difundir. El hecho de que los textos de las humanidades caduquen más lentamente
Delgado, R.-M. (2024)
39
2024 | Revista Estudios de la Información, 2(2), 34-40
https://doi.org/ 10.54167/rei.v2i2.1659
que lo producido por otros bloques académicos también juega en contra, dado que el impacto de
sus publicaciones puede retrasarse incluso décadas, lo que diculta grandemente los ejercicios de
evaluación. Luego los enfoques con base en los niveles de citación deben ser tasados disnto, ya que
estas se dan en una dinámica disnta a las de las ciencias duras. Incluso la revisión por pares debe
ser ajustada a las humanidades, complementada con estándares bibliométricos parculares, por lo
que, denivamente empatar las humanidades con la cultura de la métrica es en sí un área de
estudio y un reto, dado que posiblemente haya resistencia de parte de los académicos poco
acostumbrados a su uso y temerosos de evaluaciones desventajosas para sus trabajos.
La IV parte se avoca a la evaluación de la invesgación en las humanidades, relatando la
iniciava del Consejo Europeo de Invesgación, mismo que ha sido fundamental para dar capacidad
de maniobra a jóvenes invesgadores en las áreas de ciencias sociales y humanidades, inyectando
innovación al proceso y recongurando las jerarquías académicas. Si bien el Consejo Europeo de
Invesgación no es una instución grande, su acvidad ha logrado impactar posivamente los
procesos evaluavos en Europa, elevando sus estándares gracias a sus valores de excelencia y su
aplicación del rigor académico. Aunque el Consejo Europeo de Invesgación ha conseguido crear
una cultura de la evaluación inclusiva y diversa, que trasciende las fronteras europeas, y haciéndose
de una reputación en la academia, quedan pendientes como la paridad de género, esmular la
parcipación de algunos países que se están rezagando y se requiere de aumentar la representación
de académicos de habla no inglesa, parcularmente en las humanidades.
La evaluación de las humanidades ha evolucionado a pesar de que las universidades han
reaccionado lentamente a un mundo cambiante, sus estructuras rígidas han impedido una
adaptación más ágil a los nuevos escenarios que la época exige, generando una brecha entre las
necesidades actuales y la invesgación. Se ha reiterado en esta obra que las humanidades no pueden
incluirse en la tabula rasa que evalúa otros cuerpos disciplinares como las ciencias naturales,
requieren de su propia versión y sus indicadores parculares, así como revisiones por pares
adecuadas a sus caracteríscas disciplinares para obtener mediciones más objevas.
El espíritu de esta disponibilidad al cambio se resume en las cuatro íes que fungen como
indicadores de la calidad en humanidades, en las cuales se concentran los conceptos de
infraestructura, innovación, interdisciplinariedad e internacionalidad, detrás de estos símbolos
sintáccos están las bibliotecas, archivos y museos, está la vocación de renovar los acervos, de crear
conocimiento, se representa también la capacidad de dotar a los estudiantes de perspecvas
diversas, no univocistas casadas solamente con la fragmentación disciplinar, y la apertura que da
una visión internacional es lo que todo programa académico de excelencia debe contener para
complementar procesos invesgavos que de otra manera se verían sumamente limitados por no
decir que imposibilitados de lograr estándares mínimos de calidad.
La parte V se enfoca en a los progresos logrados en Alemania, el capítulo presenta los
resultados de la primera evaluación de invesgación en humanidades, realizada en el campo de los
estudios ingleses y americanos. A través de un análisis estadísco de más de 4,000 evaluaciones
realizadas por poco menos de 20 pares revisores, el texto evalúa la abilidad de los criterios
ulizados, destacando además que la candad de nanciación externa no es un buen indicador de
la calidad de la invesgación.
Delgado, R.-M. (2024)
40
2024 | Revista Estudios de la Información, 2(2), 34-40
https://doi.org/ 10.54167/rei.v2i2.1659
Se reconoce que las culturas de publicación en humanidades están en transformación, con
jerarquías informales emergentes. También se menciona la importancia del mullingüismo en las
humanidades, pero se crica que las polícas actuales no promueven una prácca mullingüe
inteligente. Visto con opmismo, se espera una recepción moderadamente posiva de las
evaluaciones en las humanidades por parte de los académicos, que verán las evaluaciones como una
oportunidad para destacar sus logros, aunque se quejarán de la tediosa tarea de preparar los
informes, una frustración que también comparrán los evaluadores al leer algunos de los escritos.
Del caso alemán es rescatable también el alto nivel de acuerdo entre los evaluadores, lo que
indica que las categorías para evaluar la calidad de la invesgación fueron bien denidas y
permieron una calicación consistente. Sin embargo, el esfuerzo inverdo en el proceso de
evaluación es cuesonado, dado que varias categorías reejan las mismas propiedades subyacentes.
Además, se observó que el nanciamiento externo no correlaciona bien con la calidad de la
invesgación, y que la transferencia de conocimientos hacia instuciones no académicas ha tenido
un papel menor en determinadas disciplinas, como es el caso de los estudios de inglés.
Este úlmo caso es el que más dudas deja, dado que no se demostró que el nanciamiento
externo elevase la calidad de la evaluación en la invesgación, por lo menos en el caso de los estudios
de inglés, esto a pesar de los aspectos posivos logrados, como el gran acuerdo general entre
evaluadores y la suciencia presupuestal, sin embargo, viendo con opmismo el antecedente, se
puede decir que se está en el camino correcto, el de intentar independientemente de que haya que
corregir el rumbo por momentos.
Una reexión ulterior del texto radica en que los ciencos sociales y académicos dedicados
a las humanidades no son islas, que no están solos en estas —hasta ahora— cerdumbres de que
sus campos de estudio no pueden ser medidos de manera prácca y pragmáca, y que por lo mismo
son diciles de subvencionar o merecedoras de menos nanciamientos. Que la preocupación por
encajar en sistemas cuantavos de producvidad académica puede ser resuelta si se trabaja en el
diseño de instrumentos evaluavos adecuados y hay una organización y voluntad políca para
acordar y seguir dichos acuerdos. Denivamente se recomienda la lectura detallada de este libro,
que rompe con muchas de las ideas preconcebidas que se enen no sólo de la evaluación de la
invesgación en ciencias sociales y humanidades en sí, sino de la naturaleza misma de dichas
disciplinas y de cómo pueden ser abordadas desde perspecvas más innovadoras.
