COARA2. Evaluación responsable

COARA y el impulso internacional de una evaluación responsable

Manuel Gertrudix - Grupo Ciberimaginario (URJC)

2A

COARA como síntesis de dos décadas de iniciativas transformadoras

La importancia de los modelos

La Bibliometría evaluativa como punto de partida

La Bibliometría evaluativa surgió como un apoyo al Peer Review, no como un sustituto.

Apoyo a la toma de decisiones

01

Verificabilidad y apertura de datos

Colaboración con los expertos

05

Principios

02

Multidimensionalidad métrica

Respeto de los contextos

04

03

Informe de la National Science Fundation (Narin, 1976)

Pero el uso de los indicadores ha derivado en las denominadas métricas quick and dirty: Bibliometría de escritorio (Moed, 2020) o Métricas de salón (Aguillo, 2022)

Y, aún así, triunfaron porque son....

Fáciles de entender

Rápidas de calcular

Son baratas de producir

Pero estas métricas han mostrado sus limitaciones

Las citas pueden ser numerosas aunque un artículo no sea bueno, o incluso sea fraudulento.

Las ventanas de citación (3-4 años) no suelen mostrar bien el impacto de un artículo. Hay áreas en las que las citas tardan mucho en aparecer.

La tasa de citación depende mucho del área de investigación.

Los sistemas de recolección de citas más relevantes no han considerado tradicionalmente libros y capítulos de libros.

La recolección de citas, y su número, varía mucho dependiendo del proveedor que las gestiona.

Mercado de citas y de revistas. Es un sistema que se puede manipular facilmente, lo que afecta a la credibilidad del índice h.

Las métricas alternativas pueden complementar, pero también son vulnerables.

Y todo se complica en un ecosistema de Inteligencia Artificial

Y algunos sesgos no deseados

Rethinking Research Assessment: Unintended Cognitive and Systems Biases DORA Tookit

Declaraciones internacionales medición de la actividad científico-académica

Sensorizar más el sistema: cuantitativo + cualitativo

COARA como síntesis de dos décadas de iniciativas transformadoras

ACAP | Valoración objetiva y estandarizada

Evaluación basada en la diversidad de medios de difusión.Una valoración más equitativa basada en evaluar más allá de las revistas científicas y métricas como el factor de impacto, incorporando una diversidad de medios.

Uso de indicadores de calidad diferenciados.Uso de criterios específicos según el tipo de producción académica, considerando aspectos como la identificación formal, la gestión editorial, la difusión y accesibilidad, y la calidad del contenido. Evaluación adaptada a la naturaleza de cada medio y evitando la sobredependencia de indicadores cuantitativos.

Enfoque prospectivo y adaptable.Anticipó la necesidad de criterios flexibles, enfatizando que las métricas no debían reemplazar el juicio experto y que la evaluación debía considerar el impacto social del conocimiento. También la importancia de actualizar periódicamente los criterios.

Criterios de clasificación (2007)

Almetrics | Ampliar el horizonte

Se necesitan nuevas métricas para evaluar el impacto académico en la era digital.Las métricas tradicionales como la revisión por pares y los conteos de citas son insuficientes.

Propone las altmetrics, que aprovechan datos de la web para medir la influencia académica de forma más rápida, amplia y abierta, incluyendo impactos fuera de la academia y a través de diferentes fuentes.

Las altmetrics también buscan mejorar los sistemas de revisión y recomendación a través de datos ricos y diversos, ofreciendo una visión más completa del impacto académico.

Altmetrics: a manifesto (2010)

DORA | ¿Qué dice la declaración?

DORA | Historias de innovación y cambio

Manifiesto de Leiden | Algunos enfoques diferenciales

El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador

Los datos y análisis deben estar abiertos a verificación por los evaluados

Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples

La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos

La excelencia en investigación de relevancia local debe ser protegida

La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación

Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta

Los indicadores deben ser examinados y actualizados periódicamente

10

Deben reconocerse los efectos sistémicos de la evaluación y los indicadores

Debe evitarse la concreción improcedente y la falsa precisión

CoARA | Un movimiento estructural y relativamente reciente (2022)

Coalición para la Reforma de la Evaluación de la Investigación

Impulsada por la European Science Foundation, con el apoyo de la Comisión Europea

El acuerdo ha sido firmado por más de 770 organizaciones

Capítulo Nacional de España, promovido por CRUE, ANECA y CSIC aprobado el 18/07/23

Capítulo Nacional de España, lanzado el 9 de febrero de 2024

Primer Foro de Intercambio de Capítulos Nacionales, Portugal, 22/23 febrero 2024

CoARA | Los compromisos que deben guiar la acción

Abandonar los usos inapropiados en la evaluación de la investigación de métricas basadas en revistas y publicaciones, en particular del Factor de Impacto de la Revista (JIF) y el índice h.

Basar la evaluación de la investigación principalmente en una evaluación cualitativa para la cual la revisión por pares es fundamental, respaldada por el uso responsable de indicadores cuantitativos.

Reconocer la diversidad de contribuciones y carreras en la investigación de acuerdo con las necesidades y la naturaleza de la investigación

Comprometer recursos para reformar la evaluación de la investigación según sea necesario para lograr los cambios organizacionales comprometidos

Evitar el uso de rankings de organizaciones de investigación en la evaluación de la investigación

Revisar y desarrollar criterios, herramientas y procesos de evaluación de la investigación

Evaluar prácticas, criterios y herramientas basados en evidencia sólida y el estado del arte en la investigación sobre investigación, y hacer que los datos estén disponibles abiertamente

10

Crear conciencia sobre la reforma de la evaluación de la investigación y proporcionar comunicación, orientación y capacitación transparentes sobre los criterios y procesos de evaluación, así como su uso

Intercambiar prácticas y experiencias para permitir el aprendizaje mutuo dentro y fuera de la Coalición

Comunicar los avances realizados en la adhesión a los Principios y la implementación de los Compromisos

CoARA | Grupos de trabajo

Red Divulga (CRUE) | Valoración de la divulgación científica

2B

Fomentar la ciencia abierta, las redes colaborativas y la internacionalización en el marco de RRI

Ciencia Abierta > Abrir la investigación

El artículo 37.2 de la Ley 17/2022 de la Ciencia, la Tecnología y la Innovación.

Artículo 37.2. El personal de investigación del sector público o cuya actividad investigadora esté financiada mayoritariamente con fondos públicos y que opte por diseminar sus resultados de investigación en publicaciones científicas, deberá depositar una copia de la versión final aceptada para publicación y los datos asociados a las mismas en repositorios institucionales o temáticos de acceso abierto, de forma simultánea a la fecha de publicación.

El depósito NO necesariamente implica la difusión en acceso abierto (publicaciones embargadas, por ejemplo)

Depositar artículos científicos, conjuntos de datos y otras contribuciones en repositorios de acceso abierto permite a las instituciones y a los investigadores:

1. Controlar su producción académica
2. Preservar las publicaciones
3. Facilitar su indización por agregadores y bases de datos abiertas que visibilizan y difunden dichas contribuciones.

Los repositorios, que dan la infraestructura

REPOSITORIO INSTITUCIONAL

REPOSITORIO TEMÁTICO

REPOSITORIO DE DATOS

REPOSITORIO GENERALISTAS

CARACTERÍSTICAS

Repositorios | Institucionales

Repositorios | De datos

Repositorios | Generalistas

Repositorios | Temáticos y de preprints

Plataformas de publicación abierta | ORE

Un enfoque diferente

• Revisión editorial previa, pero revisión por pares post-publicación.
• Revisión abierta: retroalimentación abierta y transparente
• Acceso abierto y sin APC's
• Publicación rápida
• Publicación de datos abiertos de la investigación (subyacentes y extendidos)
• Integra métricas, ORE y Zenodo, Almetrics, y citas de GE...

Revistas Diamante en Europa | Proyecto DIAMAS

Impulso del acceso abierto diamante

• Desarrollo de normas, directrices y prácticas comunes para el sector de la publicación en acceso abierto.
• Apoyo sostenible a las actividades de publicación diamante en toda Europa.
• Impulso del Action Plan for Diamond Open Access: sin costes por publicar, sin costes por leer

Depósito en repositorios institucionales

Recomendaciones de la Red de Bibliotecas Universitarias y Científicas Españolas (REBIUN), en colaboración con ANECA

Y en un marco de diálogo abierto, para una Investigación e innovación Reponsable (RRI)

2003

2013

2006

1988

ELSA

Ethical, Legal and Social Aspects research

RRI

RRI

RRI

Concepto Responsible Research and Innovation

Transversalmente desde Horizon 2020

Proyecto del 6º Programa marco

¿Qué hacemos cuando seguimos los principios de la RRI?

Garantizar que la R&I aborde los desafíos sociales

Buscamos sacar a la luz cuestiones relacionadas con la R&I para anticipar sus consecuencias e involucrar a la sociedad en el debate sobre cómo la ciencia y la tecnología pueden ayudarnos a crear el mundo que queremos.

RRI

Alinear la R&I con los valores, necesidades y expectativas de la sociedad

Abrir la R&I a todos los actores y niveles

La RRI requiere incluir a todos los actores y considerar cuestiones clave específicas y dimensiones del proceso

Qué cambia COARA en el modelo de evaluación de la actividad científica: necesidad de alineación institucional © 2025 by Manuel Gertrudix (Grupo Ciberimaginario-URJC) is licensed under CC BY-SA 4.0. To view a copy of this license, visit https://creativecommons.org/licenses/by-sa/4.0/

Martín-Martín, A., & Delgado López-Cózar, E. (2025). Invasion of the journal snatchers: How indexed journals are falling into questionable hands. Zenodo. https://doi.org/10.5281/zenodo.14766415

RePEc (Research Papers in Economics) es una iniciativa que busca potenciar la difusión de la investigación en Economía y áreas afines. Queremos hacer que la investigación sea más accesible tanto para los autores como para los lectores. RePEc es un esfuerzo de colaboración colectiva: a) miles de personas y organizaciones aportan los datos subyacentes, b) un equipo central de contribuyentes gestiona el sistema yc) las organizaciones patrocinadoras proporcionan la infraestructura. Como tal, la iniciativa RePEc no tiene gastos centrales y, por tanto, puede proporcionar todos los servicios de forma gratuita a todos los usuarios.

Efecto Mateo

• Los recursos a menudo fluyen hacia quienes ya los tienen.
• Ejemplo: Una referencia que ha sido muy citada puede ser aún más citada en cierta medida porque los investigadores consideran que esas citas muestran que sea importante. También, los investigadores con muchas subvenciones previas es más probable que obtengan más proyectos.
• Por qué es problemático: Si los evaluadores no tienen tiempo o motivación para examinar los resultados en detalle, esto puede hacer que el acceso a los recursos sea aún menos equitativo.

Efecto halo

• Las impresiones positivas de atributos individuales influyen en nuestras opiniones generales.

• Ejemplo: Se piensa que un candidato de una institución prestigiosa tiene más potencial que uno de una universidad menos conocida.

• Por qué es problemático: Dar un trato preferencial a las personas basado en atributos heredados pueden reforzar normas no equitativas, que puede excluir a candidatos que de otro modo serían considerados por igual.

La Red de Investigación en Ciencias Sociales es un depósito de preimpresiones dedicadas a la rápida difusión de investigaciones académicas en ciencias sociales, humanidades, ciencias de la vida y ciencias de la salud, entre otras. Elsevier compró SSRN de Social Science Electronic Publishing Inc. en mayo de 2016

Sesgo de confirmación

• Tendemos a descartar las evidencias que no se ajustan a nuestros juicios o ideas preconcebidas iniciales.
• Ejemplo: Seleccionar información de un CV para confirmar la opinión que uno ya tiene, o descartar posibles advertencias o consideraciones porque un candidato ya ha sido aceptado como apto.
• Por qué es problemático: Nuestras concepciones iniciales a menudo se basan en experiencias subjetivas y el acceso a datos limitados.

Sesgo del statu quo

• A menudo tomamos el camino de menor resistencia a menos que haya fuertes razones para no hacerlo.
• Ejemplo: Continuar utilizando citas de revistas académicas como indicador principal de impacto o calidad, en lugar de considerar indicadores cuantitativos alternativos de valor en el mundo real.
• Por qué es problemático: Las personas a menudo nos aferramos a procesos consolidados, aunque sean menos eficaces, porque percibimos que arreglarlos o adoptar otros nuevos supone demasiado esfuerzo.

El personal investigador en los medios

El personal del CSIC que participe en actividades de docencia, difusión y divulgación no deberá comprometer la imagen ni la credibilidad del CSIC. La información científica que se difunda a través de redes sociales y portales de internet deberá estar contrastada, verificada, actualizada y contextualizada como requiere la comunicación científica. Se utilizará un lenguaje accesible y aséptico, de manera que resulte inteligible por el público no especializado y se eviten distorsiones y exageraciones sensacionalistas, así como la divulgación indebida de datos de carácter personal. Asimismo, cuando se viertan opiniones personales se enfatizará que lo manifestado no tiene por qué reflejar la postura o criterio institucional. El personal del CSIC no podrá arrogarse representación institucional cuando realice actividades de divulgación a título particular.

Sesgo de disponibilidad

• Los datos anecdóticos, importantes o fáciles de recordar pueden sesgar de forma subyacente nuestras prioridades.
• Ejemplo: Priorizar anécdotas individuales o memorables, tanto a favor como en contra, como obtener una subvención reconocida.
• Por qué es problemático: Ponderar en exceso la información que más fácilmente nos viene a la mente puede resultar en no considerar otras evidencias importantes y perder la visión general de los méritos.

El papel de la IA en la investigación científica

• Aspectos éticos (desafíos de mantener la integridad en la era digital)
• Cuestiones jurídicas (derechos de propiedad intelectual)

Declaraciones recientes

• Declaración de Heredia. Principios sobre el uso de inteligencia artificial en la edición científica

• Authorship and AI Tools de COPE. Uso de herramientas de IA en el proceso de publicación científica

Europe PMC es un repositorio gratuito de literatura biomédica y de ciencias de la vida que ofrece acceso a una amplia gama de recursos, incluyendo artículos de revistas, preprints, patentes, libros, y más.

El estudio “Google Scholar, Web of Science, and Scopus: a systematic comparison of citations in 252 subject categories” (2018) de Martín-Martín et al. analiza la cobertura y las diferencias en el número de citas recopiladas por Google Scholar (GS), Web of Science (WoS) y Scopus. Hallazgos:

1. GS tiene la mayor cobertura en todas las áreas (93%-96%), superando ampliamente a Scopus (35%-77%) y WoS (27%-73%).
2. GS incluye casi todas las citas de WoS (95%) y Scopus (92%), además de muchas citas únicas de fuentes no indexadas en las otras bases, como tesis, libros y conferencias, en su mayoría en idiomas distintos al inglés (19%-38%).
3. Aunque GS recoge más citas, la correlación de citas entre GS y WoS/Scopus es alta (0.78-0.99), siendo menor en humanidades y ciencias sociales.
4. Estos hallazgos sugieren que GS es un superset de WoS y Scopus, proporcionando una mayor cobertura, pero con la inclusión de documentos de menor impacto, lo que plantea desafíos para su uso en evaluaciones académicas.

Eprints in Library and Information Science (E-LIS) es un repositorio internacional de acceso abierto para artículos académicos en Library and Information Science (LIS). Hasta la fecha se han archivado más de 12.000 artículos.Es de libre acceso, está alineado con el movimiento de Acceso Abierto (OA) y es una empresa voluntaria.

Efecto ancla

• El primer dato que vemos o escuchamos fija el estándar sobre el que juzgamos los datos siguientes.
• Ejemplo: Utilizar la propia vida personal como indicador para juzgar las experiencias de los demás.
• Por qué es problemático: Los datos de anclaje iniciales definen lo que se considera "normal" estableciendo con qué se comparan todos los demás datos, lo que puede sesgar nuestros puntos de referencia al enfatizar las comparaciones relativas entre opciones en lugar de su valor real.

Ley de Campbell

• "Cuanto más se utilice un indicador cuantitativo para la toma de decisiones, más sujeto estará a corrupción y más distorsionará los procesos que pretende monitorizar".
• Ejemplo: Los sistemas de recompensa que se basan en cualidades fácilmente mensurables (como las citas y la publicación en publicaciones con alto JIF) pueden llevar a las personas a “jugar” con el sistema.
• Por qué es problemático: Las medidas cuantitativas tienen un impacto enorme en la forma en que se recompensa a las personas, pueden aumentar la tentación de centrarse en un conjunto limitado de actividades y reducir la inversión en otros logros significativos, pero menos recompensados.

¿Cuáles elegir? (en la convocatoria de sexenios)

• Debe estar mantenido consistentemente por una institución, p. ej. una Universidad (repositorio institucional) o por una comunidad disciplinar establecida o institución con perfil disciplinar que tienen una garantía de perdurabilidad y mantenimiento en el tiempo y que cumplen con los estándares internacionales para la agregación de los materiales depositados en él.
• No son repositorios válidos las aplicaciones o sitios web con posibilidad de almacenamiento y difusión sin cumplir estándares de interoperabilidad y/o funciones de preservación, o que dependen directamente de agentes editoriales. Por ejemplo, no son repositorios las bases de datos bibliográficas, los catálogos bibliográficos, las redes sociales científicas (ej. ResearchGate, Academia.edu).
• Tampoco son repositorios válidos, a los efectos de esta convocatoria de sexenios, las plataformas de desagregación de contenidos (por ejemplo, Dialnet).

Una preimpresión es un manuscrito completo compartido con una audiencia pública sin revisión por pares. A menudo, los preprints también se envían para revisión por pares y publicación en una revista académica tradicional. Las preimpresiones cargadas en OSF Preprints o en un servidor de preimpresiones comunitario aceleran la comunicación académica y el acceso público

No hay grupos de trabajo específicos para esta cuestión

• Aunque se han puesto en marcha iniciativas para impulsar modelos de financiación en cascada, como Proyecto CoARA Boost, impacto limitado.

Tres tipos de proyectos, cada uno dirigido a instituciones en diferentes etapas de su proceso de reforma:

1. Proyectos piloto institucionales (hasta €30,000, duración de 1 año): Probar nuevos modelos de evaluación y enfoques en áreas específicas.
2. Proyectos de Colaboración (Teaming Projects) (hasta €40,000, duración de 1 año): Facilitar el intercambio de conocimientos entre organizaciones con diferentes niveles de experiencia.
3. Proyectos de cambio Institucional (hasta €60,000, duración de 1 año): Proyectos más amplios. Cambios institucionales a largo plazo.