Want to create interactive content? It’s easy in Genially!

Get started free

12. ED-RRI y Declaraciones - Madri+d25

URJC

Created on February 14, 2025

Start designing with a free template

Discover more than 1500 professional designs like these:

Essential Business Proposal

Project Roadmap Timeline

Step-by-Step Timeline: How to Develop an Idea

Artificial Intelligence History Timeline

Mind Map: The 4 Pillars of Success

Big Data: The Data That Drives the World

Momentum: Onboarding Presentation

Transcript

La comunicación científica en el enfoque de la RRI y de las declaraciones e iniciativas internacionales

Manuel Gertrudix - Grupo Ciberimaginario (URJC)

Es el mejor de los buenos quien sabe que en esta vida todo es cuestión de medida:un poco más, algo menos...

Antonio Machado, Proverbios y Cantares, XIII

Medir tiene efectos Nuevos enfoques de la bibliometría y la webmetría

Torres-Salinas, D. (2023). Entre métricas y narraciones: definición y aplicaciones de la Bibliometría Narrativa. Anuario ThinkEPI, 17. https://doi.org/10.3145/thinkepi.2023.e17a30 Torres-Salinas, D., Orduña-Malea, E., Delgado-Vázquez, A., & Arroyo-Machado, W. (2024). Fundamentos de Bibliometría Narrativa (v.1). Zenodo. https://doi.org/10.5281/zenodo.10512837

La Bibliometría evaluativa como punto de partida

La Bibliometría evaluativa surgió como un apoyo al Peer Review, no como un sustituto.

Apoyo a la toma de decisiones

01

Verificabilidad y apertura de datos

Colaboración con los expertos

05

Principios

02

Multidimensionalidad métrica

Respeto de los contextos

04

03

Informe de la National Science Fundation (Narin, 1976)

Pero el uso de los indicadores ha derivado en las denominadas métricas quick and dirty: Bibliometría de escritorio (Moed, 2020) o Métricas de salón (Aguillo, 2022)

Y, aún así, triunfaron porque son....

Fáciles de entender

Rápidas de calcular

Son baratas de producir

Pero estas métricas han mostrado sus limitaciones

Las citas pueden ser numerosas aunque un artículo no sea bueno, o incluso sea fraudulento.

Las ventanas de citación (3-4 años) no suelen mostrar bien el impacto de un artículo. Hay áreas en las que las citas tardan mucho en aparecer.

La tasa de citación depende mucho del área de investigación.

Los sistemas de recolección de citas más relevantes no han considerado tradicionalmente libros y capítulos de libros.

La recolección de citas, y su número, varía mucho dependiendo del proveedor que las gestiona.

Mercado de citas y de revistas. Es un sistema que se puede manipular facilmente, lo que afecta a la credibilidad del índice h.

Las métricas alternativas pueden complementar, pero también son vulnerables.

Y todo se complica en un ecosistema de Inteligencia Artificial

Y algunos sesgos no deseados

Rethinking Research Assessment: Unintended Cognitive and Systems Biases DORA Tookit

Declaraciones internacionales medición de la actividad científico-académica

Sensorizar más el sistema: cuantitativo + cualitativo

Pero, ¿cómo? | Buscando métricas responsables

ACAP | Valoración objetiva y estandarizada

Evaluación basada en la diversidad de medios de difusión.Una valoración más equitativa basada en evaluar más allá de las revistas científicas y métricas como el factor de impacto, incorporando una diversidad de medios.

Uso de indicadores de calidad diferenciados.Uso de criterios específicos según el tipo de producción académica, considerando aspectos como la identificación formal, la gestión editorial, la difusión y accesibilidad, y la calidad del contenido. Evaluación adaptada a la naturaleza de cada medio y evitando la sobredependencia de indicadores cuantitativos.

Enfoque prospectivo y adaptable.Anticipó la necesidad de criterios flexibles, enfatizando que las métricas no debían reemplazar el juicio experto y que la evaluación debía considerar el impacto social del conocimiento. También la importancia de actualizar periódicamente los criterios.

Criterios de clasificación (2007)

Almetrics | Ampliar el horizonte

Se necesitan nuevas métricas para evaluar el impacto académico en la era digital.Las métricas tradicionales como la revisión por pares y los conteos de citas son insuficientes.

Propone las altmetrics, que aprovechan datos de la web para medir la influencia académica de forma más rápida, amplia y abierta, incluyendo impactos fuera de la academia y a través de diferentes fuentes.

Las altmetrics también buscan mejorar los sistemas de revisión y recomendación a través de datos ricos y diversos, ofreciendo una visión más completa del impacto académico.

Altmetrics: a manifesto (2010)

DORA | ¿Qué dice la declaración?

DORA | Historias de innovación y cambio

Manifiesto de Leiden | Algunos enfoques diferenciales

El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador

Los datos y análisis deben estar abiertos a verificación por los evaluados

Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples

La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos

La excelencia en investigación de relevancia local debe ser protegida

La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación

Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta

Los indicadores deben ser examinados y actualizados periódicamente

10

Deben reconocerse los efectos sistémicos de la evaluación y los indicadores

Debe evitarse la concreción improcedente y la falsa precisión

CoARA | Un movimiento estructural y reciente (2022)

Coalición para la Reforma de la Evaluación de la Investigación
Impulsada por la European Science Foundation, con el apoyo de la Comisión Europea
El acuerdo ha sido firmado por más de 700 organizaciones
Capítulo Nacional de España, promovido por CRUE, ANECA y CSIC aprobado el 18/07/23
Capítulo Nacional de España, lanzado el 9 de febrero de 2024
Primer Foro de Intercambio de Capítulos Nacionales, Portugal, 22/23 febrero 2024

CoARA | Los compromisos que deben guiar la acción

Abandonar los usos inapropiados en la evaluación de la investigación de métricas basadas en revistas y publicaciones, en particular del Factor de Impacto de la Revista (JIF) y el índice h.

Basar la evaluación de la investigación principalmente en una evaluación cualitativa para la cual la revisión por pares es fundamental, respaldada por el uso responsable de indicadores cuantitativos.

Reconocer la diversidad de contribuciones y carreras en la investigación de acuerdo con las necesidades y la naturaleza de la investigación

Comprometer recursos para reformar la evaluación de la investigación según sea necesario para lograr los cambios organizacionales comprometidos

Evitar el uso de rankings de organizaciones de investigación en la evaluación de la investigación

Revisar y desarrollar criterios, herramientas y procesos de evaluación de la investigación

Evaluar prácticas, criterios y herramientas basados en evidencia sólida y el estado del arte en la investigación sobre investigación, y hacer que los datos estén disponibles abiertamente

10

Crear conciencia sobre la reforma de la evaluación de la investigación y proporcionar comunicación, orientación y capacitación transparentes sobre los criterios y procesos de evaluación, así como su uso

Intercambiar prácticas y experiencias para permitir el aprendizaje mutuo dentro y fuera de la Coalición

Comunicar los avances realizados en la adhesión a los Principios y la implementación de los Compromisos

CoARA | Grupos de trabajo

Red Divulga (CRUE) | Valoración de la divulgación científica

CoARA y la Carta y Código europeos del investigación

La "Carta Europea del Investigador" y el "Código de Conducta para la Contratación de Investigadores" definen los roles, responsabilidades y derechos de los investigadores y sus empleadores a lo largo de la carrera investigadora.
La Carta y Código Europeos del Investigador, y CoARA, comparten principios comunes y complementarios:
  • Transparencia
  • Excelencia
  • Equidad
  • Sostenibilidad

Actividad

Reflexión sobre los compromisos de CoARA y las nuevas métricas

Actividad

Reflexión sobre nuevos principios y métricas

Objetivo: Reflexionar sobre cómo las nuevas fuentes de información e indicadores pueden contribuir a los compromisos de CoARA
Pasos:
  1. Revisa los indicadores de la imagen obtenidos por el CoARA Working. Pulsa la imagen para ampliar.
  2. Considerando los 10 compromisos que establece CoARA, y que hemos visto previamente:
    1. ¿Qué aportación crees que hacen este cambio de indicadores para evaluar mejor?
    2. ¿Qué limitaciones crees que tienen?
  3. Pasa a la pantalla siguiente y comparte tus reflexiones.

CoARA Working Group ACA Rethinking academic career assessment - Lessons and tools for reform

Actividad

Reflexión sobre nuevos principios y métricas

Y en un marco de diálogo abierto, para una Investigación e innovación Reponsable (RRI)

2003

2013

2006

1988

ELSA

Ethical, Legal and Social Aspects research

RRI

RRI

RRI

Concepto Responsible Research and Innovation

Transversalmente desde Horizon 2020

Proyecto del 6º Programa marco

¿Qué hacemos cuando seguimos los principios de la RRI?

Garantizar que la R&I aborde los desafíos sociales
Buscamos sacar a la luz cuestiones relacionadas con la R&I para anticipar sus consecuencias e involucrar a la sociedad en el debate sobre cómo la ciencia y la tecnología pueden ayudarnos a crear el mundo que queremos.

RRI

Alinear la R&I con los valores, necesidades y expectativas de la sociedad
Abrir la R&I a todos los actores y niveles

Y establecer, desde el inicio, un diálogo con todos los grupos de interés

La RRI requiere incluir a todos los actores y considerar cuestiones clave específicas y dimensiones del proceso

La comunicación científica en el enfoque de la RRI y de las declaraciones e iniciativas internacionales © 2025 by Manuel Gertrudix (Grupo Ciberimaginario-URJC) is licensed under CC BY-SA 4.0. To view a copy of this license, visit https://creativecommons.org/licenses/by-sa/4.0/

Martín-Martín, A., & Delgado López-Cózar, E. (2025). Invasion of the journal snatchers: How indexed journals are falling into questionable hands. Zenodo. https://doi.org/10.5281/zenodo.14766415

Efecto Mateo
  • Los recursos a menudo fluyen hacia quienes ya los tienen.
  • Ejemplo: Una referencia que ha sido muy citada puede ser aún más citada en cierta medida porque los investigadores consideran que esas citas muestran que sea importante. También, los investigadores con muchas subvenciones previas es más probable que obtengan más proyectos.
  • Por qué es problemático: Si los evaluadores no tienen tiempo o motivación para examinar los resultados en detalle, esto puede hacer que el acceso a los recursos sea aún menos equitativo.
Efecto halo
  • Las impresiones positivas de atributos individuales influyen en nuestras opiniones generales.
  • Ejemplo: Se piensa que un candidato de una institución prestigiosa tiene más potencial que uno de una universidad menos conocida.
  • Por qué es problemático: Dar un trato preferencial a las personas basado en atributos heredados pueden reforzar normas no equitativas, que puede excluir a candidatos que de otro modo serían considerados por igual.
Sesgo de confirmación
  • Tendemos a descartar las evidencias que no se ajustan a nuestros juicios o ideas preconcebidas iniciales.
  • Ejemplo: Seleccionar información de un CV para confirmar la opinión que uno ya tiene, o descartar posibles advertencias o consideraciones porque un candidato ya ha sido aceptado como apto.
  • Por qué es problemático: Nuestras concepciones iniciales a menudo se basan en experiencias subjetivas y el acceso a datos limitados.
Sesgo del statu quo
  • A menudo tomamos el camino de menor resistencia a menos que haya fuertes razones para no hacerlo.
  • Ejemplo: Continuar utilizando citas de revistas académicas como indicador principal de impacto o calidad, en lugar de considerar indicadores cuantitativos alternativos de valor en el mundo real.
  • Por qué es problemático: Las personas a menudo nos aferramos a procesos consolidados, aunque sean menos eficaces, porque percibimos que arreglarlos o adoptar otros nuevos supone demasiado esfuerzo.

La ética se centra en (1) la integridad de la investigación: la prevención de investigaciones y prácticas de investigación inaceptables; y (2) ciencia y sociedad: la aceptabilidad ética de los desarrollos científicos y tecnológicos. La igualdad de género consiste en promover equipos equilibrados en materia de género, garantizar el equilibrio de género en los órganos de toma de decisiones y considerar la dimensión de género en la I+i para mejorar la calidad y la relevancia social de los resultados. Gobernanza: los acuerdos que conduzcan a futuros aceptables y deseables deben ser (1) sólidos y adaptables al desarrollo impredecible de la I+i (gobernanza de facto); (2) lo suficientemente familiarizados como para alinearse con las prácticas existentes en I+D; (3) compartir la responsabilidad y la rendición de cuentas entre todos los actores; y (4) proporcionar instrumentos de gobernanza para fomentar realmente esta responsabilidad compartida. El Acceso Abierto aborda cuestiones de accesibilidad y propiedad de la información científica. El acceso libre y temprano al trabajo científico podría mejorar la calidad de la investigación científica y facilitar una innovación rápida, una colaboración constructiva entre pares y un diálogo productivo con la sociedad civil. La participación pública fomenta procesos de I+i colaborativos y de múltiples actores: todos los actores sociales trabajan juntos durante todo el proceso para alinear sus resultados con los valores, necesidades y expectativas de la sociedad. La educación científica se centra en (1) mejorar el proceso educativo actual para equipar mejor a los ciudadanos con los conocimientos y habilidades necesarios para permitir su participación en los debates de I+i; y (2) aumentar el número de investigadores (fomentando las vocaciones científicas).

El personal investigador en los medios

El personal del CSIC que participe en actividades de docencia, difusión y divulgación no deberá comprometer la imagen ni la credibilidad del CSIC. La información científica que se difunda a través de redes sociales y portales de internet deberá estar contrastada, verificada, actualizada y contextualizada como requiere la comunicación científica. Se utilizará un lenguaje accesible y aséptico, de manera que resulte inteligible por el público no especializado y se eviten distorsiones y exageraciones sensacionalistas, así como la divulgación indebida de datos de carácter personal. Asimismo, cuando se viertan opiniones personales se enfatizará que lo manifestado no tiene por qué reflejar la postura o criterio institucional. El personal del CSIC no podrá arrogarse representación institucional cuando realice actividades de divulgación a título particular.

Sesgo de disponibilidad
  • Los datos anecdóticos, importantes o fáciles de recordar pueden sesgar de forma subyacente nuestras prioridades.
  • Ejemplo: Priorizar anécdotas individuales o memorables, tanto a favor como en contra, como obtener una subvención reconocida.
  • Por qué es problemático: Ponderar en exceso la información que más fácilmente nos viene a la mente puede resultar en no considerar otras evidencias importantes y perder la visión general de los méritos.
El papel de la IA en la investigación científica
  • Aspectos éticos (desafíos de mantener la integridad en la era digital)
  • Cuestiones jurídicas (derechos de propiedad intelectual)
Declaraciones recientes
  • Declaración de Heredia. Principios sobre el uso de inteligencia artificial en la edición científica
  • Authorship and AI Tools de COPE. Uso de herramientas de IA en el proceso de publicación científica

El estudio “Google Scholar, Web of Science, and Scopus: a systematic comparison of citations in 252 subject categories” (2018) de Martín-Martín et al. analiza la cobertura y las diferencias en el número de citas recopiladas por Google Scholar (GS), Web of Science (WoS) y Scopus. Hallazgos:

  1. GS tiene la mayor cobertura en todas las áreas (93%-96%), superando ampliamente a Scopus (35%-77%) y WoS (27%-73%).
  2. GS incluye casi todas las citas de WoS (95%) y Scopus (92%), además de muchas citas únicas de fuentes no indexadas en las otras bases, como tesis, libros y conferencias, en su mayoría en idiomas distintos al inglés (19%-38%).
  3. Aunque GS recoge más citas, la correlación de citas entre GS y WoS/Scopus es alta (0.78-0.99), siendo menor en humanidades y ciencias sociales.
  4. Estos hallazgos sugieren que GS es un superset de WoS y Scopus, proporcionando una mayor cobertura, pero con la inclusión de documentos de menor impacto, lo que plantea desafíos para su uso en evaluaciones académicas.
Efecto ancla
  • El primer dato que vemos o escuchamos fija el estándar sobre el que juzgamos los datos siguientes.
  • Ejemplo: Utilizar la propia vida personal como indicador para juzgar las experiencias de los demás.
  • Por qué es problemático: Los datos de anclaje iniciales definen lo que se considera "normal" estableciendo con qué se comparan todos los demás datos, lo que puede sesgar nuestros puntos de referencia al enfatizar las comparaciones relativas entre opciones en lugar de su valor real.
Ley de Campbell
  • "Cuanto más se utilice un indicador cuantitativo para la toma de decisiones, más sujeto estará a corrupción y más distorsionará los procesos que pretende monitorizar".
  • Ejemplo: Los sistemas de recompensa que se basan en cualidades fácilmente mensurables (como las citas y la publicación en publicaciones con alto JIF) pueden llevar a las personas a “jugar” con el sistema.
  • Por qué es problemático: Las medidas cuantitativas tienen un impacto enorme en la forma en que se recompensa a las personas, pueden aumentar la tentación de centrarse en un conjunto limitado de actividades y reducir la inversión en otros logros significativos, pero menos recompensados.

No hay grupos de trabajo específicos para esta cuestión

  • Aunque se han puesto en marcha iniciativas para impulsar modelos de financiación en cascada, como Proyecto CoARA Boost, impacto limitado.

Tres tipos de proyectos, cada uno dirigido a instituciones en diferentes etapas de su proceso de reforma:

  1. Proyectos piloto institucionales (hasta €30,000, duración de 1 año): Probar nuevos modelos de evaluación y enfoques en áreas específicas.
  2. Proyectos de Colaboración (Teaming Projects) (hasta €40,000, duración de 1 año): Facilitar el intercambio de conocimientos entre organizaciones con diferentes niveles de experiencia.
  3. Proyectos de cambio Institucional (hasta €60,000, duración de 1 año): Proyectos más amplios. Cambios institucionales a largo plazo.