2024Evaluación de las publicaciones e indicadores de calidad...

BIBLIOTECA DE EDUCACIÓN

Evaluación de las publicaciones e Indicadores de calidad en Educación

La bibliometría narrativa

Programa

Bibliometría narrativa, qué es y como construirla.

La Ciencia Abierta: nueva evaluación

¿Dónde encuentro la información?

Cambios en ANECA Nuevos criterios y baremos.

¿En qué podemos ayudar las bibliotecas universitarias?

La Ciencia Abierta: nueva evaluación

Comisión Europea

Ciencia Abierta

Repositorios institucionales, temáticos y centralizados

los resultados de las investigaciones financiadas con fondos públicos:es obligatorio que sean públicos

Ley 17/2022

nueva evaluación de mi documento

Ley 2/2023

la investigacion debe ser hecha con y para la sociedad

La Ciencia Abierta: nueva evaluación

evaluación del documento

Ejemplo: Grupo de investigación. Proyecto de investigación

La Ciencia Abierta: nueva evaluación

A nivel de aportación

métricas de citación

métricas de uso y lectura

métricas de visibilidad social

métricas de Influencia y adopción social

Investigación de la que procede

Grupo de investigación. Proyecto de investigación. Avance científico.

A nivel de medio de difusión

métricas sobre el impacto científico del medio

Depósito o publicación en repositorios digitales

Contribución científica en abierto

Ciencia Abierta

Compartición de datos, metodologías y software

métricas sobre caliidad en la gestión del medio

Ciencia ciudadana: aporte a la Sociedad

Cambios en ANECA

Sentencias TS 2018 y 2020: no se pueden dejar de evaluar aportaciones por el mero hecho de no estar indexadas, siendo la aportación lo que ha de valorarse.

Oportunidades

Esto es un párrafo de texto listo para escribir un contenido genial

Coalition for advancingResearch

Manifiesto de Leiden

San Francisco Declaration

Narración justificativa de los indicios de relevancia e impacto de cada aportación, apoyados por un uso responsable de indicadores cuantitativos.

Cambios en ANECA

Defender nuestro Currículum

Impacto en el mundo científico

• Basado en citas del artículo en contexto

• Basado en citas de las revistas, produce índices de impacto y Rankings de revista

• Interacciones en redes sociales académicas

Impacto en la Sociedad

• Métricas de uso y descargas
• Interacciones en redes sociales no académicas
• Apariciones en medios de comunicación y documentos oficiales

Impacto en la Ciencia, avance del conocimiento

• Datos Fair compartidos
• Internacionalización
• Ciencia ciudadana
• Repositorios temáticos e institucionales

Cambios en ANECA

Bibliometría narrativa

• Utilización de indicadores bibliométricos para generar relatos que permitan la exposición y defensa de un CV o de aportaciones individuales ne el marco de las nuevas políticas de evaluación

• Instrumento para la redacción, presentación, justificación y contextualización de evidencias e indicios relacionados con la visiblidad, diseminación e influencia de los resultados de la investigación científica (de un autor o de una publicación

• La información suministrada, evitando los meros conteos, deberá ser multidimensional y estar sujeta a verificación.

APLICACIONES - Elaboración de CVs - Evaluación de aportaciones

Convocatoria 2023

Cambios en ANECA

Estructura de un texto narrativo

En la narración se deberá incorporar una mención específica a las fuentes utilizadas, sus limitaciones y alcance y aportar la fecha de consulta.

La narrativa relativa a contribución del conocimiento y la justificación de la autoría puede incorporarse en el apartado "breve resumen" de la aplicación de sexenios o en el apartado "indicios de calidad" (menos de 4000 caracteres)

Nuevos criterios y baremos de ANECA

Puntuación

Sexenios:

5 aportaciones_ 30 puntos (media de 6)

Acreditaciones:

Mínimo 30 puntos/ Máximo 40)

Nuevos criterios y baremos de ANECA

Datos bibliográficos de la aportación

1 Punto

Referencia, DOI, ISSN/ISBN, Handles

Resumen

Contribución al conocimiento Financiación y vinculación con Proyectos En caso de coautoría añadir la taxonomía CRediT

1 Punto

Indicios de Calidad

• Citas (sin autocitas) en contexto, comparadas con la fecha de publicación y la materia.
• Quién nos ha citado y de dónde procede
• Reseñas

• Impacto en las distintas plataformas (JIF, Citescore, IDR...)
• Posición en los distintos Rankings (Cuartil y percentil)

Impacto Científico: De la Aportación De la Revista/Editorial

6 Puntos

Impacto Social:Uso y lectura Redes sociales/Almétricas

1 Punto

Contribución a la Ciencia Abierta:Publicación en Acceso Abierto Depósito de Datos en el Repositorio Ciencia Ciudadana

1 Punto

Nuevos criterios y baremos de ANECA

Bibliometría narrativa de una publicación para ANECA

1.-Datos de la publicación

incluir el DOI y el Handle del repositorio.

2.- Resumen

"Mi aportación supone un avance científico.... por su novedoso punto de vista, su análisis sobre..... Recibimos fondos de un proyecto .... Mi aportación consistió en ...(taxonomía CRedit).

Nuevos criterios y baremos de ANECA

Bibliometría narrativa de una publicación para ANECA

3.-Indicios de calidad de la publicación

Defensa del impacto científico

Defensa del impacto social

Primer párrafo para defender la calidad de la aportación:Citas recibidas, no sólo cuantas sino de quién y además en relación con las citas esperadas. Análisis en una base de datos comercial (WoS, Scopus) y otra gratuita (Dimensions...), datos escuetos de las demás. En el caso de los libros destacar las reseñas.

Tercer párrafo, hablaremos del uso en la plataforma (online) y el repositorio institucional, desarrolla los países desde los que se está accediendo a la información. En el caso de libros en papel hablar de la presencia de los libros en las distintas bibliotecas universitarias y catálogos. Si tienes datos de interacción de los documentos en las redes sociales, menciones en medios de comunicación... Indicar a qué punto/s de los ODS se vincula la publicación

Defensa de la aportación a la Ciencia Abierta

Segundo párrafo para defender la calidad del medio (revista o editorial):Revisión por pares y las bases de datos donde están indexadas. Indices de impacto y cuartiles o percentiles en los distintos Ranking. Si la revista o editorial no está en los Ranking hablar de la calidad del medio, del proceso editorial y de su carácter científico.

Cuarto párrafo, uso si hay de la Ciencia Ciudadana, Depósito de Datos de investigación en Repositorios, Publicación en abierto, Revisión por pares en abierto, Repositorios en los que se encuentra el documento en abierto...

Si estructuramos la información siguiendo el baremo de ANECA facilitamos su evaluación positiva.

Nuevos criterios y baremos de ANECA

Bibliometría narrativa de una publicación para ANECA

No es indispensable presentar evidencias de cada una de las métricas.

Consejos de ANECA

Selecciona y presenta las métricas más representativas y adecuadas en función de la naturaleza, la tradición y el consenso disciplinar y las características de cada una de las aportaciones

Además de las fuentes enumeradas, se pueden incluir otras

Evitar los meros conteos y aportar información contextualizada, multidimensional y sujeta a verificación objetiva

Aportar la fecha de consulta y el nombre de los recursos utilizados

No hacer comparaciones individuales o utilizar listas o ránquines autoelaborados

¿Dónde encuentro la Información?

Identificación de los datos, búsqueda de la URL de los repositorios en La Referencia, si se localiza más de uno los incluiremos, si no está en vuestro repositorio solicitar su inclusión.

Datos de la publicación

Caso práctico, rellenar la solicitud de ANECA

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

Autor/as: Cosme J. Gómez Carrasco, Jairo Rodríguez-Medina, Álvaro Chaparro Sainz, Santiago Alonso García Año: 2022 Título: Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia Título en Ingles (si lo tuviese): DIGITAL RESOURCES AND TEACHING APPROACHES IN PRESERVICE TRAINING OF HISTORY TEACHERS Fuente (revista/libro): Educación XX1 ISSN/ISBN: 1139-613X DOI: 10.5944/educXX1.30483 URL Repositorio: https://uvadoc.uva.es/handle/10324/65161 Otros:

¿Dónde encuentro la Información?

Resaltamos el avance de la ciencia que supone nuestra investigación, la justificación de la investigación y los medios utilizados (vincular con grupos de investigación, proyectos, financiación...) si hay tres o más autores justificar tu aportación con la Taxonomía CredIT.

Contribución al progreso del conocimiento

Caso práctico, el Resumen

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

Resumen: Esta publicación es el resultado de la investigación planteada en el grupo de investigación XXX para la cual se formó un proyecto de investigación con fondos de XXXX. Investigamos cómo los recursos digitales pueden ser integrados en la enseñanza del profesorado... Este trabajo responde a la creciente necesidad de repensar la formación docente en un contexto digital, reflexionando sobre.... Mi participación en la elaboración del artículo se corresponde con los ítems de Conceptualización, Curación de datos, Análisis formal, Investigación, Metodología, Validación y Redacción – revisión y edición, de la Taxonomía CredIT.

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del documento

Citas recibidas en contexto

Poner las citas en contexto implica hablar de datos relativos comparando nuestras citas con las recibidas por otros documentos del mismo campo y de la misma edad. Algunas bases de datos han generado ese dato a través de sus tablas, son las citas normalizadas.

No todas las citas valen lo mismo. Desarrollar las citas en una base de datos comercial y una gratuita.

¿Dónde encuentro la Información?

Poner las citas en contexto, hablar de datos relativos comparando con las citas recibidas por otros documentos del mismo campo y fecha. Algunas bases de datos han generado ese dato a través de sus tablas, son las citas normalizadas. No todas las citas valen lo mismo, desarrollar las citas en una base de datos comercial y otra de libre acceso.,

Indicadores de Calidad Científica: calidad del documento

Caso práctico, citas en contexto

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

El artículo fue bien recibido por la comunidad científica, a pesar de su reciente publicación WoS ya recoge 13 citas, 10 sin autocitas al artículo en la Colección Principal de Web of Science estando por encima del promedio tanto en el Impacto normalizado de citas por categoría (CNCI) como en Impacto normalizado de citas por revista (JNCI). El análisis de las citas sin autocitas, muestra que se reciben de distintas áreas (educación, historia, lingüística y otros) y de distintas universidades de España, Portugal y Ecuador. Scopus recoge 11 citas, 8 sin autocitas (percentil 89) con un FWCI (citas normalizadas) de 2.30, más del doble de las esperadas, las citas se reciben de campos variados (Social Sciences, Arts and Humanities, Computer Science, Health Professions & Psychology) y diferentes países (España, Brazil y Portugal) además ha contabilizado 49 visitas en Scopus y 43 lectores en Mendeley. En Dialnet se recoge el documento y nos lo ofrece a texto completo, recoge 9 citas con un 11.1 % de autocitas. Las citas recibidas provienen de las áreas de educación (P91), Historia general y especializada (P85), Historia (P82) e Historia Moderna y Contemporánea (P65). Google Scholar recoge 23 citas con el título en español y 5 más en inglés. En Dimensions el documento tiene 12 citas totales, 10 citas recientes y 14 FCR. La revista recoge en su plataforma 195 descargas del artículo en el último año y el repositorio institucional de la universidad de Valladolid recoge 164 visualizaciones y 23 descargas desde el 29 de enero de 2024 que provienen de 4 continentes siendo mayoría las de USA (63), Singapur (61), y Australia (12).

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del documento

Interacciones en redes sociales académicas

NUEVAS FUENTES

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

Presencia en bases de datos, repertorios y catálogos

¿Dónde encuentro la Información?

Buscamos información sobre la revista, mayoritariamente en su propia página web sobre el proceso de selección de originales. En MIAR vemos dónde se encuentra indexada, si incluye un DOI a sus documentos...

Indicadores de Calidad Científica: calidad del medio de difusión

Caso práctico, calidad de la Revista

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

Educación XX1, es una publicación científica editada por la Facultad de Educación de la Universidad Nacional de Educación a Distancia. Desde su inicio, en 1998, Educación XX1 viene contribuyendo a la difusión de la investigación educativa, publicando investigaciones, ensayos y experiencias innovadoras contrastadas en todos los campos y contextos de intervención educativa. Ha centrado su atención de forma prioritaria en la investigación sobre la educación superior y en las propuestas innovadoras que se están desarrollando en la universidad. Evalúa todos los originales recibidos a partir del procedimiento de evaluación por pares por el sistema de doble ciego y con unos criterios de valoración públicos. Según MIAR encuentra indexada en 2 Bases de datos de citas, 5 Bases de datos multidisciplinares, 5 Bases de datos especializadas y 7 Recursos de evaluación. Educación XX1 difunde todos sus contenidos en abierto y publicar en esta revista no requiere el pago de ninguna tasa. Todos sus artículos están bajo la licencia Creative Commons (CC-BY-NC) y con el Digital Objet Identifier (DOI).

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

Índices de Impacto y Ranking de Revistas

Scopus

WoS

FECyT

Dialnet

Prestigio editorial

¿Dónde encuentro la Información?

Si tenemos muchos indicadores los resumimos y si son pocos nos extendemos más, también podemos extendernos en uno y luego poner solo los datos principales

Indicadores de Calidad Científica: calidad del medio de difusión

Caso práctico, calidad de la Revista

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

La revista está evaluada en JCR, en 2022 se localizaba en Q1 en la categoría de educación ya que tenía un JIF de 3.0 y un percentil de 76.8, además el JCI era de 2.06 (percentil 94.1) lo que indica que tiene algo más del doble de citas que la media de las revistas de su categoría.

La revista está evaluada en SJR, en 2022 se localizaba en Q1 en la categoría de educación ya que tenía un JIF de 3.0.

En CiteScore 2022 la revista tenía un impacto de 6.7 que la colocaba en el P92 (Q1,D1) en Educación

En FECyT tiene sello de calidad desde 2014, en 2022 la revista tenía una puntuación de 48.20 que la colocaba en la posición 4/85(Q1,D1) en Educación.

En Dialnet 2022 la revista tenía un impacto de 3.35 que la colocaba en la posición 4/232 (Q1,D1) en Educación. El 90,2% de sus publicaciones tienen citas y sólo es 3.6% son autorreferencia. Su índice H es 36

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

Criterios de Calidad Editorial y listados por categorías

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

¿Y si la fuente no tiene índices de impacto? Criterios mínimos

Calidad del proceso editorial

1. Periodicidad (revistas) y regularidady homogenedidad linea editorial (libros) 2. Revisión p or pares (ciego, doble ciego, abierta...) 3.Comunicación motivada sobre la aceptación, revisión o rechazo

Calidad científica de la revista

1. 75% artículos de investigación 2. 75% autores externos al comité editorial y a su organización

Calidad del medio

1. identificación miembros comités 2. instrucciones para autores/as 3. Información proceso de selección 4. Traducción del sumario, títulos, palabra clave y resúmenes al inglés

¿Dónde encuentro la Información?

Indicadores de Impacto social

Estadísticas de uso de la propia fuente (revista), del repositorio o de alguna base de datos

Uso y lectura del documento

Redes sociales y almétricas

Menciones en redes sociales, almétricas

Medios de comunicación

Menciones en medios de comunicación, presentaciones de libros, programas de radio.

También es importante destacar si la investigación ha tenido consecuencias en la redacción de documentos de política educativa o en algún cambio en algún centro...

Ponemos en valor el acceso abierto, las revistas gold y el depósito en varios repositorios tanto de la publicación como de su preprint y de los datos de infestigación (FAIR), las prácticas de ciencia ciudadana, la revisión por pares en abierto...

¿Dónde encuentro la Información?

Contribución a la Ciencia Abierta

Caso práctico, calidad de la Revista

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

Este artículo se encuentra publicado bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0. Esta modalidad favorece y enriquece el debate científico. Los autores hemos conservado nuestros derechos de autor y de publicación. Nuestro artículo está disponible en los siguientes repositorios: Digibug, repositorio de la Universidad de Granada: https://hdl.handle.net/10481/91482 Uva, repositorio de la Universidad de Valladolid: https://uvadoc.uva.es/handle/10324/65161 Esta revista está Colab (laboratorio colaborativo). El Observatorio de la Ciencia Ciudadana en España ha resaltado nuestra aportación a la participación de la población en el estudio y conocimiento de la historia oral en nuestro país. Finalmente, es importante señalar que las 646 entrevistas realizadas a estudiantes del Máster de Formación del Profesorado en la especialidad de Geografía e Historia, provenientes de 22 universidades nacionales, están depositadas en e-cienciaDatos (incluir handle o enlace).

* la letra en cursiva es una recreación en caso de tener ese reflejo en las redes sociales y otros medios de difusion.

En definitiva...

Narrativas cualitativas

Narrativas cuantitativas

Impacto científico Impacto social Ciencia abierta

Medios y métodos utilizados Contexto de la investigación Comunicación e interacciones sociales

Narrativas cuantitativas

Indicadores y evidencias facilmente justificables que proporcionan datos claros y verificables, que pueden sustentar y respaldar las narrativas cualitativas

Relatan la "intrahistoria personal" involucrada en la generación de conocimiento cientítico (experiencias individuales, colaboraciones, desafíos y logros personales...) aspectos dificiles de documentar y verificar de forma pública

¿En qué podemos ayudar las bibliotecas universitarias?

ANECA y las bibliotecas universitarias

Criterios generales

"Las bibliotecas universitarias y científicas y las unidades de apoyo a la investigación pueden: ofrecer información de ayuda a las personas solicitantes en relación con las dimensiones, métricas y fuentes a utilizar" ANECA

Contribución al progreso del conocimiento y con imparcto científico o social

Participación activa demostrable en casos de coatoría o autoría múltiple de acuerdo con la taxonomía CRediT

5/7 aportaciones para sexenios, 5/8 acreditaciones a PTU 12/20 acreditación a CU

Publicadas en los años que se someten a evaluación de forma definitiva en acceso anticipado

Depósito en repositorios institucionales, temáticos o generalistas de acceso abierto

Nosotros consultamos estos recursos, tú también puedes acceder a ellos.

Y si no lo ves claro, Estamos aquí para ayudarte

Pide una cita con la biblioteca o escríbenos a:

ai.biblioteca.educacion@uam.es

Más información: Gil Carballo, Candelas; Lorite, Manuel (2024) Comunicación científica y evaluación de la actividad investigadora

http://hdl.handle.net/10486/716394

Muchas gracias por vuestra atención

Os esperamos en la biblioteca de educación

biblioteca.fprofesorado@uam.es​https://www.uam.es/uam/vida-uam/bibliotecas/biblioteca-educacion

¿Qué te ha parecido el curso?

evalúanos

Razones para publicar sus datasets: • Necesitan tener los datos de sus investigaciones en acceso abierto por mandato o recomendación de revistas o agencias de financiación. • Quieren dar visibilidad a un proyecto de investigación. • Consideran que los datos de su investigación tienen que estar en abierto por razones éticas o de cualquier otra índole. Los datasets deben ser los datos finales de la investigación y, aunque se admiten períodos de embargo, su objetivo final debe de ser estar en acceso abierto. La comunidad designada (usuarios a los que se dirige el repositorio) es la comunidad científica de forma global.

Movimiento que pretende hacer la ciencia más abierta, accesible, eficiente, democrática y transparente, se refiere a: - un mayor rigor, responsabilidad y reproducibilidad para la investigación. - principios de inclusión, imparcialidad, equidad y distribución - busca cambiar la forma en que se realiza la investigación, quién participa y cómo se evalúa. Objetivo: una ciencia abierta a la participación, revisión, refutación, mejora y reutilización para que toda la sociedad se beneficie.

Recoge la producción científica en acceso abierto de su personal docente e investigador. Contribuye a la difusión de sus publicaciones. Desde las bibliotecas incluimos todos los documentos que nos permiten las leyes de derechos de autor: todas las tesis (algunas con embargo) y todas las publicaciones de nuestros investigadores en open access (de los últimos años). [Solo se depositarán en el repositorio los documentos publicados de cada investigador en el periodo que dure su vinculación a la Universidad Autónoma de Madrid. Todos sus trabajos anteriores o posteriores, no pertenecen a la producción científica de la Universidad y por tanto no pueden ser depositados.

Oportunidades

Contextualiza tu tema

• Planificar la estructura de tu comunicación.
• Jerarquizarla y darle peso visual a lo principal.
• Definir mensajes secundarios con interactividad.
• Establecer un flujo a través del contenido.
• Medir los resultados.

No todas las citas valen lo mismo, se consideran citas de mayor calidad cuando se encuentran en las bases de datos de WoS y Scopus. Google Scholar lo admite todo, repite los artículos (en inglés y en español por ejemplo) multiplicando el número de citas, dando un dato de menor calidad. Desarrollar las citas en una base de datos comercial y una gratuita.