2024Evaluación de las publicaciones e indicadores de calidad...

La bibliometría narrativa

Evaluación de las publicaciones e Indicadores de calidad en Educación

BIBLIOTECA DE EDUCACIÓN

La Ciencia Abierta: nueva evaluación

Cambios en ANECA Nuevos criterios y baremos.

¿En qué podemos ayudar las bibliotecas universitarias?

¿Dónde encuentro la información?

Bibliometría narrativa, qué es y como construirla.

Programa

La Ciencia Abierta: nueva evaluación

la investigacion debe ser hecha con y para la sociedad

Comisión Europea

los resultados de las investigaciones financiadas con fondos públicos:es obligatorio que sean públicos

nueva evaluación de mi documento

Ley 2/2023

Ley 17/2022

Repositorios institucionales, temáticos y centralizados

Ciencia Abierta

La Ciencia Abierta: nueva evaluación

evaluación del documento

Ejemplo: Grupo de investigación. Proyecto de investigación

Ciencia Abierta

Contribución científica en abierto

métricas sobre caliidad en la gestión del medio

Grupo de investigación. Proyecto de investigación. Avance científico.

Investigación de la que procede

métricas de Influencia y adopción social

métricas de visibilidad social

métricas de uso y lectura

métricas de citación

A nivel de aportación

La Ciencia Abierta: nueva evaluación

Ciencia ciudadana: aporte a la Sociedad

Compartición de datos, metodologías y software

Depósito o publicación en repositorios digitales

métricas sobre el impacto científico del medio

A nivel de medio de difusión

Narración justificativa de los indicios de relevancia e impacto de cada aportación, apoyados por un uso responsable de indicadores cuantitativos.

San Francisco Declaration

Coalition for advancingResearch

Esto es un párrafo de texto listo para escribir un contenido genial

Oportunidades

Manifiesto de Leiden

Sentencias TS 2018 y 2020: no se pueden dejar de evaluar aportaciones por el mero hecho de no estar indexadas, siendo la aportación lo que ha de valorarse.

Cambios en ANECA

Cambios en ANECA

• Interacciones en redes sociales académicas

• Basado en citas de las revistas, produce índices de impacto y Rankings de revista

• Datos Fair compartidos
• Internacionalización
• Ciencia ciudadana
• Repositorios temáticos e institucionales

Impacto en la Ciencia, avance del conocimiento

• Métricas de uso y descargas
• Interacciones en redes sociales no académicas
• Apariciones en medios de comunicación y documentos oficiales

Impacto en la Sociedad

Impacto en el mundo científico

• Basado en citas del artículo en contexto

Defender nuestro Currículum

Convocatoria 2023

APLICACIONES- Elaboración de CVs- Evaluación de aportaciones

• La información suministrada, evitando los meros conteos, deberá ser multidimensional y estar sujeta a verificación.

• Instrumento para la redacción, presentación, justificación y contextualización de evidencias e indicios relacionados con la visiblidad, diseminación e influencia de los resultados de la investigación científica (de un autor o de una publicación

• Utilización de indicadores bibliométricos para generar relatos que permitan la exposición y defensa de un CV o de aportaciones individuales ne el marco de las nuevas políticas de evaluación

Bibliometría narrativa

Cambios en ANECA

La narrativa relativa a contribución del conocimiento y la justificación de la autoría puede incorporarse en el apartado "breve resumen" de la aplicación de sexenios o en el apartado "indicios de calidad" (menos de 4000 caracteres)

En la narración se deberá incorporar una mención específica a las fuentes utilizadas, sus limitaciones y alcance y aportar la fecha de consulta.

Estructura de un texto narrativo

Cambios en ANECA

Mínimo 30 puntos/ Máximo 40)

Acreditaciones:

Sexenios:

5 aportaciones_ 30 puntos (media de 6)

Puntuación

Nuevos criterios y baremos de ANECA

1 Punto

1 Punto

6 Puntos

1 Punto

• Impacto en las distintas plataformas (JIF, Citescore, IDR...)
• Posición en los distintos Rankings (Cuartil y percentil)

• Citas (sin autocitas) en contexto, comparadas con la fecha de publicación y la materia.
• Quién nos ha citado y de dónde procede
• Reseñas

1 Punto

Nuevos criterios y baremos de ANECA

Contribución a la Ciencia Abierta:Publicación en Acceso AbiertoDepósito de Datos en el RepositorioCiencia Ciudadana

Impacto Social:Uso y lecturaRedes sociales/Almétricas

Impacto Científico: De la AportaciónDe la Revista/Editorial

Indicios de Calidad

Contribución al conocimientoFinanciación y vinculación con ProyectosEn caso de coautoría añadir la taxonomía CRediT

Resumen

Referencia, DOI, ISSN/ISBN, Handles

Datos bibliográficos de la aportación

Nuevos criterios y baremos de ANECA

Bibliometría narrativa de una publicación para ANECA

"Mi aportación supone un avance científico.... por su novedoso punto de vista, su análisis sobre..... Recibimos fondos de un proyecto .... Mi aportación consistió en ...(taxonomía CRedit).

2.- Resumen

incluir el DOI y el Handle del repositorio.

1.-Datos de la publicación

Si estructuramos la información siguiendo el baremo de ANECA facilitamos su evaluación positiva.

Defensa del impacto científico

Segundo párrafo para defender la calidad del medio (revista o editorial):Revisión por pares y las bases de datos donde están indexadas. Indices de impacto y cuartiles o percentiles en los distintos Ranking.Si la revista o editorial no está en los Ranking hablar de la calidad del medio, del proceso editorial y de su carácter científico.

Primer párrafo para defender la calidad de la aportación:Citas recibidas, no sólo cuantas sino de quién y además en relación con las citas esperadas. Análisis en una base de datos comercial (WoS, Scopus) y otra gratuita (Dimensions...), datos escuetos de las demás. En el caso de los libros destacar las reseñas.

3.-Indicios de calidad de la publicación

Defensa de la aportación a la Ciencia Abierta

Defensa del impacto social

Cuarto párrafo, uso si hay de la Ciencia Ciudadana, Depósito de Datos de investigación en Repositorios, Publicación en abierto, Revisión por pares en abierto, Repositorios en los que se encuentra el documento en abierto...

Tercer párrafo, hablaremos del uso en la plataforma (online) y el repositorio institucional, desarrolla los países desde los que se está accediendo a la información. En el caso de libros en papel hablar de la presencia de los libros en las distintas bibliotecas universitarias y catálogos. Si tienes datos de interacción de los documentos en las redes sociales, menciones en medios de comunicación... Indicar a qué punto/s de los ODS se vincula la publicación

Nuevos criterios y baremos de ANECA

Bibliometría narrativa de una publicación para ANECA

Nuevos criterios y baremos de ANECA

Bibliometría narrativa de una publicación para ANECA

Aportar la fecha de consulta y el nombre de los recursos utilizados

No hacer comparaciones individuales o utilizar listas o ránquines autoelaborados

Evitar los meros conteos y aportar información contextualizada, multidimensional y sujeta a verificación objetiva

Además de las fuentes enumeradas, se pueden incluir otras

No es indispensable presentar evidencias de cada una de las métricas.

Selecciona y presenta las métricas más representativas y adecuadas en función de la naturaleza, la tradición y el consenso disciplinar y las características de cada una de las aportaciones

Consejos de ANECA

Identificación de los datos, búsqueda de la URL de los repositorios en La Referencia, si se localiza más de uno los incluiremos, si no está en vuestro repositorio solicitar su inclusión.

¿Dónde encuentro la Información?

Autor/as: Cosme J. Gómez Carrasco, Jairo Rodríguez-Medina, Álvaro Chaparro Sainz, Santiago Alonso García Año: 2022 Título: Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia Título en Ingles (si lo tuviese): DIGITAL RESOURCES AND TEACHING APPROACHES IN PRESERVICE TRAINING OF HISTORY TEACHERS Fuente (revista/libro): Educación XX1 ISSN/ISBN: 1139-613X DOI: 10.5944/educXX1.30483URL Repositorio: https://uvadoc.uva.es/handle/10324/65161Otros:

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

Caso práctico, rellenar la solicitud de ANECA

Datos de la publicación

¿Dónde encuentro la Información?

Contribución al progreso del conocimiento

Resaltamos el avance de la ciencia que supone nuestra investigación, la justificación de la investigación y los medios utilizados (vincular con grupos de investigación, proyectos, financiación...) si hay tres o más autores justificar tu aportación con la Taxonomía CredIT.

Caso práctico, el Resumen

¿Dónde encuentro la Información?

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

Resumen: Esta publicación es el resultado de la investigación planteada en el grupo de investigación XXX para la cual se formó un proyecto de investigación con fondos de XXXX. Investigamos cómo los recursos digitales pueden ser integrados en la enseñanza del profesorado... Este trabajo responde a la creciente necesidad de repensar la formación docente en un contexto digital, reflexionando sobre.... Mi participación en la elaboración del artículo se corresponde con los ítems de Conceptualización, Curación de datos, Análisis formal, Investigación, Metodología, Validación y Redacción – revisión y edición, de la Taxonomía CredIT.

Contribución al progreso del conocimiento

¿Dónde encuentro la Información?

Poner las citas en contexto implica hablar de datos relativos comparando nuestras citas con las recibidas por otros documentos del mismo campo y de la misma edad. Algunas bases de datos han generado ese dato a través de sus tablas, son las citas normalizadas.

No todas las citas valen lo mismo. Desarrollar las citas en una base de datos comercial y una gratuita.

Citas recibidas en contexto

Indicadores de Calidad Científica: calidad del documento

Poner las citas en contexto, hablar de datos relativos comparando con las citas recibidas por otros documentos del mismo campo y fecha. Algunas bases de datos han generado ese dato a través de sus tablas, son las citas normalizadas. No todas las citas valen lo mismo, desarrollar las citas en una base de datos comercial y otra de libre acceso.,

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

Caso práctico, citas en contexto

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del documento

El artículo fue bien recibido por la comunidad científica, a pesar de su reciente publicación WoS ya recoge 13 citas, 10 sin autocitas al artículo en la Colección Principal de Web of Science estando por encima del promedio tanto en el Impacto normalizado de citas por categoría (CNCI) como en Impacto normalizado de citas por revista (JNCI). El análisis de las citas sin autocitas, muestra que se reciben de distintas áreas (educación, historia, lingüística y otros) y de distintas universidades de España, Portugal y Ecuador. Scopus recoge 11 citas, 8 sin autocitas (percentil 89) con un FWCI (citas normalizadas) de 2.30, más del doble de las esperadas, las citas se reciben de campos variados (Social Sciences, Arts and Humanities, Computer Science, Health Professions & Psychology) y diferentes países (España, Brazil y Portugal) además ha contabilizado 49 visitas en Scopus y 43 lectores en Mendeley. En Dialnet se recoge el documento y nos lo ofrece a texto completo, recoge 9 citas con un 11.1 % de autocitas. Las citas recibidas provienen de las áreas de educación (P91), Historia general y especializada (P85), Historia (P82) e Historia Moderna y Contemporánea (P65). Google Scholar recoge 23 citas con el título en español y 5 más en inglés. En Dimensions el documento tiene 12 citas totales, 10 citas recientes y 14 FCR. La revista recoge en su plataforma 195 descargas del artículo en el último año y el repositorio institucional de la universidad de Valladolid recoge 164 visualizaciones y 23 descargas desde el 29 de enero de 2024 que provienen de 4 continentes siendo mayoría las de USA (63), Singapur (61), y Australia (12).

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del documento

Interacciones en redes sociales académicas

NUEVAS FUENTES

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

Presencia en bases de datos, repertorios y catálogos

Buscamos información sobre la revista, mayoritariamente en su propia página web sobre el proceso de selección de originales. En MIAR vemos dónde se encuentra indexada, si incluye un DOI a sus documentos...

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

Caso práctico, calidad de la Revista

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

Educación XX1, es una publicación científica editada por la Facultad de Educación de la Universidad Nacional de Educación a Distancia. Desde su inicio, en 1998, Educación XX1 viene contribuyendo a la difusión de la investigación educativa, publicando investigaciones, ensayos y experiencias innovadoras contrastadas en todos los campos y contextos de intervención educativa. Ha centrado su atención de forma prioritaria en la investigación sobre la educación superior y en las propuestas innovadoras que se están desarrollando en la universidad. Evalúa todos los originales recibidos a partir del procedimiento de evaluación por pares por el sistema de doble ciego y con unos criterios de valoración públicos. Según MIAR encuentra indexada en 2 Bases de datos de citas, 5 Bases de datos multidisciplinares, 5 Bases de datos especializadas y 7 Recursos de evaluación. Educación XX1 difunde todos sus contenidos en abierto y publicar en esta revista no requiere el pago de ninguna tasa. Todos sus artículos están bajo la licencia Creative Commons (CC-BY-NC) y con el Digital Objet Identifier (DOI).

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

Prestigio editorial

Dialnet

FECyT

Scopus

WoS

Índices de Impacto y Ranking de Revistas

Caso práctico, calidad de la Revista

Si tenemos muchos indicadores los resumimos y si son pocos nos extendemos más, también podemos extendernos en uno y luego poner solo los datos principales

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

En FECyT tiene sello de calidad desde 2014, en 2022 la revista tenía una puntuación de 48.20 que la colocaba en la posición 4/85(Q1,D1) en Educación.

En Dialnet 2022 la revista tenía un impacto de 3.35 que la colocaba en la posición 4/232 (Q1,D1) en Educación. El 90,2% de sus publicaciones tienen citas y sólo es 3.6% son autorreferencia. Su índice H es 36

En CiteScore 2022 la revista tenía un impacto de 6.7 que la colocaba en el P92 (Q1,D1) en Educación

La revista está evaluada en SJR, en 2022 se localizaba en Q1 en la categoría de educación ya que tenía un JIF de 3.0.

La revista está evaluada en JCR, en 2022 se localizaba en Q1 en la categoría de educación ya que tenía un JIF de 3.0 y un percentil de 76.8, además el JCI era de 2.06 (percentil 94.1) lo que indica que tiene algo más del doble de citas que la media de las revistas de su categoría.

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

Criterios de Calidad Editorial y listados por categorías

¿Dónde encuentro la Información?

Indicadores de Calidad Científica: calidad del medio de difusión

1. 75% artículos de investigación2. 75% autores externos al comité editorial y a su organización

Calidad científica de la revista

1. Periodicidad (revistas) y regularidady homogenedidad linea editorial (libros)2. Revisión p or pares (ciego, doble ciego, abierta...)3.Comunicación motivada sobre la aceptación, revisión o rechazo

Calidad del proceso editorial

1. identificación miembros comités2. instrucciones para autores/as3. Información proceso de selección4. Traducción del sumario, títulos, palabra clave y resúmenes al inglés

Calidad del medio

¿Y si la fuente no tiene índices de impacto? Criterios mínimos

¿Dónde encuentro la Información?

Indicadores de Impacto social

También es importante destacar si la investigación ha tenido consecuencias en la redacción de documentos de política educativa o en algún cambio en algún centro...

Menciones en medios de comunicación, presentaciones de libros, programas de radio.

Medios de comunicación

Menciones en redes sociales, almétricas

Estadísticas de uso de la propia fuente (revista), del repositorio o de alguna base de datos

Redes sociales y almétricas

Uso y lectura del documento

* la letra en cursiva es una recreación en caso de tener ese reflejo en las redes sociales y otros medios de difusion.

Caso práctico, calidad de la Revista

Ponemos en valor el acceso abierto, las revistas gold y el depósito en varios repositorios tanto de la publicación como de su preprint y de los datos de infestigación (FAIR), las prácticas de ciencia ciudadana, la revisión por pares en abierto...

Gómez Carrasco, C.J., Rodríguez-Medina, J., Chaparro Sainz, Á. y Alonso García, S. (2022). Recursos digitales y enfoques de enseñanza en la formación inicial del profesorado de Historia. Educación XX1, 25(1), 143-170. https://doi.org/10.5944/educXX1.30483

¿Dónde encuentro la Información?

Este artículo se encuentra publicado bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0. Esta modalidad favorece y enriquece el debate científico. Los autores hemos conservado nuestros derechos de autor y de publicación.Nuestro artículo está disponible en los siguientes repositorios: Digibug, repositorio de la Universidad de Granada: https://hdl.handle.net/10481/91482Uva, repositorio de la Universidad de Valladolid: https://uvadoc.uva.es/handle/10324/65161Esta revista está Colab (laboratorio colaborativo). El Observatorio de la Ciencia Ciudadana en España ha resaltado nuestra aportación a la participación de la población en el estudio y conocimiento de la historia oral en nuestro país.Finalmente, es importante señalar que las 646 entrevistas realizadas a estudiantes del Máster de Formación del Profesorado en la especialidad de Geografía e Historia, provenientes de 22 universidades nacionales, están depositadas en e-cienciaDatos (incluir handle o enlace).

Contribución a la Ciencia Abierta

En definitiva...

Indicadores y evidencias facilmente justificables que proporcionan datos claros y verificables, que pueden sustentar y respaldar las narrativas cualitativas

Impacto científicoImpacto socialCiencia abierta

Narrativas cuantitativas

Relatan la "intrahistoria personal" involucrada en la generación de conocimiento cientítico (experiencias individuales, colaboraciones, desafíos y logros personales...) aspectos dificiles de documentar y verificar de forma pública

Medios y métodos utilizadosContexto de la investigaciónComunicación e interacciones sociales

Narrativas cualitativas

Narrativas cuantitativas

Depósito en repositorios institucionales, temáticos o generalistas de acceso abierto

¿En qué podemos ayudar las bibliotecas universitarias?

Publicadas en los años que se someten a evaluación de forma definitiva en acceso anticipado

5/7 aportaciones para sexenios,5/8 acreditaciones a PTU12/20 acreditación a CU

Participación activa demostrable en casos de coatoría o autoría múltiple de acuerdo con la taxonomía CRediT

Contribución al progreso del conocimiento y con imparcto científico o social

"Las bibliotecas universitarias y científicas y las unidades de apoyo a la investigación pueden: ofrecer información de ayuda a las personas solicitantes en relación con las dimensiones, métricas y fuentes a utilizar" ANECA

Criterios generales

ANECA y las bibliotecas universitarias

Nosotros consultamos estos recursos, tú también puedes acceder a ellos.

http://hdl.handle.net/10486/716394

Más información: Gil Carballo, Candelas; Lorite, Manuel (2024)Comunicación científica y evaluación de la actividad investigadora

Pide una cita con la biblioteca o escríbenos a:

ai.biblioteca.educacion@uam.es

Y si no lo ves claro, Estamos aquí para ayudarte

evalúanos

¿Qué te ha parecido el curso?

biblioteca.fprofesorado@uam.es​https://www.uam.es/uam/vida-uam/bibliotecas/biblioteca-educacion

Os esperamos en la biblioteca de educación

Muchas gracias por vuestra atención

Razones para publicar sus datasets: • Necesitan tener los datos de sus investigaciones en acceso abierto por mandato o recomendación de revistas o agencias de financiación. • Quieren dar visibilidad a un proyecto de investigación. • Consideran que los datos de su investigación tienen que estar en abierto por razones éticas o de cualquier otra índole. Los datasets deben ser los datos finales de la investigación y, aunque se admiten períodos de embargo, su objetivo final debe de ser estar en acceso abierto. La comunidad designada (usuarios a los que se dirige el repositorio) es la comunidad científica de forma global.

Movimiento que pretende hacer la ciencia más abierta, accesible, eficiente, democrática y transparente, se refiere a: - un mayor rigor, responsabilidad y reproducibilidad para la investigación. - principios de inclusión, imparcialidad, equidad y distribución - busca cambiar la forma en que se realiza la investigación, quién participa y cómo se evalúa. Objetivo: una ciencia abierta a la participación, revisión, refutación, mejora y reutilización para que toda la sociedad se beneficie.

Recoge la producción científica en acceso abierto de su personal docente e investigador. Contribuye a la difusión de sus publicaciones. Desde las bibliotecas incluimos todos los documentos que nos permiten las leyes de derechos de autor: todas las tesis (algunas con embargo) y todas las publicaciones de nuestros investigadores en open access (de los últimos años). [Solo se depositarán en el repositorio los documentos publicados de cada investigador en el periodo que dure su vinculación a la Universidad Autónoma de Madrid. Todos sus trabajos anteriores o posteriores, no pertenecen a la producción científica de la Universidad y por tanto no pueden ser depositados.

Oportunidades

Contextualiza tu tema

• Planificar la estructura de tu comunicación.
• Jerarquizarla y darle peso visual a lo principal.
• Definir mensajes secundarios con interactividad.
• Establecer un flujo a través del contenido.
• Medir los resultados.

No todas las citas valen lo mismo, se consideran citas de mayor calidad cuando se encuentran en las bases de datos de WoS y Scopus. Google Scholar lo admite todo, repite los artículos (en inglés y en español por ejemplo) multiplicando el número de citas, dando un dato de menor calidad. Desarrollar las citas en una base de datos comercial y una gratuita.