MGAV - 11 - M2 - R2

Herramientas de la Web Didáctica

RUBRICA PARA EVALUAR REPOSITORIOS DE RECURSOS EDUCATIVOS ABIERTOS

Gestión del Aprendizaje Virtual

RESUMEN

En la presente comunicación presentamos el diseño de una rúbrica para valorar Repositorios De Recursos Educativos Abiertos. Por Recursos Educativos Abiertos entendemos aquellos materiales educativos, aptos para ser modificados, adaptados según las necesidades y de uso libre; y por Repositorios nos referimos a aquellos sitios de Internet que permiten acceder a los mismos.

Explicamos los fundamentos teóricos en los cuales basamos el diseño, mostramos las categorías seleccionadas y los criterios para valorarlas. Concluimos con algunas reflexiones sobre el trabajo realizado referidas tanto al diseño en sí del instrumento como así también a las categorías. Palabras claves: Repositorios – Recursos Educativos Abiertos - Rúbricas

Introducción

La evaluación en el ámbito educativo es una acción permanente, no solo los aprendizajes de los estudiantes son objeto de evaluación, sino la docencia, la administración y conducción, los procesos y actividades completos de enseñanza aprendizaje, las planificaciones, materiales empleados, las evaluaciones y todos sus componentes. La educación está inmersa en la sociedad del conocimiento con uso de las tecnologías de la información y comunicación y los cambios en la generación y distribución de la información la afectan directamente. Estos cambios también han afectado a los materiales y recursos educativos, que han sufrido una importante modificación, de la casi exclusividad de uso del formato escrito y en papel de hace 25 años atrás se ha pasado a un sinfín de recursos en diversos formatos (videos, cuestionarios interactivos, software educativos).

En la actualidad es habitual que los docentes creen recursos educativos y los compartan en Internet, abriendo la posibilidad de ser conocidos por mayor cantidad de personas y, muchas veces, adaptados por otros docentes. Esta explosión de materiales por Internet suele estar organizada de muy distintas formas y pueden encontrarse recursos de muy diversas características. La evaluación de su calidad es una acción ineludible. Aquellos sitios de Internet que permiten acceder a dichos materiales educativos, aptos para ser modificados, adaptados según las necesidades y de uso libre son los llamados Repositorios de Recursos Educativos Abiertos y el proceso de evaluación también los debe abarcar a ellos.

De allí nuestra propuesta de presentar un instrumento de evaluación, en formato rúbrica para evaluar Repositorios De Recursos Educativos Abiertos. Mostraremos los ítems elegidos para su confección de acuerdo a la teoría específica en el tema, concluimos con algunas reflexiones sobre el instrumento elaborado y las acciones a futuro relativas a la puesta a punto del mismo y su mejora continua.

Objetivo

Presentar el diseño de una rúbrica para evaluar Repositorios de Recursos Educativos Abiertos elaborado de acuerdo a la teoría específica en el tema.

Contexto

Este trabajo se enmarca en un proyecto de investigación y desarrollo del Departamento de Ingeniería e Investigaciones Tecnológicas (DIIT) de la Universidad Nacional de La Matanza (UNLaM), denominado Recursos Educativos Abiertos (REA) y metodologías activas, protocolo CyTMA2 C-ING-024, del bienio 2015-2016. Entre sus objetivos se destaca generar conocimiento sobre el uso, modificación, adaptación y/o diseño de REA adecuados a la filosofía de la Universidad, y acordes a las metodologías activas impulsadas por el DIIT. Una de las acciones para cumplir con dicho objetivo, era elaborar un instrumento que facilite la evaluación de Repositorios de REA

Conceptos teóricos que enmarcan el trabajo

El fundamento teórico de nuestro trabajo se basa en los conceptos de Recursos Educativos abiertos, de Repositorio de Recursos Educativos Abiertos y de rúbrica.

Concepto de Recursos Educativos Abiertos

De acuerdo a la Unesco, los Recursos Educativos Abiertos (REA) son cualquier tipo de materiales de enseñanza, aprendizaje o investigación que pertenecen al dominio público o que están publicados con una licencia abierta, para ser utilizados, adaptados y distribuidos gratuitamente (UNESCO, 2012). En (2009) David Wiley estableció que para que un recurso educativo sea considerado abierto, debe estar disponible en forma gratuita y contar con permisos para revisar, combinar reusar y redistribuir. Explicamos brevemente cada uno de ellos. Revisar significa adaptar y mejorar el REA de manera que se ajuste mejor a las necesidades del docente, de sus alumnos, de la situación en la que se va usar.

Combinar se refiere a reunir distintos REA para producir nuevos recursos, combinar el contenido original con el fin de producir nuevos contenidos. Reusar es usar el recurso original o una nueva versión del recurso en diferentes contextos. Redistribuir significa hacer copias y compartir el recurso original o su nueva versión del mismo con otros.

Concepto de Repositorios de Recursos Educativos Abiertos

Un Repositorio de Recursos Educativos Abiertos (RREA) es un sistema de almacenamiento en línea que permite a los docentes, alumnos y usuarios en general, compartir, administrar y utilizar los recursos abiertos, es decir, con licencias que permiten su uso, distribución y adaptación, para la educación. (BCcampus.ca, 2011-2016; Atenas-Rivera, 2014). Un Repositorio Digital Educativo, es un sitio de almacenamiento de recursos en formato digital orientados a apoyar, facilitar y conseguir objetivos y procesos de enseñanza - aprendizaje, efectivamente catalogados para brindar al usuario un acceso eficaz, acorde a sus necesidades, con capacidad de permitir operaciones de inclusión, modificación, eliminación y catalogación de sus objetos (Pazmiño, 2006).

Un repositorio puede contener colecciones de recursos de aprendizaje de los que apoyan la enseñanza de una amplia variedad, entre ellos: libros abiertos, planes de las clases, planificaciones, evaluaciones, vídeos, animaciones, actividades interactivas, herramientas de autor o de edición de documentos, audios, imágenes, videos, presentaciones, entre otros. Esta gran variedad de recursos, requiere de guías orientadoras sobre la calidad de los repositorios a ser utilizados por docentes y/o alumnos.

Concepto de Rúbrica

Evaluar significa emitir un juicio de valor sobre un asunto determinado, lleva implícito un proceso de investigación que permita, de acuerdo con algunos criterios o estándares, saber qué tanto se ha avanzado en un determinado proceso, y como han sido sus resultados, con el objetivo de elevar y mantener la calidad de los mismos. En el encuadre de los modelos de evaluación formativa, y dentro de las metodologías innovadoras de evaluación entre pares y autoevaluación ha sobresalido, en la última década, el empleo de las rúbricas o matrices de valoración como herramienta, principalmente utilizadas en entornos virtuales.

Según Barberá y De Martín, una rúbrica es una herramienta de valoración usada “para reflejar el grado de cumplimiento de una actividad o un trabajo” (2009, pág. 99). Para Hawes, es una estrategia apropiada para operacionalizar los estándares de desempeño y facilitar su expresión en una escala de calificación que signifique algo sustantivo para el docente, el estudiante y la institución (2004). Las rúbricas se definen como un descriptor cualitativo que establece la naturaleza de un desempeño (Simon, 2001) . Las rúbricas son instrumentos de medición en los cuales se establecen criterios y estándares por niveles, mediante la disposición de escalas, que permiten determinar la calidad de la ejecución de los estudiantes en unas tareas específicas. (Vera Vélez, 2008).

Todas las definiciones destacan la existencia manifiesta de criterios de evaluación, medidos en distintos niveles de ejecución, y valores o puntuaciones según una escala. Comúnmente suelen presentarse como una matriz o cuadro de doble entrada que permite relacionar y hacer corresponder criterios de evaluación, niveles de logro y descriptores. Generalmente las filas indican dimensiones de la calidad y enumeran una serie de aspectos, áreas o categorías que deben ser cotejadas y la columna representa los niveles de dominio de esa área, normalmente entre tres y cinco, desde nivel de principiante a nivel de experto. En la intersección se incluye una descripción pormenorizada de las cualidades de los resultados y productos observables para esa dimensión y a ese nivel.

La organización de las descripciones en orden de menor a mayor establece una direccionalidad en términos de dominio (Hawes, 2004). La puntuación corresponde al proceso de identificar dentro de la escala y para cada criterio, la descripción de la celda que se ajusta más apropiadamente al comportamiento o producto observado. El objetivo de una rúbrica es que el proceso de evaluación sea claro y consistente, y puede aplicarse en tareas tales como la elaboración de ensayos, proyectos o artículos, entre otras cosas (Definicion.de, 2008-2016). Por otro lado una rúbrica facilita el proceso de evaluación en áreas que son complejas, imprecisas y subjetivas (Zazueta-Hernández, M.y Herrera-López, L., 2008).

Metler establece la existencia de dos tipos de rubricas: Rúbrica holística o global la que considera la evaluación como una totalidad comparándose con ciertos criterios establecidos. Permite hacer una estimación general o de conjunto de un determinado aspecto. Por otro lado, rúbrica analítica es aquella que considera en forma específica cada detalle del proceso de evaluación. Este tipo de rúbrica facilita el conocer las fortalezas y debilidades de lo evaluado y permite establecer un curso de acción para su mejora (Mertler, 2004).

Metodología de trabajo

Para este trabajo hemos adoptado el concepto de rúbrica para evaluar RREA y lo definimos como el instrumento de evaluación, presentado en forma de matriz en la cual se muestran los indicadores sobre calidad de un repositorio, los niveles de valoración y los criterios con los que se hará la evaluación. Basamos el diseño y elaboración de la rúbrica en un instrumento que encontramos en la página BCOER (BCcampus.ca, 2011-2016), en donde un grupo de bibliotecarios ofrece herramientas de apoyo para el uso de REA calidad de los profesores y alumnos. El objetivo de dicho grupo es desarrollar un conjunto de recursos para apoyar a los bibliotecarios en su interacción con docentes en actividades relacionadas con uso de REA.

Dicho instrumento es una rúbrica para evaluar Repositorios de REA (https://open.bccampus.ca/bcoer-librarians/bcoer-tools/ ), desarrollada en febrero de 2015. Encontramos esta herramienta de suma utilidad, por lo que decidimos traducirla, ya que estaba en inglés, y adaptarla a nuestro contexto. Para ello también hemos consultado otras fuentes bibliográficas que nos ayudaron a elaborar una nueva rúbrica (Bueno-de-la-Fuente, G., Hernández-Pérez, T., 2011; Atenas-Rivera, 2014)

Rúbrica para repositorios de recursos educativos abiertos

Presentamos a continuación la rúbrica elaborada con sus categorías explicadas.Las categorías seleccionadas son:

• Avales: se refiere a la institución, educativa o gubernamental, que desarrolla y/o gestiona el repositorio.
• Destinatarios: esta categoría se refiere al nivel educativo al que está dirigido los contenidos el repositorio, en cuanto a organización y disponibilidad de los recursos.

• Sistemas de metadatos: se refiere a la inclusión de estándares internacionales de metadatos interoperables como Dublin Core - IEEE LOM – OAI.
• Uso de palabras claves: es la inclusión de herramientas para describir sistemáticamente los recursos albergados en los repositorios.
• Cobertura temática: Este ítem se centra en la profundidad de la cobertura del área temática del repositorio.
• Soporte de los recursos: esta dimensión representa el tipo de medio en el cual los recursos son presentados. Éstos pueden ser audio, video, texto, visual, animaciones, interactividades, presentaciones. Se basa en el supuesto de que una mayor variedad de formatos sobre un contenido, favorece la comprensión e incorporación del conocimiento.

• Acceso al repositorio: aquí nos centramos en las facilidades para su uso, referidas a la registración y al pago por la utilización de los servicios.
• Navegadores y sistemas operativos: En esta categoría incluimos las facilidades para su uso, referidas a los navegadores web y los sistemas operativos.
• Navegación: Aquí nos referimos a las facilidades de uso, referidas a la navegación por el repositorio, al recorrido que se realiza al utilizarlo.
• Sistemas de metadatos: se refiere a la inclusión de estándares internacionales de metadatos interoperables como Dublin Core - IEEE LOM – OAI.

• Uso de palabras claves: es la inclusión de herramientas para describir sistemáticamente los recursos albergados en los repositorios.
• Cobertura temática: Este ítem se centra en la profundidad de la cobertura del área temática del repositorio.
• Soporte de los recursos: esta dimensión representa el tipo de medio en el cual los recursos son presentados. Éstos pueden ser audio, video, texto, visual, animaciones, interactividades, presentaciones. Se basa en el supuesto de que una mayor variedad de formatos sobre un contenido, favorece la comprensión e incorporación del conocimiento.

• Licencias y permisos: se refiere a la Especificación de las licencias Creative Commons para los recursos albergados.
• Evaluación de los recursos por los usuarios: se refiere a la facilidad de evaluación de los recursos por los usuarios con el objetivo de valorar la calidad de estos.
• Revisión de los recursos por pares: representa la facilidad de revisión de los recursos por parte de pares como política para asegurar la calidad de los mismos.
• Autoría de los recursos: esta categoría se refiere a la inclusión de la autoría de los recursos del repositorio.

• Diversidad cultural de los recursos: esta cualidad se refiere a si los contenidos ofrecidos en el RREA estás disponibles para una gran variedad de idioma, diversidad de género y expresiones culturales y educativas .
• Control de cambios y actualizaciones: se refiere a los mecanismos para gestionar las los cambios y actualizaciones de los recursos.
• Funcionalidad de búsqueda: esta dimensión se centra en la funcionalidad de búsqueda, contemplando las diferentes opciones, básica, avanzada, por truncamiento, etc., para ayudar a los usuarios a encontrar exactamente lo que necesitan sin tener que pasar demasiado tiempo navegando.
• Soporte a las redes sociales: se refiere al soporte que permite el compartir los recursos en las redes sociales.

Rúbrica para repositorios de recursos educativos abiertos

Rúbrica para repositorios de recursos educativos abiertos

Rúbrica para repositorios de recursos educativos abiertos

A modo de cierre

La unificación de criterios de calidad para la evaluación de RREA resulta ser de gran importancia para lograr el máximo aprovechamiento de la información y materiales que contienen. Consideramos que en este proceso de evaluación de los repositorios, una rúbrica es la mejor opción como instrumento a emplear ya que permite conocer a donde se pretende llegar, clarifica el fin, además de ser fácilmente actualizable y establecer distintos niveles de logro, permitiendo detectar claramente fortalezas y debilidades de los mismos. Como fruto de nuestro trabajo hemos logrado adaptar la definición de rúbricas vinculadas a la evaluación de alumnos mencionadas en la fundamentación teórica, para evaluar RREA, aportando así contenido teórico al ya existente.

Su diseño sugiere la existencia de aspectos muy disimiles, por un lado relacionados con cuestiones técnicas, como los procedimientos empleados, el diseño del mismo, la tecnología involucrada, navegadores, etc. Y otros más específicamente relacionados con aspectos educativos, a su vez distinguiendo aquí, los concernientes a los recursos en sí, como la autoría de los recursos existentes, las licencias o permisos que asignan, el uso de palabras claves, la cobertura temática, y por otro lado los relacionados con los usuarios finales: el nivel académico de los destinatarios, el soporte a redes sociales, la evaluación de los recursos por los usuarios. Lo cual puede sugerir una agrupación de ellos para una segunda etapa Como paso siguiente en nuestra investigación, comprobaremos el funcionamiento de la rúbrica desarrollada en distintos repositorios, en especial de reas de Matemática, que ya estamos seleccionando.

BIBLIOGRAFÍA

Atenas-Rivera, J. (octubre de 2014). Estudio de calidad de los repositorios de recursos educativos abiertos en el marco de la educación universitaria (Tesis Doctoral). Recuperado el 12 de febrero de 2016, de Academia.edu: https://goo.gl/j5qb3z Barberá, E. y De-Martín, E. (2009). Portfolio electrónico: aprender a evaluar el aprendizaje. Barcelona: UOC. BCcampus.ca. (2011-2016). BCOER Librarians. Recuperado el 2 de febrero de 2016, de BCcampus Opened : https://open.bccampus.ca/bcoer-librarians/ Bueno-de-la-Fuente, G., Hernández-Pérez, T. (2011). Estrategias para el éxito de los repositorios institucionales de contenido educativo en las bibliotecas digitales universitarias. BiD: textos universitaris de biblioteconomia i documentació (26).

BIBLIOGRAFÍA

Definicion.de. (2008-2016). Definicion de rúbrica. Recuperado el 10 de marzo de 2016, de Definicion.de: http://definicion.de/rubrica/ Hawes, G. (2004). Evaluación: estándares y rúbricas. Talca: Proyecto Mecesup TAL101. Martinez Rojas, J. (2008). Las rúbricas en la evaluación escolar: su construcción y su uso. Avances en Medición , 6, 129-138. Mertler, C. (2004). Designing scoring rubric for your classroom. Practica Assessment, research & evaluation , 7 (25). Pazmiño, H. (15 de Noviembre de 2006). Moodle. Recuperado el 3 de Junio de 2015, de https://moodle.org/mod/forum/discuss.php?d=58534

BIBLIOGRAFÍA

Simon, M. F.-G. (2001). A rubric for scoring postsecondary academic skill. Practical Assessment Research and evaluation , 7, 18. UNESCO. (2012). Democratización de la educación y Recursos Educativos Abiertos: calidad para todos y todas. Recuperado el 30 de septiembre de 2015, de http://goo.gl/J7jcnB Wiley, D. (2009). Defining “Open”. Recuperado el 30 de septiembre de 2015, de http://davidwiley.org/ Zazueta-Hernández, M.y Herrera-López, L. (2008). Rúbrica o matriz de valoración, herramienta de evaluación formativa y sumativa. Campeche: Universidad Autónoma de Campeche.