minería

"Métodos de investigación en tecnología educativa"

Por aire "Objetivo de Investigación"

Identificar un problema

La escasa utilización de e-rúbricas para evaluar el aprendizaje del alumnado de secundaria.

Identificar un problema

Las tecnologías de la información y el conocimiento desempeñan un papel primordial en el progreso de la educación y con ella, la utilización de recursos más sofisticados y mejorados como las rúbricas digitales. Este tipo de recurso digital se considera en auge en términos educativos, por tanto, se espera descubrir los aspectos que funcionan adecuadamente con e-rúbrica y cuáles podrían necesitar mejoras, con el fin de conseguir que la experiencia de uso de la e-rúbrica y el proceso de enseñanza-aprendizaje sea completo y satisfactorio para docentes y discentes.

Justificación

Identificar un problema

Analizar la efectividad y el impacto de las e-rúbricas en enseñanza secundaria para evaluar el aprendizaje del alumnado

Objetivo General

- Identificar las ventajas, desafíos y mejoras en la experiencia de aprendizaje. - Analizar la frecuencia de uso de las e-rúbricas entre los docentes de secundaria.

Objetivos Específicos

Keywords

e-rúbrica, evaluación, educación secundaria

Por mar "Análisis Bibliométrico"

Identificar un problema

Metodología

Se ha procedido a realizar una recopilación de los registros bibliográficos del tema de investigación publicados en la base de datos Scopus en marzo de 2024. Para la búsqueda, se ha empleado la sintaxis “TITLE-ABS-KEY (digital AND rubric) OR TITLE-ABS- KEY ( e-rubrics ) OR TITLE-ABS-KEY ( electronic AND rubrics ) OR TITLE- ABS-KEY ( e-rubric ) AND TITLE-ABS-KEY ( high AND school ) OR TITLE- ABS-KEY ( secondary )”. Han sido obtenidos 72 documentos indexados entre los años 1996 y 2024, ambos incluidos. Para efectuar el análisis bibliométrico, se ha utilizado la interfaz gráfica Biblioshiny, perteneciente al paquete Bibliometrix (https://www.bibliometrix.org/) disponible para el entorno de desarrollo integrado de R denominado RStudio (https://www.rstudio.com/).

Identificar un problema

Resultados

Los 72 documentos que han sido analizados fueron publicados entre los años 1996 y 2024, encontrándose distribuidos en 68 fuentes bibliográficas, con un promedio 5,69 años desde su publicación y con una media de 9,194 citas por documento. Las fuentes de estos documentos correspondían a: 49 artículos, 8 capítulos de libros, 11 publicaciones en congresos, 3 revisiones y 1 revisión de congresos. En relación con los autores de las publicaciones, se han encontrado 248 en total, de los cuales 12 son los únicos autores de documentos de la colección y 232 comparten la autoría de sus publicaciones con otros. La media de autores por documento era de 3,56.

Identificar un problema

Análisis de fuentes

Respecto a las fuentes más relevantes en los artículos analizados, solo hay 4 fuentes con 2 artículos. Las cuatro fuentes son: Asee Annual Conference and Exposition, Conference Proceedings; Educational Technology Research and Development; Jurnal Pendidikan Ipa Indonesia y Language Teaching Research.

Identificar un problema

Análisis de fuentes

Respecto a las fuentes más citadas localmente, primeramente, se encuentra la revista Smart Learning Environments como la más citada, puesto que 134 artículos han puesto en sus referencias alguno de sus artículos. La segunda fuente más citada ha sido Education Sciences con 103 artículos que la referencian. En tercera posición se encuentra Canadian Family Physician con 80 artículos. A partir de esta cuarta fuente, se desciende hasta los 28 y su disminución.

Identificar un problema

Análisis de fuentes

Respecto al impacto de las fuentes de la colección, hubo tres revistas con un índice-H de 2. Las revistas con mayor impacto de la colección de documentos son Asee Annual Conference and Exposition, Conference Proceedings; Educational Technology Research and Development y Language Teaching Research, con un índice-H de 2. El resto de fuentes tenía un índice-H de 1.

Identificar un problema

Análisis de Autoría

Haciendo referencia a los autores más citados y teniendo en cuenta los 248 autores considerados, podemos comentar que no hay diferencias significativas en relación al número de citaciones, pero sí podemos comprobar que prácticamente todos los autores relacionados con el objeto de estudio son relevantes para el análisis. Destacaríamos en la Tabla 4 a Kim Y. con tres citaciones recibidas. El resto de los autores examinados en la colección han aportado aproximadamente uno o dos artículos relacionados con la temática.

Identificar un problema

Autores más relevantes

En cuanto a la citación de autores más relevantes, se observa en la Tabla 5 que la contribución más amplia la han realizado seis autores, obteniendo los tres primeros un total de 134 citaciones y los tres siguientes un total de 103 citaciones. A partir de estos seis autores, las citaciones totales tienen una bajada significativa, obteniendo ya valores inferiores a 80. Para finalizar el análisis, se ha concretado cinco autores que tienen un total de citaciones por debajo de 30, pero que aun así mantienen una contribución significativa al tema de estudio.

Identificar un problema

Afiliaciones más relevantes

En el análisis de las afiliaciones de los autores dentro de la colección examinada, se destaca que el centro más prolífico en el ámbito de la educación y el e-learning es la Universidad de Geogia, con la publicación de nueve artículos sobre la temática. Le sigue de cerca la Universidad de Stanford, con un total de siete documentos. La Tabla 6 proporciona una visión detallada de las afiliaciones más destacadas en la colección analizada, entre las que queremos destacar la Universidad de Málaga con tres artículos.

Identificar un problema

Producción científica según país

Para finalizar esta sección, se llevó a cabo un estudio de la producción científica basado en el país de origen de los autores. Estados Unidos destaca como el país con la mayor producción, aportando un total de 89 documentos a la colección, seguido por Indonesia con 39. España es el siguiente país con un total de 25 documentos y Canadá cerraría el top cuatro de países con mayor producción de artículos, con una cifra de 17 documentos. Los siguientes países comparten una cifra similar, cada uno contribuyendo con 10 o menos documentos de manera descendente. Para obtener más detalles, se recomienda consultar la Tabla 7.

Identificar un problema

Mapa Mundi

La representación visual en la Figura 1 presenta un mapa mundial que abarca todos los documentos examinados. El tono de azul oscurece en proporción al número de documentos publicados, destacando la intensidad de la actividad. Los países que aparecen en gris indican la ausencia de documentos en la colección analizada relacionados con las temáticas de e-rúbricas y educación.

Documentos más citados a nivel global

Identificar un problema

En esta sección, nos sumergimos en un análisis centrado en los documentos que han captado mayor atención a nivel global, es decir, aquellos que han sido citados tanto dentro como fuera de la colección que estamos examinando. Destaca en primera posición el trabajo de Smeda N. (2014) publicado en Smart Learn Environ con un total de 134 menciones seguido de cerca por Fraile M. N. (2018) en Educ Sci, con 103 citas. Observando la Tabla 8, se percibe un notable descenso en la frecuencia de citaciones a partir del tercer puesto, ocupado por Mccoll M. A. (2012) en Cam Fam Phys, con 80 citas. A partir de este punto, la frecuencia se mantiene por debajo de las 30 menciones. Se destaca que la tabla presenta exclusivamente al primer autor de cada publicación para facilitar su comprensión visual.

Nube de Palabras

Identificar un problema

En adición a esta evaluación, se llevó a cabo la confección de una representación gráfica de las palabras más relevantes (ver Figura 2), la cual se construyó a partir de las 50 palabras clave más frecuentemente empleadas por los autores en sus respectivos documentos. Cabe señalar que la representación no incluye el término “e-rúbrica”, dado que este fue la palabra clave principal de la búsqueda y se encontraba presente en la totalidad de los documentos recopilados. Este análisis indica que las expresiones más recurrentes son teaching, adolescent, curricular, students, y e-learning.

Análisis de clúster

Identificar un problema

En el presente análisis se ha evaluado el nivel de emparejamiento bibliográfico de las referencias de los documentos de la colección utilizando como medida de impacto las citas globales en lugar de locales como en el TFM de ejemplo. Esto es debido a que no nos permitía ver los datos de forma correcta. El análisis se realizó utilizando 250 documentos como mínimo y con una frecuencia mínima de clúster del 5%. No existen emparejamientos bibliográficos, habiendo un tema por clúster.

Análisis de estructura conceptual

Identificar un problema

A continuación, se presenta una red de co-ocurrencias en las palabras clave. Este análisis hace referencia a la frecuencia con que las palabras clave de un documento son empleadas en otros. Se puede observar cómo en la Figura 4 aparecen dos clústeres bien definidos: en el primero resaltan los términos estudiantes, enseñanza y planes de estudio. Otras palabras clave de este primer clúster son educación, instituto y portafolios electrónicos. En un segundo grupo resalta el término humano/s. Otras palabras clave de este segundo clúster son adolescente, niño y adultos jóvenes. No obstante, se observa que planes de estudio aparece en el primer clúster y currículo aparece en el segundo, siendo conceptos muy similares que deberían de encontrarse en el mismo clúster.

Análisis de estructura conceptual

Identificar un problema

En relación con el mapa temático que se genera entre los términos empleados por los autores de la colección, se obtienen los siguientes resultados, representados en la Figura 5: 1. Los temas motores, que serían los situados en el cuadrante superior derecho, no aparecen en la búsqueda efectuada. 2. Los temas básicos y transversales, situados en el cuadrante inferior derecho y que son valoración, aprendizaje en línea y comunicación, todos ellos en un único clúster. 3. Los temas nicho, situados en el cuadrante superior izquierdo se encuentran en 4 clústers diferentes. En el primero se encuentran la composición digital multimodal, laescritura de segunda lengua y la enseñanza de idiomas basada en tareas; en el segundo aprendizaje electrónico, diseño instruccional y narración digital; en el tercero rubric y simulation; y en el cuarto teacher self-evaluation y electronic health record. 4. Los temas emergentes o en desaparición, situados en el cuadrante inferior izquierdo, son educación secundaria y habilidades de comunicación en un clúster, y educación en otro clúster.

Análisis de la estructura intelectual

Para concluir el análisis, se revelan los resultados referentes a la estructura intelectual de las co-citaciones presentes en la colección. La Figura 6 ilustra la existencia de cuatro conjuntos de documentos y autores que son citados de manera simultánea en diversas obras:1. Naranja: Hafner (2020) suele ser citado junto a Kim (2020), Long (2015), Jiang (2016) y Belcher (2017). 2. Morado: Newhouse (2010) tiende a ser mencionado junto a Kimbell (2005), Pollitt (2012) y Clarke-midura (2010). (Azul) Jonsson (2007) suele ser citado en conjunto con el trabajo de Brookhart (2015) y Hattie (2007). 3. Verde: involucra a Grabowski (2004) junto con Smiciklas (2012), Krauss (2012), Mckenney (2012) y Dyjur (2015).

Minería de Textos

¿Cómo usar Orange 3?¿Qué utilidades tiene?

Corpus Viewer

Preprocess Text

Corpus

Hierarchical Clustering

Bag of Words

Distances

Word Cloud y Topic Modeling

Desarrollo Word Cloud y Topic Modeling

Word Cloud C2

Word Cloud C1

Topic Modeling C2

Topic Modeling C1

¿Y CÓMO INTERPRETAMOS ESTO?

TOPIC MODELING 1

TOPIC MODELING 2

- Diseño y evaluación de cursos digitales: parece centrarse en el diseño y la evaluación de cursos digitales, particularmente en entornos educativos secundarios. Implica un proceso de aprendizaje basado en la tecnología y la evaluación de su efectividad. - Evaluación de ciencias y desarrollo estudiantil: enfoca la evaluación de las ciencias en el contexto de la educación secundaria, con énfasis en la evidencia basada en las necesidades de los estudiantes para su desarrollo. - Desempeño docente: aborda el desempeño docente y la enseñanza en el nivel universitario, destacando la importancia de sistemas de evaluación de alto nivel. - Diseño de portafolios electrónicos en la escuela: tanto para estudiantes como para profesores en entornos escolares, destacando su uso como herramienta tecnológica en el proceso educativo. - Análisis y reflexión en el aprendizaje de ciencias: se aborda utilizando métodos digitales para mejorar el conocimiento propio. - Educación electrónica y currículo: se centra en la educación electrónica y su relación con el currículo, destacando aspectos como la planificación curricular y la implementación de tecnología en el aula. - Desarrollo de habilidades de alfabetización informacional: aborda el desarrollo de habilidades de alfabetización informacional entre los estudiantes de secundaria, haciendo hincapié en el uso de recursos y fuentes de información en la enseñanza. - Análisis de datos secundarios y futuros estudios: se centra en el análisis de datos secundarios en contextos educativos, sugiriendo futuras investigaciones y la utilización de rubricas para evaluar la complejidad de los datos. - Desarrollo y evaluación de rubricas en la educación: se aplica en el desarrollo y la evaluación de rubricas en el contexto escolar, particularmente en el diseño de nuevas rubricas basadas en investigaciones anteriores. - Procesos de diseño y creación de conocimiento: aborda los procesos de diseño y creación de conocimiento en entornos educativos digitales, con un enfoque en la revisión del contenido y el modelo de enseñanza utilizado por los profesores. Estas interpretaciones están basadas en las palabras clave proporcionadas por el widget Topic Modeling y pueden variar dependiendo del contexto específico del estudio y la naturaleza de los documentos analizados.

Es un widget que calcula la distancia entre los documentos de un corpus de texto. Estas distancias pueden ser útiles para realizar tareas como la agrupación de documentos similares o la visualización de la distribución de los documentos en un espacio multidimensional. Después de haber generado la representación de "Bag of Words" para tu corpus de texto, se arrastra y suelta el widget "Distances" en el lienzo de trabajo. Al ejecutar el widget "Distances", este calculará la distancia entre los documentos basándose en la representación numérica de los documentos (por ejemplo, la matriz de términos-documentos). Se puede elegir el tipo de distancia que se desea calcular, como la distancia euclidiana, la distancia de coseno, etc. El resultado será una matriz de distancias que puedes utilizar para realizar análisis posteriores, como la agrupación de documentos utilizando algoritmos de clustering. En nuestro caso, en este paso, hemos seleccionado que compare las filas y que acuse una distancia métrica Euclidiana (normalizada).

En nuestro caso, este es el “Word Cloud” para la fila C2 roja, de manera que podemos visualizar las palabras más frecuentes dentro de nuestro corpus, entre las que destacamos: - Digital - Desing - Learning - Secondary - Process - Student - Teachers

En nuestro caso, este es el “Word Cloud” para la fila C1 azul, de manera que podemos visualizar las palabras más frecuentes dentro de nuestro corpus, entre las que destacamos: - Digital - Skills - Assessment - Learning - Study - Student - Education

"Word Cloud" (Nube de Palabras): Es una visualización que muestra las palabras más frecuentes en un conjunto de documentos de texto. Las palabras se representan en diferentes tamaños, donde las palabras más frecuentes aparecen más grandes. Esta visualización es útil para identificar temas comunes o palabras clave en el corpus de texto. “Topic Modeling" (Modelado de Temas): Es una técnica de análisis de texto que identifica temas latentes en un conjunto de documentos. Utiliza algoritmos como LDA (Latent Dirichlet Allocation) para descubrir las distribuciones de temas en el corpus y asignar palabras a esos temas. Esto permite explorar la estructura temática del corpus e identificar los temas dominantes en los documentos. Para realizar el “Word Cloud”, arrastra y suelta el widget "Word Cloud" en el lienzo de trabajo. Conecta el widget al corpus de texto o al resultado de un proceso de análisis previo. Al ejecutar el widget, se generará una nube de palabras que muestra las palabras más frecuentes en el corpus. Para realizar el "Topic Modeling", arrastra y suelta el widget "Topic Modeling" en el lienzo de trabajo. Se conecta el widget al corpus de texto o al resultado de un proceso de análisis previo. Se configuran los parámetros del modelo, como el número de temas. Al ejecutar el widget, se aplicará el modelo de temas y se mostrarán los resultados, que incluyen la distribución de palabras por tema y la asignación de documentos a los temas identificados.

Este paso es esencial para preparar los datos de texto para análisis más avanzados. El preprocesamiento del texto ayuda a limpiar y normalizar los datos de texto, lo que facilita la extracción de información significativa y la creación de modelos de análisis de texto precisos. Después de haber cargado el widget "Corpus Viewer", arrastra y suelta el widget llamado "Preprocess Text" en el lienzo de trabajo.Una vez que se coloca el widget del "Preprocess Text", se abrirá una ventana que permite configurar las opciones de preprocesamiento para corpus. Se pueden seleccionar las tareas de preprocesamiento que se desea realizar, como eliminar palabras vacías, convertir texto a minúsculas, etc.Una vez que configuradas las opciones de preprocesamiento, se ejecuta el widget y este aplicará las transformaciones seleccionadas a tu corpus de texto.En nuestro caso, para realizar el preprocess text hemos seleccionado en “Transformation” las casillas de lowercase, parse html y remove urls. En el apartado de Tokenization, hemos seleccionado Regexp, así como en el apartado Filtering, que hemos clickado en stopwords, regexp y document frequency.

- Evaluación digital y desarrollo de habilidades: este tema parece centrarse en la evaluación digital de habilidades de los estudiantes, posiblemente a través de portafolios digitales, con un enfoque en el aprendizaje basado en habilidades y competencias. - Educación en línea y uso de rubricas: sugiere abordar ambos para evaluar el aprendizaje de los estudiantes. También puede estar relacionado con procesos de evaluación en entornos digitales. - Uso de rubricas en la educación digital: este tema asevera centrarse en el uso de rubricas como método de evaluación en la educación digital, aplicándolas en entornos de aprendizaje en línea. - Resultados de estudios y habilidades: aparenta centrarse en los resultados de estudios relacionados con el desarrollo de habilidades de los estudiantes, con un enfoque en los resultados positivos y la utilización de datos para abordar problemas identificados. - Investigación educativa y diseño de proyectos: deduce abordar la investigación educativa, con un enfoque en el diseño de proyectos de investigación que tienen un impacto en el ámbito universitario y en los servicios educativos. - Aprendizaje digital y prácticas educativas: estimar centrarse en el aprendizaje digital y las prácticas educativas asociadas, incluyendo cómo los estudiantes y las escuelas utilizan la tecnología en el proceso de enseñanza y aprendizaje. - Aprendizaje de idiomas y tecnología: parece abordar el aprendizaje de idiomas en contextos digitales, utilizando modelos de aprendizaje y la utilización de información digital en el aula. - Rol docente en la educación en línea: se centra en el papel de los profesores en la educación en línea, incluye el diseño de cursos y utilización de erubricas para evaluar el aprendizaje de los estudiantes. - Investigación científica y educación en línea: presume abordar la investigación científica en el ámbito de la educación en línea, con un enfoque en los hallazgos clave y la capacitación relacionada con el uso de la tecnología en la enseñanza. - Aprendizaje digital y diseño educativo: parece centrarse en el aprendizaje digital y el diseño educativo, con un enfoque en cómo los estudiantes y los profesores diseñan y utilizan recursos digitales en el proceso de enseñanza y aprendizaje. Estas interpretaciones están basadas en las palabras clave proporcionadas por el widget Topic Modeling y pueden variar dependiendo del contexto específico del estudio y la naturaleza de los documentos analizados.

El "Corpus Viewer" es un widget que permite visualizar y explorar los detalles de tu corpus de texto después de haber sido cargado y preprocesado, tal y como se mostraba en el paso anterior. Una vez cargado, clickamos en CORPUS y arrastramos para crear una nueva fuente: CORPUS VIEWER. Una vez que se coloca este widget, se abrirá una ventana que mostrará diferentes estadísticas y visualizaciones de tu corpus. Se puede ver la distribución de palabras más comunes, la frecuencia de términos, n-gramas, etc. Además, el "Corpus Viewer" también te permite filtrar y buscar documentos específicos dentro de tu corpus, lo que puede ser útil para explorar datos específicos o realizar análisis detallados. Como se aprecia en la imagen, hemos procesado 73 artículos teniendo en cuenta aspectos como: autores, DOI, enlace, abstract, etc.

En nuestro caso, este es el “topic modeling” para la fila C1 azul, de manera que podemos apreciar cuales son las palabras clave más utilizadas en los temas. Estas son: 1. Digital, students, learing, skills, teachers, portfolio, based, using, education 2. E, students, learning, rubric, digital, order, use, study, process, student 3. Rubrics, education, assessment, method, learning, students, digital, online, using, skills.

En nuestro caso, este es el “top modeling” para la fila C2 roja, de manera que podemos apreciar cuales son las palabras clave más utilizadas en los temas. Estas son: 1. Assessment, desing, digital, courses, based, study, secondary, process, learning, use 2. Assessment, science, secondary, evidence, based, learning, students, needs, primary, development 3. Performance, teacher, university, teaching, level, high, secondary, systems, 10, important

Es un método de análisis de datos que agrupa los documentos en un árbol jerárquico de clusters. En el contexto del análisis de texto, este método agrupa los documentos según su similitud en términos de contenido textual. Después de haber calculado las distancias entre los documentos utilizando el widget "Distances", se arrastra y suelta el widget "Hierarchical Clustering" en el lienzo de trabajo. Se conecta el widget "Hierarchical Clustering" al resultado del cálculo de distancias. Se pueden configurar los parámetros del algoritmo de agrupamiento jerárquico, como el método de enlace (por ejemplo, enlace simple, enlace completo, etc.) y el criterio de agrupamiento (por ejemplo, distancia euclidiana, distancia de coseno, etc.). Al ejecutar el widget "Hierarchical Clustering", se generará un dendrograma que visualiza la estructura jerárquica de los clusters. Se puede interactuar con el dendrograma para explorar diferentes niveles de agrupamiento y identificar los clusters de interés. En nuestro caso, hemos seleccionado en las anotaciones las palabras clave de autores y hemos seleccionado una selección manual. El resultado han sido dos filas principales, como son la C1 en azul y la C2 en rojo. De esta manera podemos crear la nube de palabras de manera específica para cada fila.

Es la etapa inicial donde se importan y preparan los datos de texto para su análisis posterior. Un corpus es simplemente un conjunto de documentos de texto que se utilizarán en el análisis. Este paso es crucial porque antes de realizar cualquier análisis de texto, es necesario tener los datos de texto en un formato adecuado para que el programa pueda trabajar con ellos. Para crear el CORPUS, en el panel de herramientas, arrastra y suelta el widget llamado "Corpus" en el lienzo de trabajo. Al soltar el widget, se abrirá una ventana emergente que te permite cargar los datos de texto. Dichos datos pueden ser cargados desde los archivos de texto y Excel guardados en tu ordenador. Una vez cargados los datos, el widget del "Corpus" mostrará estadísticas básicas sobre tu corpus, como el número de documentos, el número total de palabras, etc. En nuestro caso, hubo problemas en el volcado de datos desde el formato Excel, por lo que la búsqueda inicial que tuvo un total de 72 artículos, se vio afectada. Esto dio lugar a una nueva búsqueda que nos arrojó un total de 73 artículos, uno más que en la búsqueda original.

Después de haber preprocesado tu corpus de texto utilizando el widget "Preprocess Text" y haberlo visualizado con el widget "Corpus Viewer", podemos arrastrar y soltar el widget llamado "Bag of Words" en el lienzo de trabajo. Una vez que se coloca el widget de "Bag of Words", se conecta al widget "Corpus" para tomar los datos preprocesados como entrada. Al ejecutar el widget, creará una matriz de términos-documentos donde cada fila representa un documento y cada columna representa una palabra única en el corpus. La matriz estará compuesta por las frecuencias de ocurrencia de las palabras en cada documento. Se puede personalizar el proceso de "Bag of Words" seleccionando diferentes opciones, como la frecuencia de términos (TF o TF-IDF), la eliminación de palabras vacías, la limitación del tamaño del vocabulario, etc. En nuestro caso, en este paso hemos seleccionado una frecuencia de términos “count” y para los ítems de frecuencia de documentos y regularización no hemos seleccionado ninguno. Además, este paso nos ha servido para poder visualizar una clara clasificación de documentos y a la vez, la agrupación de temas de los mismos.