Madrid - V seminario TDDEA

PEUMO: validación de una herramienta de retroalimentación automatizada basada en análisis retórico-discursivo y lexicogramatical.

Dr. René Venegas Velásquez 🌐 www.renevenegas.cl 🌐 rene.venegas@pucv.cl

Doctorado en Lingüística – PUCVFundación: 1993 Graduados: Más de 65 doctores Estudiantes: Chile y muchos otros paises Líneas de investigación: Psicolingüística: procesamiento, comprensión, producción, adquisición. Estudios del discurso: académico, profesional, mediático; lingüística de corpus y computacional Duración: 8 semestres Perfil del graduado: Investigadores con sólida formación teórica y metodológica, capaces de desarrollar investigación de alto impacto a nivel nacional e internacional

Marie Curie

CÁTEDRA UNESCO para la lectura y la escritura Sedes Fundadoras

Dra. Elvira Arnoux

Dra. Karen López G.

Dr. René Venegas

Directora Sede ArgentinaUniversidad de Buenos Aires

Director Sede ChilePontificia Universidad Católica de Valparaíso

Directora Sede ColombiaUniversidad del Valle

Sitio Webwww.catedraunescolees.cl

https://www.youtube.com/@ctd_unesco

ctd_unesco

Actividades

Simposios Internacionales

Reuniones Anuales

1er Simposio: Temuco (2015) 2º Simposio: Arica (2016) 3er Simposio: Chillán (2017) 4º Simposio: Talca (2020) 5º Simposio: Santiago (2022 6º Simposio: Rancagua (2023)

Reuniones presenciales y virtuales de coordinación

Nuevas Subsedes

Universidad Andres Bello* / Universidad de los Andes

Encuentro 23 de septiembre 2024 PUCV

Diplomado

Alfabetización Académica 2023/2024/2025

Charlas

Congreso (Inter)nacionales

En diferentes Subsedes y otras invitaciones organismos públicos y privados

Sedes y Subsedes

13 Subsedes en Chile

13 Países

Universidad de Tarapacá (Coordinadora: Dra. Ingrid Guillén) Universidad de Antofagasta (Cordinadora: Dra. Mailing Rivera) Universidad del Bío-Bío (Coordinador: Dr. Federico Pastene) Universidad de Concepción (Coordinadora: Dra. Pamela Ramírez) Universidad de Los Lagos (Coordinadora: Dra. Verónica Ormeño) Universidad de Magallanes (Coordinadora: Dra. Oscar Barrientos) Universidad Católica del Maule (Coordinadora: Mag. Carolina Merino) Universidad Católica de la Santísima Concepción (Coordinadora: Dra. Mónica Tapia) Universidad del Desarrollo (Coordinador: Dr. Amparo Galdames) Univesidad Viña del Mar (coordinadora: Dra. Steffanie Kloos*) Universidad de O`Higgins (coordinador: Dr. Federico Navarro) Universidad Católica de Temuco (coordinadora: Vanessa Valdebenito) Pontificia Universidad Católica de Chile (coordinadora: Dra. Natalia Ávila)

Universidad del Valle (Colombia) Universidad de Buenos Aires (Argentina) Pontificia Universidad Católica de Valparaíso (Chile) Universidad Ricardo Palma (Perú) Universidad Pedagógica Experimental Libertador (Venezuela) Universidad de Puebla (México) Universidad Interamericana (Puerto Rico) Universidad de Federal de Santa Catarina (Brasil) Universidad Salesiana de Bolivia (Bolivia) Universidad de Costa Rica (Costa Rica) Universidad de Panamá (Panamá) Universidad de Cuenca (Ecuador) Universidad República de Uruguay (Uruguay)

01

Plataforma de Escritura Universitaria con Mediación OnlineUniversity Writing Platform with Online Mediation

http://www.redilegra.com/peumo

01

Características principales de PEUMO

• Herramienta gratuita y de acceso abierto para apoyar la escritura de informes e informes finales de titulación en ingeniería.
• Combina Lingüística de Corpus (LC) y Pedagogía Basada en Género (PBG) para ofrecer retroalimentación ortográfica, estilística, léxico-gramatical y discursiva.
• Integra un editor de texto, módulos de consulta y apoyo a la escritura, y videos didácticos que orientan el uso autónomo.
• Procesa textos con técnicas de PLN e inteligencia artificial, usando el modelo BETO para clasificar propósitos comunicativos.
• Se basa en un corpus de 1.756 informes técnicos y 432 informes de titulación anotados retóricamente.
• Entrega retroalimentación epistémica-sugestiva, promoviendo la reflexión crítica y autorregulación del estudiante.

02

Antecedentes

Escritura: tecnología que transforma como pensamos, recordamos y evolucionamos

“Con los seres humanos, la evolución alcanzó una etapa tan crucial como el propio ADN: el desarrollo del lenguaje, especialmente del lenguaje escrito, que permitió transmitir el conocimiento más allá de la genética” — Stephen Hawking, 2018

Escritura como soporte tecnológico en constante cambio

Escritura como tecnología interiorizada

Ong (1982)

PEUMO

Antecedentes conceptuales

Agenda

Metodología de validación

Resultados

Comentarios finales

02

Antecedentes

Modelos de Producción escrita

02

Antecedentes

Modelos de Producción escrita: Graham(2018)

• Escritura como actividad compleja y multidimensional: implica una interacción entre habilidades cognitivas, motivacionales, contextuales y lingüísticas.
• La producción escrita es un proceso que involucra toma de decisiones, planificación, monitoreo y revisión.
• Los estudios sobre escritura deben estar ligados a contextos instruccionales, es decir, cómo enseñar a escribir de manera efectiva.

• Se promueve una evaluación rigurosa de programas de enseñanza de escritura mediante diseños experimentales o cuasi-experimentales.

Uno de los focos principales es cómo los escritores (especialmente estudiantes) aprenden a autorregular su proceso de escritura (planificar, redactar, revisar).

02

Antecedentes

Modelos de Producción escrita: Graham(2018)

¿Es posible guiar estos procesos en adultos?

02

Antecedentes

Lingüistica de corpus para entender el discurso

Lingüística de corpus: un enfoque empírico y basado en datos para el estudio del lenguaje en uso a partir de grandes colecciones digitales de textos (corpus). Un corpus es un conjunto de textos digitalizados que comparten rasgos morfosintácticos, semánticos, pragmáticos y discursivos definidos, determinados por el registro y el género.

02

Antecedentes

Lingüistica de corpus para ENSEÑAr a ESCRIBIR

"La integración de la lingüística de corpus y la pedagogía basada en género permite enseñar escritura disciplinar en español mediante evidencias empíricas y experiencias aplicadas en ingeniería, apoyadas por herramientas como ANMOP y PACTE. Los resultados muestran mejoras en la calidad de los textos y una alta valoración de estudiantes y docentes, lo que evidencia la necesidad de ampliar estos enfoques y recursos en el ámbito hispánico".

Venegas, R., Lillo, F. & Sologuren, E. (2022). Patrones retóricos y enseñanza de la escritura disciplinar en español basada en corpus. En Giovanni Parodi, Manuel Cantos & Chad Howe (eds.). The Routledge Handbook of Spanish Corpus Linguistics (págs. 325 – 341). New York: Routledge.

02

Antecedentes

Pedagogía BAsada en el género

La pedagogía basada en el género (PBG) surge de propuestas de la escuela sistémico-funcional de Sídney (Rose & Martin, 2012); Hyland (2007) y Bawarshi & Reiff (2010).

• La cultura se organiza en un sistema de géneros y que los individuos deben aprender a usarlos para ser independientes, creativos y críticos.
• Propone una enseñanza explícita y contextualizada de los géneros discursivos, analizando sus estructuras y propósitos comunicativos.
• Se basa en un ciclo de enseñanza que incluye la preparación, lectura y deconstrucción de textos modelo, la construcción conjunta de nuevos textos y la escritura independiente.

• Busca que los estudiantes comprendan que las elecciones lingüísticas y retóricas están ligadas a los propósitos, audiencias e ideologías de cada comunidad discursiva.

Venegas, R., Lillo, F. & Sologuren, E. (2022). Patrones retóricos y enseñanza de la escritura disciplinar en español basada en corpus.

02

Antecedentes

Retroalimentación

La retroalimentación es una acción pedagógica con impacto directo en el aprendizaje, ya que orienta al estudiante a reducir la brecha entre su desempeño actual y el esperado (Mandouit & Hattie, 2023). Debe entenderse como un diálogo bidireccional entre docentes y estudiantes que fomenta la autorregulación y el monitoreo del aprendizaje (Nicol, 2010). En el ámbito digital, se reconoce la necesidad de una retroalimentación epistémica y sugestiva, capaz de apoyar los procesos metacognitivos de la escritura disciplinar (Guasch et al., 2013; Venegas, Ahumada & Sologuren, 2021; Lillo--Fuentes, Venegas & Lobos, 2023).

02

Antecedentes

Retroalimentación

El análisis combina tres tipologías teóricas complementarias de retroalimentación:

• Contreras y Zúñiga (2017) → foco en la forma de entrega. Corrección: marcas o símbolos sobre aciertos/errores. Elogio: comentarios positivos que refuerzan la motivación. Mejoría proyectiva: orientaciones para trabajos futuros.

• Canabal y Margalef (2017) → foco en la tarea o el proceso. Centrada en la tarea, en el proceso de la tarea, en la autorregulación, en la persona y en el contenido.
• Guasch, Espasa, Álvarez y Kirschner (2013) → foco en la finalidad. Correctiva, epistémica, sugestiva y epistémica+sugestiva.

3 subtipos emergentes no previstos en las tipologías iniciales: Elogio + mejoría proyectiva (combinación de reconocimiento con orientación de mejora). Correctiva + sugestiva (indica error y sugiere solución). Correctiva + epistémica (señala error y pide explicación crítica o justificación).

02

Antecedentes

Géneros discursivos

"Una clase de eventos comunicativos, cuyos miembros comparten un conjunto de propósitos comunicativos. Estos propósitos son reconocidos por los miembros expertos de la comunidad discursiva de pertenencia, y por tanto constituyen la lógica del género. Esta lógica da forma a la estructura esquemática del texto e incluye y restringe las opciones de contenido y estilo"

(Swales, 1990, p. 9)

02

Antecedentes

Retroalimentación automatizada

Usos principales

• Apoyo al aprendizaje autónomo: los estudiantes pueden revisar y mejorar sus textos sin depender exclusivamente del profesor.
• Refuerzo de la enseñanza explícita del género: permite identificar patrones retóricos y compararlos con modelos disciplinares.
• Evaluación continua: facilita monitorear el progreso a lo largo del proceso de escritura.
• Integración pedagógica: en programas de escritura disciplinar, combina la precisión del análisis automatizado con la guía formativa docente.

Tipos de retroalimentación automatizada:

• Correctiva: corrige errores formales (gramática, léxico, puntuación).
• Estructural o retórica: orienta la organización del texto y las movidas del género.
• Formativa: guía el proceso de mejora y revisión de la escritura.
• Epistémica: promueve la reflexión y construcción del conocimiento disciplinar.

Lillo-Fuentes, F., Venegas, R. & Lobos, I. (2023). Evaluación semiautomatizada de la calidad de textos escritos?: una revisión sistemática. Perspectiva Educacional, 62(2), 5–36. https://doi.org/10.4151/07189729-Vol.62-Iss.2-Art.1420

02

Antecedentes

Escritura en Ingeniería

Mito 1: La escritura debería dominarse en la enseñanza secundaria → Ignora que escribir es un proceso continuo, especialmente en los géneros técnicos. Mito 2: Solo los escritores con problemas necesitan retroalimentación → La retroalimentación se percibe erróneamente como remedial, en lugar de formativa y útil para todos. Mito 3: La escritura científica y técnica es puramente objetiva → Asume que los textos son neutrales y transparentes, cuando en realidad implican decisiones retóricas (voz, matización, postura, evaluación).

Los profesores suelen ver la escritura como una herramienta de evaluación o un medio para registrar ideas, enfocándose en las reglas y los códigos (Serrano, Duque & Madrid, 2011).

02

Antecedentes

Inteligencia Artificial

02

En suma

• Los géneros son fundamentales para la alfabetización disciplinar.

• La Pedagogía Basada en el Género (PBG) se centra en el reconocimiento de las unidades retórico-funcionales de un género (de manera explícita, situada y significativa).

• La Lingüística de Corpus y la Inteligencia Artificial (PLN + AM + LLM) permiten identificar los patrones de un género.

• Existen pocas aplicaciones computacionales que apoyen la escritura académica desde la PBG y la combinación LC + IA.

• Faltan intervenciones de escritura basadas en corpus en español, ya que los enfoques existentes se centran principalmente en el producto escrito y en los aspectos léxico-gramaticales.

Aplicaciones didácticas

• 1 libro
• 1 año de tutorías en Psicología
• 2 año de tutorías en Ingeniería Civil Informática
• 1 Cuadernillo Guías Para Escribir el Informe Final de Proyecto de Título de Ingeniería Civil Informática
• Tesis de Pregrado y Doctorado sobre el tema
• Creación de ANMOP-DIDANMOP-HERMES, PACTE y PEUMO

• Ver www.redilegra.com

Computational Tools

El GRIAL

BUCÓLICO

Parodi (2006)

Parodi & Venegas (2004)

El Manchador de Textos

Venegas, R. & Silva, J. (2007)Venegas, R. (2008)

ANMOP y DIDANMOP

Sologuren, Venegas, Soto et al.(2017)

PACTE

HERMES

Lillo & Venegas (2021)

Castro, Venegas, Puma & Cuba (2021)

Vigilia

Puravain, E., Riquelme, F. & Venegas, R. (2025)

PEUMO

#STOPFAKENEWS

WRITEWISE

Venegas y Cerda(2022, 2024, 2025)

Vera, Allende-Cid, Venegas et al (2018)

Puravain, E., Riquelme, F. & Venegas, R. (2023)

03

Metodología de validación

Constanza Cerda Phd thesis (2025)

OBJETIVO: Validar empíricamente la eficacia pedagógica y técnica de la plataforma PEUMO, una herramienta computacional basada en inteligencia artificial y lingüística de corpus diseñada para apoyar y evaluar la escritura epistémica del informe técnico en ingeniería.

03

Metodología de validación

Compilación y anotación del corpus

- Corpus IFPT-INF-2022: en español, monolingüe, escrito, sincrónico, especializado y de nivel aprendiz. - 432 ejemplares del género Informe de Tesis Final para los programas de Ingeniería Civil, Ciencias de la Computación e Ingeniería en Computación, desde 2007 hasta 2021. - Anotación semi-automatizada mediante HERMES: 120,114 oraciones. - Resultados de esta etapa: reafirmación del IFPT como parte del Proyecto de Titulación, confirmación de la coherencia interdisciplinaria del modelo, así como de fenómenos de variación.

03

Metodología de validación

Estudio cuasiexperimental

Participantes: 66 estudiantes de último año de Ingeniería Informática de una universidad chilena. Duración: seis sesiones de 70 minutos durante un semestre. Grupo Control: enfoque de enseñanza de alfabetización académica. Grupo Experimental: enseñanza basada en Lingüística de Corpus (LC) y Pedagogía Basada en Género (PBG) con uso de la plataforma PEUMO. Evaluación:

• Comparación pre-test / post-test de introducciones de informes finales usando una rúbrica de calidad de escritura.

• Cuestionario de proceso de escritura (procesos metacognitivos, estrategias y foco atencional).

• Análisis del efecto de la retroalimentación (positivo, negativo o sin efecto).

• Cuestionario de percepción de usabilidad.

04

Resultados

Efecto de la intervención en el producto de escritura

Resultados de calidad de escritura: se observaron mejoras significativas en las introducciones de tesis del grupo experimental (PEUMO + LC(IA) + PBG).El análisis ANOVA confirmó diferencias con el grupo control. El post-test (experimental) obtuvo un puntaje total mayor que el post-test (control) (p = 0.021). Conclusión: PEUMO tiene un efecto positivo en la escritura académica disciplinar.

04

Resultados

Efectos de la intervención en el proceso de escritura

Análisis de procesos metacognitivos y autorregulación: El cuestionario de procesos de escritura mostró mejoras en el monitoreo, la planificación y la revisión consciente en el grupo experimental. Los estudiantes reportaron mayor atención a los propósitos comunicativos y a la estructura del género informe técnico.

04

Resultados

Interacción con PEUMO

Predominaron los efectos positivos, vinculados a la revisión y reformulación de ideas y al uso más adecuado de estructuras discursivas. Los efectos neutros o negativos se asociaron principalmente a una comprensión parcial o escasa aplicación de las sugerencias automatizadas.

04

Resultados

Evaluación de la usabilidad de PEUMO

Experiencia didáctica general: el grupo experimental mostró un +7,31% de mejora.Autonomía de aprendizaje: +18% respecto al grupo control. Motivación de uso: +8% sobre el grupo control. Recomendación: el 87,5% de los estudiantes recomienda PEUMO. Prueba t: evaluaciones significativamente más positivas (p < 0.001).

05

Comentarios de cierre

La plataforma PEUMO demuestra validez pedagógica y técnica como herramienta de apoyo a la escritura académica disciplinar en ingeniería.La integración de Lingüística de Corpus (LC), IA, Pedagogía Basada en Género (PBG) y retroalimentación automatizada favorece la mejora significativa de la calidad textual, especialmente en la organización retórica y la claridad discursiva. El uso de PEUMO fortalece procesos metacognitivos, promoviendo mayor autonomía, autorregulación y conciencia del proceso de escritura. Los estudiantes muestran alta motivación y valoración positiva (87,5%), mientras que los docentes observan mejoras en la coherencia y pertinencia discursiva. En conjunto, los resultados confirman que PEUMO tiene un impacto positivo y estadísticamente significativo en la enseñanza y aprendizaje de la escritura disciplinar, constituyendo una propuesta innovadora para la alfabetización académica en español.

05

Comentarios de cierre

Proyecciones de PEUMO: Ampliar el uso de la plataforma a otras disciplinas y géneros académicos, más allá de ingeniería. Integrar retroalimentación automatizada avanzada, basada en modelos de IA generativa (LLM) para mejorar la precisión y personalización de las sugerencias. Fortalecer la validación empírica, incorporando muestras más amplias y diversos contextos universitarios. Desarrollar nuevos módulos pedagógicos, centrados en la escritura epistémica y el pensamiento crítico: ¿colaboración con DIDACTEXT? Fomentar la transferencia internacional de PEUMO como modelo de alfabetización académica digital en español...y ¿otras lenguas?

05

Plataforma de Escritura Universitaria con Mediación Online -> Versión en progreso

http://www.redilegra.com/peumo

05

Dr. René Venegas Velásquez 🌐 www.renevenegas.cl 🌐 rene.venegas@pucv.cl

01

Niveles del lenguaje (de lo universal a lo individual)

TEXTOS (oral, escrito, multimodal)

Registro (campo, tenor, modo)

Géneros discursivos (Práctica comunicativa recurrente en una comunidad)

Discurso: lenguaje como práctica social (ideología, temas comunes y valores)

Lenguas históricas

Lengua como sistema

Lenguaje

Antecedentes

Individual

Social

Universal