PRESENTACIÓN UNIDAD 5

Evaluación de Sistemas Educativos

UNIDAD 5

Empezar

Sección I

Políticas internacionales de evaluación

• La mayoría de los países latinoamericanos inician sus reformas educativas en los años noventa.
• Estas reformas coinciden en la mayoría de los casos, con periodos de construcción democrática luego de gobiernos militares autoritarios

• Suceden una serie de hechos geopolíticos de importancia mundial, principalmente vinculados con el final de la guerra fría con la caída del muro de Berlín) y el proceso de globalización económica liderado por EEUU que se expresan con claridad en el Consenso de Washington y las medidas de política económica que lo acompañan (Martínez y Reyes, 2012)

• En el campo educativo, EEUU es un actor clave en el desarrollo de pruebas estandarizadas y estudios comparativos y el establecimiento de estándares internacionales.
• Disminuye el poder y la legitimidad de la UNESCO para monitorear el progreso educativo y resurge con fuerza.
• La teoría de capital humano y el modelo de la Nueva Gestión Pública (NPM) Gestión Basada en Resultados.
• Como consecuencia, se impone un modelo economicista: La educación como una función de producción: los indicadores educativos fueron desplazados por estudios comparativos de logros académicos y se desarrolla el fenómeno de las evaluaciones internacionales a gran escala (Addey, 2017) y la introducción de mecanismos de mercado en la educación tales como la privatización y la importación de tecnologías de enseñanza (Verger, Moschetti y Fontdevila, 2017).

• La globalización afecta drásticamente las políticas educativas a nivel de los países del sur.
• Los países de bajos ingresos son altamente dependientes de la experticia, la información y el financiamiento extranjero, de las ONG internacionales, donantes, organizaciones internacionales que tienen la capacidad para marcar una agenda y establecer prioridades (Verger, Moschetti y Fontdevila, 2017

Surge como un paradigma de la administración que adapta las herramientas de la gestión empresarial al manejo de los asuntos públicos, y propugna por la prestación de servicios con un enfoque de eficiencia, competencia y efectividad en la satisfacción de las demandas sociales

Nueva Gestión Pública (NGP)

20.00 h

Los principios de la NGP han tenido un impacto directo en el desarrollo de evaluaciones externas estandarizadas a nivel regional, nacional e internacional en educación (Rey, 2010)

puntos centrales: es la presión por los resultados, teniendo como uno de sus instrumentos de gestión el uso de incentivos para alcanzar esos resultados

20.00 h

De acuerdo con la teoría del capital humano, la educación no es vista como un costo sino como una inversión que va a producir un capital adicional. La combinación de las habilidades individuales va a reflejar un componente del poder económico de un país

20.04 h

Modelo basado en resultados para la evaluación de los sistemas educativos

Para producir una educación que puede ser medida en términos de cantidad (años de permanencia escolar) y de calidad (logros de aprendizaje)

La escuela combina diferentes inputs (materiales didácticos, docentes con características específicas, etc.)

Organismos claves para el desarrollo de las pruebas internacionales a gran escala que miden el desempeño de estudiantes

Organización para la Cooperación y el Desarrollo Económicos (OCDE)

Asociación Internacional para la Evaluación de Logros Educativos (IEA)

Instituto de Estadística de la UNESCO (UIS)

Tendencias en las políticas globales de educación

Crecimiento del interés de medir aprendizaje como un indicador clave.Esto se expresa en el Objetivo 4 de los Objetivos de Desarrollo Sostenible (ODS) de las Naciones Unidas:

• Garantizar una educación inclusiva, equitativa y de calidad y promover oportunidades de aprendizaje durante toda la vida para todos, crecimiento del rol y de la influencia de la OCDE en las políticas globales de educación,
• expansión de la OCDE en los países en desarrollo, en especial con PISA – D,

• organizaciones multilaterales (OCDE, WB) y las industrias internacionales asumen un rol protagónico de establecer las normas en educación, alineación de programas nacionales de evaluación con las evaluaciones internacionales (en especial con PISA),
• se estrecha y se reducen los objetivos de la educación y se pierde el valor de la diversidad,
• desarrollo de actores no estatales y empresas privadas y corporación en educación como McKinsey, Pearson, Cambridge Education, Rand Corporation y otras en la modalidad de APP (Asociación Público – Privada) (Steiner-Khamsi, 2013) y
• reducción del papel del Estado en las políticas educativas nacionales. El Estado pasa de ser el proveedor de educación a un rol de regulador, financiador y evaluador del sistema educativo (Verger, Moschetti y Fontdevila, 2017).

• Investigadores e intelectuales, al igual docentes expresan su preocupación por las alianzas de organizaciones como la OECD, la UNESCO y el Banco Mundial para promover políticas y agendas en educación (Baird y otros, 2016), el riesgo que implica negar las diferencias culturales y de los modelos educativos y apuntar a una convergencia de indicadores para valorar la educación (Volante, 2015)
• La expansión de PISA está creando una nueva modalidad de gobernanza global en educación (Sellar y Lingard, 2013).
• Intereses económicos de empresas privadas e industrias educativas que se mueven detrás de las evaluaciones estandarizadas (Steiner-Khamsi, 2015).
• Problemas educativos que generan las evaluaciones estandarizadas al centrarse solo en unas áreas específicas de conocimiento (matemática, lengua, principalmente), y como esto va en desmedro de una educación integral, intercultural, inclusiva.

Sección II

Sistemas de medición y evaluación

Experiencias de los sistemas de evaluación de 19 países latinoamericanos

01

02

03

Los sistemas de evaluación varían en los componentes a evaluar, los usos que se hacen de la evaluación y los organismos que las administran. Se pueden identificar tres variables centrales: i) el carácter de la evaluación (obligatoria o voluntaria), ii) el tipo de evaluación (estandarizada o contextualizada) y iii) la centralización o descentralización de la política de evaluación

Áreas de especial relevancia para las políticas y los sistemas educativos: 1) la aplicación de pruebas estandarizadas de rendimiento; 2) la construcción de indicadores; 3) la evaluación y autoevaluación de los centros educativos; y 4) la evaluación del desempeño de los docentes (Miranda, 2014).

Chile, México y Uruguay las agencias evaluadoras son autónomas del ministerio de educación. México es el único caso en el que el órgano coordinador del SNEE se encuentra establecido a nivel constitucional, en tanto la mayoría de las agencias de evaluación son creadas por acuerdos, resoluciones ministeriales o bien por leyes secundarias en la materia.

• Como parte de la Reforma Educativa de 2013, se estableció al SNEE como el garante de la calidad de los servicios educativos que ofrece el Estado mexicano; a este sistema lo conforman las autoridades educativas federal (AEF), locales (AEL) y el INEE, en quien recae su coordinación.
• El INEE fue facultado para:

i) expedir lineamientos sobre las actividades de evaluación realizadas por las instancias competentes, generar criterios técnicos al respecto y supervisar la aplicación de las evaluaciones; ii) difundir las evaluaciones, promover el uso de sus resultados; iii) generar sistemas de información con los resultados y los principales indicadores sobre el sistema educativo nacional; y iv) emitir directrices para la mejora de las políticas educativas, a partir del uso de las evaluaciones (CPEUM, art. 3°, fracc. IX).

• Como parte del desarrollo del SNEE y resultado de las reuniones con las autoridades educativas fue creada la Política Nacional de Evaluación de la Educación (PNEE) conformada por siete ejes rectores (cinco centrales y dos transversales), con metas muy específicas proyectadas al año 2020, cuya misión es contribuir a que el Estado mexicano sea el garante del mandato constitucional, relativo a una educación de calidad para niñas, niños y adolescentes en edad escolar.

EJE 1

EJE 02

EJE 03

FASE 04

FASE 05

“Desarrollo de evaluaciones de los componentes, procesos y resultados del Sistema Educativo Nacional (SEN)

“Emisión y ejecución de directrices para la mejora educativa”

“Desarrollo de sistemas de información e indicadores clave de calidad y equidad educativa”

“Difusión y uso de los resultados de la evaluación

“Regulación de los procesos de evaluación"

Estos ejes abarcan todos los componentes de la evaluación considerados por la OECD en cada una de sus áreas clave: i) Gobernanza, ii) Carácter sistémico de la evaluación: diseño y procedimientos holísticos e integrales, iii) Uso adecuado de resultados, iv) Desarrollo de capacidades en todos los niveles del sistema, e v) Implementación. Incluye, además, dos aspectos no contemplados por este organismo internacional, a saber: la regulación de los procesos de evaluación, y la emisión y ejecución de directrices para la mejora educativa (OECD, 2013).

EJE 6

EJE 07

La “Coordinación institucional entre el INEE y las autoridades educativas"

“Fortalecimiento de capacidades institucionales”"

Las dimensiones planteadas por Pérez y Maldonado, afirman que el SNEE de México ha mostrado avances importantes en las cuatro dimensiones ahí establecidas. A saber:

• Reconocimiento: este sistema es el único planteado en la región latinoamericana en el nivel constitucional, lo que le otorga una importante jerarquía normativa y fuerza institucional.
• Planeación: el SNEE ha avanzado en la creación del Programa de Mediano Plazo del mismo, y en cada entidad federativa, con los Programas Estatales de Evaluación y Mejora Educativa.
• Metodología: se tienen logros importantes, dada la robustez técnica de las evaluaciones que realiza el INEE, la gran variedad de métodos involucrados en las entidades federativas para desarrollar evaluaciones de los distintos componentes de los sistemas educativos, así como los dispositivos comprometidos para apoyar y acompañar técnicamente su adecuado desenvolvimiento por parte del INEE.
• Uso de la evidencia: el INEE lleva acabo la emisión de Directrices para la Mejora Educativa.

La experiencia de implementación del SNEE en los últimos cuatro años pone de manifiesto la necesidad de no perder de vista otras dimensiones estratégicas que específicamente tienen que ver con los procesos de implementación, a saber: la dimensión técnica, política y de operación (Miranda, 2016a). • Dimensión técnica: establecer una agenda de mejora que permita fortalecer la pertinencia y validez de las estrategias e instrumentos de evaluación, buscando que sean consistentes técnicamente, y legítimas frente al sistema educativo y la sociedad. • Dimensión política: continuar la lucha por la vigencia de la Ley y el respeto al Estado de Derecho, desarrollando diferentes estrategias de comunicación, sensibilización, apoyo y acompañamiento a los distintos actores involucrados en todos los aspectos relacionados con los procesos de evaluación y sus resultados. Además, será forzoso caminar hacia el fortalecimiento del modelo de gobernanza institucional iniciado como parte de la institucionalización de los procesos de evaluación y mejora educativa. • Dimensión operativa: para mejorar eficiencia y eficacia de los procesos organizativos, tecnológicos y de difusión se deberán afianzar y actualizar los protocolos, mejorar las programaciones y los mecanismos de seguimiento, y atender oportunamente las incidencias observadas en la implementación de tareas.

Sección III

Parámetros, indicadores y estándares educativos

Decisiones a tomar en las políticas públicas: el llevar o no la escolaridad obligatoria hasta el fin de la enseñanza secundaria; incrementar los días de clase o la duración de la jornada escolar; reducir el tamaño promedio de los grupos escolares; dar mayor o menor hincapié a las matemáticas, la lengua materna o una segunda lengua, etc.

• En todos los estados modernos, y en particular en los ministerios de educación, surgieron desde hace tiempo oficinas a cargo de la producción de estadísticas cada vez más complejas. Como una extensión de esta tendencia, las últimas décadas han visto el desarrollo de los llamados indicadores sociales, y los últimos años el de los indicadores complejos o compuestos.
• El desarrollo de la noción de indicador social es posterior, por la necesidad de complementar cifras de población y datos económicos con información sobre otras dimensiones de la vida social.

El interés por los indicadores numéricos se manifestó en la preocupación por la calidad de las escuelas.

1960

1980

1867

1929

La preocupación por la calidad educativa alcanzó niveles sin precedentes en muchos países, ante la creciente competencia económica internacional. En ese marco adquieren sentido los esfuerzos por tener evaluaciones educativas más completas y confiables, lo que incluye mejores sistemas de indicadores.

Se acuñó la expresión movimiento de los indicadores sociales, que tuvo un componente educativo importante, a consecuencia del impacto del primer satélite artificial, cuya puesta en órbita por la URSS fue interpretada como síntoma del retraso de la enseñanza de matemáticas y ciencias en Estados Unidos.

Iniciativa del presidente Hoover, quien formó una comisión de especialistas para desarrollar un estudio sobre las tenden- cias sociales en Estados Unidos. El informe de esa comisión, publicado en 1933 con el título Tendencias sociales recientes en los Estados Unidos (Comité Presidencial, 1933), es la obra que inaugura la extensa bibliografía sobre indicadores sociales

la creación del Departamento de Educación, se justificó, entre otras razones, por la ne- cesidad de elaborar indicadores

"...Las estadísticas sobre educación de aproximadamente la mitad de los estados miembros de la UNESCO, incluyendo al menos cinco de los nueve países en vías de desarrollo más grandes, tienen lagunas y debilidades serias. Con mucha frecuencia las bases de datos sobre el tema carecen de confiabilidad. Aún en los países industriales avanzados los datos sobre costos y gas- tos educativos son muy deficientes. En casi todos los países los datos sobre analfabetismo no son confiables. Y los expertos opinan que las estadísticas educativas de 20 o 30 países son un verdadero desastre"

Puryear, 1993

"...Las estadísticas educativas existentes tienen un enfoque muy estrecho. Dejan fuera las medidas de calidad, de procesos y de productos. Los gobiernos han centrado la atención en un solo enfoque, bastante estrecho, para monitorear sus sistemas educativos ─los conteos de tipo censo─ y en un solo tipo de datos: los relativos a insumos. Se han concentrado casi enteramente en registrar el número de profesores, alumnos y edificios en el sistema formal, y en la importancia del gasto público destinado a la educación. Casi no han prestado atención a documentar cómo funcionan las escuelas o qué aprenden los alumnos [...] Un buen indicador de la existencia de estadísticas educativas de muy buena calidad, lo constituye la capacidad de reportar datos sobre la edad de los alumnos, que son indispensables para calcular tasas netas de matrícula. Únicamente unos 60 de los 175 estados miembros de la UNESCO reportan tales datos en forma consistente"

Puryear, 1993

Un reciente documento al respecto de la Comisión Europea establece:

• Un indicador puede definirse como la medición de un objetivo a perseguir, de un recurso a movilizar, de un efecto alcanzado, de una estimación de calidad, o una variable de contexto. Un indicador ofrece información cuantificada con el propósito de ayudar a los participantes en acciones públicas a comunicarse, negociar y tomar decisiones […] Un indicador cuantifica un elemento que se considera relevante para el monitoreo o evaluación de un programa (1999, p. 17)

Tipos de indicadores

• Al igual que Shavelson y otros, Oakes distingue dos tipos básicos de indicador: los que consisten, respectivamente, en estadísticas simples o compuestas (1986, p. 3).
• En una clasificación más elaborada, la Comisión Europea ofrece una tipología de indicadores que los cataloga a partir de seis dimensiones

El alcance de la información

La comparabilidad de la información

El grado de procesamiento de la información

Su utilización

El criterio de evaluación:

Las fases del programa

Cuando se trata de diseñar indicadores educativos, puede haber dos enfoques:

• Algunas veces, el propósito será monitorear el grado en que se alcanzan algunas metas de política, en cuyo caso bastará un número relativamente pequeño de indicadores, que se definirán en función de tales metas. Otras ocasiones, se pretenderá cubrir de manera más completa los aspectos relevantes del sistema educativo para valorar su calidad en sentido amplio, sin limitarse a los aspectos más relacionados con las políticas vigentes; en este caso se requerirá un número mayor de indicadores, organizados de modo que constituyan también un verdadero sistema.
• El segundo de estos dos enfoques tiende a la exhaustividad y se podría considerar más deductivo o teórico

¿Qué es calidad educativa?

La dificultad se debe a la variedad de los objetos a los que puede referirse la noción de calidad, que pueden ser un currículo, un texto escolar, un maestro, un alumno o una escuela. El uso de sistemas de indicadores como herramientas de evaluación, no suele referirse a esos objetos, sino a uno diferente y muy complejo: un sistema educativo.

Un buen sistema educativo es aquel que reúne las siguientes cualidades, que definen dimensiones abstractas de la noción de calidad: • Establece un currículo adecuado a las necesidades individuales de los alumnos (pertinencia) y a las de la sociedad (relevancia). • Logra que la más alta proporción posible de destinatarios acceda a la escuela, permanezca en ella y egrese alcanzando los objetivos de apren- dizaje (eficacia interna y externa). • Consigue que los aprendizajes se asimilen duraderamente y den lugar a com- portamientos sociales fructíferos para la sociedad y los individuos (impacto). • Cuenta con recursos suficientes (suficiencia) y los aprovecha bien (eficiencia). • Tiene en cuenta la desigualdad de situaciones y apoya a quienes lo requieran, para que los objetivos sean alcanzados por el mayor número posible (equidad).

La calidad del sistema educativo es la cualidad que resulta de la integración de las dimensiones de pertinencia y relevancia; eficacia interna; eficacia externa a corto plazo; eficacia a largo plazo o impacto; suficiencia; eficiencia; y equidad.

Metodología para el diseño de indicadores

sistematizada en el Instituto Nacional para la Evaluación de la Educación.

Desarrollo de cada indicadores fundamental.

Jueceo inicial

Prueba piloto o primera aplicación

Elaboración de la lista de indicadore

Awesome Interactivity

• La OCDE es una organización económica que actualmente tiene una gran influencia en las políticas educativas globales.
• Es el administrador de la Prueba PISA a través de la cual la OCDE se convirtió en un poderoso actor en la política educativa.
• Las principales acciones de la OCDE en el campo educativo son las siguientes:

1. Publicación del informe Education at a Glance (inicio en 1992)2. Realización del estudio sobre niveles de alfabetismos de adultos: International Adult Literacy Survey (IALS) 19973. nforme del Programa Internacional para la Evaluación de Estudiantes o Informe PISA (por sus siglas en inglés: Programme for International Student Assessment: inicia en 1997 y es implementado por primera vez en el año 2000 cada tres años a un número creciente de países. Evalúa la habilidad de jóvenes de 15 años para realizar tareas cotidianas y competencias. Su ranking se ha convertido en una herramienta muy utilizada en la discusión de la política educativa

• PISA para el Desarrollo (PISA-D): Constituye en una adaptación de la prueba PISA para su aplicación a países en desarrollo. Esta prueba es una estrategia de expansión a países pobres (Paraguay participa en PISA – D, junto con Guatemala, Panamá y Ecuador y países de África y Asia).

UNESCO y el Instituto de Estadística (UIS)

• La UNESCO ha sido históricamente la institución con mayor autoridad en publicación de datos en educación.
• Sin embargo, un reporte realizado en 1991, comisionado por el Banco Mundial y UNICEF concluyó que las estadísticas de la UNESCO tenían serias deficiencias.
• EEUU tuvo un papel muy importante en la reconfiguración de UIS, pasando a las oficinas de Montreal.

• La UIS tuvo a su cargo el desarrollo del Programa de Evaluación y Monitoreo de la Alfabetización (LAMP), una prueba basada en el Estudio Internacional de Alfabetización de Personas Adultas (LIALS) que mide el nivel de alfabetismo de las personas jóvenes y adultas para abarcar países más diversos.
• El LAMP tuvo un pobre apoyo político, sufrió de cambios en su equipo, tuvo muchas críticas y no logró suficiente prestigio global.

La Asociación Internacional para la Evaluación del Logro Educativo (IEA)

• La IEA es internacionalmente reconocida por sus dos estudios: el Estudio de las Tendencias en Matemáticas y Ciencias (TIMSS) y el Estudio Internacional de Progreso en Comprensión Lectora (PIRLS).

• La IEA emerge a partir de un grupo de trabajo creado por el Instituto de Aprendizaje a lo largo de la Vida (UIL) de la UNESCO en 1958-
• Entre 1958 y 1980 la IEA fue la única institución que realizaba pruebas entre países, pero con fines y orientaciones diferentes a las actuales

• La IEA veía a los sistemas educativos nacionales como distintos, formados a partir de un proceso histórico y no comparable.
• Las pruebas de ciencia y matemática no eran conducidas con la idea de identificar “buenas prácticas”, esto cambió unas décadas después

• El cambio de orientación fue una respuesta a las presiones de Estados Unidos en los noventa: Que estaba interesado en financiar una institución que no era percibida como una agencia de los Estados Unidos, pero que recopilaría datos internacionales, incluyendo un grupo específico de sociedades de referencia con las que los Estados Unidos estaban interesados en comparar.

• los indicadores deben integrarse de manera lógica
• Un marco de referencia para construir indicadores, que se propone como al- ternativa al enfoque sistémico, es el del derecho a la educación, (al cumplirse sus exigencias)
• Es necesario, pues, precisar lo que se entiende por una buena educación, lo que lleva de nuevo a la necesidad de precisar dimensiones como relevancia, eficacia y eficiencia, entre otras, como se hace en el enfoque sistémico expuesto en este texto
• Un buen sistema de indicadores convendrá diseñarse a partir de lo que se defina como importante, sistémica o estratégica- mente, aunque para muchos aspectos no se cuente con datos adecuados y deban realizarse después todos los esfuerzos para obtener la información necesaria

Implica desarrollar evaluaciones que permitan disponer de información y conocimiento oportuno sobre el aprendizaje de los alumnos, el desempeño de los docentes, el funcionamiento de las escuelas y la pertinencia de los programas y políticas.

Es posible caracterizar a los Sistemas Nacionales de Evaluación en tres modelos:

• Un modelo en el que la evaluación sea centralizada, obligatoria y estandarizada (Modelo A);
• un modelo en el que la evaluación es descentralizada, voluntaria y contextualizada (Modelo B);
• y otro más de carácter mixto que es una combinación de los dos anteriores (Modelo C).

Aunque la mayoría de los sistemas de evaluación de aprendizaje en los países de la región han compartido los rasgos del Modelo A (centralizada, obligatoria y estandarizada), en el caso de la evaluación de otros componentes se ha combinado con modelos más contextualizados y descentralizados.

Deberá precisarse el nombre y la definición de cada indicador, y ubicársele en el marco de referencia que se esté utilizando. Habrán de señalarse, además, las fuentes de obtención de la información de base; la fórmula de cálculo y, en su caso, los criterios para ello; las posibles formas de desagregar el indicador (v. gr., por género, entidad, modalidad de escuela, etcétera); y aportar elementos para la interpretación de los resultados

para valorar a priori el grado en que cada indicador parece satisfacer los criterios de calidad aplicables que son, al menos, los siguientes: • Validez, cualidad técnica básica, la propiedad del indicador que consis-te en que mida realmente lo que se pretende que mida. • Confiabilidad, la otra cualidad técnica esencial, consistente en que el indicador se defina conceptual y operacionalmente de forma tal que la información que permita obtener sea consistente a lo largo de sucesivas aplicaciones. • Comparabilidad, si el indicador es aplicable en contextos (educativos) diferentes de modo tal que permita comparaciones significativas. • Estabilidad temporal, si permite comparaciones a lo largo del tiempo. • Actualidad de la información que ofrece el indicador (freshness), ya que uno que no pueda ofrecer información razonablemente reciente, no tiene mucho valor. • Sensibilidad, que se dará si valores distintos de un indicador se asocian, en forma consistente, a diferencias significativas de los sistemas educativos. • Factibilidad de implementación del indicador, si la información necesaria para construirlo puede obtenerse. Cuando esa información no esté disponible, deberá valorarse la importancia del indicador en relación con el costo que implicará. • Importancia, en el sentido de que el indicador se refiera a un elemento del sistema educativo que tenga peso significativo en relación con alguna dimensión de la calidad. • Utilidad, como el grado en que el indicador se refiera a un aspecto en el que las decisiones que tomen los responsables puedan impactar de manera significativa. • Claridad, en el sentido de que la manera en que presente la información deberá facilitar una adecuada interpretación por parte de los usuarios.

Con los resultados de la primera aplicación se podrá hacer un nuevo análisis de la calidad de cada indicador y del sistema en conjunto, esta vez a posteriori, revisando la consistencia de la información y contrastándola con otra comparable, por ejemplo derivada de investigaciones independientes.