DISEÑO CENTRADO EN EVIDENCIA Y ELABORACIÓN DE ITEM

INSTITUCIÓN EDUCATIVA CORAZÓN DE MARÍA

DISEÑO CENTRADO EN EVIDENCIA Y ELABORACIÓN DE ITEM PARA PRUEBAS ESTANDARIZADAS

Alfredo Yerman Cortes Verbel

LO QUE SE PREGUNTA

LO QUE SE EXPLICA

346 - 258 092

¿En cuantas decenas difieren los números 346 y 258?

VS

LO QUE SE EXPLICA

LO QUE SE PREGUNTA

Answer the question: Which soccer team do you think will win the Super Bowl?

Rojo : Red Verde: Green Azul: Blue

VS

LO QUE SE EXPLICA

LO QUE SE PREGUNTA

¿ Que hechos historicos de la ultima decada, han tenido una causa y desenlace parecidos a la masacre de las bananeras y cual es su repercusión en nuestra contexto actual ?

¿ En que año y bajo que gobierno sucedio la masacre de las banaeras ?

VS

ÍNDICE

Generalidades del Diseño Centrado en Evidencia

Generalidades de las Pruebas que evalua el ICFES

Generalidades en la elabolación de ítems

Generalidades del Diseño Basado en Evidencia

A menudo damos a los niños respuestas que recordar en lugar de problemas a resolver Roger Lewin

Definición: Diseño Basado en Evidencia (DBE)

DCE es una serie de prácticas que definen los procesos de diseño, desarrollo y uso de un instrumento de evaluación en términos de varios estratos, relacionados lógicamente. Estas prácticas ayudan a clarificar y asegurar la validez de las inferencias que se pueden hacer a partir de la puntuación que obtiene un estudiante en una prueba, así como determinar cómo proveer la evidencia para sustentar estas inferencias, dados los constreñimientos y limitaciones propios de la aplicación de una prueba

ARGUMENTO EVIDENCIAL Y EVALUACIÓN

Para el DCE, una evaluación permite construir un argumento que posibilita defender un conjunto de afirmaciones (sobre la habilidad o rasgo latente que se quieran medir) de un estudiante a partir de datos específicos; a saber, las conductas observables del estudiante en una serie de situaciones cotidianas, conocidas como tareas. Estos datos y las afirmaciones sobre el estudiante deben estar conectados apropiadamente por suficientes garantías, de tal forma que se evidencie cómo las respuestas a las tareas dependen de la habilidad que se quiere medir. La siguinte figura representa la aplicación de la noción de argumento evidencial de Toulmin a la evaluación de la habilidad de un estudiante.

LOS ESTRATOS DEL DCE EN EL ICFES

Los estratos definidos por el DCE pueden verse como los pasos en una larga cadena de razonamiento. Entre estos pasos se encuentran:

a) El análisis y modelado del dominio de conocimientos, habilidades u otras destrezas (CHD) de interés, que incluye una descripción de los CHD que se quieren medir (también llamada modelo de estudiante) y una especificación de la perspectiva psicológica que se asume para la evaluación.

d) El desarrollo de las tareas que proveerán las evidencias requeridas, dadas las limitaciones de la aplicación de la prueba.

Tarea

e) El ensamble de las tareas en la prueba, de tal manera que la puntuación o resultados de la prueba respalden las afirmaciones con suficiente evidencia. f) La definición de las reglas que determinen la puntuación de las tareas. g) Por último, la estimación del nivel del estudiante en el dominio evaluado para realizar las afirmaciones o inferencias, definidas en b).

Dominio

b) La especificación de las afirmaciones acerca de los CHD de los estudiantes que se harán a partir de los resultados de la prueba.

Afirmación

c) La definición de las evidencias que se requieren para soportar las afirmaciones sobre los estudiantes

Evidencia

+info

Figura 3. Modelo usado actualmente en el diseño de pruebas en el Icfes

VÍDEO

Daniel Bogoya, consultor internacional en temas de evaluación y educación, habla sobre la importancia de los Sistemas de Evaluación de los Aprendizajes en la educación

+info

VÍDEO

Julián de Zubiría habla de evaluación. El líder de opinión en temas de evaluación se refirió a los 50 años del Icfes y sobre la importancia de la evolución de la evaluación en la educación.

+info

ORGANIZACIÓN EN EL DBE

PARA QUÉ ES

QUÉ ES

ESTRATO

Uno de los parámetros de lo que todo niño, niña y joven debe saber y saber hacer para lograr el nivel de calidad esperado a su paso por el sistema educativo” “Es un criterio claro y público que permite juzgar si un estudiante, una institución o el sistema educativo en su conjunto cumplen con unas expectativas comunes de calidad”

• Guiar el diseño de currículos, planes de estudio, proyectos escolares y el trabajo de enseñanza en el aula
• Producción de textos escolares, materiales y demás apoyos educativos
• Diseño de prácticas evaluativas dentro de la institución
• Criterios comunes para las evaluaciones externas

Estándar

ORGANIZACIÓN EN EL DBE

PARA QUÉ ES

QUÉ ES

ESTRATO

• Favorecer una pedagogía que permita a los estudiantes comprender los conocimientos y utilizarlos efectivamente dentro y fuera de la escuela, de acuerdo con exigencias de los distintos contextosGuiar el diseño de currículos, planes de estudio, proyectos escolares y el trabajo de enseñanza en el aula
• Para superar la visión tradicional de educación que privilegiaba la transmisión y memorización de contenidos

Saber hacer en situaciones concretas que requieren la aplicación creativa, flexible y responsable de conocimientos, habilidades y actitudes” “Un saber hacer flexible que puede actualizarse en distintos contextos … capacidad de usar los conocimientos en situaciones distintas de aquellas en las que se aprendieron”

Competencia

ORGANIZACIÓN EN EL DBE

PARA QUÉ ES

QUÉ ES

ESTRATO

Enunciado sobre los conocimientos, habilidades y capacidades de los estudiantes que serán evaluados Identifica el propósito de la prueba atendiendo a la pregunta: ¿qué se quiere decir sobre los estudiantes a partir de sus respuestas en una evaluación?

• Comunicar el significado de los resultados de una evaluación (Generalmente están enunciadas a través de verbos como: “comprende”, “interpreta”, “analiza”)
• La afirmación no es medible.

Afirmación

ORGANIZACIÓN EN EL DBE

PARA QUÉ ES

QUÉ ES

ESTRATO

Enunciado que representa conductas o productos observables, con el que es posible verificar los desempeños a los que se refieren las afirmaciones Responde a la pregunta: ¿qué tiene que hacer el evaluado que permita hacer inferencias sobre su desempeño?

• Asegurar la pertinencia de una prueba, según sus características o restricciones . Cada afirmación debe tener el número de evidencias suficiente para sustentarla

Evidencias

ORGANIZACIÓN EN EL DBE

PARA QUÉ ES

QUÉ ES

ESTRATO

Enunciado que representa una descripción de una potencial familia de preguntas. Es específico y puede diferenciarse en su nivel de complejidad Se refiere a lo que se pide a los evaluados que hagan en una prueba

• Caracterizar la dificultad / complejidad de las preguntas
• Dar las pautas para la construcción de preguntas

Tareas

La ventaja principal de implementar el DCE, justamente, está vinculada con la validez: el DCE es una herramienta que genera las condiciones para garantizar la validez de una prueba, pues, como se mostró, el DCE articula la línea o cadena de razonamiento que explica por qué los resultados de la prueba se relacionan con los CHD que la prueba pretende medir

Robert J. Mislevy

Generalidades de las pruebas que evalua el ICFES

Si un niño no puede aprender de la forma en que enseñamos, quizás deberíamos enseñar como él aprende

PRUEBAS QUE EVALUA EL ICFES

MATEMÁTICAS

LECTURA CRÍTICA

SOCIALES Y CIUDADANAS

ÍNGLES

CIENCIAS NATURALES

Competencias y evidencias de la prueba de lectura crítica

Tipos de textos

Competencias y evidencias de la prueba de matemáticas

Competencias y evidencias de la prueba de matemáticas

Contenidos utilizados en la prueba de matemáticas

Estadística

Contenidos utilizados en la prueba de matemáticas

Geometría

Contenidos utilizados en la prueba de matemáticas

Álgebra

+info

Comunitarios o sociales Involucran lo relacionado con la interacción social de los ciudadanos y aquello que es propio de la sociedad en su conjunto.sl.ncluyen cuestiones como la política, la economía, la convivencia y el cuidado del medioambiente. Matemáticos o científicos Involucran lo relacionado con situaciones abstractas, propias de las matemáticas o de las ciencias, que no están inmersas en un contexto de la vida cotidiana. Estos escenarios se usan en la evaluación para dar cuenta de las habilidades relacionadas con el uso de las matemáticas en sí mismas, por tanto, se relacionan con los contenidos no genéricos

Familiares o personales Involucran situaciones cotidianas del entorno familiar o personal. Incluyen cuestiones como finanzas personales, gestión del hogar, transporte, salud y recreación. Laborales u ocupacionales Involucran tareas que se desarrollan en el trabajo, siempre y cuando no requieran conocimientos o habilidades técnicas propias de una ocupación específica.

Situaciones o contextos de la prueba

+info

Competencias, afirmaciones y evidencias de la prueba de sociales y ciudadanas

Competencias, afirmaciones y evidencias de la prueba de sociales y ciudadanas

Competencias, afirmaciones y evidencias de la prueba de sociales y ciudadanas

+info

Competencias, afirmaciones y evidencias de la prueba de Ciencias Naturales

+info

Competencias, afirmaciones y evidencias de la prueba de Ciencias Naturales

+info

Competencias, afirmaciones y evidencias de la prueba de Ciencias Naturales

+info

Competencias, afirmaciones y evidencias de la prueba de Ciencias Naturales

+info

Competencias, afirmaciones y evidencias de la prueba de Ciencias Naturales

+info

Competencias, afirmaciones y evidencias de la prueba de Ciencias Naturales

+info

Competencias, afirmaciones y evidencias de la prueba de Ciencias Naturales

Prueba de Íngles

Evalúa la competencia para comunicarse efectivamente en inglés. A su vez, en relación con el Marco Común Europeo de Referencia para las lenguas (MCER), se clasifican a los evaluados en 5 niveles de desempeño: A–, A1, A2, B1 y B+. Teniendo en cuenta que, en Colombia, existe población que se encuentra por debajo del primer nivel del MCER (A1), se incluyó en la prueba de inglés un nivel inferior a A1, denominado A–, que corresponde a aquellos desempeños mínimos que involucran el manejo de vocabulario y estructuras básicos. De igual forma, se incluye un nivel superior al B1 para aquellos estudiantes que superan lo evaluado en este nivel, denominado B+. La prueba busca que el estudiante demuestre sus habilidades comunicativas a nivel de lectura y uso del lenguaje. Partes de la prueba La prueba está conformada por siete partes. Cada parte evalúa una habilidad específica de la lengua inglesa

Partes de la prueba de íngles

Partes de la prueba de íngles

Partes de la prueba de íngles

Partes de la prueba de íngles

Generalidades en la elabolación de ítems

La mayor desventaja que puedes tener en tu vida es una mala educación

Estructura del Ítem

Todo ítem consta de un enunciado y un complemento. el complemento puede ser un espacio en blanco para escribir la respuesta, en caso de las preguntas abiertas, o puede ser varias opciones de respuesta para elegir entre ellas la que se considere correcta.

Estructura del Ítem

Ejemplos de Ítem

Como argumento a favor del vegetarianismo, una persona afirma que consumir carne es nocivo para los humanos, porque el animal, del cual se obtiene la carne, sufre en el proceso, y esto produce energías negativas que se transmiten al consumidor y perjudican su salud. Otra persona, igualmente a favor del vegetarianismo, sostiene que el consumo de productos de origen animal es un acto amoral, en la medida en que es el resultado del abuso e insensibilidad del ser humano ante los demás seres vivos. De acuerdo con lo anterior, ¿cuál de las siguientes afirmaciones sobre la relación entre las opiniones presentadas NO es correcta? a). Son similares, porque ambas van en contra del consumo de carne. b) Son complementarias, porque ambas promueven el vegetarianismo cuando argumentan la obligación de proteger a los animales. c) Son diferentes, porque la primera aboga por la salud del ser humano y la segunda, por el bienestar de los animales. d) Son disímiles, porque la primera se centra en cómo el animal afecta al ser humano y la segunda, en cómo el ser humano afecta al animal.

+info

Contexto

Contexto

ENUNCIADO

Opciones

En un metal que pierde electrones, la cantidad de protones es mayor que la de electrones y, por tanto, la carga total es positiva y se representa con signos +. Se tienen dos esferas metálicas idénticas: una esfera (1) inicialmente con carga + Q y otra esfera (2) inicialmente neutra. Al ponerlas en contacto y luego separarlas, se observa que las dos esferas quedan con cargas iguales + Q/2, como muestra la figura. De acuerdo con lo anterior, ¿cuál de las siguientes afirmaciones sobre la relación entre las opiniones presentadas NO es correcta? a). Son similares, porque ambas van en contra del consumo de carne. b) Son complementarias, porque ambas promueven el vegetarianismo cuando argumentan la obligación de proteger a los animales. c) Son diferentes, porque la primera aboga por la salud del ser humano y la segunda, por el bienestar de los animales. d) Son disímiles, porque la primera se centra en cómo el animal afecta al ser humano y la segunda, en cómo el ser humano afecta al animal.

+info

Contexto

ENUNCIADO

Opciones

En un Lea las descripciones de la columna de la izquierda (1 - 5). ¿Cuál palabra de la columna de la derecha (A - G) concuerda con cada descripción?. La opción H se usa para el ejemplo. Sobran dos opciones más

+info

A. glasses B. handbags C. pajamas D. scarf E. skirt F. socks G. watch H. hat

1. A woman carries her things in one of these. 2. Many girls wear this when they don't want to wear trousers. 3. With this, your neck won't be cold. 4. When people can't see well, they need these. 5. These are for your feet.

Jonathan's Trip to Colombia I went to Colombia last summer. My journey began on the Caribbean coast and ended on the border with Ecuador. Colombia is a splendid country, extremely diverse and full of wonderful people. I will tell you why. In South Colombia there is a city called Pereira; just outside you can find a track where you will see the farm Villa Maria - a hidden paradise that takes a long time to get to-. It is a working coffee farm located in the middle of a valley. Coffee and plantain grow as far as the eye can see. The farm is made up of the house and the processing plant. The family business has guests at the house for just $45.000 a night. This includes 3 home cooked meals a day, a swimming pool, and as much coffee as you can drink. The scene is quite unbelievable. Bamboo chairs rest on the corners of the Villa, mangos hang from the trees, parrots and birds fly wild. A wonderful man named Hector who runs the farm is happy to show guests around the coffee processing plant. By day, the only sounds are of the horses coming down the valley side carrying food. By night, the wildlife comes alive, and depending on the time of the year - thunderstorms offer a spectacular light show. For those who wish to escape, Villa Maria is the answer. This is just one attraction of many in Colombia. I could write pages on the country and not get bored. I graduate next year and I can't wait to return to this beautiful country. Some of those reading may be stimulated to do the same. 1. What is the writer trying to do in this article? A. describe a tourism-leading Colombian coffee farm. B. tell readers to run a coffee business in Colombia. C. invite tourists to write about places they visit in Colombia. D. encourage tourists to visit Colombia.

+info

Contexto

ENUNCIADO

Opciones

Elaboración de ítem

RECOMENDACIONES PARA LA CONSTRUCCIÓN DE ÍTEMS CONTRAEJEMPLOS

Garantizar que el ítem corresponda con los propósitos de la evaluación, la estructura de la prueba y con las dimensiones disciplinares a evaluar.

Evidencia: El estudiante resuelve problemas que involucran el cálculo de área CONTRAEJEMPLO El área de un triángulo se calcula a) Multiplicando la base por la altura b) Sumando las longitudes de los lados c) Multiplicando la base por la altura y dividiendo entre dos d) Sumando las longitudes de los lados y dividiendo entre dos

Verificar que todas las preguntas que se desprendan de un mismo contexto sean independientes entre sí. La información de un ítem no debe servir de pauta o requisito para contestar otro.

CONTRAEJEMPLO Juan fue a la tienda y compró tres paquetes de galletas

1. ¿Cuánto pagó Juan por las galletas, si cada paquete tiene un costo de $350? a) $ 350 b) $ 700 c) $1.050 d) $1.400

2. ¿Cuánto debe recibir Juan de cambio, si pagó con un billete de $2.000? a) $ 750 b) $ 950 c) $1.050 d) $1.650

Evitar los ítems que pueden contestarse por sentido común y/o aquellos cuya respuesta dependa únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento.

CONTRAEJEMPLO ¿Cómo se denominan los animales que se alimentan de carne? a) Mamíferos b) Herbívoros c) Carnívoros d) Ovíparos

Emplear un lenguaje adecuado al nivel y que sea directo, sencillo y comprensible.

Evitar los juicios de valor y los sesgos ideológicos .

CONTRAEJEMPLO La siguiente gráfica muestra los resultados obtenidos por el colegio Z en una prueba estandarizada Los resultados obtenidos por el colegio Z fueron a) Insatisfactorios porque un alto porcentaje de estudiantes está en el nivel insuficiente b) Insatisfactorios porque el menor porcentaje de estudiantes está en el nivel excelente c) Satisfactorios porque la mayoría de los estudiantes iguala o supera el nivel básico d) Satisfactorios porque el mayor porcentaje de estudiantes está en el nivel básico

Se debe considerar una clave única y completamente correcta .

CONTRAEJEMPLO La gallina es un animal a) Bípedo b) Omnívoro c) Ovíparo d) De granja

Es fundamental incluir distractores (opciones no válidas) erróneos y a la vez plausibles. .

CONTRAEJEMPLO ¿Cuál de los siguientes rectángulos se puede armar utilizando todas las piezas rectangulares?

Las opciones deben ser mutuamente excluyentes. .

CONTRAEJEMPLO Los siguientes son los resultados de un examen que se aprobaba con 50 puntos o más Quién(es) aprobó (aron)? a) Pedro y Santiago b) Pedro, Santiago y María c) Santiago y María d) Pedro

Las opciones de un ítem no deben dar indicaciones sobre la clave por ofrecer contrastes evidentes de longitud, precisión, campo semántico, entre otros. . .

CONTRAEJEMPLO ¿Cuál es la probabilidad de obtener 3 al lanzar un dado? a) 1/6 b) Un tercio c) Un cuarto d) Tres sextos

No se deben repetir expresiones en las opciones de respuesta, si éstas se pueden incluir en el enunciado del ítem. Repetir la misma palabra del enunciado en cualquiera de las opciones puede llevar a que sea elegida como respuesta, sin serlo necesariamente. . .

CONTRAEJEMPLO La prueba que se realiza para determinar el grado de alicoramiento de una persona es a) la prueba de alcoholemia b) la prueba psicológica c) la prueba toxicológica d) la prueba Saber

Se deben ordenar las opciones de respuesta según criterio lógico. .

CONTRAEJEMPLO La fracción representada en la figura es a) 1/2 b) 1/4 c) 1/3 d) 1/6

¡GRACIAS!