2. Metodología del ECOE

Queda prohibida toda reproducción de cualquiera de los materiales que se presentarán fuera de los fines académicos y de capacitación para los que fueron diseñados.

Dr. J. Andrés Trejo Mejía

Dr. Carlos A. Soto Aguilera

Metodología del ECOE

ECOE

1. Identifique los pasos a seguir para realizar un ECOE.
2. Analice el proceso de planeación de un ECOE.
3. Comprenda cómo se desarrollan los casos clínicos para las estaciones del ECOE.
4. Reconozca la importancia de la capacitación de evaluadores y pacientes estandarizados.
5. Analice el proceso de implementación del ECOE.
6. Conozca dos procesos operativos del ECOE.
7. Comprenda cómo se realiza el análisis de los resultados y la realimentación.

Resultados de aprendizaje

Al final de este presentación interactiva se pretende que el participante:

Referencias

Análisis de resultados y realimentación

Implementación

Planeación

Introducción

ÍNDICE

Introducción

Examen clínico objetivo estructurado

Análisis de resultados y realimentación

Cómo se desarrolla el proceso.

Implementación

Principalmente nos permite guiar el proceso y generar los insumos.

Planeación

¿Qué pasos seguir para hacer un ECOE?

planeación

Examen clínico objetivo estructurado

Se sugiere tener uno o dos coordinadores generales que tengan la responsabilidad del desarrollo, organización e implementación del instrumento de evaluación.

INFO

El comité de expertos se podrá encargar, además de la implementación, de la supervisión y de asegurar la calidad de los procesos.

Muchas instituciones tienen áreas o coordinaciones que se encargan de la evaluación. Por lo tanto, se recomienda crear un comité de expertos de esta área para poder implementar un ECOE.

Creación de un comité de expertos

Organiza y da seguimiento a la participación del capital humano: coordinadores de sede u operativos, pacientes estandarizados y evaluadores.

Áreas de INFORMÁTICA MÉDICA Y de PSICOMETRÍA

El área de informática permite organizar a los sustentantes en los circuitos y dar seguimiento al proceso de calificación. El área de psicometría de todos los análisis del instrumento.

Comité técnico-médico

Coordinación de logística

Revisa y actualiza los materiales de las estaciones, es decir, los casos de cada una de éstas.

Apoyo administrativo

Cubre todas las necesidades administrativas que surgen en el proceso: solicitud de recursos, preparación de materiales o gestión, etc,

Dependiendo de nuestro contexto y necesidades se crea un equipo más grande

Equipo Multidisciplinario

+INFO

+INFO

+INFO

+INFO

Planeación de la Estructura del ECOE

Existen dos tipos principales de registro: con las listas de cotejo y las rúbricas holísticas.

Existen una serie de pasos que pueden ayudar a completar esta tarea.

REGISTRO DE DESEMPEÑO

desarollo de los casos

Las estaciones son las unidades funcionales de cada circuito. Tanto el número de estaciones como el tiempo que durarán se debe planear desde un principio.

Número de estaciones

La elaboración de la tabla de especficaciones permitirá planear el contenido del ECOE, por ejemplo: qué competencias se evaluarán; las habilidades; los resultados de aprendizaje; etc.

Tabla de especificaciones

CT ECOE en la Universidad de Dundee

Composición del ECOE de la FacMed

Ejemplo de encabezado de una plantilla

Comité técnico-médico

Programa de Renovación del ECOE

8. Pilotaje y análisis psicométricos

4. Generación de una plantilla

8 pasos para el desarrollo de los casos

7. Instrumento para calificación

6. Talleres de revisión

5. Elaboración de materiales de los casos

3. Estructuración de la estación

2. Formación del comité técnico-médico

1. Elección de los temas de los casos

Desarrollo de los casos de las estaciones en el ECOE

Los cursos de capacitación idealmente se deben impartir antes del ECOE, en donde los evaluadores deben lograr los siguientes resultados de aprendizaje: 1. Comprendan el enfoque y los principios del ECOE.2. Mantegan una conducta profesional consistente durante el examen. 3. Comprendan y usen la guía del evaluador y las rúbricas para mantener la estandarización. 4. Aseguren la privacidad de las calificaciones. 5. Conozcan los procedimientos cuando existan conductas inapropiadas en algún sustentante durante el examen.

Para la obtención de resultados confiables en el ECOE es muy importante contar con evaluadores capacitados en esta herramienta. Se ha observado que la capacitación reduce la variabilidad y mejora la consistencia en los evaluadores; por lo tanto, aumenta la confiabilidad.

Capacitación de evaluadores

El objetivo principal de la capacitación de los PE es que comprendan la importancia de mostrar las condiciones clínicas de forma confiable y consistente.

La estandarización en el paciente se relaciona con la consistencia del contenido verbal y el comportamiento que expresa durante el examen, dependiendo del estímulo que emite el sustentante.

El ECOE requiere de la participación activa de los pacientes estandarizados (PE). Estos pueden ser pacientes simulados o reales con la capacidad para representar un caso de forma consistente.

Capacitación de pacientes estandarizados

Implementación

Examen clínico objetivo estructurado

distribución

de todos los materiales de la estación y tabletas.

de los sustentantes a los centros o sedes de evaluación.

Asignación

de los evaluadores y pacientes estandarizados.

Capacitación

de los evaluadores y pacientes estandarizados.

Reclutamiento

Tareas administrativas-logísticas en el ECOE

+INFO

+INFO

+INFO

Cada circuito está compuesto de seis estaciones de 20 minutos c/u.

en las diferentes sedes, ya sean clínicas o el CECCOMS.

administrativo, evaluadores, pacientes estandarizados y las coordinaciones

8:45-11:00 h

desarrollo del examen

8:00 h

Cita de los sustentantes

7:00 h

Cita del personal

Esquematización del primer turno en un circuito de seis estaciones en fin de semana

Proceso operativo en el ECOE

Cada evaluador tiene una tablet en donde ingresa al sistema de evaluación del ECOE, un software desarrollado por los ingenieros de la SEM para el registro de puntuaciones en rúbricas digitales. El área de informática monitoriza que las calificaciones que van registrando los evaluadores en este sistema se reflejen correctamente en tiempo real y no falte ningún item de las estaciones en las evaluaciones de los sustentantes.

proceso de calificación

En el CECCOMS contamos con un sistema de vigilancia de alta resolución que nos permite monitorizar y grabar el desarrollo del examen para solucionar las problemáticas que se pueden presentar con los evaluadores, pacientes estandarizados o sustentantes.

Supervisión durante el ecoe

Ejemplos de procesos operativos del ECOE

ECOE en línea en facmed

ECOE presencial en facmed

análisis de resultados y realimentación

Examen clínico objetivo estructurado

1. El área de informática organiza los resultados de cada uno de los ítems de la estación y los envía al área de psicometría para un primer análisis. 2. Este primer análisis permite conocer cómo se comportan los ítems de las estaciones para tomar la decisión si alguno de ellos se elimina. 3. Posteriormente, se analizan sólo los ítems que se comportaron correctamente y se procesan los resultados para conocer qué sustentantes aprobaron y quiénes quedan suspendidos (sólo en exámenes de altas consecuencias). 4. En los exámenes diagnósticos-formativos se dan a conocer los resultados a los sustentantes por competencia y habilidad clínica como parte de su realimentación. 5. Se realizan todos los análisis psicométricos: confiabilidad y análisis de componentes principales (factorial) para conocer la estructura interna del instrumento y para mejorar el instrumento en futuras aplicaciones.

Análisis de resultados

La realimentación es un proceso importante para la evaluación formativa para que los sustentantes conozcan sus áreas de fortaleza y de oportunidad para que implementen estrategias que puedan mejorar su desempeño futuro. En el caso de las Evaluaciones del Avance Académico (EAAs) en FacMed, evaluaciones diagnóstico-formativas que aplicamos a alumnos al terminar segundo año, tercer año y cuarto año, se les realiza realimentación. Realizamos un realimentación automáticamente después de concluir un turno del ECOE en un aula en CECCOMS o en la clínica, A los sustentantes se les proyectan las distribuciones de desempeño por competencia y habilidad clínica durante ese turno, ellos se pueden ubicar en estas gráficas por su número de cuenta. Se les explica cómo pueden utilizar la información que obtienen de estos gráficos con base en las competencias y habilidades clínicas. En un segundo momento, entran a un sistema de realimentación que les detalla más claramente su desempeño individual por competencia y habilidad clínica, con respecto a toda su generación. Asimismo, se les ofrecen estrategias que pueden usar y se les emite una interpretación de su desempeño global.

Realimentación

Referencias

Examen clínico objetivo estructurado

4. Trejo Mejía, J., Peña Balderas, J., Soto Aguilera, C., Alpuche Hernández, A., Ortiz Montalvo, A., & Cerritos, A. (2022). Adaptación de un ECOE presencial a modalidad en línea para un examen de altas consecuencias. Investigación En Educación Médica, 11(43), 16-35. https://doi.org/10.22201/fm.20075057e.2022.43.21399

3. Harden, R. M., Lilley, P., Patrício, M., Norman, G. (2016) The Definitive Guide to the OSCE: The Objective Structured Clinical Examination as performance assessment. 1era edición. El Sevier;Edinburgo. p.65-159

2. Pell, G., Fuller, R., Homer, M., Roberts, T., & International Association for Medical Education (2010). How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49. Medical teacher, 32(10), 802–811. https://doi-org.pbidi.unam.mx:2443/10.3109/0142159X.2010.507716

1. Khan, K. Z., Gaunt, K., Ramachandran, S., & Pushkar, P. (2013). The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: organisation & administration. Medical teacher, 35(9), e1447–e1463. https://doi-org.pbidi.unam.mx:2443/10.3109/0142159X.2013.818635