SIM AS A TOOL FOR PERMORMANCE ASSESSMENT LESSONS FROM OSCE

Sim as a tool for performance assessment: lessons from OSCE.

Gracia Adánez Martínez

President of SESSEP UMU. Murcia University. Spain

In addition to representing the Spanish Society for Clinical Simulation and Patient Safety (SESSEP) as its president: I am an emergency physician at the Virgen de la Arrixaca Hospital in Murcia, with a position linked to the Faculty of Medicine at the University of Murcia. I currently hold the position of vice dean of clinical simulation and applied technologies. I have no conflict of interest.

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

INDICE

• HISTORIA DE LA OSCE
• DEFINICIÓN. PIRÁMIDE DE MILLER
• ORGANIGRAMA NACIONAL Y LOCAL
• LA ORGANIZACIÓN DE LA ECOE.
• DESAFIOS PARA EL ALUMNO QUE SE ENFRENTA A LA ECOE
• LA METODOLOGÍA MAES
• QUE PASA SI UNIMOS ECOE Y MAES
• LOS PASOS .
• RESULTADOS

competencias clínicas: Anamnesis, Exploración física Comunicación Habilidades técnicas Juicio clínico Manejo diagnóstico y tratamiento, Prevención y promoción de la salud Relaciones interprofesionales y aspectos éticos y legales.

FECHAS DESTACADAS

1972

Planifica

2011

Estructura

2015

Diseña

2020

ECOE COMPUTERIZADA+PRESENCIAL

2021

COORDINATOR

OSCE NACIONAL DEAN COMMIITTEE MULTIDISCIPLINARY

ORGANIGRAMA NACIONAL ECOE CNDFM

RESPONSIBLE FOR UNIVERSITIES

OSCE: Objective Structured Clinical Examination

La evaluación clínica objetiva estructurada (ECOE) es un formato de examen que permite evaluar habilidades clínicas del alumnado de forma fiable, objetiva, uniforme y estandarizada. Se desarrolla en diferentes estaciones clínicas que simulan escenarios y situaciones clínicas reales. Actualmente, se está utilizando como prueba final en el grado en Medicina en numerosas universidades, incluidas las españolas

MILLER´S PIRAMID OF CLINICAL COMPETENCE

OSCE: Objective Structured Clinical Examination

FACULTAD DE MEDICINA UNIVERSIDAD DE MURCIA220 STUDENTS / CURSO/ 1320 STUDENTS TRES EXÁMENES DE HABILIDADES: TRAUMATOLOGÍA 5º CURSO HABILIDADES MÉDICO QUIRÚRGICAS 3º CURSO ECOE 6º CURSO

OSCE LOCAL COMMIITTEE MULTIDISCIPLINARY (DEANSHIP

ORGANIGRAMA EQUIPO LOCAL

COORDINATOR

RESPONSIBLE FOR ROTATION WITH OSCE EXPERIENCE

CLINICAL PROFESSORS WHO ROTATE ANNUALLY

ORGANIZACIÓN

SESIÓN DE INAUGURACIÓN DE CURSO ACADÉMICO Y FORMACIÓN DE EVALUADORES

Primera presentación y evaluación de los casos por el comité. Rectificaciones.

SEGUNDA EVALUACIÓN DE LOS CASOS POR EL COMITÉ

COMPROBACIÓN DEL PESO GLOBAL (EN PORCENTAJE) DE LAS COMPETENCIAS

REUNIÓN DE PREPARACIÓN

FIESTA DE LA ECOE

ESTRUCTURA DE LA ECOE

8 MINUTOS CADA PRUEBA/CONSULTA 2 MINUTOS PARA LA SITUACIÓN DE PARTIDA 15 ESTACIONES PRESENCIALES 10 ESTACIONES CLÍNICAS DE SILLA COMPUTERIZADAS 4 RUEDAS EN ESPEJO 4 TURNOS 220 ALUMNOS 60 EVALUADORES 40-60 ACT0RES

ESTRUCTURA DE LA ECOE

8 MINUTOS CADA PRUEBA/CONSULTA 2 MINUTOS PARA LA SITUACIÓN DE PARTIDA 15 ESTACIONES 4 RUEDAS EN ESPEJO 4 TURNOS 220 ALUMNOS 60 EVALUADORES 40-60 ACT0RES 10 ESTACIONES CLINICAS DE SILLA COMPLEMENTARIAS

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

8 MINUTOS

2 MINUTOS

EVALUACIÓN

CASOS CLÍNICOS CON UNOS OBJETIVOS DE EVALUACIÓN DEFINIDOS CHECK LIST REVISADAS Y EVALUADAS POR COMITÉ DE EXPERTOS EVALUACIÓN POR COMPETENCIAS

RESULTADOS

• RESULTADOS POR COMPETENCIAS
• SUMAR COMO PARTE DE LA EVALUACIÓN FINAL EN CADA ROTATORIO
• REUNIÓN DEL COMITÉ ECOE PARA ANÁLISIS ESTADÍSTICOS DE LOS RESULTADOS Y PUNTOS DE MEJORA

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

SELF LEARNING METOTHOLOGY IN SIMULATED ENVIROMENTS

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

FIRST SERVICE

PERFORMANCE

PLANNING MEETING

PERFORMANCE

CASE PREPARATION

FIRST SERVICE

CASE REVIEW

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

DEBRIEFING

GROUP CASE PRESENTATION

DEBRIEFING

MAES © PLANNING MEETING AND CASE PREPARATION

1. Define operative work groups and assign tutors 2. Selection of clinical cases (from each rotation) 3. Guidelines for case preparation

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

Create a safe envirionment IDENTIDAD GRUPAL

GRUPO 1 (76)

GRUPO 2 (76)

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

8 GRUPOS (10 PAX APROX)

8 GRUPOS (10 PAX APROX)

Create a safe envirionment IDENTIDAD GRUPAL

Create a safe envirionment IDENTIDAD GRUPAL

GRUPO 1

GRUPO 2

8 GRUPOS (10 PAX APROX)

8 GRUPOS (10 PAX APROX)

Create a safe envirionment IDENTIDAD GRUPAL

Create a safe envirionment IDENTIDAD GRUPAL

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

NOMBRE DEL GRUPO. ADRENALINAS, CARDIOCOCOS... QUÉ APORTAMOS AL GRUPO

NOMBRE DEL GRUPO. ADRENALINAS, CARDIOCOCOS... QUÉ APORTAMOS AL GRUPO

TRABAJO COLABORATIVO

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

TRABAJO COLABORATIVO Y ENCUENTROS ON LINE CON LOS TUTORES ASIGNADOS PARA CREAR Y CORREGIR LOS CASOS

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

MAES ©

EXPOSICIÓN DE LOS CASOS AL GRUPO, PILOTAJE Y CORRECCIÓN GRUPAL

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

GRUPO 1 GRUPO 2

MAES ©

DIA 1

EVALUACIÓN ENTRE PARES

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

GRUPO1: EXAMINADORES Y ACTORES (SUBGRUPOS DE 3) GRUPO 2 : SE EXAMINAN

MAES ©

DIA 2

EVALUACIÓN ENTRE PARES

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

GRUPO2: EXAMINADORES Y ACTORES (4 SUBGRUPOS DE 4) GRUPO 1 : SE EXAMINAN

MAES ©

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

DEBRIEFING CALIFICACIONES POR COMPETENCIAS

APRENDIZAJE COLABORATIVO

MAES ©

1. Evaluate the results by competencies obtained after conducting a training ECOE with MAES© methodology

2. Compare the results obtained in the grades of the students performing the training ECOE with those who do not

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

1. Young, Ian; Montgomery, Kieran; Kearns, Patrick; Hayward, Samantha; Mellanby, Ed (7 May 2014). "The benefits of a peer-assisted mock OSCE". The Clinical Teacher. 11 (3): 214–218. doi:10.1111/tct.12112. PMID 24802924. S2CID 12122898.
2.  Braier-Lorimer, Darryl Alexander; Warren-Miell, Hannah (2021-11-25). "A peer-led mock OSCE improves student confidence for summative OSCE assessments in a traditional medical course". Medical Teacher. 44 (5): 535–540. doi:10.1080/0142159X.2021.2004306. ISSN 0142-159X. PMID 34822315. S2CID 244660969.

MAES ©

METHODOLOGY

• Observational, descriptive, cross-sectional study.
• Total: 201 students, DIVIDED INTO TWO MIRROR GROUPS
• Signed informed consent and obtained approval from the ethics committee
• 152 students completed ECOE training with MAES© methodology
• 49 students did not participate
• Two sessions: one with evaluators and another with those being evaluated.
• Statistical analysis: SPSS software

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

MAES ©

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

Statistically significant

• Anamnesis (8.51 – 7.97)
• Clinical examination (8.69 – 7.91)
• Clinical management (9.06 – 8.39)
• Interprofessional relationships (7.68 – 6.96)
• Communication skills (8.80 – 8.41)

-Statistically not significant

• Technical and prevention skills

ECOE

• Structured Objective Clinical Evaluation.
• Mandatory, 6th year Medicine.
• Need for training.
• Necessary to understand the assessment in competencies

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

EN CONCLUSIÓN

-Aprendizaje sobre evaluación en competencias -Comprender metodología de la ECOE -Mejoría significativa en las calificaciones -En estudio: influencia de entrenamiento sobre ansiedad de los alumnos.

FIRST SERVICE

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis nec massa nulla. Vivamus tempor ante eget nisi molestie imperdiet. Nunc.

g.adanez@um.es

20XX

Planifica

Demostrar entusiasmo, esbozar una sonrisa y mantener el contacto visual con tu audiencia pueden ser tus mejores aliados a la hora de contar historias que emocionen y despierten el interés del público: 'The eyes, chico. They never lie'. Esto te ayudará a hacer 'match' con tu audiencia. ¡Déjales con la boca abierta!

20XX

Comunica

Demostrar entusiasmo, esbozar una sonrisa y mantener el contacto visual con tu audiencia pueden ser tus mejores aliados a la hora de contar historias que emocionen y despierten el interés del público: 'The eyes, chico. They never lie'. Esto te ayudará a hacer 'match' con tu audiencia. ¡Déjales con la boca abierta!

20XX

Diseña

¿Necesitas más motivos para crear contenidos dinámicos? Bien: el 90% de la información que asimilamos nos llega a través de la vista y, además, retenemos un 42% más de información cuando el contenido se mueve

20XX

Estructura

Con las plantillas de Genially podrás incluir recursos visuales para dejar a tu audiencia con la boca abierta. También destacar alguna frase o dato concreto que se quede grabado a fuego en la memoria de tu público e incluso embeber contenido externo que sorprenda: vídeos, fotos, audios... ¡Lo que tú quieras!

EL COMITÉ ECOE : DECANATO APOYO ADMINISTRATIVO PROFESORES MIEMBROS DEL COMITÉ . SE DECIDEN, NECESIDADES, CONTENIDOS, COMPETENCIAS Y PROGRAMACIÓN. SE EXPLICA DINÁMICA DE TRABAJO A LOS MIEMBROS ANUALES . SE ENTREGA DOCUMENTACIÓN, PLANTILLAS...

20XX

Comunica

Demostrar entusiasmo, esbozar una sonrisa y mantener el contacto visual con tu audiencia pueden ser tus mejores aliados a la hora de contar historias que emocionen y despierten el interés del público: 'The eyes, chico. They never lie'. Esto te ayudará a hacer 'match' con tu audiencia. ¡Déjales con la boca abierta!