Assess4Success ToolBox : Version Beta

14.2k

Utilisatieurs

Assessment ToolBox

Une boîte à outils pour construire son évaluation d'accompagnement de la réussite en toute autonomie!

START

Note. Les termes utilisés dans ce Genial.ly doivent être entendus dans leur sens épicène, le genre masculin est utilisé comme générique, dans le seul but de ne pas alourdir le texte, cela n’a aucune intention discriminatoire.

Un grand merci à Elsa Hasani pour sa contribution à ce document. Merci également aux relecteurs (N. Amrani et I. Alen) pour leurs propositions d'amélioration.

Comment fonctionne un Genial.ly ?

Genially est un support interactif à la frontière entre une page web et une présentation par slides. Il permet de voyager de façon linéaire au travers des pages d'informations en utilisant le bouton suivant et précédent à gauche et droite de l'écran.

C'est parti !

Genially vous permet également de voyager librement entre les différents éléments du support en utilisant les éléments cliquables de chacune des pages. Du mal à les repérer ? Ces éléments sont identifiables en cliquant sur l'icone interactif en haut à droite de chaque page.

Un peu perdu dans le Genially ? Aucun problème, il vous suffira de cliquer sur l'icône maison qui vous ramènera à la page d'accueil du Genially ! :-) Alors, Prêt ?

+ info

Comment fonctionne la ToolBox ?

• Cet outil vous accompagne dans la conception et réflexion sur votre évaluation de pratique d'accompagnement.

• Concrètement vous pourrez y retrouver :

• Des conseils pratiques et scientifiques
• Des outils d'aide au choix
• Des ressources méthodologiques
• Des instruments de mesure

C'est parti !

Contenu de ToolBox

Que peut-on bien retrouver dans une boîte à outils évaluative ?

Constuire son évaluation

Penser son évaluation

Les bases

Sur quoi est construit ToolBox ?

Quelles sont les visées de mon dispositif ?

Approche qualitative ou quantitative ?

Maximiser la participation à l'évaluation

Comment catégoriser ma pratique de soutien ?

Qu'est-ce qu'une évaluation rigoureuse ?

Quel est mon objectif d'évaluation ?

Evaluer concrètement l'efficacité

Comment définir la réussite dans l'ES ?

Quelles sont les difficultés de l'évaluation ?

Comment agir sur la réussite ?

Obtenir des pistes riches d'amélioration

Les bases

Sur quoi est construit ToolBox ?

un outil basé sur la littérature scientifique

+ info

Consulter la liste des références.

un outil Construit à partir des expériences de terrain

Le projet a permis d'évaluer 25 pratiques d'accompagnement au sein des 4 formes d'enseignement supérieur en FW-B.

un Projet de 3 ans coordonné par Un comité de pilotage aux expertises multiples

Liste de nos partenaires

Etablissements d’Enseignement Supérieur de Promotion Sociale

11

Universités

Ecoles Supérieures des Arts

Hautes Ecoles

12

Parmi nos partenaires, nous retrouvons :

• les partenaires actifs qui ont proposé d'évaluer l'une de leur pratique d'accompagnement de l'étudiant
• les partenaires de soutien qui ont permis de faciliter le travail, d'étendre le réseau de travail et de contribuer à la réflexion générale dans la création de toolbox.

Les bases

Qu'est-ce qu'une évaluation rigoureuse ?

La littérature scientifique dénonce le manque d'évaluation rigoureuse des actions de soutien de l'étudiant (Stes et al., 2010)

1. Ne pas pouvoir s'assurer des bénéfices de l'action
2. Ne pas savoir si l'action n'a pas des effets négatifs inattendus
3. Ne pas savoir quand et comment faire évoluer l'action

Quels sont les risques ?

Comment évaluer rigoureusement ?

1. Définir l'objectif et construire son évaluation en conséquence
2. Aller au delà de la simple satisfaction
3. S'assurer d'obtenir un retour riche et représentatif

Les bases

Comment définir la réussite dans l'ES ?

« échec et réussite sont davantage des notions à usage pratique que des construits scientifiques élaborés de manière rigoureuse pour décrire et expliquer certaines réalités observées » (Romainville & Michaut, 2012, p.251.)

La réussite ne se limite pas à valider l'année

C'est aussi :

1. Développer un esprit critique
2. S'épanouir et atteindre ses objectifs
3. Se préparer aux futures transitions (professionnelles)

Vision multiple de la réussite

Combinaison de :

1. la réussite académique (réussite et performance)
2. La réussite éducative (apprentissages)
3. La réussite personnelle (bien-être, intégration, épanouissement)

Les bases

Comment agir sur la réussite ?

Deux façons d'agir :

1. Renforcer le pouvoir d'action de l'étudiant

Travailler sur :

1. La confiance dans ses capacités à réussir
2. L'engagement et la motivation
3. Les stratégies d'études et la maitrise des disciplines

2. Réduire les obstacles à la transition

En quoi le programme/ l'établissement rend-t-il la réussite difficile ?

1. Obstacles administratifs
2. Obstacles de contenu
3. Obstacles sociaux

Penser son évaluation

Quelles sont les visées de mon dispositif ?

La première étape pour définir les objectifs d'évaluation est d'en identifier les visées

Développement

Penser son évaluation

Comment catégoriser ma pratique de soutien ?

Il existe quatre formes d’accompagnement

Les pratiques d'accompagnement large et aux visées multiples

Les pratiques d'accompagnement personnalisé

Les pratiques d'accompagnement intégrées dans les activités d'enseignement

Les pratiques d'accompagnement ponctuel et ciblé

Grille descriptive des dispositifs d'accompagnement à la réussite

Return

Return

Liste des 26 pratiques d'accompagnement évaluées par le projet

Universités

Ecoles Supérieures des Arts

Hautes Ecoles

10

Etablissements d’Enseignement Supérieur de Promotion Sociale

Penser son évaluation

+ info

Quel est mon objectif d'évaluation ?

La dernière étape pour penser son évaluation est d'en définir les objectifs en se positionnant sur les éléments ci-dessous.

But de l'évaluation

La temporalité de l'évaluation

L'objet de l'évaluation

• Eléments sur lequels on veut recueillir des informations
• Dépend de la visée même du dispositif
• Relève du niveau d'évaluation

• Les objectifs d'analyse des effets
• Les objectifs d'évaluation du processus

Prise de mesure de la pratique :

• Avant/ à l'entrée
• Pendant/ juste en fin
• Plusieurs semaines après
• Plusieurs moins après

Penser son évaluation

+ info

Quelles sont les difficultés de l'évaluation ?

Penser les risques à l’évaluation et les ressources pour les limiter

Liste des principaux risques à l'atteinte de l'objectif d'évaluation :

Ressources disponibles au niveau méthodologique :

• Une participation trop faible ;

• Ne pas poser les bonnes questions, selon la bonne procédure ;
• Manque de ressources pour traiter les résultats ;
• Faute déontologique dans le traitement de données ;
• Pas d’objectifs d’évaluation clairs ;
• …

Ressources disponibles au niveau structurel

Construire son évaluation

Comment choisir entre une approche qualitative et une approche quantitative ?

Avantages

Inconvénients

Qualitative

Avantages

Inconvénients

Quantitative

Construire son évaluation

Comment maximiser la participation ?

Travail sur la communication

Message court, clair et accrocheur. Des rappels.

Réfléchir aux meilleurs moyens de communiquer

La boite mail institutionnelle est jugée comme saturée et chronophage par les étudiants. Besoin d'autres moyens de communication.

Le tirage au sort

Fournir une récompense à la participation est efficace. Si cette récompense est aléatoire, ça l'est encore plus !

+ info

Construire son évaluation

Comment obtenir des pistes riches d'amélioration ?

Plusieurs points de vigilance lors d'un entretien :

Prise de recul

Questions ouvertes

Mise en confiance

Focus group

Questions d'ouverture

Taille du groupe

Biais de confirmation

Formulation

Débuter les questions par "comment"

Ouvrir la parole

Entre 4 et 6 personnes

Se centrer sur ce qui confirme nos préconceptions

L'évaluateur veillera à gérer le contenu et la dynamique de l'entretien

Impose aux individus d'expliciter largement leurs réponses.

Attitudes

familière et sécurisante

Helicopter view

Construire son évaluation

Comment travailler sur les niveaux d'évaluation en approche quantitative ?

Evaluer l'effet sur la réussite et les performances

(4)

Analyser le transfert de compétences et de connaissances

Niveau (3)

Analyser les bénéfices perçus de la pratique

Niveau (2)

Mesurer le niveau de satisfaction

Niveau (1)

Analyser le public participant

Niveau (0)

Références scientifiques

Y-Z

W-X

• Willig, C. (2013). Introducing qualitative research in psychology. McGraw-Hill Education (UK).

• Mbiatong, J. (2022). L’entretien compréhensif : conduite, relances, catégorisation des matériaux. In B. Albero & J. Thievenaz (Eds.), Enquêter dans les métiers de l'humain : traité de méthodologie de la recherche en sciences de l'éducation et de la formation. Raison et Passions.

• York, T. T., Gibson, C., & Rankin, S. (2015). Defining and measuring academic success. Practical assessment, research, and evaluation, 20(1), 5. https://doi.org/10.7275/hz5x-tx03

Modèle multidimensionnel

(Van der Zanden et al., 2018 ; York et al., 2015)

Modèle des obstacles académiques

(De Clercq et al., 2019; Trautwein & Bosse, 2017)

Modèle intégratif des facteurs de réussite

(Dupont et al., 2016)