Assess4Success ToolBox : Version Beta

START

Un grand merci à Elsa Hasani pour sa contribution à ce document. Merci également aux relecteurs (N. Amrani et I. Alen) pour leurs propositions d'amélioration.

Note. Les termes utilisés dans ce Genial.ly doivent être entendus dans leur sens épicène, le genre masculin est utilisé comme générique, dans le seul but de ne pas alourdir le texte, cela n’a aucune intention discriminatoire.

Utilisatieurs

14.2k

Une boîte à outils pour construire son évaluation d'accompagnement de la réussite en toute autonomie!

Assessment ToolBox

Un peu perdu dans le Genially ? Aucun problème, il vous suffira de cliquer sur l'icône maison qui vous ramènera à la page d'accueil du Genially ! :-) Alors, Prêt ?

Comment fonctionne un Genial.ly ?

Genially est un support interactif à la frontière entre une page web et une présentation par slides. Il permet de voyager de façon linéaire au travers des pages d'informations en utilisant le bouton suivant et précédent à gauche et droite de l'écran.

Genially vous permet également de voyager librement entre les différents éléments du support en utilisant les éléments cliquables de chacune des pages. Du mal à les repérer ? Ces éléments sont identifiables en cliquant sur l'icone interactif en haut à droite de chaque page.

C'est parti !

+ info

• Cet outil vous accompagne dans la conception et réflexion sur votre évaluation de pratique d'accompagnement.

• Concrètement vous pourrez y retrouver :

• Des conseils pratiques et scientifiques
• Des outils d'aide au choix
• Des ressources méthodologiques
• Des instruments de mesure

C'est parti !

Comment fonctionne la ToolBox ?

Constuire son évaluation

Penser son évaluation

Les bases

Maximiser la participation à l'évaluation

Obtenir des pistes riches d'amélioration

Evaluer concrètement l'efficacité

Quelles sont les difficultés de l'évaluation ?

Quel est mon objectif d'évaluation ?

Comment catégoriser ma pratique de soutien ?

Quelles sont les visées de mon dispositif ?

Comment définir la réussite dans l'ES ?

Comment agir sur la réussite ?

Approche qualitative ou quantitative ?

Qu'est-ce qu'une évaluation rigoureuse ?

Sur quoi est construit ToolBox ?

Que peut-on bien retrouver dans une boîte à outils évaluative ?

Contenu de ToolBox

un Projet de 3 ans coordonné par Un comité de pilotage aux expertises multiples

Consulter la liste des références.

Le projet a permis d'évaluer 25 pratiques d'accompagnement au sein des 4 formes d'enseignement supérieur en FW-B.

un outil Construit à partir des expériences de terrain

un outil basé sur la littérature scientifique

Sur quoi est construit ToolBox ?

Les bases

+ info

Parmi nos partenaires, nous retrouvons :

• les partenaires actifs qui ont proposé d'évaluer l'une de leur pratique d'accompagnement de l'étudiant
• les partenaires de soutien qui ont permis de faciliter le travail, d'étendre le réseau de travail et de contribuer à la réflexion générale dans la création de toolbox.

11

12

Etablissements d’Enseignement Supérieur de Promotion Sociale

Ecoles Supérieures des Arts

Hautes Ecoles

Universités

Liste de nos partenaires

Comment évaluerrigoureusement ?

1. Définir l'objectif et construire son évaluation en conséquence
2. Aller au delà de la simple satisfaction
3. S'assurer d'obtenir un retour riche et représentatif

Quels sont les risques ?

1. Ne pas pouvoir s'assurer des bénéfices de l'action
2. Ne pas savoir si l'action n'a pas des effets négatifs inattendus
3. Ne pas savoir quand et comment faire évoluer l'action

La littérature scientifique dénonce le manque d'évaluation rigoureuse des actions de soutien de l'étudiant (Stes et al., 2010)

Qu'est-ce qu'une évaluation rigoureuse ?

Les bases

Vision multiple de la réussite

Combinaison de :

1. la réussite académique (réussite et performance)
2. La réussite éducative (apprentissages)
3. La réussite personnelle (bien-être, intégration, épanouissement)

La réussite ne se limite pas à valider l'année

C'est aussi :

1. Développer un esprit critique
2. S'épanouir et atteindre ses objectifs
3. Se préparer aux futures transitions (professionnelles)

« échec et réussite sont davantage des notions à usage pratique que des construits scientifiques élaborés de manière rigoureuse pour décrire et expliquer certaines réalités observées » (Romainville & Michaut, 2012, p.251.)

Comment définir la réussite dans l'ES ?

Les bases

2. Réduire les obstacles à la transition

Travailler sur :

1. La confiance dans ses capacités à réussir
2. L'engagement et la motivation
3. Les stratégies d'études et la maitrise des disciplines

En quoi le programme/ l'établissement rend-t-il la réussite difficile ?

1. Obstacles administratifs
2. Obstacles de contenu
3. Obstacles sociaux

1. Renforcer le pouvoir d'action de l'étudiant

Deux façons d'agir :

Comment agir sur la réussite ?

Les bases

Développement

Quelles sont les visées de mon dispositif ?

Penser son évaluation

La première étape pour définir les objectifs d'évaluation est d'en identifier les visées

Les pratiques d'accompagnement intégrées dans les activités d'enseignement

Les pratiques d'accompagnement large et aux visées multiples

Les pratiques d'accompagnement ponctuel et ciblé

Les pratiques d'accompagnement personnalisé

Comment catégoriser ma pratique de soutien ?

Il existe quatre formes d’accompagnement

Penser son évaluation

Return

Grille descriptive des dispositifs d'accompagnement à la réussite

Return

Universités

Ecoles Supérieures des Arts

Etablissements d’Enseignement Supérieur de Promotion Sociale

10

Hautes Ecoles

Liste des 26 pratiques d'accompagnement évaluées par le projet

Quel est mon objectif d'évaluation ?

La dernière étape pour penser son évaluation est d'en définir les objectifs en se positionnant sur les éléments ci-dessous.

Prise de mesure de la pratique :

• Avant/ à l'entrée
• Pendant/ juste en fin
• Plusieurs semaines après
• Plusieurs moins après

La temporalité de l'évaluation

• Eléments sur lequels on veut recueillir des informations
• Dépend de la visée même du dispositif
• Relève du niveau d'évaluation

L'objet de l'évaluation

• Les objectifs d'analyse des effets
• Les objectifs d'évaluation du processus

But de l'évaluation

Penser son évaluation

+ info

Ressources disponibles au niveau méthodologique :

Penser les risques à l’évaluation et les ressources pour les limiter

Ressources disponibles au niveau structurel

Quelles sont les difficultés de l'évaluation ?

Penser son évaluation

• Une participation trop faible ;

• Ne pas poser les bonnes questions, selon la bonne procédure ;
• Manque de ressources pour traiter les résultats ;
• Faute déontologique dans le traitement de données ;
• Pas d’objectifs d’évaluation clairs ;
• …

Liste des principaux risques à l'atteinte de l'objectif d'évaluation :

+ info

Avantages

Inconvénients

Inconvénients

Avantages

Qualitative

Quantitative

Comment choisir entre une approche qualitative et une approche quantitative ?

Construire son évaluation

Fournir une récompense à la participation est efficace. Si cette récompense est aléatoire, ça l'est encore plus !

La boite mail institutionnelle est jugée comme saturée et chronophage par les étudiants. Besoin d'autres moyens de communication.

Message court, clair et accrocheur. Des rappels.

Travail sur la communication

Réfléchir aux meilleurs moyens de communiquer

Le tirage au sort

Comment maximiser la participation ?

Construire son évaluation

+ info

Helicopter view

familière et sécurisante

Attitudes

Plusieurs points de vigilance lors d'un entretien :

Se centrer sur ce qui confirme nos préconceptions

Prise de recul

Biais de confirmation

Débuter les questions par "comment"

Impose aux individus d'expliciter largement leurs réponses.

Questions ouvertes

Formulation

Entre 4 et 6 personnes

L'évaluateur veillera à gérer le contenu et la dynamique de l'entretien

Focus group

Taille du groupe

Ouvrir la parole

Mise en confiance

Questions d'ouverture

Comment obtenir des pistes riches d'amélioration ?

Construire son évaluation

Comment travailler sur les niveaux d'évaluation en approche quantitative ?

Construire son évaluation

Analyser le public participant

Mesurer le niveau de satisfaction

Analyser les bénéfices perçus de la pratique

Analyser le transfert de compétences et de connaissances

Evaluer l'effet sur la réussite et les performances

(4)

Niveau (3)

Niveau (2)

Niveau (1)

Niveau (0)

Y-Z

W-X

Références scientifiques

• Willig, C. (2013). Introducing qualitative research in psychology. McGraw-Hill Education (UK).

• Mbiatong, J. (2022). L’entretien compréhensif : conduite, relances, catégorisation des matériaux. In B. Albero & J. Thievenaz (Eds.), Enquêter dans les métiers de l'humain : traité de méthodologie de la recherche en sciences de l'éducation et de la formation. Raison et Passions.

• York, T. T., Gibson, C., & Rankin, S. (2015). Defining and measuring academic success. Practical assessment, research, and evaluation, 20(1), 5. https://doi.org/10.7275/hz5x-tx03

Modèle multidimensionnel

(Van der Zanden et al., 2018 ; York et al., 2015)

Modèle des obstacles académiques

(De Clercq et al., 2019; Trautwein & Bosse, 2017)

Modèle intégratif des facteurs de réussite

(Dupont et al., 2016)