Conférence MoodleMoot 2024

Stimuler l'engagement des apprenants grâce à l'auto-évaluation sur Moodle

ESSEC Business School

Contributrices

Marion MarxIngénieure pédagogique ESSEC Business School

Nadia KelmoussIngénieure pédagogique ESSEC Business School

Éléments de contexte 1 - Des SPOCs... de masse !

• Un SPOC est un cours en ligne réservé à une communauté spécifique. Organisés par cohorte, ils combinent des ressources pédagogiques, des activités d'évaluation, et sont émaillés de discussions et de conférences (synchrones et/ou asynchrones).

• 5 SPOCs découlant de la stratégie RISE obligatoires pour 6000 étudiants pré-expérience à l'ESSEC en 2023-2024 : Responsible Leadership, Diversity & Inclusion in the Workplace, Climate Change & Companies, IA for Business, et Entrepreneurial Thinking & Doing.

Éléments de contexte 2 - L'explosion de l'IA

• Dans un premier temps, l'arrivée de l'IA générative a été un catalyseur de problématiques déjà existantes et particulièrement présentes dans le cadre des cours en ligne : la triche et le manque d'engagement personnel.

• Dans un deuxième temps, l'IA générative est apparue comme une occasion de repenser et d'optimiser les pratiques et les modalités d'enseignement, d'apprentissage et d'évaluation.

Vers l'évaluation formative & l'apprentissage significatif

• Dans les SPOCs originaux, la stratégie d'évaluation était basée essentiellement sur des activités d'évaluation sommative, qui faisaient l'objet d'une correction automatique (notamment des QCM).

• Conscientes des problématiques spécifiques à ce type de dispositif (un enseignant seul ne peut pas corriger plusieurs centaines d'essais pour un seul cours), nous avons adapté les modalités d'évaluation en nous basant notamment sur le concept d'apprentissage significatif.

Taxonomie de l'apprentissage significatif de Fink (2003)

Focus sur les activités formatives

• Notre stratégie d'évaluation utilise désormais majoritairement l'évaluation formative, sanctionnée par une note d'engagement. Elle permet de réduire de manière significative le recours non-pertinent à l'IA générative et à la triche.

• Parmi les différentes activités d'évaluation que nous proposons désormais, nous trouvons le quiz formatif avec feedback détaillés, systématiquement suivi d'une auto-évaluation.

Nous avons développé une petite mascotte personnalisable, Evalubot, véritable porte-parole qui apparaît avant chaque activité d'évaluation pour préciser s'il s'agit d'une évaluation sommative ou formative et de sensibiliser l'étudiant sur ses implications. Ce personnage ludique et récurrent partipe également de la stimulation de l'engagement des étudiants dans les activités.

FeedbackFruits : présentation

• FeedbackFruits est une solution d'enseignement et d'apprentissage composée d'une suite de 15 outils qui s'intègrent parfaitement aux LMS (dans notre cas, Moodle).

• Il existe 3 catégories d'outils répondant à des besoins spécifiques : Feedback & Évaluation, Apprentissage Collaboratif & Discussion, et Apprentissage Synchrone.

• Choix de FeedbackFruits : "la pédagogie avant l'outil" !

Les "Learning Journeys" sont des templates de parcours pédagogiques en plusieurs étapes, téléchargeables directement sur le site de FeedbackFruits.

FeedbackFruits : mise en oeuvre

• Accompagnement étroit de FeedbackFruits pour la mise en place technique puis Custom Success Manager dédié pour le déploiement (pilote).

• L'administrateur Moodle ajoute un nouvel outil (norme LTI 1.3), crée un service externe et un rôle autorisé et un jeton de service web, puis on envoie les infos à FeedbackFruits qui fait la mise en service. L'outil externe apparaît ensuite dans le panel d'activités sur Moodle et peut être mis en place dans les cours.

FeedbackFruits : avantages généraux

• Remontée des notes automatique dans le carnet de notes via l'option "Publish grades" et des données dans les rapports d'activité
• Réactivité du support : chat accessible via un simple bouton aux administrateurs, professeurs et étudiants (réponses sous 10 minutes)
• Précision des notes (critères, pondérations), personnalisation, et détection des valeurs aberrantes (outliers et free-riders)
• AI Automated Feedback Coach : fait des remarques sur la forme (expression écrite), guidelines, possibilité de signalement de commentaires.

L'autoévaluation avec FeedbackFruits

• Deux types : auto-évaluation des compétences et auto-évaluation sur un livrable (self-assessment of skills & self-assessment of work)

• C'est le self-assessment of skills qui correspondait le plus à nos besoins.

FeedbackFruits : résultats (1/2)

• Sur le dernier run Grande école du SPOC Diversity & Inclusion in the Workplace :

FeedbackFruits : résultats 2/2

• Critères pris en compte pour le soin apporté à la rédaction : structure grammaticale, absence d'erreurs typographiques et complétude des phrases.

• Pour le soin apporté à la réflexion personnelle : présence de connecteurs logiques, développement de nouvelles idées, évocation d'un plan d'action.

• Ces résultats montrent que les étudiants ont généralement pris le temps de rédiger des réponses suffisamment longues et bien structurées, mais qu'il y a un besoin d'encourager davantage la réflexion personnelle.

FeedbackFruits : résultats 3/3

• "I think doing the IAT test showed me the key takeaway of this SPOC: unconsciously, we all have biases and this test was a great way to show them. After doing the test for my essay, I did others to see my possible other biases and I have to say I was surprised by some of them! The fact that I did not expect the results really showed me how important it is to acknowledge this and learn about it so that I can try to suppress them."

• "Now that I've completed the SPOC, I aim to integrate these concepts into my startup's ethos right from its inception. As the CEO, I plan to prioritize diversity and inclusion, fostering an environment that promotes innovation, enhances well-being among team members, and contributes to societal improvement."

• "After this SPOC, the point I want to develop is to always question my behavior. It is important to ask ourselves if our actions are truly fair, ethical, inclusive and respectful. The biases and norms we have internalized sometimes cause us to unintentionally act in non-inclusive ways."

Devinette

Questionnaire - Présentation & mise en oeuvre

• Choix de l'activité "Questionnaire" : plus de types de questions par rapport à l'activité Feedback de Moodle, et faciliter la duplication en l'absence d'assistant fonctionnel sur le Certificat Handicap & Talents.

• Mise en oeuvre très simple : ajout d'une activité "Questionnaire" et paramétrage. L'essentiel est, comme avec FeedbackFruits, d'avoir des questions pertinentes !

Questionnaire - Résultats (1/2)

• Sur 88 participants étant allés jusqu'au bout du parcours et ayant réalisé l'activité certifiante obligatoire, 46 ont réalisé les auto-évaluations facultatives, soit 52% !

• L'écrasante majorité des réponses données sont bien détaillées, faisant souvent l'objet d'un paragraphe illustré avec des exemples personnels et/ou concrets.

Questionnaire - Résultats 2/2

Conclusions

• L'évaluation formative, et plus particulièrement l'auto-évaluation, ont permis un meilleur engagement de nos étudiants dans leurs cours en ligne.

• L'auto-évaluation participe pleinement du développement des soft sills, primordiales dans le contexte actuel.

• Outil & pédagogie : une double inspiration !

• Un dernier point essentiel : faire confiance à l'apprenant :)

Des questions ?

Merci !

marx@essec.edu

kelmouss@essec.edu