Créer un
QCM
en langue vivante étrangère
INDEX
Créer un QCM en cours de LVE
Points de vigilance et écueils
Sources
Définition
Objectifs et utilité
Langue du QCM
Evaluer au regard du CECRL
Règles de conception
Créer un QCM avec l'IA
Plus-value
Définition
Ce que c'est
QCM
Différents types de QCM
Une QCM, un QCM ? La terminologie
Différence avec une QROC
Objectifs et utilité
Que peut-on évaluer ?
QCM
A quelle condition utiliser le QCM ?
Que peut-on entraîner ?
A quel moment des apprentissages ?
Règles de conception
Les règles de conception présentées ici s’appuient sur les apports de la recherche et les biais constatés chez les apprenants confrontés à un QCM.
La conception de QCM est exigeante pour le concepteur ou la conceptrice afin d’atteindre les objectifs visés. Il est donc recommandé de travailler en équipe à l’élaboration d’un QCM : concevoir à plusieurs, faire relire/tester le QCM à un collègue, etc.
Généralités
Rédiger les items
Exploitable ou à éviter ?
Règles de conception
Généralités
Spécificité des QCM évaluant la compréhension
Pour tout QCM
Concevoir un QCM qui fonctionne pour évaluer la compréhension d’un support demande du temps. Il est donc conseillé de se répartir la conception des items entre professeurs, en particulier lorsqu’il s’agit d’évaluer les activités de compréhension : cela présente le double avantage de pouvoir se répartir la charge de travail et de pouvoir tester les items conçus par ses collègues avant de les proposer aux apprenants.
Règles de conception
Rédiger les items
A l'échelle de l'énoncé (question)
A l'échelle de l'item complet
A l'échelle des disctracteurs (réponses)
A l'échelle de l'item complet
Règles de conception
S’assurer que l’item est en adéquation avec les objectifs visés (mémorisation, entraînement, évaluation de connaissances, évaluation de la compréhension, etc.). Si plusieurs cheminements sont possibles pour arriver à la bonne réponse (souvent le cas pour la résolution de problèmes), cela ne donne pas un indicateur sur le cheminement effectué mais uniquement sur la maîtrise du cheminement effectué. En compréhension par exemple, il s’agit de s’assurer que... - l’item vise bien la reconstruction du sens et ne le fait pas à la place de l’élève, - l’item ne repose pas uniquement sur les connaissances culturelles de l’élève mais bien sur des repérages effectifs, - les énoncés ne donnent pas des réponses aux énoncés précédents ou suivants.
La QCM de connaissances ne doit pas perturber l’apprentissage, il s’agit donc de ne pas montrer d’erreur dans les solutions proposées en cours d’apprentissage.
Eviter d’utiliser des mots communs dans l’énoncé et dans la solution à trouver. Cela ne donne aucune indication sur les savoirs et savoir-faire de l’apprenant.
Garder à l’esprit que les termes absolus tous, toujours, jamais, aucun, etc. éveillent des soupçons chez les apprenants qui s’en méfient et évitent de choisir les solutions où ces termes apparaissent. Ils iront naturellement vers des termes tels que parfois, certains, il peut arriver que, etc. lorsque le choix leur est donné même s’il s’agit de la mauvaise solution.
A l'échelle de l'énoncé (question)
Règles de conception
Dans le cas d’un énoncé complexe, préciser sur quelle partie de l’énoncé porte la question (en la soulignant par exemple).
Regrouper dans l’énoncé les éléments communs aux différentes solutions proposées afin d’alléger la charge cognitive nécessaire pour répondre et de simplifier les formulations.
A l'échelle des disctracteurs (réponses)
Règles de conception
Les distracteurs proposés doivent indiquer le type d’erreur commise ou le cheminement incorrect suivi par l’apprenant. C’est la condition requise pour pouvoir organiser une rétro-action ciblée.
On privilégiera des distracteurs de longueur, de format et de complexité similaires (> même vraisemblance entre les solutions pour éviter les biais). On évitera des formulations longues et les doubles négations. Si l’utilisation de la négation est inévitable, souligner alors la négation.
Les phrases proposées doivent être syntaxiquement correctes entre l’énoncé et les propositions.
Les solutions proposées doivent être indépendantes syntaxiquement les unes des autres.
Les solutions proposées doivent être indépendantes sémantiquement les unes des autres. C’est-à-dire qu’aucune des solutions ne doit englober toutes les autres (cela signifierait que toutes les réponses sont acceptables).
S’assurer que tous les termes utilisés dans les solutions revêtent le même degré de technicité. Les apprenants peu compétents ont tendance à éviter les solutions comportant des termes techniques.
En compréhension, formuler la question et les solutions en fonction de ce sur quoi porte la mise en relation nécessaire des repérages.
Règles de conception
Exploitable ou à éviter ?
Exemple 1
Exemple 2
Exemple 3
Plus-value
Facilite l’auto-évaluation via l’outil numérique, à condition qu’un retour informé précis permette à l’élève de progresser et/ou que l’élève puisse obtenir des aides à partir de stratégies transférables pour répondre aux questions.
Participe à varier les modalités d’évaluation
Propose une valeur objective (la réponse ne varie pas d’un correcteur à l’autre)
Le QCM...
Favorise la dédramatisation de l’erreur en cours d’apprentissage (valeur diagnostique et formative, différenciation adaptée) et donc atténue la peur de l’erreur en situation d’évaluation
Engage l’élève dans son travail personnel (élève acteur de ses révisions par exemple)
Permet de mettre en œuvre une différenciation adaptée > coups de pouce et stratégies transférables accessibles à l’apprenant à sa demande uniquement
Donne un retour informé immédiat au professeur
> gommer un maximum de biais dans la conception des items (cf. règles de conception).
La formulation des items peut induire les apprenants en erreur (ils interprètent certains termes comme des pièges à éviter ou au contraire comme des indices d’identification de la bonne réponse).
Points de vigilance et écueils
Retirer des points à chaque réponse erronée n’est pas préconisé. > limite la place accordée à l’erreur comme tremplin possible de progression > renforce le sentiment de honte face à l’erreur > la réponse apportée n’appelle pas au raisonnement : les apprenants scolaires ou performants auront tendance à ne pas prendre le risque de répondre (crainte de se tromper), y compris si leur raisonnement est correct ; les apprenants en difficulté auront tendance à prendre des risques irraisonnés (répondre à tout prix malgré la faible chance d’obtenir un point).
Les différents items proposés ne doivent pas permettre de donner la réponse à d’autres items.
Les distracteurs proposés doivent être de même nature et de longueur et complexité similaires.
Les évaluations de type QCM sont souvent interprétées comme des questions pièges visant à évaluer uniquement la mémorisation de connaissances (précises) et peuvent conduire les apprenants à apprendre par cœur un cours plutôt qu’à mettre en œuvre des stratégies transférables plus qualitatives.
> Ne pas retirer de points en cas de réponse erronée.
L’exploitation du QCM ne doit pas être l’unique modalité d’entraînement ni d’évaluation (diagnostique, formative ou sommative). Un élève pourra réussir un QCM mais pas un résumé et inversement, par exemple, alors que le support aura été compris.
L’écueil de la place accordée au hasard en cas de bonne réponse trouvée par chance est souvent entendu.
Les QCM ne permettent pas de mesurer certaines compétences telles que la créativité/l’inventivité, la réflexion ou l’expression de sa pensée ou encore la qualité rédactionnelle.
> Réduire la part de chance liée au hasard par le nombre de distracteurs. > renseigner une échelle de certitude après chaque réponse (sûr / quasiment sûr / pas sûr). > expliquer comment le choix a été opéré. > aides en lien avec les stratégies utiles (moyen mnémotechnique, stratégie transférable, etc.).
> faire prendre conscience aux élèves que les stratégies transférables permettent d’identifier la solution correcte.
> varier les modalités d’entraînement et d’évaluation, ne pas systématiser le recours au QCM.
> bien identifier la visée du QCM.
Langue du QCM
Lors des temps d'entraînement en classe, la langue cible est privilégiée. Il s'agit en effet d'entraîner les élèves en contexte et de maintenir une exposition maximale à la langue cible (immersion linguistique). Il s'agit également d'articuler les différentes activités langagières.
En évaluation sommative, le choix de la langue s'opérera en fonction de plusieurs facteurs : - La formulation du QCM en français est envisageable si, et seulement si, les questions ne sont pas de simples traductions du support ou des mots clés inclus dans le support. Dans ce cas, l'élève aura été confronté une fois à ce format, de préférence en entraînement à la maison, afin d'éviter l'élément de surprise. - La formulation des questions est envisageable en langue cible en veillant à ne pas mettre les élèves en difficulté. En d'autres termes, la compréhension de la question ne doit pas faire obstacle à la capacité à fournir une réponse (un élève pourra par exemple avoir la réponse attendue mais l'absence de compréhension de la question pourrait faire obstacle à sa capacité à le démontrer). Il s'agit donc de s’assurer : - que les termes utilisés dans les items ont été entraînés et sont maîtrisés par les élèves afin de les placer dans une situation de réussite - que les items sont formulés simplement.
De fait, les termes clés du support et des items auront été entraînés en amont.
Evaluer au regard du CECRL
Dans le cas de QCM évaluant l’activité de compréhension, il s’agira, comme pour toute autre modalité d’évaluation, de cibler les items relevant de chaque degré de compréhension au regard du CECRL (A1, A2, B1, B2, C1) et de définir quels items permettent d’attester, à l’échelle de la copie, la validation d’un niveau global A1, A2, B1, B2, ou C1. Plusieurs items sont nécessaires pour chaque palier. Il n'est cependant pas nécessaire de répondre correctement à tous les items d'un palier pour le valider. L'évaluation se faisant par compétences, un palier peut être validé plus ou moins solidement. Par exemple, dans une grille critériée et graduée adossée au CECRL, on pourra ajouter les numéros de questions qui permettent de valider chaque palier. On pourra encore classer les questions du QCM par palier du CECRL et insérer la grille d'évaluation critériée et graduée adossée au CECRL en fin de QCM afin d'y reporter le niveau global atteint et faire un retour informé à l'apprenant. Le choix de présentation des questions est libre mais quelques points de vigilance doivent être gardés à l’esprit : - Premier cas de figure, l’ordre des questions suit l’ordre d’apparition des réponses dans le support : cette modalité facilite le repérage des réponses et peut mettre en difficulté l’apprenant qui pourra être découragé par des questions de niveau de difficulté important dès le début de l’évaluation. - Second cas de figure, le degré de difficulté des questions est progressif (questions permettant de valider A1, puis A2, puis B1, etc.) : cette modalité demande un travail de repérage plus minutieux et abouti, l’élève reste plus engagé et motivé puisqu’il est naturel d’avoir l’impression que les questions sont de plus en plus difficiles.
Créer un QCM avec l'IA*
Prenez connaissance des trois QCM proposés par Wooclap (questionnaire non modifiable), Mistral AI (questionnaire modifiable) et ChatGPT (questionnaire modifiable). Identifiez les limites des QCM proposés.
Lisez le texte pour identifier les éléments essentiels de compréhension.
Imaginez l'invite (prompt) donnée à l'intelligence artificielle pour créer ces QCM. Quelle invite supplémentaire permettrait de concevoir un QCM plus efficace pour évaluer la compréhension ?
*L’utilisation d’intelligences artificielles exige quelques précautions : s’assurer de l’application de la règlementation en vigueur, s’assurer du cadre éthique et déontologique fixé, ne pas partager de données personnelles, prendre du recul sur ce qui est proposé par l’intelligence artificielle et procéder à des ajustements le cas échéant.
Sources
Processus de conception d’une évaluation par QCM, sous la direction d’Emilie MALCOURANT, Presses universitaires de Louvain 20 règles pour rédiger vos QCM, synthèse à partir de LECLERCQ, 1986, La conception des Questions à Choix Multiple Guide de rédaction d’un exercice de type QCM, Direction d’appui à la pédagogie et à l’innovation, extrait de l’article TICE et QCM (Les dossiers thématiques de GRECO, Daniel SEYVE, Jérémie GREPILLOUX, janvier 2004). Rédaction de questions à choix multiple, HEC Montréal, Direction de l’apprentissage et de l’innovation pédagogique Je me prépare au test de positionnement Ev@lang, parcours national d’entraînement aux items Ev@lang, académie de Versailles, Eléathèque (le parcours comporte des aides fondées sur des stratégies transférables et peut être réalisé en autonomie par les élèves) Création de QCM à l’aide de l’intelligence artificielle* : Wooclap, Mistral, ChatGPT *L’utilisation d’intelligences artificielles exige quelques précautions : s’assurer de l’application de la règlementation en vigueur, s’assurer du cadre éthique et déontologique fixé, ne pas partager de données personnelles, prendre du recul sur ce qui est proposé par l’intelligence artificielle et procéder à des ajustements le cas échéant. Cf. "L'IA en éducation : cadre d'usage"
Le QCM ne doit pas être l’unique modalité d’évaluation ni l’unique modalité d’entraînement. A titre d'exemples :- en réception, un élève pourra réussir un QCM mais pas un résumé et inversement alors que le support aura été peut-être compris ;- pour du lexique, l'élève aura été capable de reconnaître la bonne solution parmi les quatre proposées mais pas de la trouver d'emblée en autonomie ou de l'utiliser en contexte. En situation d'évaluation sommative, on pourra panacher QCM et compte-rendu par exemple afin de multiplier les chances de réussite des élèves. La notation prendra en compte la globalité de l'exercice (QCM + compte-rendu) au regard d'une grille adossée au CECRL, et non les exercices séparément. Dans le cadre d'une évaluation par compétences, il ne s'agit en effet pas d'utiliser un barème à points du type une bonne réponse = 1 point, mais bien de prendre en compte la qualité de la production dans sa globalité.
Il s'agit donc de continuer de varier les modalités d'entraînement et d’évaluation, le QCM étant l'une d'entre elles
Exemple de question : Le personnage principal est : A/ Intelligent / B. Curieux / C. Fou / D. Empathique Le support d'origine ne comportera aucun de ces mots en langue cible associés au personnage principal mais soit des périphrases, soit des antonymes ou synonymes, soit des passages où seul l'accès à l'implicite permet de trouver la réponse.
« La Grande-Bretagne comprend : A. l’Angleterre B. l’Angleterre et le Pays de Galles C. l’Angleterre, l’Ecosse et le Pays de Galles D. l’Angleterre, l’Ecosse, l’Irlande du Nord et le Pays de Galles. »
Les réponses A, B et C cumulées sont recevables.
Exemples : Identifiez les limites dans les deux items suivants : 1. « L’organisme de police international est autrement nommé : A. CIA / B. FBI / C. Interpol / D. SAS » 2. « L’Institut de technologie du Massachusetts est autrement nommé : A. CIA / B. FBI / C. Nasa / D. MIT »
Les racines communes (inter et pol) donnent une forte indication de solution correcte. Les initiales étant les mêmes en français et en anglais, il est aisé de trouver la bonne réponse sans en avoir la connaissance.
Nairobi is called “The New York of Africa because… a) Its nickname in Kenya is “The Big Apple” b) It has the same number of inhabitants as New York c) It is a modern metropolis reminiscent of New York d) Its buildings are exact copies of those of New York Extrait du texte source : “Kenya is famous for its skyscrapers, and its capital, Nairobi, is even called the “New York of Africa”. All this is because Nairobi is a modern developed metropolis that is very reminiscent of New York.” (Source : Skyscrapers of Nairobi, October 10th 2024, www.nairobiwire.com)
Exemple : « En 1971, les Etats-Unis ont renoué leurs relations diplomatiques avec la Chine suite à … ». Dans cet énoncé, l’année 1971 est essentielle pour pouvoir cibler la solution correcte sans équivoque.
« L’animal symbole des Etats-Unis est le… : A. caribou / B. aigle / C. fourmi / D. ours »
Préférer : « L’animal symbole des Etats-Unis est… : A. le caribou / B. l’aigle / C. la fourmi / D. l’ours. »
The Journey
“NOTICE: Big game season is now in effect. The wearing of furs and hats with horns is not recommended, nor are any dark colors–i.e., black, brown, gray.” – trailhead warning, New York State Department of Environmental Conservation I am wearing my gray wool pants, and my brown boots. I set my name down in the trailhead register – just past dawn, no one else around, a few flakes of early snow falling through the gray air. And my black, water-repellent coat, and my dark brown fur vest, buffalo fur, and my Russian hat. I will hike up to Avalanche Pass today, and perhaps beyond, at times sitting down on a rock to listen to the silence or the wind, and possibly the sound of not so distant gunfire.
In my small black pack I am carrying some dried fruit and nuts and a canteen of water. It’s the only sensible thing to do. We will see what happens. I will breathe the cold air and breathe out steam, a dark figure striding among the birch woods. I have always wanted to make this journey. Now I strap on my nine-pronged antlers and set off down the trail.
Howard Nelson
Le QCM permet d'évaluer sur quatre niveaux de maîtrise des savoirs de l'apprenant, qui relèvent du savoir et du savoir comment. 1 Connaissance : Nommer, définir, reconnaître des faits, des concepts 2 Compréhension : Traiter de l’information, décrire un processus, donner un exemple 3 Application : Mobiliser des connaissances pour résoudre un cas 4 Analyse : Établir des liens entre des situations (extraire des éléments clés de l'énoncé pour pouvoir résoudre le problème posé)
Cliquez sur l'image pour accéder à la représentation de la taxonomie du domaine cognitif de Bloom (Source : HEC Montréal).
Exemple : On préfèrera « Complétez les mots tronqués par la bonne terminaison [DONNER LE CHOIX DE TERMINAISON] » à la question « Quelle phrase ne contient pas d’erreur de terminaison ? » qui suppose la proposition de terminaisons erronées.
QCM simple : un énoncé, un seule proposition correcte, plusieurs distracteurs (= focus de cette présentation). Vrai/Faux : une seule bonne proposition, un seul distracteur. Une justification peut être demandée (citation par exemple). QRM (Question à réponses multiples) : plusieurs solutions correctes sont attendues, ce qui augmente la complexité et le temps de traitement de la question et donc la crainte de l’erreur. Dans ce cas, on peut préciser le nombre d’éléments à sélectionner.QRM avec solutions générales : solutions multiples auxquelles ont ajoute les propositions suivantes « Aucune des solutions proposées n’est correcte », « Toutes les solutions proposées sont correctes », « Il manque au moins une donnée pour que l’on puisse répondre », « Une absurdité s’est glissée dans l’énoncé ». Si un apprenant coche « Aucune des solutions proposées n’est correcte », il n’est pas possible de savoir s’il a la bonne réponse. Ce type d'énoncé augmente considérablement la complexité et le temps de traitement de la question, il est donc à éviter (charge cognitive forte). Classement (question d’ordonnancement) : les propositions doivent être classées dans un ordre précis (un seul ordre possible). Ce type de question permet de vérifier, par exemple, que les apprenants maîtrisent la chronologie d’évènements relatés ou sont capables de classer les informations dans un ordre de priorité mentionné ou induit. Analyse dans un contexte (texte lacunaire) : l’apprenant doit retrouver le terme manquant (concept, période, décision grammaticale, item lexical, etc.) dans une liste globale proposée. Question à appariement : mettre en relation une liste de questions ou situations et une liste de solutions (liste symétrique = une solution par proposition ou liste asymétrique = une situation peut être reliée à plusieurs propositions). Résoudre un cas : plusieurs questions s'enchaînent à partir d’un cas / situation / problématique. Les différentes questions associées à ce cas sont indépendantes de manière à ce qu’une réponse erronée à la première question ne déclenche pas, en cascade, des réponses erronées à toutes les questions qui suivent (éviter de rédiger des questions dites « tiroir »).Item retourné (> niveau cognitif plus complexe que la simple reconnaissance) : permet de déterminer si l’apprenant est capable d’associer une situation concrète (énoncé) à une conception théorique (plusieurs solutions proposées).
Le QCM peut être exploité pour consolider la mémorisation par reprise expansée. Le lexique : trouver la bonne solution associée à un mot, une image ou un son, trouver la bonne solution à intégrer dans une phrase lacunaire (lexique en contexte). La grammaire : trouver la bonne solution à intégrer dans une phrase lacunaire (grammaire en contexte), cocher la bonne application d'une règle de grammaire. Les règles phonologiques : trouver la bonne solution associée à un mot ou un son, cocher la bonne règle phonologique. Les connaissances culturelles : cela peut aider à la révision du contenu de la dernière trace écrite, du contenu culturel d'une séquence d'apprentissage, du contenu culturel abordé pendant l'année voire les années précédentes. Les stratégies : l'énoncé peut comporter un rappel de la stratégie adéquate pour aider l'apprenant à trouver la bonne réponse (cela peut être fait à la demande de l’apprenant uniquement) ou encore le retour informé après avoir validé la réponse peut rappeler quelle stratégie était nécessaire pour trouver la bonne solution. Associé à un défi à relever (défi temps, collection de points, etc.), il peut devenir un levier de motivation supplémentaire. Associé à des pratiques de classe, le QCM peut être exploité en demandant à l'apprenant de justifier son choix afin d'évaluer son degré de maîtrise des stratégies entraînées ou encore la méthodologie, favorisant ainsi la conscientisation des apprentissages et l'explicitation.
Exemple : Si un seul prix (et/ou une seule donnée chiffrée) apparaît dans un support invitant des élèves à s’inscrire dans une école londonienne, la question « Combien l’inscription annuelle coûte-t-elle ? » est peu pertinente puisqu’il s’agit de vérifier si l’élève a repéré l'unique valeur monétaire du support (facilement repérable : donnée chiffrée et devise) sans l'amener à mettre en réseaux les informations qui entourent cette donnée. On privilégiera donc une question du type : « 30.000£ correspond… A. au prix d’une année de scolarité B. au prix du bâtiment C. au prix de revient d’une année de scolarité dans cette école pour l’Etat D. au bénéfice dégagé par l’école pour chaque inscription E. au prix d'un trimestre de scolarité dans cette école. »
Le salaire à percevoir est : a) 150.000 dollars australiens b) 150 dollars australiens c) 300.000 dollars australiens
Eléments d'analyse : - Formulation des énoncés - Formulation des propositions - Visée des items - Lien et adéquation entre le CECRL et les items
Invite initiale : En utilisant les paliers du CECRL suivants (Compréhension de l’écrit, Lire comme activité de loisir): [descripteurs du CECRL insérés ici] Peux-tu créer un QCM en anglais classé en A1, A2 et B1 pour le poème suivant : [texte inséré ici].
Requête complémentaire à la lecture de la première proposition : Peux-tu reformuler les énoncés afin de ne pas utiliser les mots du poème ?
Réponse de ChatGPT
Conclusion
Dans le cas de QCM évaluant l’activité de compréhension, il s’agira, comme pour toute autre modalité d’évaluation, de cibler les items relevant de chaque degré de compréhension possible au regard du CECRL (A1, A2, B1, B2, C1) et de définir quels items permettent d’attester, à l’échelle de la copie, la validation d’un niveau global A1, A2, B1, B2, ou C1. Plusieurs items sont nécessaires pour chaque palier. Il n'est cependant pas nécessaire de répondre correctement à tous les items d'un palier pour valider ce palier. Les énoncés doivent porter sur les stratégies entraînées. En compréhension, repérer la bonne information ne signifie pas nécessairement la comprendre. C’est bien la reformulation qui permet de vérifier si le repérage effectué est compris. Afin de s’assurer de l’effectivité des stratégies mises en place, on pourra par exemple proposer : - une reformulation à la portée du niveau de compréhension des élèves à cocher, - un appariement à réaliser, - un vrai/faux à justifier pour pouvoir valider la réponse choisie. Dans le cas d’un vrai / faux, la justification peut prendre la forme d’une citation du support recopiée par l’apprenant, d’une brève explication ou encore de brefs extraits du support au choix à cocher afin de s’assurer de l’effectivité des stratégies mises en place.
Exemple
Ce document est : a) une petite annonce pour un emploi b) une publicité pour visiter une île c) une campagne de sensibilisation pour protéger les poissons d) l’avis de décès d’une reine.
Des QCM peuvent être intégrés dans une réflexion tant formative que certificative ainsi que dans une logique d’évaluation continue. Pour quel type d'évaluation ? Diagnostique (non notée) : pour voir où les élèves en sont, mieux connaître leurs acquis antérieurs Formative (non notée) : pour situer les élèves dans leurs apprentissages, leur donner un retour informé individuel pour les aider à progresser et mieux réussir Sommative (notée) : pour mesurer le degré d'acquisition d'une activité de réception au regard du niveau visé Où et quand ? En classe et hors de la classe : cela sera à déterminer en fonction des objectifs visés. Dans le cas de QCM numériques, il conviendra de s'assurer que tous les élèves y ont accès (CDI, salle informatique par exemple). Dans le but de... - mémoriser (= avoir des connaissances - culturelles, lexicales, grammaticales, etc.) - entraîner (= développer des stratégies transférables pour gagner en autonomie langagière, répéter un acte) - évaluer (= mesurer le degré de mobilisation des stratégies entraînées par l’élève dans une situation similaire à celle de l’entraînement) - valider (compris/pas compris, su/non su. Une QCM ne permet pas de mesurer un degré d’acquisition puisque le résultat est binaire. Afin de pouvoir situer sur un niveau du CECRL, plusieurs questions seront nécessaires pour évaluer le degré de maîtrise pour chaque niveau du CECRL.
Un QCM peut porter sur des connaissances, la compréhension ou encore l’application de concepts/théories. La forme des énoncés et des items doit donc correspondre aux objectifs visés et éviter de semer de la confusion chez l’apprenant. S’assurer que la formulation des items est simple et claire et que les termes utilisés dans les items ont été entraînés et sont maîtrisés par les élèves afin de les placer dans une situation de réussite. Généralement, il n'y a qu'une seule bonne solution dans les QCM. L’item doit être compatible avec l’énoncé : si plusieurs solutions sont exceptionnellement possibles, il faut alors le mentionner dans l’énoncé. Privilégier un nombre de propositions similaire d’un item à l’autre et disposer les bonnes réponses aléatoirement afin que les apprenants ne déduisent pas la réponse uniquement grâce à son positionnement (ex. une réponse juste systématiquement positionnée en deuxième rang).
Exemple : à exploiter ou à éviter ?
Un questionnaire à choix multiples est un exercice comprenant plusieurs énoncés demandant à l’apprenant de choisir la bonne proposition ou la bonne solution en en sélectionnant au moins une parmi l’ensemble des solutions proposées.
« La Grande-Bretagne comprend : A. l’Angleterre et le Pays de Galles ; B. en plus, l’Ecosse ; C. en plus, l’Irlande du Nord ; D. au contraire, l’Irlande du Nord uniquement. »
Une question à réponse ouverte courte (QROC) attend de l’apprenant qu’il rédige une réponse concise et précise (un mot ou une courte expression par exemple). Il ne s’agit donc pas d’une QCM.
Exemples - Ne pas reprendre mot pour mot des éléments du support dans les solutions proposées - Si un énoncé porte sur la nature du support, éviter de donner la nature du support dans les énoncés suivants : par exemple, si un énoncé demande d’identifier qu’il s’agit d’un conte de féés, éviter qu’un autre énoncé commence par « dans ce conte de fées, qu’arrive-t-il au personnage principal ? » - Demander à un élève de replacer des éléments reformulés dans l’ordre chronologique limite la vérification de la reconstruction du sens. Il conviendra donc de distinguer les items visant la reconstruction du sens des items visant la reconstruction de la chronologie. Soit les éléments à classer sont des actions citées telles quelles dans le support et permettent de vérifier uniquement la compréhension de la chronologie, soit un choix d’actions reformulées par rapport au support est donné pour chaque étape chronologique et permet de vérifier la reconstruction du sens (chronologie et actions).
Une QCM est une question à choix multiples. Un QCM est un questionnaire à choix multiples. Un QCM est donc une modalité d'exercice. Le questionnaire peut revêtir plusieurs formes ; une terminologie propre lui est associée. Dans certains exercices, des questions à choix multiples sont panachées à des questions ouvertes, dans ce dernier cas l'exercice n'est pas un QCM puisque seule une partie des questions sont des QCM. Terminologie Enoncé : formulation de l’exercice (question, phrase à compléter, texte lacunaire, etc.). Propositions / solutions : alternatives proposées au choix de l’apprenant. Item : énoncés et propositions associées. Distracteurs : mauvaises propositions ou leurres.
"Le personnage est... A. fou B. grand C. musclé D. sympathique"
Cet énoncé est à éviter car il mélange des caractéristiques physiques et morales
Exemple : Le narrateur mentionne l'avertissement au départ du sentier pour montrer qu'il... a. suit les règles b. ne suit pas les règles c. a besoin d'aide d. connaît les lieux. (Les éléments communs aux différentes solutions proposées sont regroupés dans l'énoncé)
Exemple : Lors de l'organisation d'un quiz en équipe à visée diagnostique pour identifier les connaissances que les élèves ont sur le pays qui sera l'objet de la séquence à venir, on pourra exiger que les élèves donnent la réponse sous forme d'énoncé complet.
Extrait de quiz possible (formulé en langue cible en temps réel) : Quel animal est le symbole national de la Nouvelle-Zélande ? A. Le lapin / B. Le kiwi / C. L'aigle / D. Le caribou Réponse exigible (en langue cible en temps réel) : Le kiwi est le symbole national de la Nouvelle-Zélande. Il s'agit d'un oiseau.
Créer un QCM en cours de LVE
Elsa Delcuzoul
Created on April 10, 2024
Start designing with a free template
Discover more than 1500 professional designs like these:
View
Higher Education Presentation
View
Psychedelic Presentation
View
Harmony Higher Education Thesis
View
Vaporwave presentation
View
Geniaflix Presentation
View
Vintage Mosaic Presentation
View
Modern Zen Presentation
Explore all templates
Transcript
Créer un
QCM
en langue vivante étrangère
INDEX
Créer un QCM en cours de LVE
Points de vigilance et écueils
Sources
Définition
Objectifs et utilité
Langue du QCM
Evaluer au regard du CECRL
Règles de conception
Créer un QCM avec l'IA
Plus-value
Définition
Ce que c'est
QCM
Différents types de QCM
Une QCM, un QCM ? La terminologie
Différence avec une QROC
Objectifs et utilité
Que peut-on évaluer ?
QCM
A quelle condition utiliser le QCM ?
Que peut-on entraîner ?
A quel moment des apprentissages ?
Règles de conception
Les règles de conception présentées ici s’appuient sur les apports de la recherche et les biais constatés chez les apprenants confrontés à un QCM.
La conception de QCM est exigeante pour le concepteur ou la conceptrice afin d’atteindre les objectifs visés. Il est donc recommandé de travailler en équipe à l’élaboration d’un QCM : concevoir à plusieurs, faire relire/tester le QCM à un collègue, etc.
Généralités
Rédiger les items
Exploitable ou à éviter ?
Règles de conception
Généralités
Spécificité des QCM évaluant la compréhension
Pour tout QCM
Concevoir un QCM qui fonctionne pour évaluer la compréhension d’un support demande du temps. Il est donc conseillé de se répartir la conception des items entre professeurs, en particulier lorsqu’il s’agit d’évaluer les activités de compréhension : cela présente le double avantage de pouvoir se répartir la charge de travail et de pouvoir tester les items conçus par ses collègues avant de les proposer aux apprenants.
Règles de conception
Rédiger les items
A l'échelle de l'énoncé (question)
A l'échelle de l'item complet
A l'échelle des disctracteurs (réponses)
A l'échelle de l'item complet
Règles de conception
S’assurer que l’item est en adéquation avec les objectifs visés (mémorisation, entraînement, évaluation de connaissances, évaluation de la compréhension, etc.). Si plusieurs cheminements sont possibles pour arriver à la bonne réponse (souvent le cas pour la résolution de problèmes), cela ne donne pas un indicateur sur le cheminement effectué mais uniquement sur la maîtrise du cheminement effectué. En compréhension par exemple, il s’agit de s’assurer que... - l’item vise bien la reconstruction du sens et ne le fait pas à la place de l’élève, - l’item ne repose pas uniquement sur les connaissances culturelles de l’élève mais bien sur des repérages effectifs, - les énoncés ne donnent pas des réponses aux énoncés précédents ou suivants.
La QCM de connaissances ne doit pas perturber l’apprentissage, il s’agit donc de ne pas montrer d’erreur dans les solutions proposées en cours d’apprentissage.
Eviter d’utiliser des mots communs dans l’énoncé et dans la solution à trouver. Cela ne donne aucune indication sur les savoirs et savoir-faire de l’apprenant.
Garder à l’esprit que les termes absolus tous, toujours, jamais, aucun, etc. éveillent des soupçons chez les apprenants qui s’en méfient et évitent de choisir les solutions où ces termes apparaissent. Ils iront naturellement vers des termes tels que parfois, certains, il peut arriver que, etc. lorsque le choix leur est donné même s’il s’agit de la mauvaise solution.
A l'échelle de l'énoncé (question)
Règles de conception
Dans le cas d’un énoncé complexe, préciser sur quelle partie de l’énoncé porte la question (en la soulignant par exemple).
Regrouper dans l’énoncé les éléments communs aux différentes solutions proposées afin d’alléger la charge cognitive nécessaire pour répondre et de simplifier les formulations.
A l'échelle des disctracteurs (réponses)
Règles de conception
Les distracteurs proposés doivent indiquer le type d’erreur commise ou le cheminement incorrect suivi par l’apprenant. C’est la condition requise pour pouvoir organiser une rétro-action ciblée.
On privilégiera des distracteurs de longueur, de format et de complexité similaires (> même vraisemblance entre les solutions pour éviter les biais). On évitera des formulations longues et les doubles négations. Si l’utilisation de la négation est inévitable, souligner alors la négation.
Les phrases proposées doivent être syntaxiquement correctes entre l’énoncé et les propositions.
Les solutions proposées doivent être indépendantes syntaxiquement les unes des autres.
Les solutions proposées doivent être indépendantes sémantiquement les unes des autres. C’est-à-dire qu’aucune des solutions ne doit englober toutes les autres (cela signifierait que toutes les réponses sont acceptables).
S’assurer que tous les termes utilisés dans les solutions revêtent le même degré de technicité. Les apprenants peu compétents ont tendance à éviter les solutions comportant des termes techniques.
En compréhension, formuler la question et les solutions en fonction de ce sur quoi porte la mise en relation nécessaire des repérages.
Règles de conception
Exploitable ou à éviter ?
Exemple 1
Exemple 2
Exemple 3
Plus-value
Facilite l’auto-évaluation via l’outil numérique, à condition qu’un retour informé précis permette à l’élève de progresser et/ou que l’élève puisse obtenir des aides à partir de stratégies transférables pour répondre aux questions.
Participe à varier les modalités d’évaluation
Propose une valeur objective (la réponse ne varie pas d’un correcteur à l’autre)
Le QCM...
Favorise la dédramatisation de l’erreur en cours d’apprentissage (valeur diagnostique et formative, différenciation adaptée) et donc atténue la peur de l’erreur en situation d’évaluation
Engage l’élève dans son travail personnel (élève acteur de ses révisions par exemple)
Permet de mettre en œuvre une différenciation adaptée > coups de pouce et stratégies transférables accessibles à l’apprenant à sa demande uniquement
Donne un retour informé immédiat au professeur
> gommer un maximum de biais dans la conception des items (cf. règles de conception).
La formulation des items peut induire les apprenants en erreur (ils interprètent certains termes comme des pièges à éviter ou au contraire comme des indices d’identification de la bonne réponse).
Points de vigilance et écueils
Retirer des points à chaque réponse erronée n’est pas préconisé. > limite la place accordée à l’erreur comme tremplin possible de progression > renforce le sentiment de honte face à l’erreur > la réponse apportée n’appelle pas au raisonnement : les apprenants scolaires ou performants auront tendance à ne pas prendre le risque de répondre (crainte de se tromper), y compris si leur raisonnement est correct ; les apprenants en difficulté auront tendance à prendre des risques irraisonnés (répondre à tout prix malgré la faible chance d’obtenir un point).
Les différents items proposés ne doivent pas permettre de donner la réponse à d’autres items.
Les distracteurs proposés doivent être de même nature et de longueur et complexité similaires.
Les évaluations de type QCM sont souvent interprétées comme des questions pièges visant à évaluer uniquement la mémorisation de connaissances (précises) et peuvent conduire les apprenants à apprendre par cœur un cours plutôt qu’à mettre en œuvre des stratégies transférables plus qualitatives.
> Ne pas retirer de points en cas de réponse erronée.
L’exploitation du QCM ne doit pas être l’unique modalité d’entraînement ni d’évaluation (diagnostique, formative ou sommative). Un élève pourra réussir un QCM mais pas un résumé et inversement, par exemple, alors que le support aura été compris.
L’écueil de la place accordée au hasard en cas de bonne réponse trouvée par chance est souvent entendu.
Les QCM ne permettent pas de mesurer certaines compétences telles que la créativité/l’inventivité, la réflexion ou l’expression de sa pensée ou encore la qualité rédactionnelle.
> Réduire la part de chance liée au hasard par le nombre de distracteurs. > renseigner une échelle de certitude après chaque réponse (sûr / quasiment sûr / pas sûr). > expliquer comment le choix a été opéré. > aides en lien avec les stratégies utiles (moyen mnémotechnique, stratégie transférable, etc.).
> faire prendre conscience aux élèves que les stratégies transférables permettent d’identifier la solution correcte.
> varier les modalités d’entraînement et d’évaluation, ne pas systématiser le recours au QCM.
> bien identifier la visée du QCM.
Langue du QCM
Lors des temps d'entraînement en classe, la langue cible est privilégiée. Il s'agit en effet d'entraîner les élèves en contexte et de maintenir une exposition maximale à la langue cible (immersion linguistique). Il s'agit également d'articuler les différentes activités langagières.
En évaluation sommative, le choix de la langue s'opérera en fonction de plusieurs facteurs : - La formulation du QCM en français est envisageable si, et seulement si, les questions ne sont pas de simples traductions du support ou des mots clés inclus dans le support. Dans ce cas, l'élève aura été confronté une fois à ce format, de préférence en entraînement à la maison, afin d'éviter l'élément de surprise. - La formulation des questions est envisageable en langue cible en veillant à ne pas mettre les élèves en difficulté. En d'autres termes, la compréhension de la question ne doit pas faire obstacle à la capacité à fournir une réponse (un élève pourra par exemple avoir la réponse attendue mais l'absence de compréhension de la question pourrait faire obstacle à sa capacité à le démontrer). Il s'agit donc de s’assurer : - que les termes utilisés dans les items ont été entraînés et sont maîtrisés par les élèves afin de les placer dans une situation de réussite - que les items sont formulés simplement.
De fait, les termes clés du support et des items auront été entraînés en amont.
Evaluer au regard du CECRL
Dans le cas de QCM évaluant l’activité de compréhension, il s’agira, comme pour toute autre modalité d’évaluation, de cibler les items relevant de chaque degré de compréhension au regard du CECRL (A1, A2, B1, B2, C1) et de définir quels items permettent d’attester, à l’échelle de la copie, la validation d’un niveau global A1, A2, B1, B2, ou C1. Plusieurs items sont nécessaires pour chaque palier. Il n'est cependant pas nécessaire de répondre correctement à tous les items d'un palier pour le valider. L'évaluation se faisant par compétences, un palier peut être validé plus ou moins solidement. Par exemple, dans une grille critériée et graduée adossée au CECRL, on pourra ajouter les numéros de questions qui permettent de valider chaque palier. On pourra encore classer les questions du QCM par palier du CECRL et insérer la grille d'évaluation critériée et graduée adossée au CECRL en fin de QCM afin d'y reporter le niveau global atteint et faire un retour informé à l'apprenant. Le choix de présentation des questions est libre mais quelques points de vigilance doivent être gardés à l’esprit : - Premier cas de figure, l’ordre des questions suit l’ordre d’apparition des réponses dans le support : cette modalité facilite le repérage des réponses et peut mettre en difficulté l’apprenant qui pourra être découragé par des questions de niveau de difficulté important dès le début de l’évaluation. - Second cas de figure, le degré de difficulté des questions est progressif (questions permettant de valider A1, puis A2, puis B1, etc.) : cette modalité demande un travail de repérage plus minutieux et abouti, l’élève reste plus engagé et motivé puisqu’il est naturel d’avoir l’impression que les questions sont de plus en plus difficiles.
Créer un QCM avec l'IA*
Prenez connaissance des trois QCM proposés par Wooclap (questionnaire non modifiable), Mistral AI (questionnaire modifiable) et ChatGPT (questionnaire modifiable). Identifiez les limites des QCM proposés.
Lisez le texte pour identifier les éléments essentiels de compréhension.
Imaginez l'invite (prompt) donnée à l'intelligence artificielle pour créer ces QCM. Quelle invite supplémentaire permettrait de concevoir un QCM plus efficace pour évaluer la compréhension ?
*L’utilisation d’intelligences artificielles exige quelques précautions : s’assurer de l’application de la règlementation en vigueur, s’assurer du cadre éthique et déontologique fixé, ne pas partager de données personnelles, prendre du recul sur ce qui est proposé par l’intelligence artificielle et procéder à des ajustements le cas échéant.
Sources
Processus de conception d’une évaluation par QCM, sous la direction d’Emilie MALCOURANT, Presses universitaires de Louvain 20 règles pour rédiger vos QCM, synthèse à partir de LECLERCQ, 1986, La conception des Questions à Choix Multiple Guide de rédaction d’un exercice de type QCM, Direction d’appui à la pédagogie et à l’innovation, extrait de l’article TICE et QCM (Les dossiers thématiques de GRECO, Daniel SEYVE, Jérémie GREPILLOUX, janvier 2004). Rédaction de questions à choix multiple, HEC Montréal, Direction de l’apprentissage et de l’innovation pédagogique Je me prépare au test de positionnement Ev@lang, parcours national d’entraînement aux items Ev@lang, académie de Versailles, Eléathèque (le parcours comporte des aides fondées sur des stratégies transférables et peut être réalisé en autonomie par les élèves) Création de QCM à l’aide de l’intelligence artificielle* : Wooclap, Mistral, ChatGPT *L’utilisation d’intelligences artificielles exige quelques précautions : s’assurer de l’application de la règlementation en vigueur, s’assurer du cadre éthique et déontologique fixé, ne pas partager de données personnelles, prendre du recul sur ce qui est proposé par l’intelligence artificielle et procéder à des ajustements le cas échéant. Cf. "L'IA en éducation : cadre d'usage"
Le QCM ne doit pas être l’unique modalité d’évaluation ni l’unique modalité d’entraînement. A titre d'exemples :- en réception, un élève pourra réussir un QCM mais pas un résumé et inversement alors que le support aura été peut-être compris ;- pour du lexique, l'élève aura été capable de reconnaître la bonne solution parmi les quatre proposées mais pas de la trouver d'emblée en autonomie ou de l'utiliser en contexte. En situation d'évaluation sommative, on pourra panacher QCM et compte-rendu par exemple afin de multiplier les chances de réussite des élèves. La notation prendra en compte la globalité de l'exercice (QCM + compte-rendu) au regard d'une grille adossée au CECRL, et non les exercices séparément. Dans le cadre d'une évaluation par compétences, il ne s'agit en effet pas d'utiliser un barème à points du type une bonne réponse = 1 point, mais bien de prendre en compte la qualité de la production dans sa globalité.
Il s'agit donc de continuer de varier les modalités d'entraînement et d’évaluation, le QCM étant l'une d'entre elles
Exemple de question : Le personnage principal est : A/ Intelligent / B. Curieux / C. Fou / D. Empathique Le support d'origine ne comportera aucun de ces mots en langue cible associés au personnage principal mais soit des périphrases, soit des antonymes ou synonymes, soit des passages où seul l'accès à l'implicite permet de trouver la réponse.
« La Grande-Bretagne comprend : A. l’Angleterre B. l’Angleterre et le Pays de Galles C. l’Angleterre, l’Ecosse et le Pays de Galles D. l’Angleterre, l’Ecosse, l’Irlande du Nord et le Pays de Galles. »
Les réponses A, B et C cumulées sont recevables.
Exemples : Identifiez les limites dans les deux items suivants : 1. « L’organisme de police international est autrement nommé : A. CIA / B. FBI / C. Interpol / D. SAS » 2. « L’Institut de technologie du Massachusetts est autrement nommé : A. CIA / B. FBI / C. Nasa / D. MIT »
Les racines communes (inter et pol) donnent une forte indication de solution correcte. Les initiales étant les mêmes en français et en anglais, il est aisé de trouver la bonne réponse sans en avoir la connaissance.
Nairobi is called “The New York of Africa because… a) Its nickname in Kenya is “The Big Apple” b) It has the same number of inhabitants as New York c) It is a modern metropolis reminiscent of New York d) Its buildings are exact copies of those of New York Extrait du texte source : “Kenya is famous for its skyscrapers, and its capital, Nairobi, is even called the “New York of Africa”. All this is because Nairobi is a modern developed metropolis that is very reminiscent of New York.” (Source : Skyscrapers of Nairobi, October 10th 2024, www.nairobiwire.com)
Exemple : « En 1971, les Etats-Unis ont renoué leurs relations diplomatiques avec la Chine suite à … ». Dans cet énoncé, l’année 1971 est essentielle pour pouvoir cibler la solution correcte sans équivoque.
« L’animal symbole des Etats-Unis est le… : A. caribou / B. aigle / C. fourmi / D. ours »
Préférer : « L’animal symbole des Etats-Unis est… : A. le caribou / B. l’aigle / C. la fourmi / D. l’ours. »
The Journey
“NOTICE: Big game season is now in effect. The wearing of furs and hats with horns is not recommended, nor are any dark colors–i.e., black, brown, gray.” – trailhead warning, New York State Department of Environmental Conservation I am wearing my gray wool pants, and my brown boots. I set my name down in the trailhead register – just past dawn, no one else around, a few flakes of early snow falling through the gray air. And my black, water-repellent coat, and my dark brown fur vest, buffalo fur, and my Russian hat. I will hike up to Avalanche Pass today, and perhaps beyond, at times sitting down on a rock to listen to the silence or the wind, and possibly the sound of not so distant gunfire.
In my small black pack I am carrying some dried fruit and nuts and a canteen of water. It’s the only sensible thing to do. We will see what happens. I will breathe the cold air and breathe out steam, a dark figure striding among the birch woods. I have always wanted to make this journey. Now I strap on my nine-pronged antlers and set off down the trail.
Howard Nelson
Le QCM permet d'évaluer sur quatre niveaux de maîtrise des savoirs de l'apprenant, qui relèvent du savoir et du savoir comment. 1 Connaissance : Nommer, définir, reconnaître des faits, des concepts 2 Compréhension : Traiter de l’information, décrire un processus, donner un exemple 3 Application : Mobiliser des connaissances pour résoudre un cas 4 Analyse : Établir des liens entre des situations (extraire des éléments clés de l'énoncé pour pouvoir résoudre le problème posé)
Cliquez sur l'image pour accéder à la représentation de la taxonomie du domaine cognitif de Bloom (Source : HEC Montréal).
Exemple : On préfèrera « Complétez les mots tronqués par la bonne terminaison [DONNER LE CHOIX DE TERMINAISON] » à la question « Quelle phrase ne contient pas d’erreur de terminaison ? » qui suppose la proposition de terminaisons erronées.
QCM simple : un énoncé, un seule proposition correcte, plusieurs distracteurs (= focus de cette présentation). Vrai/Faux : une seule bonne proposition, un seul distracteur. Une justification peut être demandée (citation par exemple). QRM (Question à réponses multiples) : plusieurs solutions correctes sont attendues, ce qui augmente la complexité et le temps de traitement de la question et donc la crainte de l’erreur. Dans ce cas, on peut préciser le nombre d’éléments à sélectionner.QRM avec solutions générales : solutions multiples auxquelles ont ajoute les propositions suivantes « Aucune des solutions proposées n’est correcte », « Toutes les solutions proposées sont correctes », « Il manque au moins une donnée pour que l’on puisse répondre », « Une absurdité s’est glissée dans l’énoncé ». Si un apprenant coche « Aucune des solutions proposées n’est correcte », il n’est pas possible de savoir s’il a la bonne réponse. Ce type d'énoncé augmente considérablement la complexité et le temps de traitement de la question, il est donc à éviter (charge cognitive forte). Classement (question d’ordonnancement) : les propositions doivent être classées dans un ordre précis (un seul ordre possible). Ce type de question permet de vérifier, par exemple, que les apprenants maîtrisent la chronologie d’évènements relatés ou sont capables de classer les informations dans un ordre de priorité mentionné ou induit. Analyse dans un contexte (texte lacunaire) : l’apprenant doit retrouver le terme manquant (concept, période, décision grammaticale, item lexical, etc.) dans une liste globale proposée. Question à appariement : mettre en relation une liste de questions ou situations et une liste de solutions (liste symétrique = une solution par proposition ou liste asymétrique = une situation peut être reliée à plusieurs propositions). Résoudre un cas : plusieurs questions s'enchaînent à partir d’un cas / situation / problématique. Les différentes questions associées à ce cas sont indépendantes de manière à ce qu’une réponse erronée à la première question ne déclenche pas, en cascade, des réponses erronées à toutes les questions qui suivent (éviter de rédiger des questions dites « tiroir »).Item retourné (> niveau cognitif plus complexe que la simple reconnaissance) : permet de déterminer si l’apprenant est capable d’associer une situation concrète (énoncé) à une conception théorique (plusieurs solutions proposées).
Le QCM peut être exploité pour consolider la mémorisation par reprise expansée. Le lexique : trouver la bonne solution associée à un mot, une image ou un son, trouver la bonne solution à intégrer dans une phrase lacunaire (lexique en contexte). La grammaire : trouver la bonne solution à intégrer dans une phrase lacunaire (grammaire en contexte), cocher la bonne application d'une règle de grammaire. Les règles phonologiques : trouver la bonne solution associée à un mot ou un son, cocher la bonne règle phonologique. Les connaissances culturelles : cela peut aider à la révision du contenu de la dernière trace écrite, du contenu culturel d'une séquence d'apprentissage, du contenu culturel abordé pendant l'année voire les années précédentes. Les stratégies : l'énoncé peut comporter un rappel de la stratégie adéquate pour aider l'apprenant à trouver la bonne réponse (cela peut être fait à la demande de l’apprenant uniquement) ou encore le retour informé après avoir validé la réponse peut rappeler quelle stratégie était nécessaire pour trouver la bonne solution. Associé à un défi à relever (défi temps, collection de points, etc.), il peut devenir un levier de motivation supplémentaire. Associé à des pratiques de classe, le QCM peut être exploité en demandant à l'apprenant de justifier son choix afin d'évaluer son degré de maîtrise des stratégies entraînées ou encore la méthodologie, favorisant ainsi la conscientisation des apprentissages et l'explicitation.
Exemple : Si un seul prix (et/ou une seule donnée chiffrée) apparaît dans un support invitant des élèves à s’inscrire dans une école londonienne, la question « Combien l’inscription annuelle coûte-t-elle ? » est peu pertinente puisqu’il s’agit de vérifier si l’élève a repéré l'unique valeur monétaire du support (facilement repérable : donnée chiffrée et devise) sans l'amener à mettre en réseaux les informations qui entourent cette donnée. On privilégiera donc une question du type : « 30.000£ correspond… A. au prix d’une année de scolarité B. au prix du bâtiment C. au prix de revient d’une année de scolarité dans cette école pour l’Etat D. au bénéfice dégagé par l’école pour chaque inscription E. au prix d'un trimestre de scolarité dans cette école. »
Le salaire à percevoir est : a) 150.000 dollars australiens b) 150 dollars australiens c) 300.000 dollars australiens
Eléments d'analyse : - Formulation des énoncés - Formulation des propositions - Visée des items - Lien et adéquation entre le CECRL et les items
Invite initiale : En utilisant les paliers du CECRL suivants (Compréhension de l’écrit, Lire comme activité de loisir): [descripteurs du CECRL insérés ici] Peux-tu créer un QCM en anglais classé en A1, A2 et B1 pour le poème suivant : [texte inséré ici].
Requête complémentaire à la lecture de la première proposition : Peux-tu reformuler les énoncés afin de ne pas utiliser les mots du poème ?
Réponse de ChatGPT
Conclusion
Dans le cas de QCM évaluant l’activité de compréhension, il s’agira, comme pour toute autre modalité d’évaluation, de cibler les items relevant de chaque degré de compréhension possible au regard du CECRL (A1, A2, B1, B2, C1) et de définir quels items permettent d’attester, à l’échelle de la copie, la validation d’un niveau global A1, A2, B1, B2, ou C1. Plusieurs items sont nécessaires pour chaque palier. Il n'est cependant pas nécessaire de répondre correctement à tous les items d'un palier pour valider ce palier. Les énoncés doivent porter sur les stratégies entraînées. En compréhension, repérer la bonne information ne signifie pas nécessairement la comprendre. C’est bien la reformulation qui permet de vérifier si le repérage effectué est compris. Afin de s’assurer de l’effectivité des stratégies mises en place, on pourra par exemple proposer : - une reformulation à la portée du niveau de compréhension des élèves à cocher, - un appariement à réaliser, - un vrai/faux à justifier pour pouvoir valider la réponse choisie. Dans le cas d’un vrai / faux, la justification peut prendre la forme d’une citation du support recopiée par l’apprenant, d’une brève explication ou encore de brefs extraits du support au choix à cocher afin de s’assurer de l’effectivité des stratégies mises en place.
Exemple
Ce document est : a) une petite annonce pour un emploi b) une publicité pour visiter une île c) une campagne de sensibilisation pour protéger les poissons d) l’avis de décès d’une reine.
Des QCM peuvent être intégrés dans une réflexion tant formative que certificative ainsi que dans une logique d’évaluation continue. Pour quel type d'évaluation ? Diagnostique (non notée) : pour voir où les élèves en sont, mieux connaître leurs acquis antérieurs Formative (non notée) : pour situer les élèves dans leurs apprentissages, leur donner un retour informé individuel pour les aider à progresser et mieux réussir Sommative (notée) : pour mesurer le degré d'acquisition d'une activité de réception au regard du niveau visé Où et quand ? En classe et hors de la classe : cela sera à déterminer en fonction des objectifs visés. Dans le cas de QCM numériques, il conviendra de s'assurer que tous les élèves y ont accès (CDI, salle informatique par exemple). Dans le but de... - mémoriser (= avoir des connaissances - culturelles, lexicales, grammaticales, etc.) - entraîner (= développer des stratégies transférables pour gagner en autonomie langagière, répéter un acte) - évaluer (= mesurer le degré de mobilisation des stratégies entraînées par l’élève dans une situation similaire à celle de l’entraînement) - valider (compris/pas compris, su/non su. Une QCM ne permet pas de mesurer un degré d’acquisition puisque le résultat est binaire. Afin de pouvoir situer sur un niveau du CECRL, plusieurs questions seront nécessaires pour évaluer le degré de maîtrise pour chaque niveau du CECRL.
Un QCM peut porter sur des connaissances, la compréhension ou encore l’application de concepts/théories. La forme des énoncés et des items doit donc correspondre aux objectifs visés et éviter de semer de la confusion chez l’apprenant. S’assurer que la formulation des items est simple et claire et que les termes utilisés dans les items ont été entraînés et sont maîtrisés par les élèves afin de les placer dans une situation de réussite. Généralement, il n'y a qu'une seule bonne solution dans les QCM. L’item doit être compatible avec l’énoncé : si plusieurs solutions sont exceptionnellement possibles, il faut alors le mentionner dans l’énoncé. Privilégier un nombre de propositions similaire d’un item à l’autre et disposer les bonnes réponses aléatoirement afin que les apprenants ne déduisent pas la réponse uniquement grâce à son positionnement (ex. une réponse juste systématiquement positionnée en deuxième rang).
Exemple : à exploiter ou à éviter ?
Un questionnaire à choix multiples est un exercice comprenant plusieurs énoncés demandant à l’apprenant de choisir la bonne proposition ou la bonne solution en en sélectionnant au moins une parmi l’ensemble des solutions proposées.
« La Grande-Bretagne comprend : A. l’Angleterre et le Pays de Galles ; B. en plus, l’Ecosse ; C. en plus, l’Irlande du Nord ; D. au contraire, l’Irlande du Nord uniquement. »
Une question à réponse ouverte courte (QROC) attend de l’apprenant qu’il rédige une réponse concise et précise (un mot ou une courte expression par exemple). Il ne s’agit donc pas d’une QCM.
Exemples - Ne pas reprendre mot pour mot des éléments du support dans les solutions proposées - Si un énoncé porte sur la nature du support, éviter de donner la nature du support dans les énoncés suivants : par exemple, si un énoncé demande d’identifier qu’il s’agit d’un conte de féés, éviter qu’un autre énoncé commence par « dans ce conte de fées, qu’arrive-t-il au personnage principal ? » - Demander à un élève de replacer des éléments reformulés dans l’ordre chronologique limite la vérification de la reconstruction du sens. Il conviendra donc de distinguer les items visant la reconstruction du sens des items visant la reconstruction de la chronologie. Soit les éléments à classer sont des actions citées telles quelles dans le support et permettent de vérifier uniquement la compréhension de la chronologie, soit un choix d’actions reformulées par rapport au support est donné pour chaque étape chronologique et permet de vérifier la reconstruction du sens (chronologie et actions).
Une QCM est une question à choix multiples. Un QCM est un questionnaire à choix multiples. Un QCM est donc une modalité d'exercice. Le questionnaire peut revêtir plusieurs formes ; une terminologie propre lui est associée. Dans certains exercices, des questions à choix multiples sont panachées à des questions ouvertes, dans ce dernier cas l'exercice n'est pas un QCM puisque seule une partie des questions sont des QCM. Terminologie Enoncé : formulation de l’exercice (question, phrase à compléter, texte lacunaire, etc.). Propositions / solutions : alternatives proposées au choix de l’apprenant. Item : énoncés et propositions associées. Distracteurs : mauvaises propositions ou leurres.
"Le personnage est... A. fou B. grand C. musclé D. sympathique"
Cet énoncé est à éviter car il mélange des caractéristiques physiques et morales
Exemple : Le narrateur mentionne l'avertissement au départ du sentier pour montrer qu'il... a. suit les règles b. ne suit pas les règles c. a besoin d'aide d. connaît les lieux. (Les éléments communs aux différentes solutions proposées sont regroupés dans l'énoncé)
Exemple : Lors de l'organisation d'un quiz en équipe à visée diagnostique pour identifier les connaissances que les élèves ont sur le pays qui sera l'objet de la séquence à venir, on pourra exiger que les élèves donnent la réponse sous forme d'énoncé complet.
Extrait de quiz possible (formulé en langue cible en temps réel) : Quel animal est le symbole national de la Nouvelle-Zélande ? A. Le lapin / B. Le kiwi / C. L'aigle / D. Le caribou Réponse exigible (en langue cible en temps réel) : Le kiwi est le symbole national de la Nouvelle-Zélande. Il s'agit d'un oiseau.